任务描述:
1、负责ETL任务的调度设计、配置和优化,实时数据需求的快速落地。
2、负责数据仓库模型设计,整理文档并制定实现方案。
3、负责实现海量数据的采集、预处理、存储组件开发。
4、负责大数据平台的可视化管理系统开发。
5、参与数据管控和数据治理,负责数据准确性检查、校对。
岗位要求:
1、熟练使用Java/Python/C++/Go语言中的一种或者多种;
2、有数据开发岗位的经验,对数据仓库、数据平台、数据分析、数据挖掘等领域有深刻理解,熟悉数据建模及ETL设计开发;
3、熟练使用Oracle、Mysql、PostgreSQL等关系型数据库,精通SQL、存储过程以及自定义函数的编写;
4、熟悉大数据生态系统,具有CDH(或者HDP)HDFS、YARN、Hive、ES、Kylin、Hbase、Kafka、Spark、Flume、Impala、Hue、Storm、Kettle、Flink等项目开发和调优经验;
5、熟练一项或多项数据展现框架/工具,利用Echarts、Tabeau和TreeSoft实现各类图形显示及结果分析;
6、具有良好执行力、学习能力、团队合作意识和创新精神;
7、有丰富的数据架构经验者优先;