岗位职责:
1、负责集团级实时/离线/调度等数据计算平台建设;
2、负责集团级公共基础数据流、公共平台的研发;
3、参与海量数据处理和高性能分布式计算的架构设计,负责数据处理流程的设计和代码开发,撰写相关文档;
4、设计及研发PaaS平台的关键组件;
5、负责研发资源调度框架、数据库、缓存、存储、检索等相关中间件的二次开发优化工作;
6、参与集群运维工作,支持Hadoop集群底座的运维故障分析、解决、性能优化;
任职要求:
1.本科及以上学历,通信/计算机等相关专业。
2、熟悉大数据相关组件二次开发、搭建、应用、优化,如:Hadoop/Spark/Yarn/Hive/Kafka/Hbase/Kerberos/Flink/Mysql等。
3、扎实的计算机基础,掌握常用的数据结构及算法,熟练掌握Java/Golang/Scala/Python中的一项或多项;
4、愿意承担部分运维职责,熟悉Apache Hadoop部署、性能调优。
5、能阅读/理解Hadoop等相关开源组件源码。
6、较强的人际关系能力,有团队精神、较强的执行与推动能力,有一定抗压力。