1、完成公司数据平台技术架构、工程落地和技术演进。支撑数据仓库、端到端实时流式计算分析、高性能多维分析、报表中心、自助查询分析等需求。
2、主导大数据营销分析平台的架构和工程落地。
3、主导个性化推荐(内容推荐)系统技术架构和工程落地。
4、主导推动公司智能和算法能力的建设,支撑TB级聊天文本、内容图片、视频等数据检索、分析挖掘及标签化,累计3000万+次医美场景会话咨询聊天。
岗位要求:
1、精通CDH、HDP等Hadoop生态系统发行版,进行平台的安装、部署、维护。
2、熟悉阿里云大数据生态,熟练使用E-MapReduce、MaxCompute、实时计算(Flink)、数据集成、日志服务、DataV、QuickBI等等。
3、精通Hadoop、Hive、Hbase、kafka、Spark、Flink、Flume、Sqoop、Ozzie、Tez、Hue、Azkanban、DataX、Kylin、Druid、ES、Superset等大数据组件的使用和调优。
4、深刻理解大数据平台安全机制、熟练使用Kerberos、Ranger以及血缘分析组件Atlas。
5、需要有用户标签、画像、个性化推荐等系统的工程经验,有过数据治理相关经验优先。