1.数据处理平台优化
1.1.文件导入优化：非重要系统改Sqoop抽数，减少数据落地。
1.2.文件导出优化：集成袋鼠云，重点实现库对库配置化导出。
2.批量集群监控
2.1.作业报警细化：抓取更多信息，在蓝信通知的基础上添加详情邮件通知，并按系统分发给负责人。
2.2.作业日志采集细化：留存更多跑批信息，如资源使用、执行计划等，并与告警功能结合，用于后续SQL调优。
3.实时集群优化。
3.1.Kafka分布优化：添加更多工作节点，释放管理节点资源。
3.2.新增组件HA配置：提升集群运行稳定性。
3.3.Solr性能优化：监控资源情况，保障Solr应用稳定。
任职要求：
1、本科及以上学历，2年以上IT工作经验，3年以上大数据工作经验；
2、熟悉CDH大数据平台运维体系，熟悉平台安装部署和平台优化；
3、熟悉Hadoop生态技术，熟悉HDFS、Yarn、Zookeeper、Hive、Impala、HBase、Spark、Kafka、Sqoop、Solr、ES等组件开发和调优；
4、熟悉Java、Scala、Shell、Python等开发语言之一，精通HQL；
5、具备良好的团队意识、沟通能力和学习能力。
招贤纳士网联盟网站
