
工作职责:
1、负责基于Hadoop、HBase、Spark生态的大数据分布式存储与计算组件的部署、容量规划及扩容工作;
2、负责大数据平台各组件服务的监控、调优和故障处理工作;
3、负责大数据平台各组件服务的用户管理、权限分配和管控、资源管理等工作;
4、负责Hadoop生态大数据组件运维的自动化平台建设工作,提高大数据服务的质量和效率;
5、结合业务对数据平台技术架构进行设计和优化,提供高可用、高性能、高扩展的大数据技术支撑。
任职资格:
1、大数据组件运维相关岗位工作4年及以上,具备大数据生态各组件的运维能力;
2、深入理解HDFS、ClickHouse、Yarn、ZooKeeper、HBase、Spark、Kafka、Flink等技术组件的架构和运行原理,具备源码级的优化能力;
3、熟练掌握Hadoop体系的架构设计工作、能基于业务场景设计和优化大数据技术架构;
4、熟练掌握Java、Python、Shell、Scala其中一种开发语言;
5、热爱技术、勤于学习、善于思考、主动沟通、乐于分享;
6、对Hadoop生态技术社区有贡献者优先。