崗位職責:
1. 集群管理:負責Hadoop集群的安裝、配置、維護和優化,確保系統的高可用性和穩定性。
2. 性能調優:監控集群性能,進行必要的調整以提高數據處理效率和資源利用率。
3. 故障排查:快速響應系統故障,定位問題原因,實施有效的解決方案。
4. 安全管理:建立和完善安全機制,保護數據安全,防止未授權訪問。
5. 技術選型:根據業務需求選擇合適的Hadoop生態組件和技術棧。
6. 項目支持:為業務團隊提供技術支持,參與需求分析,協助設計數據處理流程。
7. 文檔編寫:撰寫技術文檔,如操作手冊、故障排除指南等,以便團隊成員共享知識。
崗位要求:
1. 教育背景:計算機科學或相關領域的學士/碩士學位。
2. 經驗要求:3年以上的大數據平臺運維經驗,特別是Hadoop生態系統。
3. 技術技能:深入理解Hadoop架構及其核心組件(如HDFS、YARN等);熟悉Hadoop生態圈其他工具(如Kerberos、LDAP、Hive、Spark、Flink、Kyuubi、Kafka、HBase、ES等);掌握Linux操作系統;了解Shell腳本編程;具有Python、Java或Scala等至少一種編程語言的經驗。
4. 軟技能:良好的溝通能力和團隊合作精神;能夠獨立解決問題;對新技術保持好奇心和學習態度。
5. 加分項:熟悉Ambari Mpack開發,機器規模百臺、數據規模PB級以上運維經驗。