崗位職責：
1.支持Hadoop集群底座的運維故障分析、解決、性能優化；大數據集相關組件主要包括：Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等組件運維；
2.開展Yarn性能優化，提升集群資源利用率和任務響應速度；隊列優化和維護；優化調度器性能；
3.及時關注Apache官方網站、論壇，針對Patch提出升級建議、方案，并組織實施；
4.配合開展HDFS存儲、Hive元數據治理優化，建立并完善存儲治理方案；
5.配合開展Hive、Spark作業優化，對業務側提出優化建議。如：作業小文件問題、數據傾斜治理方案等；
6.提出集群優化建設方案，參與建設和優化大規模分布式集群的自動化運維、監控等工具和管理平臺。
任職要求：
1.本科及以上學歷，通信/計算機等相關專業，具有良好的學習能力、溝通能力、團隊合作能力及一定的抗壓能力；
2.熟悉Hadoop、Hive、Hbase、Spark等開源項目，理解組件架構及原理；
3.對大數據運維開發有濃厚興趣，熟悉Apache Hadoop部署、性能調優；
4.能閱讀/理解Hadoop等相關開源組件源碼；
5.對HQL、SparkSQL等有較深入的研究，能解決實際業務性能問題；
6.熟練掌握LDAP、Kerberos等安全認證體系；
7.熟練掌握Linux命令與工具進行問題定位，熟悉常規的互聯網技術架構；
8.具備一定的Java開發能力；
9.擅長Linux Shell、Python腳本編寫，有DevOPS/自動化運維經驗工作者優先考慮。