(一)工作職責
1、負責大數據平臺(Hadoop/Spark/Flink/StarRocks等)的部署、配置、優化和日常維護
2、負責數據中臺的部署、配置、優化和日常維護
3、設計并實施數據采集、存儲、處理和分析解決方案
4、監控大數據集群運行狀態,確保系統高可用性和穩定性
5、解決大數據平臺運行中的性能問題和故障
6、配合數據開發團隊優化數據處理流程
7、制定和實施大數據平臺的安全策略和備份方案
8、編寫相關大數據項目文檔,包括項目報告、技術方案、解決方案、部署手冊、運維手冊等
9、為客戶提供大數據平臺的技術支持,解答客戶在使用過程中的疑問,并組織實施系統培訓,提升客戶對大數據平臺的使用能力
10、駐場參與大數據項目交付,與客戶進行深入溝通,了解企業務需求,確保項目交付滿足客戶期望
(二)任職要求(三方崗位)
1、具備計算機科學、軟件工程、信息技術或相關專業本科及以上學歷
2、3年以上大數據平臺實施或運維經驗
3、精通Hadoop生態系統(HDFS/YARN/MapReduce)
4、熟悉并獨立完成大數據項目解決方案
5、熟練使用Spark、Flink、Hive、HBase、Kafka、StarRocks等大數據組件
6、掌握Linux系統管理和Shell/Python/SQL腳本編寫
7、具備較強的數據分析和理解能力,能夠從復雜的數據中提取有價值的信息,能獨立完成BI展示報表等
8、熟悉大數據集群監控和故障排查
9、具備數據建模能力,能夠設計合理的數據結構,熟悉ETL流程,能夠進行數據的抽取、轉換和加載
10、至少參與過1個完整的大數據實施項目
11、有處理TB級以上數據規模的經驗
12、優先考慮條件:有Cloudera CDH/Hortonworks HDP等商業發行版實施經驗、熟悉容器化技術(Docker/Kubernetes)在大數據環境中的應用、了解云計算平臺(AWS EMR/Azure HDInsight/阿里云MaxCompute等)、有數據安全治理、數字化轉型項目、BI展示相關經驗、獲得相關認證(如Cloudera認證工程師/HDP認證工程師/Apache項目貢獻者)
13、派駐國企項目工作。