崗位職責:
1. 依據湖倉一體數據存算系統需求,參與大數據平臺整體架構設計,確保數據采集、存儲、計算,治理各環節高效協同。
2. 負責大數據平臺監控及優化,保障湖倉存儲、數據計算引擎等穩定運行。
3. 主導企業級數據倉庫設計與研發,進行海量數據模型設計與優化,開發數據 ETL 流程,滿足數據加工系統的數據處理需求。
4. 參與大數據平臺核心業務功能設計與研發,包括流計算、批計算功能的開發,以及工作流管理模塊的相關功能實現。
5. 跟蹤行業前沿技術,解決數據中臺項目中遇到的技術難題,如湖倉融合存儲技術的應用優化。
任職要求
1. 計算機或相關專業本科及以上學歷,5 年及以上開發經驗,3 年及以上大數據開發經驗。
深入理解數據計算、數據建模、數據治理,數據資產,數據安全、數據服務共享、數據生命周期管理有參與數據中臺項目的實戰經驗。
2. 熟練掌握 Hadoop、Spark、Hive、HBase、Flink 等大數據工具,熟悉 iceberg、doris 等湖倉存儲引擎技術,有主導大型數據平臺建設經驗者優先。
3. 精通 SQL,掌握 Oracle、PostgreSQL、MySQL 等至少一種主流關系數據庫。
4. 熟練使用 Java、Python 進行代碼編寫,熟悉 Linux 操作系統。
5. 具備實時 / 離線數據處理、數據建模、ETL 開發與設計、數據治理等經驗,有數據分析、指標體系構建工作經驗者優先。
6. 熟悉常見 RDBMS(如 MySQL、PGSQL),了解 StarRocks、Doris、Clickhouse、GreenPlum 等 MPP 架構 OLAP 技術。
7. 掌握 Hudi、doris 技術原理及架構設計,有實際項目開發及性能優化經驗。
8.熟悉海豚調度系統以及有flink on k8s調度經驗