工作職責
1、 實時數倉搭建及開發
●基于Flink構建秒級實時數倉構建（Kafka→Flink→OLAP）
●開發實時數據處理框架（事務消息處理、窗口聚合優化）
●實現復雜業務邏輯的狀態流計算（CEP、狀態TTL管理、維表Join優化）
2、flink組件深度調優
●攻克Checkpoint超時/反壓/State Backend性能瓶頸
●設計RocksDB狀態后端調優方案（增量CKP、壓縮策略）
●實施JVM/網絡層全鏈路參數優化（GC策略、堆外內存管控）
3、實時數倉穩定性建設
●構建監控告警體系（延遲追蹤、狀態數據健康度）
●開發自動化運維工具（Savepoint遷移、作業智能診斷）
●設計跨集群容災方案（雙活集群切換、數據一致性保障）
4、業務工程師技術賦能
●提煉Flink最佳實踐（反壓SOP、狀態序列化規范）
●指導初中級工程師解決生產環境故障
技術能力
1. 5+年大數據開發經驗， 3年Flink生產環境深度開發經驗；
2.實時數倉從0到1搭建，有百億級數據實時數倉建設經驗；
3. 精通 Scala/ Java 編程語言，具備良好的函數式編程思想。
4.熟悉hadoop生態以下組件：hadoop、spark、zookpeer、kafka
5.熟悉redis、ClickHouse
6. Flink核心組件能力要求 ：
●精通DataStream API開發（Watermark/Window/State深度使用）
●精通Flink SQL性能優化（動態表/Retract機制/UDF開發）
7.具備TB級狀態數據運維經驗（RocksDB調優/狀態遷移）
●解決過Checkpoint超時導致的數據回溯問題
●優化過高峰期作業反壓（定位網絡棧/線程阻塞問題）
8.有狀態計算性能提升50%+的調優案例
●熟練整合Flink CDC實現實時數倉入湖（Hudi/Iceberg）
●開發過Kafka/Pulsar到Flink的高效消費方案架構理解
●深入理解Lambda/Kappa架構優劣及落地場景
●設計過支撐日百億級數據的流處理架構
9.有傳統機器學習經驗優先，熟悉lightGBM、Xgboost等傳統機器學習