崗位職責：
1. 負責數據任務開發，熟悉Hadoop/Spark基礎組件(HDFS/YARN/MapReduce)的核心功能。
2. 精通復雜的HiveSQL任務，并能優化Hive SQL執行效率(分區裁剪、謂詞下推)。
3. 熟練開發Spark批處理任務，理解RDD/DataFrame執行原理，能優化Shuffle、內存配置。
4. 熟練構建星型/雪花模型，根據業務場景設計數據模型。
5. 使用ETL工具(如Kettle)完成數據加工和處理，支持業務部門數據需求。
6. 設計多源異構數據集成方案(如API、日志文件、數據庫混合接入)，解決數據一性沖突。
7. 能根據業務需求，設計多維度、多指標的復雜報表，熟悉ClickHouse/DorisDB集群部署與查詢優化。
8. 開發數據質量監控腳本，識別異常數據并推動業務方修復。
9. 使用Python/Java開發數據服務，培訓業務人員使用自助分析工具。
10. 深入理解相關領域的基本業務概念和流程，能獨立完成業務需求的開發，解決復雜問題。
崗位要求：
1. 熟悉Hadoop/Spark基礎組件(HDFS/YARN/MapReduce)的核心功能。
2. 精通復雜的HiveSQL任務，并能優化Hive SQL執行效率。
3. 熟練開發Spark批處理任務，理解RDD/DataFrame執行原理。
4. 熟練構建星型/雪花模型，根據業務場景設計數據模型。
5. 熟練使用ETL工具(如Kettle)完成數據加工和處理。
6. 熟悉基礎調度工具(如Airflow/DolphinScheduler)的任務配置與監控。
7. 熟悉MySQL/Oracle等數據庫的增刪改查操作，了解索引等基礎優化方法。
8. 能根據業務需求，設計多維度、多指標的復雜報表。
9. 開發數據質量監控腳本，能識別異常數據并推動業務方修復。
10. 使用Python/Java開發數據服務，并能培訓業務人員使用自助分析工具。
11. 深入理解相關領域的基本業務概念和流程，能獨立完成業務需求的開發。