##崗位職責:
1.負責公司采集平臺(數據采集/調度/管理等模塊)的需求分析、架構設計、功能開發與持續維護優化。
2.負責部分 Java 采集/爬取相關程序的設計、開發、性能調優與問題排查。
3.參與分布式服務的設計與部署,提升系統的穩定性、擴展性與高可用能力,。
4.優化采集鏈路的調度策略、任務容錯、隊列管理、數據清洗與異常監控。
5.編寫并維護高質量的技術文檔、接口說明、設計文檔與運維手冊。
##任職要求:
1.本科及以上學歷,計算機相關專業,3 年及以上 Java 后端開發經驗。
2.熟悉分布式系統的設計與開發,具備服務拆分、注冊發現、配置管理、負載均衡等實踐經驗,。
3.熟練掌握 Spring Boot/Spring Cloud 生態,熟悉 Nacos(配置中心/注冊中心)等常用組件。
4.具備爬蟲或調度類系統(任務調度、分布式執行、去重、限速、重試、監控)實際項目經驗。
5.有完整的爬蟲系統開發經驗(如采集框架選型、反爬策略、代理池、抓取效率優化、數據清洗與存儲)。
6.熟悉常用中間件(如 Redis、Kafka、RabbitMQ、Elasticsearch、MySQL 等),能進行性能調優與問題定位。
7.具備良好的代碼規范、單元測試意識與性能監控、日志排障經驗。
8.思路清晰,責任心強,具備良好的溝通協作能力與自驅力。
9.能夠使用AI輔助編碼,,了解常用的如Cursor等IDE工具。
## 加分項
1.熟練掌握 Python 開發,能編寫高質量的 Python 爬蟲/調度腳本或輔助工具。
2.了解常見爬蟲框架(Scrapy、Playwright、Selenium、Colly 等)或分布式爬蟲架構實踐。
3.有大規模任務調度平臺(如 Airfow、XXL-JOB、Flink、Kettle 等)二次開發或深度使用經驗。