崗位職責(zé)：
1. 數(shù)據(jù)采集系統(tǒng)開發(fā)：
負(fù)責(zé)設(shè)計并開發(fā)高可用、高性能的數(shù)據(jù)采集系統(tǒng)，支持多源異構(gòu)數(shù)據(jù)（網(wǎng)頁、API、數(shù)據(jù)庫、日志等）的自動化采集與整合。
主導(dǎo)分布式爬蟲框架的設(shè)計與開發(fā)，解決復(fù)雜反爬機制（如驗證碼、IP封禁、動態(tài)加密等）。
利用RPA（機器人流程自動化）技術(shù)實現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的自動化抓取及業(yè)務(wù)流程自動化。
2.數(shù)據(jù)處理與存儲：
對采集的原始數(shù)據(jù)進(jìn)行清洗、去重、結(jié)構(gòu)化處理，確保數(shù)據(jù)質(zhì)量和一致性。
設(shè)計數(shù)據(jù)存儲方案，對接大數(shù)據(jù)存儲組件（如HDFS、HBase、Kafka、Elasticsearch等）。
3.技術(shù)攻堅與優(yōu)化：
持續(xù)優(yōu)化爬蟲和RPA工具的穩(wěn)定性、效率和資源占用率，設(shè)計動態(tài)代理池、請求調(diào)度策略等。
監(jiān)控數(shù)據(jù)采集任務(wù)的運行狀態(tài)，開發(fā)異常告警及自動化恢復(fù)機制。
4.協(xié)作與支持：
與數(shù)據(jù)倉庫、數(shù)據(jù)分析團(tuán)隊協(xié)作，提供高質(zhì)量數(shù)據(jù)輸入。
參與數(shù)據(jù)中臺建設(shè)，支持業(yè)務(wù)部門的數(shù)據(jù)需求。
任職要求
1. 教育背景要求：本科及以上學(xué)歷，計算機、軟件工程、數(shù)學(xué)或相關(guān)專業(yè)。
2. 工作經(jīng)驗要求：3年以上大數(shù)據(jù)開發(fā)經(jīng)驗，精通數(shù)據(jù)采集相關(guān)技術(shù)，有大規(guī)模爬蟲或RPA項目實戰(zhàn)經(jīng)驗。
3. 技術(shù)能力要求：
-編程語言：精通Python/Java，熟悉常用爬蟲框架（如Scrapy、Selenium、Playwright、BeautifulSoup）。
RPA工具：熟悉UiPath、Automation Anywhere、影刀等至少一種RPA工具，能獨立開發(fā)復(fù)雜自動化流程。
數(shù)據(jù)庫：熟練使用MySQL、MongoDB、Redis等，了解分布式存儲原理。
分布式系統(tǒng)：熟悉Hadoop/Spark/Flink生態(tài)，具備分布式爬蟲開發(fā)經(jīng)驗。
反爬策略：熟悉動態(tài)渲染、指紋識別、驗證碼破解等技術(shù)，有實際對抗經(jīng)驗。
網(wǎng)絡(luò)協(xié)議：深入理解HTTP/HTTPS、WebSocket等協(xié)議，掌握抓包工具（如Charles、Wireshark）。