1、負(fù)責(zé)網(wǎng)絡(luò)爬蟲系統(tǒng)平臺的架構(gòu)設(shè)計與開發(fā)，完善和重構(gòu)現(xiàn)有采集系統(tǒng)及服務(wù)（如抓取調(diào)度，多樣化抓取，頁面解析和結(jié)構(gòu)化抽取

2、研究爬蟲策略和防屏蔽規(guī)則，解決封賬號、封IP、驗證碼、頁面跳轉(zhuǎn)等難點，提升網(wǎng)頁抓取的效率和質(zhì)量

3、負(fù)責(zé)后臺爬蟲數(shù)據(jù)的分布式存儲設(shè)計以及代碼實現(xiàn)；

崗位要求：

1、 計算機科學(xué)相關(guān)專業(yè)本科及以上學(xué)歷；5年以上Python開發(fā)經(jīng)驗，1年以上的爬蟲技術(shù)開發(fā)經(jīng)驗。

2、熟悉使用Python編程語言并熟練掌握MySQL、Redis等數(shù)據(jù)庫的使用

3、熟悉linux、https協(xié)議、精通python語言，熟悉主流的開發(fā)框架

4、熟練使用requests包、xpath、正則

5、能獨立解決實際開發(fā)過程碰到的各類疑難雜癥

加分項：

了解相關(guān) APP 逆向技術(shù)、js 逆向和反編譯等逆向工程能力。
有電力系統(tǒng)相關(guān)工作經(jīng)驗優(yōu)先；

有過電力交易輔助系統(tǒng)相關(guān)項目經(jīng)驗優(yōu)先