一、崗位職責
1.爬蟲架構與核心開發
基于 Python 語言主導高性能爬蟲系統的架構設計與核心模塊開發，充分發揮 Python 在爬蟲領域的優勢，確保系統能高效、穩定地應對大規模數據采集任務。
深度優化 Python 爬蟲框架（如 Scrapy）的性能，包括但不限于對調度器、下載器、管道等核心組件的定制化開發，提升爬蟲的并發處理能力和數據抓取效率。
運用 Python 相關技術解決爬蟲開發中的復雜問題，如利用異步編程（asyncio、aiohttp）提升網絡請求效率，借助多線程、多進程處理 CPU 密集型任務等。
2.反爬對抗與技術突破
運用 Python 深入研究各類網站和 APP 的反爬機制，針對 JS 混淆、動態渲染、驗證碼等反爬手段，開發相應的 Python 解決方案，如使用 PyExecJS 執行 JS 代碼、Selenium 結合 Python 進行動態頁面渲染處理等。
基于 Python 構建反反爬策略體系，實現 IP 代理池的動態管理、請求頭的智能偽裝、Cookie 的自動處理等功能，保障爬蟲的持續穩定運行。
3.數據處理與系統優化
使用 Python 對爬取到的海量數據進行清洗、轉換、存儲等處理，熟練運用Pandas、NumPy 等數據處理庫提升數據處理效率和質量。
負責 Python 爬蟲系統的性能監控與優化，通過日志分析、性能測試等手段，定位系統瓶頸并進行針對性優化，降低資源消耗，提高系統的可靠性。
與團隊協作，將 Python 爬蟲系統與數據存儲、數據分析等平臺進行無縫對接，實現數據的全流程自動化處理。
4.團隊協作與技術沉淀
沉淀 Python 爬蟲開發相關的技術文檔、工具類庫和解決方案，推動團隊技術積累和復用。
二、任職要求
1.Python 技術深度
精通 Python 語言特性及高級用法，有 5 年以上 Python 開發經驗，其中至少 3 年專注于爬蟲方向開發，能熟練運用 Python 解決爬蟲開發中的復雜技術問題。
深入理解 Python 爬蟲相關框架（Scrapy、BeautifulSoup、Requests 等）的底層原理，具備豐富的框架二次開發經驗，能根據業務需求定制化框架功能。
熟練掌握 Python 異步編程（asyncio、aiohttp、tornado 等）、多線程、多進程等并發編程技術，并在爬蟲項目中有成功的大規模應用案例。
熟悉 Python 與其他技術的集成應用，如 Python 與數據庫（MySQL、MongoDB、Redis）的高效交互，Python 與 Docker、Kubernetes 等容器化技術的結合使用。
2.爬蟲專業能力
具備豐富的 Web 端和 APP 端爬蟲開發經驗，熟悉各類網頁解析技術（XPath、CSS 選擇器、正則表達式等），能高效提取網頁中的目標數據。
深入了解常見的反爬機制（如 IP 封鎖、UA 驗證、Cookie 驗證、驗證碼、動態加載等），并能運用 Python 技術制定有效的應對策略。
具備一定的逆向工程能力，能使用 Python 相關工具（如 Frida、Unidbg 等）對 APP 進行逆向分析，解析加密協議和數據。
3.其他技能要求
熟悉 Linux 操作系統，能熟練使用 Python 腳本進行系統運維和自動化部署，具備良好的問題排查和解決能力。
具備良好的代碼規范和文檔編寫習慣，能寫出高質量、可維護的 Python 代碼。
擁有較強的學習能力和創新精神，能快速掌握新技術并應用到實際工作中，應對不斷變化的爬蟲技術挑戰。
加分項
1.有大型分布式 Python 爬蟲系統設計與開發經驗，能處理日均千萬級以上數據采集任務優先
2.有AIGC經驗，有RAG,Langchain,dify等AI框架開發經驗優先