職位描述
PythonJava數據挖掘反爬蟲爬蟲開發Scrapy
1.搭建多設備協同控制體系，通過ADB、Wi-Fi直連或USB HUB實現50+臺安卓設備集群管理，支持遠程
喚醒、批量投屏及狀態監控
2.核心系統開發：主導海航、川航等航司APP的公開數據采集系統設計，實現航班動態、票價庫存、座位
圖等核心數據的實時抓取與結構化處理。
3.自動化流程構建：模擬用戶端操作（查詢、登錄、下單、支付、出票），開發全鏈路自動化腳本，覆蓋
APP端及Web端接口調用，確保業務流程閉環。
4.安卓逆向分析：針對航司APP加固、代碼混淆、動態加載等防護措施，進行反編譯、脫殼、Hook調
試，破解加密參數（如Token、簽名）及接口鑒權邏輯。
5.反爬對抗策略：研究航司風控規則（如IP封禁、設備指紋、行為檢測），設計分布式爬蟲架構，集成代
理池、設備指紋偽裝、請求頻率動態調控等反反爬方案。
6.數據清洗與存儲：構建高效ETL流程，處理非結構化數據（如HTML、PDF），優化數據庫存儲方案，
支持高并發查詢與實時分析。
7.系統穩定性保障：設計監控告警機制（如任務失敗率、響應延遲），實現故障自動重試與人工干預預
案，保障7×24小時服務可用性。
8.跨團隊協作：與產品、運營團隊聯動，根據業務需求迭代數據采集維度（如新增艙位等級、退改簽政
策），輸出數據質量報告與優化建議。
9.技術文檔編寫：輸出系統架構設計、接口文檔、逆向分析報告，確保技術資產可維護性與團隊知識沉
淀。
10.前沿技術探索：研究AI輔助爬蟲（如動態渲染、智能路由調度）、區塊鏈存證等新技術在數據合規采
集中的應用。
任職資格：
1.3年以上爬蟲開發經驗，至少1個完整航空領域數據采集項目經驗，熟悉廉價航空（如春秋、九元）或
OTA平臺（攜程、飛豬）數據結構者優先;
2.具備跨境數據采集經驗，如頂象防護（重點考察）、處理Akamai防護、Cloudflare 5秒盾；
3.突破反爬蟲，繞過反Frida調試，繞過反Root/越獄檢測，繞過反VPN/代理檢測，繞過證書綁定
4.精通ADB協議棧，掌握adb shell input事件注入、uiautomator控件解析等底層操作，能編寫自定義
ADB插件；
5.熟悉群控系統搭建（如Scrcpy多開、雷電模擬器集群），掌握USB通斷器、一拖N數據線等硬件配置；
6.精通Python/Java，熟練使用Scrapy、Selenium、Appium等框架，掌握AST反混淆、Frida Hook、
Xposed框架等逆向工具;
7.熟悉HTTP/HTTPS協議、TCP/IP抓包（Charles/Fiddler）、HTTPS證書繞過（JustTrustMe模塊）、
RSA/AES加密破解;
8.具備航司APP逆向實戰經驗（如破解登錄態維持、支付回調接口），熟悉加固殼脫殼方案;
9.熟練使用Linux環境，掌握Docker容器化部署、Redis緩存、Kafka消息隊列，具備分布式系統調優經
驗；
10.強問題解決能力，能獨立定位并修復復雜逆向難題（如動態密鑰生成、混淆代碼還原）;
11.熟悉航空票務業務邏輯（如艙位代碼、運價規則等）
工作地點
武侯區成都國際科技節能大廈A座2207
相似職位
- 爬蟲工程師實習150-200元/天
成都 - 成華
成都筑川科技有限公司 - python逆向爬蟲工程師2.3-2.8萬
成都 - 武侯
四川華盛云端航空服務有限公司 - 數據分析崗（爬蟲工程師）8000-13000元
成都 - 郫都
中鐵科學研究院集團有限公司 - 爬蟲工程師/Python工程師（可遠程辦公）6000-10000元
成都 - 武侯
成都愛車保信息技術有限公司 - 數據爬取工程師8000-12000元
成都 - 武侯
景安云信 - python爬蟲工程師1.5-2.2萬
成都 - 武侯
北京神州飛騰信息科技有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節跳動招聘
- 新華網招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業銀行招聘
- 交通銀行招聘
- 建發集團招聘
- 中國移動招聘
- 中國聯通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發布者
張女士/人事經理
立即溝通
四川華盛云端航空服務有限公司四川華盛云端航空服務有限公司(以下簡稱“華盛云端”)自2022年成立以來，始終致力于為機構客戶提供高品質、定制化的商旅出行解決方案。憑借豐富的TMC行業服務經驗和先進的SaaS技術，通過創新的運營模式，優化商旅流程，實現成本和效率的雙重提升。華盛云端致力于構建一個高效、智能的全球商旅生態體系，推動行業向更高的服務品質和客戶滿意度邁進。企業愿景：引領智能商旅革新，用科技構筑品質旅程體驗，共建快樂旅途新生活。企業使命：以創新為驅使，以科技為手段，鑄就高效商旅服務典范。
公司主頁