国产福利酱国产一区二区|亚洲精品一区二区三区成人|9l肥熟女福利视频导航|91嫩草国产线永久在线观看|免费99在线视频播放|明明成人免费高清在线观看

400-885-9898
更新于 7月11日
智聯(lián)APPAPP
舉報

python逆向爬蟲工程師

2.3-2.8萬
  • 成都武侯區(qū)
  • 5-10年
  • 本科
  • 全職
  • 招1人

職位描述

PythonJava數(shù)據(jù)挖掘反爬蟲爬蟲開發(fā)Scrapy
1.搭建多設(shè)備協(xié)同控制體系，通過ADB、Wi-Fi直連或USB HUB實現(xiàn)50+臺安卓設(shè)備集群管理，支持遠(yuǎn)程
喚醒、批量投屏及狀態(tài)監(jiān)控
2.核心系統(tǒng)開發(fā)：主導(dǎo)海航、川航等航司APP的公開數(shù)據(jù)采集系統(tǒng)設(shè)計，實現(xiàn)航班動態(tài)、票價庫存、座位
圖等核心數(shù)據(jù)的實時抓取與結(jié)構(gòu)化處理。
3.自動化流程構(gòu)建：模擬用戶端操作（查詢、登錄、下單、支付、出票），開發(fā)全鏈路自動化腳本，覆蓋
APP端及Web端接口調(diào)用，確保業(yè)務(wù)流程閉環(huán)。
4.安卓逆向分析：針對航司APP加固、代碼混淆、動態(tài)加載等防護(hù)措施，進(jìn)行反編譯、脫殼、Hook調(diào)
試，破解加密參數(shù)（如Token、簽名）及接口鑒權(quán)邏輯。
5.反爬對抗策略：研究航司風(fēng)控規(guī)則（如IP封禁、設(shè)備指紋、行為檢測），設(shè)計分布式爬蟲架構(gòu)，集成代
理池、設(shè)備指紋偽裝、請求頻率動態(tài)調(diào)控等反反爬方案。
6.數(shù)據(jù)清洗與存儲：構(gòu)建高效ETL流程，處理非結(jié)構(gòu)化數(shù)據(jù)（如HTML、PDF），優(yōu)化數(shù)據(jù)庫存儲方案，
支持高并發(fā)查詢與實時分析。
7.系統(tǒng)穩(wěn)定性保障：設(shè)計監(jiān)控告警機(jī)制（如任務(wù)失敗率、響應(yīng)延遲），實現(xiàn)故障自動重試與人工干預(yù)預(yù)
案，保障7×24小時服務(wù)可用性。
8.跨團(tuán)隊協(xié)作：與產(chǎn)品、運營團(tuán)隊聯(lián)動，根據(jù)業(yè)務(wù)需求迭代數(shù)據(jù)采集維度（如新增艙位等級、退改簽政
策），輸出數(shù)據(jù)質(zhì)量報告與優(yōu)化建議。
9.技術(shù)文檔編寫：輸出系統(tǒng)架構(gòu)設(shè)計、接口文檔、逆向分析報告，確保技術(shù)資產(chǎn)可維護(hù)性與團(tuán)隊知識沉
淀。
10.前沿技術(shù)探索：研究AI輔助爬蟲（如動態(tài)渲染、智能路由調(diào)度）、區(qū)塊鏈存證等新技術(shù)在數(shù)據(jù)合規(guī)采
集中的應(yīng)用。
任職資格：
1.3年以上爬蟲開發(fā)經(jīng)驗，至少1個完整航空領(lǐng)域數(shù)據(jù)采集項目經(jīng)驗，熟悉廉價航空（如春秋、九元）或
OTA平臺（攜程、飛豬）數(shù)據(jù)結(jié)構(gòu)者優(yōu)先;
2.具備跨境數(shù)據(jù)采集經(jīng)驗，如頂象防護(hù)（重點考察）、處理Akamai防護(hù)、Cloudflare 5秒盾；
3.突破反爬蟲，繞過反Frida調(diào)試，繞過反Root/越獄檢測，繞過反VPN/代理檢測，繞過證書綁定
4.精通ADB協(xié)議棧，掌握adb shell input事件注入、uiautomator控件解析等底層操作，能編寫自定義
ADB插件；
5.熟悉群控系統(tǒng)搭建（如Scrcpy多開、雷電模擬器集群），掌握USB通斷器、一拖N數(shù)據(jù)線等硬件配置；
6.精通Python/Java，熟練使用Scrapy、Selenium、Appium等框架，掌握AST反混淆、Frida Hook、
Xposed框架等逆向工具;
7.熟悉HTTP/HTTPS協(xié)議、TCP/IP抓包（Charles/Fiddler）、HTTPS證書繞過（JustTrustMe模塊）、
RSA/AES加密破解;
8.具備航司APP逆向?qū)崙?zhàn)經(jīng)驗（如破解登錄態(tài)維持、支付回調(diào)接口），熟悉加固殼脫殼方案;
9.熟練使用Linux環(huán)境，掌握Docker容器化部署、Redis緩存、Kafka消息隊列，具備分布式系統(tǒng)調(diào)優(yōu)經(jīng)
驗；
10.強(qiáng)問題解決能力，能獨立定位并修復(fù)復(fù)雜逆向難題（如動態(tài)密鑰生成、混淆代碼還原）;
11.熟悉航空票務(wù)業(yè)務(wù)邏輯（如艙位代碼、運價規(guī)則等）

工作地點

武侯區(qū)成都國際科技節(jié)能大廈A座2207

職位發(fā)布者

張女士/人事經(jīng)理

當(dāng)前在線
立即溝通
公司Logo四川華盛云端航空服務(wù)有限公司
四川華盛云端航空服務(wù)有限公司(以下簡稱“華盛云端”)自2022年成立以來，始終致力于為機(jī)構(gòu)客戶提供高品質(zhì)、定制化的商旅出行解決方案。憑借豐富的TMC行業(yè)服務(wù)經(jīng)驗和先進(jìn)的SaaS技術(shù)，通過創(chuàng)新的運營模式，優(yōu)化商旅流程，實現(xiàn)成本和效率的雙重提升。華盛云端致力于構(gòu)建一個高效、智能的全球商旅生態(tài)體系，推動行業(yè)向更高的服務(wù)品質(zhì)和客戶滿意度邁進(jìn)。企業(yè)愿景：引領(lǐng)智能商旅革新，用科技構(gòu)筑品質(zhì)旅程體驗，共建快樂旅途新生活。企業(yè)使命：以創(chuàng)新為驅(qū)使，以科技為手段，鑄就高效商旅服務(wù)典范。
公司主頁