雇員點評標簽
職位描述
數(shù)據(jù)爬蟲反爬蟲Python分布式爬蟲Scrapyrequests
崗位職責：
1.負責采集系統(tǒng)的架構設計,系統(tǒng)搭建
2.負責各類數(shù)據(jù)源（API、數(shù)據(jù)庫、網(wǎng)頁）的數(shù)據(jù)采集、清洗、轉換與入庫；
3.搭建與維護穩(wěn)定高效的數(shù)據(jù)采集系統(tǒng)，確保數(shù)據(jù)采集的準確性、完整性與時效性；
4.分析數(shù)據(jù)源結構與變化，制定字段映射、清洗規(guī)則和更新策略；
5.針對目標站點的反爬策略設計并實現(xiàn)有效的繞過方案；
6. 編寫數(shù)據(jù)采集文檔與接口說明，支持數(shù)據(jù)管理與審計合規(guī)需求。
7.及時解決爬取過程中出現(xiàn)的問題并不斷優(yōu)化程序
任職資格：
1.計算機相關專業(yè)畢業(yè)，3年以上數(shù)據(jù)開發(fā)經(jīng)驗；
2.熟練掌握 Python，具備豐富的 HTTP 請求模擬、抓包調試、異步編程、數(shù)據(jù)解析能力；
3.熟悉常見數(shù)據(jù)采集方式（如 RESTful API 調用、網(wǎng)頁爬蟲、日志采集）與數(shù)據(jù)清洗與轉換技術；
4.熟悉數(shù)據(jù)采集相關框架或工具（如 Scrapy、Logstash、NiFi、Flume、Kafka、Flink）；
5.熟悉 JavaScript 語言，具備 JS 加解密逆向能力，可獨立實現(xiàn)復雜參數(shù)構造、簽名還原、AES/MD5/RSA算法實現(xiàn)等；
6. 熟悉常見反爬機制及繞過方式，如驗證碼識別（圖形/滑動/點選）、UA/IP切換、請求混淆、Headless Browser 等；
7.具備小程序抓包與接口還原能力，了解小程序數(shù)據(jù)通信機制；
8.有 App 采集經(jīng)驗，熟悉抓包工具（如 Charles、Fiddler、Wireshark、mitmproxy）、Hook 工具（如Frida、Xposed）；
9.了解數(shù)據(jù)質量、數(shù)據(jù)安全與合規(guī)相關知識。
1.負責采集系統(tǒng)的架構設計,系統(tǒng)搭建
2.負責各類數(shù)據(jù)源（API、數(shù)據(jù)庫、網(wǎng)頁）的數(shù)據(jù)采集、清洗、轉換與入庫；
3.搭建與維護穩(wěn)定高效的數(shù)據(jù)采集系統(tǒng)，確保數(shù)據(jù)采集的準確性、完整性與時效性；
4.分析數(shù)據(jù)源結構與變化，制定字段映射、清洗規(guī)則和更新策略；
5.針對目標站點的反爬策略設計并實現(xiàn)有效的繞過方案；
6. 編寫數(shù)據(jù)采集文檔與接口說明，支持數(shù)據(jù)管理與審計合規(guī)需求。
7.及時解決爬取過程中出現(xiàn)的問題并不斷優(yōu)化程序
任職資格：
1.計算機相關專業(yè)畢業(yè)，3年以上數(shù)據(jù)開發(fā)經(jīng)驗；
2.熟練掌握 Python，具備豐富的 HTTP 請求模擬、抓包調試、異步編程、數(shù)據(jù)解析能力；
3.熟悉常見數(shù)據(jù)采集方式（如 RESTful API 調用、網(wǎng)頁爬蟲、日志采集）與數(shù)據(jù)清洗與轉換技術；
4.熟悉數(shù)據(jù)采集相關框架或工具（如 Scrapy、Logstash、NiFi、Flume、Kafka、Flink）；
5.熟悉 JavaScript 語言，具備 JS 加解密逆向能力，可獨立實現(xiàn)復雜參數(shù)構造、簽名還原、AES/MD5/RSA算法實現(xiàn)等；
6. 熟悉常見反爬機制及繞過方式，如驗證碼識別（圖形/滑動/點選）、UA/IP切換、請求混淆、Headless Browser 等；
7.具備小程序抓包與接口還原能力，了解小程序數(shù)據(jù)通信機制；
8.有 App 采集經(jīng)驗，熟悉抓包工具（如 Charles、Fiddler、Wireshark、mitmproxy）、Hook 工具（如Frida、Xposed）；
9.了解數(shù)據(jù)質量、數(shù)據(jù)安全與合規(guī)相關知識。
工作地點
武漢洪山區(qū)中興時代數(shù)貿(mào)港A座10樓1006.1007.1008號房
相似職位
- 抖音數(shù)據(jù)采集/包吃?。苣╇p休7000-10000元
武漢 - 武昌
云道咨詢管理有限公司 - 數(shù)據(jù)采集工程師8000-10000元·13薪
武漢 - 洪山
深圳市世聯(lián)土地房地產(chǎn)評估有限公司 - 采集運維（電網(wǎng)營銷業(yè)務）6000-12000元
武漢 - 洪山
鑫英泰 - 自動駕駛采集管理1-1.8萬
武漢 - 洪山
軟通動力信息技術(集團)股份有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
江小姐/人事經(jīng)理
昨日活躍立即溝通
深圳市世聯(lián)土地房地產(chǎn)評估有限公司公司概況1993年創(chuàng)設于深圳，現(xiàn)總部設立于深圳，下設廣州、東莞、佛山、廈門、武漢、成都、重慶、上海、杭州、南京、北京、青島十二家分公司，與瑞聯(lián)資信、瑞聯(lián)數(shù)科、世聯(lián)資產(chǎn)、朗瑞會計師事務所、中瑞世聯(lián)、中瑞華建、中瑞稅務集團、華房數(shù)據(jù)同屬瑞聯(lián)平臺，面向全國提供全面的土地、房地產(chǎn)、資產(chǎn)評估等專業(yè)服務。憑借長期的專業(yè)積累，世聯(lián)評估建立了強大的估價信息數(shù)據(jù)平臺和資深專業(yè)技術團隊，為政府、金融與投資機構、企業(yè)、法院及私人業(yè)主提供物業(yè)評估、項目評估、可行性研究、土地招投標和房地產(chǎn)投資咨詢、評估審核等多元化的專業(yè)評估服務。截至2024年底，歷年累計評估總值達15萬億元，累計評估規(guī)模45億平方米。專業(yè)資質●全國一級房地產(chǎn)評估機構●全國A級資信土地評估中介機構●中國資產(chǎn)評估機構●國家發(fā)展和改革委員會工程咨詢單位資質●全國不動產(chǎn)登記代理機構資質●首批證券服務評估機構備案資質● 2022-2024年度上海證券交易所評估專家?guī)斐蓡T單位從“心”開始，服務不止。從后勤保障到一線的評估服務，從公司的領導者到最基層的員工，世聯(lián)始終以專注的態(tài)度、創(chuàng)新的技術，融入每一個項目與服務細節(jié)。世聯(lián)評估作為評估行業(yè)的龍頭，正不斷深化全產(chǎn)業(yè)鏈競爭優(yōu)勢，不斷提升創(chuàng)新能力，推動自身與行業(yè)的進步和發(fā)展，致力于成為中國評估第一品牌。我們?yōu)槟峁?、給你最有力的保障：除了按國家規(guī)定入職即購買五險一金，同時為員工購買輔助商業(yè)保險2、5天7.5小時工作制，周末雙休，在規(guī)定范圍，上下班時間可靈活把控3、年假實行N+1天制，除了享受國家法定假期外，還有“六一親子假”4、年度健康體檢；5、暖心的員工關懷：賀儀、奠儀、節(jié)日福利、新年開工紅包等等。6、每日新鮮水果、飲料、現(xiàn)磨咖啡，讓你在工作之余，盡情享受愜意的下午茶；
公司主頁