職位描述
PythonJava數(shù)據(jù)挖掘數(shù)據(jù)采集
1. 負(fù)責(zé)各類網(wǎng)站、App數(shù)據(jù)的爬蟲系統(tǒng)設(shè)計(jì)與開發(fā)，包括需求分析、方案設(shè)計(jì)、代碼實(shí)現(xiàn)及維護(hù)；
2. 針對不同網(wǎng)站的反爬機(jī)制（如驗(yàn)證碼、IP封鎖、UA檢測等），制定有效的突破策略，保障數(shù)據(jù)爬取的穩(wěn)定性和效率；
3. 優(yōu)化爬蟲程序的性能，解決大規(guī)模數(shù)據(jù)爬取中的并發(fā)、限流、重試等問題，提升爬取速度和成功率；
4. 對爬取的數(shù)據(jù)進(jìn)行清洗、去重、格式轉(zhuǎn)換等處理，確保數(shù)據(jù)質(zhì)量符合業(yè)務(wù)需求；
5. 與數(shù)據(jù)分析師、后端開發(fā)等團(tuán)隊(duì)協(xié)作，根據(jù)業(yè)務(wù)場景輸出結(jié)構(gòu)化數(shù)據(jù)，支持?jǐn)?shù)據(jù)分析或業(yè)務(wù)系統(tǒng)應(yīng)用；
6. 監(jiān)控爬蟲運(yùn)行狀態(tài)，及時(shí)處理異常（如網(wǎng)站結(jié)構(gòu)變更導(dǎo)致的爬取失?。?，持續(xù)迭代優(yōu)化爬蟲系統(tǒng)。
2. 針對不同網(wǎng)站的反爬機(jī)制（如驗(yàn)證碼、IP封鎖、UA檢測等），制定有效的突破策略，保障數(shù)據(jù)爬取的穩(wěn)定性和效率；
3. 優(yōu)化爬蟲程序的性能，解決大規(guī)模數(shù)據(jù)爬取中的并發(fā)、限流、重試等問題，提升爬取速度和成功率；
4. 對爬取的數(shù)據(jù)進(jìn)行清洗、去重、格式轉(zhuǎn)換等處理，確保數(shù)據(jù)質(zhì)量符合業(yè)務(wù)需求；
5. 與數(shù)據(jù)分析師、后端開發(fā)等團(tuán)隊(duì)協(xié)作，根據(jù)業(yè)務(wù)場景輸出結(jié)構(gòu)化數(shù)據(jù)，支持?jǐn)?shù)據(jù)分析或業(yè)務(wù)系統(tǒng)應(yīng)用；
6. 監(jiān)控爬蟲運(yùn)行狀態(tài)，及時(shí)處理異常（如網(wǎng)站結(jié)構(gòu)變更導(dǎo)致的爬取失?。?，持續(xù)迭代優(yōu)化爬蟲系統(tǒng)。
工作地點(diǎn)
橋東區(qū)河北省張家口市高新區(qū)市府西大街財(cái)富中心d座661
相似職位
- 爬蟲工程師8000-11000元
張家口 - 橋東區(qū)
客來提格(張家口)機(jī)械設(shè)備銷售有限公司 - 爬蟲工程師7000-8000元
張家口 - 橋東區(qū)
客來提格(張家口)機(jī)械設(shè)備銷售有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動(dòng)招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
陳丹丹/經(jīng)理
立即溝通
客來提格(張家口)機(jī)械設(shè)備銷售有限公司客來提格深植城市供熱系統(tǒng)，以軟件帶動(dòng)硬件，以硬件推動(dòng)售后。全面開啟供熱4.0時(shí)代，實(shí)現(xiàn)"互聯(lián)網(wǎng)+"綠色供熱。我們提供從供熱公司（包括換熱站）到終端用戶的能耗數(shù)據(jù)采集系統(tǒng)，自控集成系統(tǒng)，網(wǎng)頁控制界面，app控制界面等。為熱力公司節(jié)能管理提供科學(xué)、系統(tǒng)、可靠的數(shù)據(jù)支持，為監(jiān)控終端用戶提供抄表系統(tǒng)保障。公司設(shè)有獨(dú)立機(jī)房，并配有專業(yè)軟件工程師管理數(shù)據(jù)。在硬件上，客來提格提供一系列供熱硬件設(shè)備，產(chǎn)品包括：熱計(jì)量系列（熱計(jì)量表，智能調(diào)節(jié)閥，流量計(jì)，數(shù)據(jù)采集器等），溫度與壓力傳感器，工業(yè)編程控制器以及各種蓄熱電鍋爐（水蓄熱電鍋爐，高壓電極電鍋爐和相變蓄熱電鍋爐）等供熱設(shè)備及儀表。在工程項(xiàng)目上，公司在考察客戶現(xiàn)場后，根據(jù)建筑類型，取暖面積，鍋爐房情況等因素，本著“雙低”，即低投資成本，低運(yùn)營成本的理念，為客戶訂制電鍋爐工程方案。同時(shí)，考慮到客戶可能存在的初期設(shè)備資金問題，我們引入多種金融模式，可前期墊付設(shè)備，讓溫暖無憂入戶。我們找的不是員工，而是合作伙伴–有著共同價(jià)值觀，共同愿景，對綠色供暖有著熱情的有識(shí)之士。我們打造寬廣的平臺(tái)，邀您大展身手;我們搭建成功的云梯,助您蒸蒸日上！
公司主頁