崗位職責(zé):
1、負(fù)責(zé)網(wǎng)絡(luò)爬蟲系統(tǒng)平臺的架構(gòu)設(shè)計與開發(fā),完善和重構(gòu)現(xiàn)有采集系統(tǒng)及服務(wù)(如抓取調(diào)度,多樣化抓取,頁面解析和結(jié)構(gòu)化抽取
2、研究爬蟲策略和防屏蔽規(guī)則,解決封賬號、封IP、驗證碼、頁面跳轉(zhuǎn)等難點,提升網(wǎng)頁抓取的效率和質(zhì)量
3、負(fù)責(zé)后臺爬蟲數(shù)據(jù)的分布式存儲設(shè)計以及代碼實現(xiàn);
崗位要求:
1、 計算機(jī)科學(xué)相關(guān)專業(yè)本科及以上學(xué)歷;5年以上Python開發(fā)經(jīng)驗,1年以上的爬蟲技術(shù)開發(fā)經(jīng)驗。
2、熟悉使用Python編程語言并熟練掌握MySQL、Redis等數(shù)據(jù)庫的使用
3、熟悉linux、https協(xié)議、精通python語言,熟悉主流的開發(fā)框架
4、熟練使用requests包、xpath、正則
5、能獨立解決實際開發(fā)過程碰到的各類疑難雜癥
加分項:
了解相關(guān) APP 逆向技術(shù)、js 逆向和反編譯等逆向工程能力。
有電力系統(tǒng)相關(guān)工作經(jīng)驗優(yōu)先;
有過電力交易輔助系統(tǒng)相關(guān)項目經(jīng)驗優(yōu)先