国产福利酱国产一区二区|亚洲精品一区二区三区成人|9l肥熟女福利视频导航|91嫩草国产线永久在线观看|免费99在线视频播放|明明成人免费高清在线观看

崗位職責：
1.對指定的網(wǎng)站進行網(wǎng)頁抓取、數(shù)據(jù)提取、破解反爬策略;
2.負責多平臺信息抽取、數(shù)據(jù)清洗、入庫、服務(wù)化等研發(fā)和優(yōu)化工作;
3.參與開發(fā)和設(shè)計分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，進行信息的抓取和分析工作;
4.研究優(yōu)化爬蟲算法，提升爬蟲系統(tǒng)的穩(wěn)定性、可擴展性;
5.獨立解決實際開發(fā)過程中碰到的各類產(chǎn)品數(shù)據(jù)需求和接口問
題。
任職要求：
1.本科及以上學歷，計算機相關(guān)專業(yè)，3年以上相關(guān)工作經(jīng)驗;
2.精通網(wǎng)頁抓取原理及技術(shù)，精通正則表達式，熟練從結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息;
3.精通JAVA/PYTHON語言，熟悉數(shù)據(jù)庫性能優(yōu)化與常見緩存技術(shù)與策略;
4.精通一種開源爬蟲框架，熟悉反爬蟲.驗證碼識別技術(shù)者優(yōu)先;
5.了解互聯(lián)網(wǎng)的常用技術(shù)點，通用技術(shù)解決方案，深入源碼或者開源committer者優(yōu)先;
6.具備優(yōu)秀的邏輯思維能力，對解決挑戰(zhàn)性問題充滿熱情，善于分析問題/解決問題;
7.熟悉APP脫殼、APP逆向反編譯、JS解密逆向等相關(guān)內(nèi)容者優(yōu)先。
加分項：
1）有App端數(shù)據(jù)采集經(jīng)驗
2）有部署Airflow或DolphinScheduler或xxl-job等開源調(diào)度平臺經(jīng)驗
3）有瀏覽器插件采集數(shù)據(jù)經(jīng)驗