【崗位職責(zé)】
1、負(fù)責(zé)大數(shù)據(jù)平臺(tái)數(shù)據(jù)標(biāo)注、治理等核心功能模塊的代碼開發(fā)與迭代優(yōu)化,確保功能穩(wěn)定性和性能指標(biāo)達(dá)標(biāo);
2、針對(duì)平臺(tái)性能瓶頸進(jìn)行代碼級(jí)調(diào)優(yōu),包括Spark/Flink任務(wù)優(yōu)化、Hive SQL優(yōu)化、存儲(chǔ)格式優(yōu)化等,提升數(shù)據(jù)處理效率;
3、負(fù)責(zé)大數(shù)據(jù)組件(Hadoop/Spark/Flink/Kafka等)的版本升級(jí)、功能擴(kuò)展及安全漏洞修復(fù)相關(guān)開發(fā)工作;
4、開發(fā)基于Nebula Graph的圖數(shù)據(jù)存儲(chǔ)與計(jì)算功能,優(yōu)化圖查詢性能,實(shí)現(xiàn)高效的關(guān)聯(lián)關(guān)系分析;
5、開發(fā)基于Milvus的向量數(shù)據(jù)存儲(chǔ)與檢索功能,優(yōu)化向量索引構(gòu)建和相似度計(jì)算性能,支持AI場(chǎng)景應(yīng)用;
6、編寫平臺(tái)監(jiān)控告警、自動(dòng)化運(yùn)維等工具代碼,提升平臺(tái)可觀測(cè)性和運(yùn)維效率;
7、參與技術(shù)方案設(shè)計(jì)與代碼評(píng)審,確保代碼質(zhì)量,編寫規(guī)范的開發(fā)文檔和API接口文檔。
【任職要求】
1、??萍耙陨蠈W(xué)歷,計(jì)算機(jī)/互聯(lián)網(wǎng)/通信相關(guān)專業(yè);
2、具備3年以上開發(fā)經(jīng)驗(yàn),精通Java,精通面向web的平臺(tái)開發(fā),精通工程建設(shè),有微服務(wù)建設(shè)經(jīng)驗(yàn),熟悉Maven/SpringBoot/SpringMVC/SpringCloud的使用;
3、熟悉Clickhouse/Hadoop/Hive/Ranger/HBase/Spark/Flink/Flume/Kafka/Zookeeper等常見大數(shù)據(jù)技術(shù);
4、精通SQL,熟悉mysql等常用關(guān)系型數(shù)據(jù)庫,了解備份、恢復(fù)、實(shí)時(shí)同步等技能、深入理解Milvus等AI關(guān)聯(lián)數(shù)據(jù)庫;
5、熟悉Linux操作系統(tǒng)的配置,管理及優(yōu)化,能夠獨(dú)立排查及解決系統(tǒng)層的各類問題;
6、熟悉 Perl/Python/Shell腳本語言中的一種;
7、有大數(shù)據(jù)平臺(tái)類開發(fā)經(jīng)驗(yàn)優(yōu)先,有大數(shù)據(jù)類別開源項(xiàng)目參與經(jīng)驗(yàn)優(yōu)先。