崗位職責:
1、負責公司大數(shù)據(jù)平臺的離線與實時數(shù)據(jù)處理系統(tǒng)的設(shè)計、開發(fā)與優(yōu)化;
2、基于 Flink 構(gòu)建高吞吐、低延遲的實時計算 pipeline,支撐實時指標計算、事件處理與流式分析;
3、使用 Kafka 構(gòu)建穩(wěn)定高效的數(shù)據(jù)消息中間件體系,保障數(shù)據(jù)采集與傳輸?shù)目煽啃裕?/div>
4、利用 SelectDB 或 Apache Doris 構(gòu)建高性能分析型數(shù)據(jù)倉庫,支持多維分析、即席查詢與可視化報表;
5、數(shù)據(jù)分析,后臺業(yè)務(wù)系統(tǒng)開發(fā)。
任職要求:
1、計算機、數(shù)學、統(tǒng)計學或相關(guān)專業(yè)本科及以上學歷
2、3年以上大數(shù)據(jù)開發(fā)和數(shù)據(jù)分析經(jīng)驗;3年Spingboot boot開發(fā)經(jīng)驗
3、精通 Apache Flink流式計算, 精通 Kafka,SelectDB 或 Apache Doris應(yīng)用開發(fā) ,具備生產(chǎn)環(huán)境部署與調(diào)優(yōu)經(jīng)驗;
4、熟悉數(shù)據(jù)倉庫建設(shè)方法論,熟悉 Hive、Spark 等離線計算框架,具備從0到1搭建數(shù)倉模型的實際項目經(jīng)驗;
5、熟悉數(shù)據(jù)湖技術(shù)(如 Iceberg、Hudi)。