能力要求
1.具有豐富的數據倉庫開發(fā)項目經歷,有獨立承擔完整需求設計開發(fā)的工作經驗;
2.熟悉至少一種MPP架構數據庫,熟練掌握sql的編寫及優(yōu)化能力;
3.熟悉Doris、Seatunnel、DolphinSchedule、spark、flink等,能處理hive與spark常見報錯問題;
4.熟悉Linux常用命令,熟練掌握Linux基礎操作,掌握Java、Python等語言開發(fā)能力;
5.熟悉常見的數據治理框架,例如Datavines等;
6.具有數據標準制定經驗。
工作內容
1.負責已有數據中臺的運維和開發(fā),包括不限于完成相關組件安裝、腳本開發(fā)與優(yōu)化等;
2.ETL開發(fā),定義數據抽取、轉換、加載規(guī)則,確保數據準確加載;
3.實現數據產品研發(fā)工作,包括報表分析系統、元數據管理、數據質量管理、數據資產管理、數據服務接口等;
4.負責數據標準和數據質量工作的持續(xù)推進。
5.負責協助團隊的數據治理工作推進及匯報;