【崗位職責】:
1、大數據平臺搭建與維護:負責基于 Dataworks 平臺進行公司大數據應用產品的全流程開發(fā),涵蓋數據集成、任務調度、數據開發(fā)等模塊,搭建穩(wěn)定可靠的大數據平臺,保障平臺服務的高效運行;同時,持續(xù)進行架構優(yōu)化與技術迭代,構建集數據存儲、計算、服務于一體的大型分布式數據平臺,滿足公司業(yè)務發(fā)展對數據處理的需求;
2、數據架構設計:結合公司業(yè)務場景和發(fā)展戰(zhàn)略,主導數據架構的設計與規(guī)劃,制定數據存儲、處理、流通的整體方案;優(yōu)化數據架構,提升數據處理性能和系統(tǒng)穩(wěn)定性,保障數據架構與業(yè)務需求的高度契合;
3、數據倉庫建模:依據數據倉庫建模理論,負責數據倉庫的模型設計與開發(fā)工作,包括維度建模、事實建模等;參與數據 ETL(抽取、轉換、加載)過程的設計與實施,確保數據倉庫數據的質量和可用性;定期對數據模型進行評估和優(yōu)化,滿足不同業(yè)務場景的數據需求;
4、數據處理與計算:熟練運用 Flink 技術,對海量數據進行離線計算和實時計算,實現數據的高效處理與分析;設計并開發(fā)數據處理流程,確保數據的準確性、完整性和及時性,為業(yè)務決策提供有力的數據支持;
5、技術創(chuàng)新與應用:持續(xù)關注大數據領域的新技術、新方法,結合公司實際業(yè)務需求,評估并引入合適的技術,推動大數據技術在公司的創(chuàng)新應用;優(yōu)化集群性能,提高資源利用率,降低運營成本。
【任職要求】
1、具有 5 年及以上大數據相關工作經驗,本科及以上學歷,計算機科學與技術、軟件工程、數據科學與大數據技術等相關專業(yè)優(yōu)先;
2、熟悉 Dataworks 平臺的使用,具備基于 Dataworks 進行大數據項目開發(fā)、任務調度和數據管理的經驗;
3、精通數據倉庫建模理論和方法,有豐富的數據倉庫架構設計、數據 ETL、建?;驍祿治鱿嚓P經驗;
4、熟練掌握 Flink 技術,深入理解其原理和架構,能夠運用 Flink 進行離線計算和實時計算任務的開發(fā)與優(yōu)化;
5、具備良好的溝通能力和團隊協(xié)作精神,能夠與不同部門的人員進行有效的溝通和協(xié)作;具備較強的問題解決能力和邏輯思維能力,善于從復雜的數據問題中找到關鍵路徑;對待工作認真負責,有較強的自驅力和學習能力,能夠快速適應新技術和新環(huán)境。