崗位職責:
1.負責設計并實施分布式數據平臺架構,優(yōu)化數據存儲、處理和分析流程。參與大數據平臺產品的規(guī)劃、設計、開發(fā)和迭代,提升平臺的穩(wěn)定性、可擴展性和易用性。
2.基于Hadoop、Spark、Flink等大數據處理框架,設計并實現高效的海量數據模型,確保數據的高效存儲與訪問。負責數據開發(fā)流程,包括數據清洗、轉換、加載及數據治理工作,以滿足業(yè)務對數據的高并發(fā)訪問需求。
3.利用開源框架進行大數據的采集工作,確保數據的完整性、準確性和及時性。進行深度數據分析,挖掘數據價值,為業(yè)務決策提供數據支持。整理分析結果,形成清晰、易于理解的報告或可視化展示。
4.針對大數據處理過程中的性能瓶頸,進行調優(yōu)和故障排查。利用Hadoop、Spark、Flink等技術的特性,優(yōu)化資源配置和作業(yè)調度,提高數據處理效率。
5.關注大數據領域的新技術、新趨勢,探索其在業(yè)務中的應用可能性,推動技術升級和創(chuàng)新。
任職要求:
1.擁有5年或以上大數據開發(fā)經驗,其中至少3年專注于大數據架構設計與實現。具備扎實的大數據理論基礎和實踐經驗,能夠獨立完成復雜的大數據項目。
2.具備豐富的大數據架構設計經驗,能夠根據業(yè)務需求設計高可用、可擴展的大數據平臺架構。熟悉分布式系統(tǒng)原理,能夠設計并實施分布式數據存儲和處理方案。能夠評估新技術在大數據平臺上的應用潛力,并進行技術選型與集成。
3.熟練掌握Hadoop、Spark、Flink等大數據核心技術,能夠針對不同量級的數據量進行配置調優(yōu)和組件維護。熟悉Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Kafka等大數據生態(tài)系統(tǒng)中的關鍵組件,能夠閱讀并理解源碼,解決復雜問題。了解并能應用NoSQL數據庫(如MongoDB、Cassandra等)以及實時數據流處理技術(如Storm、Samza等)。
4.具備豐富的海量數據性能處理經驗,能夠基于Hive和MySQL進行SQL優(yōu)化,提升查詢效率。熟悉數據分區(qū)、索引、緩存等策略,能夠設計并實施有效的數據預處理和存儲方案,降低數據處理成本。能夠快速定位并解決大數據處理過程中的性能瓶頸和故障問題。
5.熟悉數據倉庫建模方法,能夠設計合理的數據模型以滿足業(yè)務需求。具備數據質量與數據治理經驗,了解數據生命周期管理、數據安全管理等相關知識。能夠制定并執(zhí)行數據治理策略,確保數據的準確性、完整性和一致性。
6.熟練使用Java核心框架,如Spring Cloud、Spring Boot等,能夠編寫高效、可維護的代碼。了解Python、Scala等大數據相關編程語言,能夠根據需要選擇最合適的編程語言進行開發(fā)。
7.具備良好的溝通表達能力和跨團隊協(xié)作能力,能夠與團隊成員、業(yè)務方有效溝通,協(xié)同推進項目進展。
8.對新技術保持好奇心,愿意不斷學習新知識,探索新技術在大數據領域的應用。具備創(chuàng)新思維,能夠提出并推動技術改進和優(yōu)化方案,持續(xù)提升大數據平臺的性能和穩(wěn)定性。