雇員點評標(biāo)簽
職位描述
Hadoop大數(shù)據(jù)開發(fā)
崗位職責(zé)：
1. 平臺開發(fā)與部署：
? 設(shè)計、開發(fā)和維護基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)平臺（如HDFS、YARN、Hive、Spark、HBase等）。
? 開發(fā)和優(yōu)化數(shù)據(jù)管道（Data Pipeline），支持數(shù)據(jù)采集、存儲、處理和分析。
? 編寫和維護自動化腳本（如Shell、Python）以簡化部署和管理流程。
2. 平臺運維與監(jiān)控：
? 負責(zé)Hadoop集群的日常運維，包括安裝、配置、升級和故障排除。
? 監(jiān)控集群性能，優(yōu)化資源利用率，確保系統(tǒng)高可用性和穩(wěn)定性。
? 使用監(jiān)控工具（如Ganglia、Nagios、Prometheus等）實時監(jiān)控集群狀態(tài)，及時發(fā)現(xiàn)并解決問題。
3. 性能優(yōu)化：
? 分析和優(yōu)化Hadoop集群的性能，解決數(shù)據(jù)傾斜、資源爭用等問題。
? 優(yōu)化MapReduce、Spark等計算框架的任務(wù)執(zhí)行效率。
? 調(diào)整HDFS存儲策略，優(yōu)化數(shù)據(jù)讀寫性能。
4. 安全管理：
? 配置和管理Hadoop平臺的安全機制，包括Kerberos認證、權(quán)限控制（ACL）和數(shù)據(jù)加密。
? 定期進行安全審計，確保平臺符合公司安全政策和行業(yè)標(biāo)準(zhǔn)。
5. 故障排查與恢復(fù)：
? 快速定位和解決Hadoop集群中的故障，包括硬件故障、網(wǎng)絡(luò)問題和軟件異常。
? 制定和實施災(zāi)難恢復(fù)計劃，確保數(shù)據(jù)安全 任職要求：
1. 教育背景：
? 計算機科學(xué)、信息技術(shù)、軟件工程或相關(guān)專業(yè)本科及以上學(xué)歷。
2. 工作經(jīng)驗：
? 4年以上大數(shù)據(jù)平臺開發(fā)或運維經(jīng)驗，熟悉Hadoop生態(tài)系統(tǒng)及其核心組件（如HDFS、YARN、Hive、Spark、HBase等）。
? 有大規(guī)模集群（100+節(jié)點）運維經(jīng)驗者優(yōu)先。
3. 技術(shù)技能：
? 熟練掌握Hadoop生態(tài)系統(tǒng)的部署、配置和優(yōu)化。
? 熟悉至少一種編程語言（如Java、Python、Scala）。
? 熟悉Linux操作系統(tǒng)，具備Shell腳本編寫能力。
? 熟悉大數(shù)據(jù)處理框架（如MapReduce、Spark、Flink）。
? 熟悉數(shù)據(jù)倉庫工具（如Hive、Impala）和消息隊列（如Kafka）。
? 了解容器化技術(shù)（如Docker、Kubernetes）和云計算平臺（如AWS、Azure、阿里云）者優(yōu)先。
4. 軟技能：
? 具備良好的問題分析和解決能力。
? 具備較強的溝通能力和團隊協(xié)作精神。
? 能夠在高壓環(huán)境下工作，具備快速學(xué)習(xí)和適應(yīng)新技術(shù)的能力。
工作地點
平頂山湛河區(qū)平高集團
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
李女士/HR
剛剛活躍立即溝通
華蘇科技南京華蘇科技有限公司（簡稱：華蘇科技）成立于2003年，是軟件產(chǎn)品、解決方案和技術(shù)服務(wù)的提供商，致力為產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型注入新動能?？偛课挥谥袊暇┸浖?，目前在北京、廣州、福州、沈陽、成都、西安、杭州、濟南等多地擁有分支機構(gòu)。2016年加入神州信息，承載其ICT業(yè)務(wù)。深耕行業(yè)二十年，華蘇科技具備行業(yè)領(lǐng)先的研發(fā)能力、產(chǎn)品和服務(wù)。憑借對IT、網(wǎng)絡(luò)環(huán)境和行業(yè)運營需求的深入理解，過硬的項目管理能力和豐富的產(chǎn)品研發(fā)經(jīng)驗，與中國移動、中國電信、中國聯(lián)通、華為、中興、愛立信、國家電網(wǎng)等行業(yè)龍頭企業(yè)建立了深厚的合作伙伴關(guān)系。業(yè)務(wù)覆蓋全國除港澳臺外所有省級行政區(qū)，以及海外多個國家和地區(qū)。華蘇科技始終堅持研發(fā)高投入，以通信基礎(chǔ)能力為底座，加速擁抱5G、人工智能、云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等新興技術(shù)，形成“浩”和“Howso@”系列數(shù)字化產(chǎn)品。以深厚的技術(shù)底蘊和敏捷的創(chuàng)新能力，持續(xù)驅(qū)動軟件和服務(wù)產(chǎn)品的智能化迭代，深度參與產(chǎn)業(yè)數(shù)字化發(fā)展進程，為通信、電力、政企、汽車、地產(chǎn)、互聯(lián)網(wǎng)等行業(yè)獻力賦能。
公司主頁