大數(shù)據(jù)運維開發(fā)工程師
2-2.5萬元/月崗位職責(zé)(本崗位需使用java開發(fā),不符合者請勿投遞):
1、平臺運維與保障:負責(zé)公司大數(shù)據(jù)基礎(chǔ)平臺(如Hadoop、Spark、Flink、Kafka、ClickHouse等)的安裝部署、運行監(jiān)控、日常維護、性能調(diào)優(yōu)及高可用性建設(shè),確保系統(tǒng)持續(xù)穩(wěn)定、高效運轉(zhuǎn)。
2、故障處理與容災(zāi):及時響應(yīng)并解決大數(shù)據(jù)平臺的線上異常與告警,精準(zhǔn)定位問題根源,推動實施長效改進措施;參與平臺容災(zāi)機制與數(shù)據(jù)備份方案的設(shè)計與優(yōu)化。
3、自動化與效率提升:搭建并維護自動化運維工具和腳本,實現(xiàn)平臺的自動部署、彈性擴縮容、監(jiān)控預(yù)警等功能,持續(xù)提升運維工作的標(biāo)準(zhǔn)化與效率。
4、開發(fā)支持與優(yōu)化:承擔(dān)公司自主研發(fā)系統(tǒng)(如OA、考勤系統(tǒng)等)的功能開發(fā)與版本迭代任務(wù),為數(shù)據(jù)研發(fā)、算法團隊提供技術(shù)支撐,協(xié)同解決任務(wù)調(diào)度、數(shù)據(jù)傾斜、計算資源消耗等性能瓶頸問題。
5、安全與權(quán)限:落實大數(shù)據(jù)平臺的安全策略,配置和管理用戶訪問權(quán)限與資源使用配額,保障平臺數(shù)據(jù)的合規(guī)性與安全性。
任職要求:
1、本科及以上學(xué)歷,計算機相關(guān)專業(yè);
2、具備5年以上大數(shù)據(jù)平臺運維開發(fā)工作經(jīng)驗。
3、熟練掌握Linux操作系統(tǒng),具有扎實的網(wǎng)絡(luò)、存儲基礎(chǔ)知識;精通至少一種腳本語言(python必備),并能應(yīng)用于實際運維場景。
4、深入掌握Hadoop生態(tài)核心組件(HDFS、YARN)的運行機制,具備實際運維操作經(jīng)驗;
5、熟悉至少一種主流計算框架(如Spark、Flink)和一種消息中間件(如Kafka)的運維與性能優(yōu)化方法。
6、具備較強的監(jiān)控體系建設(shè)意識,熟練使用和配置Prometheus、Zabbix、Grafana等監(jiān)控報警工具;