當前位置:才華齋>範例>職場>

大資料開發工程師的職責

職場 閱讀(1.85W)
大資料開發工程師的職責1

職責:

大資料開發工程師的職責

1、負責資料採集、資料儲存、資料查詢、資料計算等基礎平臺的設計和開發工作;

2、利用Hadoop、Spark、Flink等技術進行離線和實時資料開發 ;

3、負責大資料平臺的規劃升級、平臺維護和優化 ;

4、和其他部門或團隊溝通、資源協調並落實工作。

任職要求

1、本科及以上學歷;

2、3年以上大型大資料平臺建設實施經驗 ;

3、掌握常用大資料元件hadoop、Hive、spark、Flink、hbase、elasticsearch等原理、使用和調優 ;

4、具備較強技術功底,精通Java、Scala、Python等至少一種開發語言,能根據需求給出技術架構 ;

5、有資料倉庫、元資料管理和治理的開發經驗優先 ;

6、善於溝通,思維活躍、責任感強、工作積極主動,有良好的團隊協作意識。

大資料開發工程師的職責2

職責:

1.結合專案或產品涉及的具體業務場景,對資料進行清洗、計算與加工;

2.思路清晰,可快速響應資料處理的需求,評估並給出合理的解決方案,並採用合理的方式處理需求;

3.積極主動,能夠與團隊成員進行有效溝通,並完成資料處理結果的核對與對接;

4.完成上級交辦的工作或任務。

崗位要求

1.計算機相關專業大專以上學歷;

2.2年以上大資料產品或專案開發經驗,精通Hadoop生態圈,熟練使用Spark,HBase、Hive、Kafka、Redis等;

3.精通SQL,熟練使用HSQL實現複雜資料處理邏輯,並具備資料處理調優的能力;

4.熟悉Linux開發環境,熟悉Linux的shell命令。

5.具有良好的邏輯思維能力和嚴謹的程式開發思想,具備獨立問題排查與處理的能力;

6.良好的團隊精神和合作意識,強烈的責任心,對工作有激情,良好的溝通能力,能吃苦耐勞;

7.有大資料專案或產品背景者優先;

8.有使用Spark SQL進行資料處理,並具有Spark SQL優化經驗者優先。

9.有Python或者Shell指令碼開發經驗優先

大資料開發工程師的職責3

職責:

1、負責完成業務和產品的對接,支援業務需求研發;

2、負責完成產品的迭代升級以及底層架構的升級研發;

3、完成團隊安排的其他相關日常工作任職要求;

4、負責產品的實時業務和離線業務的研發;

5、支援開源大資料技術在資料系統中的使用,修復、優化增強大資料技術;

崗位要求:

1、具有分散式系統架構開發能力,熟練使用storm、spark hbase者優先。

2、能夠使用實時計算平臺,進行實時業務資料的研發。

3、能夠基於已有平臺進行離線業務的`開發。

4、有大資料應用產品研發經驗,具有資料決策產品研發經驗者優先。

大資料開發工程師的職責4

職責:

1、負責資料中心和大資料處理平臺的搭建

2、線上和離線海量資料分析平臺的開發;

3、研究大資料前沿技術,提升系統的運維效率;

4、參與大資料的採集、儲存、處理,分析等開發

5、參與資料探勘演算法的設計、對海量資料進行挖掘分析和發掘資料價值及演算法學習及實現

【任職要求】:

1、計算機或相關專業本科學歷及以上,2年工作經驗以上

2、熟悉Java/Scala等至少一門語言,能對分散式常用技術進行合理應用,解決實際架構問題

3、熟練使用hadoop,hive,HBase,YARN,kafka,spark,Storm,Flume等大資料開發元件

4、熟悉整個大資料的完整處理流程,包括資料的採集、清洗、儲存、分析和視覺化及報表開發;

5、熟悉分散式系統概念、架構,有大規模分散式系統設計、實現、部署等經驗;

6. 具有優秀的學習能力、獨立分析和解決問題能力,良好的團隊合作精神。

7. 有BI開發經驗的優化考慮。

大資料開發工程師的職責5

職責:

1、負責該領域的業務需求討論,完成技術方案及資料開發;

2、負責資料倉庫的體系建設及落地實現;

3、負責大資料平臺各類環境的部署及運維、並參與架構優化、效能優化等工作;

4、負責該領域所屬模組的程式碼開發、除錯與維護工作,並進行技術沉澱和文件輸出。

招聘要求:

1、計算機、電子通訊、自動化等專業,本科及以上學歷;

2、五年以上研發經驗,其中二年以上大資料開發的相關工作經驗;

3、熟練JAVA開發語言;熟悉微服務及Spring框架;

4、熟練熟練Hive、Impala、ES效能調優,關注細節,學習能力強;

5、能配合團隊完成該領域的工作,自我管理能力強,能承受工作中的各種壓力,具備很好的團隊意識

6、熟練主流大資料平臺產品部署及運維,如CDH、HDP平臺。

7、對機器學習和深度學習等方面有一定的瞭解;

8、有汽車製造業及相關行業的大資料開發經驗優先。