當前位置:才華齋>範例>職場>

大資料架構師崗位的主要職責概述

職場 閱讀(2.86W)
大資料架構師崗位的主要職責概述1

職責:

大資料架構師崗位的主要職責概述

1、負責大資料平臺及BI系統框架設計、規劃、技術選型,架構設計並完成系統基礎服務的開發;

2、負責海量埋點規則、SDK標準化、埋點資料採集、處理及儲存,業務資料分佈儲存、流式/實時計算等應用層架構搭建及核心程式碼實現;

3、開發大資料平臺的核心程式碼,專案敏捷開發流程管理,完成系統除錯、整合與實施,對每個專案週期技術難題的解決,保證大資料產品的上線執行;

4、負責大資料平臺的架構優化,程式碼評審,並根據業務需求持續優化資料架構,保證產品的可靠性、穩定性;

5、指導開發人員完成資料模型規劃建設,分析模型構建及分析呈現,分享技術經驗;

6、有效制定各種突發性研發技術故障的應對預案,有清晰的隱患意識;

7、深入研究大資料相關技術和產品,跟進業界先進技術;

【任職要求】

1、統計學、應用數學或計算機相關專業大學本科以上學歷;

2、熟悉網際網路移動端埋點方法(點選和瀏覽等行為埋點),無埋點方案等,有埋點SDK獨立開發經驗者優選;

3、熟悉Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等,具備實際專案設計及開發經驗;

4、熟悉資料採集、資料清洗、分析和建模工作相關技術細節及流程

5、熟悉Liunx/Unix作業系統,能熟練使用shell/perl等指令碼語言,熟練掌握java/python/go/C++中一種或多種程式語言

6、具備一定的演算法能力,瞭解機器學習/深度學習演算法工具使用,有主流大資料計算元件開發和使用經驗者優先

7、熟悉大資料視覺化工具Tableau/echarts

8、具有較強的執行力,高度的責任感、很強的學習、溝通能力,能夠在高壓下高效工作;

大資料架構師崗位的主要職責概述2

職責:

根據大資料業務需求,設計大資料方案及架構,實現相關功能;

搭建和維護大資料叢集,保證叢集規模持續、穩定、高效平穩執行;

負責大資料業務的設計和指導具體開發工作;

負責公司產品研發過程中的資料及儲存設計;

針對資料分析工作,能夠完成和指導負責業務資料建模。

職位要求:

計算機、自動化或相關專業(如統計學、數學)本科以上學歷,3年以上大資料處理相關工作經驗;

精通大資料主流框架(如Hadoop、hive、Spark等);

熟悉MySQL、NoSQL(MongoDB、Redis)等主流資料庫,以及rabbit MQ等佇列技術;

熟悉hadoop/spark生態的原理、特性且有實戰開發經驗;

熟悉常用的資料探勘演算法優先.

大資料架構師崗位的主要職責概述3

職責:

1、大資料平臺架構規劃與設計;

2、負責大資料平臺技術框架的選型與技術難點攻關;

3、能夠獨立進行行業大資料應用的整體技術框架、業務框架和系統架構設計和調優等工作,根據系統的業務需求,能夠指導開發團隊完成實施工作;

4、負責資料基礎架構和資料處理體系的升級和優化,不斷提升系統的穩定性和效率,為相關的業務提供大資料底層平臺的支援和保證;

5、培養和建立大資料團隊,對團隊進行技術指導。

任職要求:

1、計算機相關專業的背景專業一類院校畢業本科、碩士學位,8年(碩士5年)以上工作經驗(至少擁有3年以上大資料專案或產品架構經驗);

2、精通Java,J2EE相關技術,精通常見開源框架的架構,精通關係資料庫系統(Oracle MySQL等)和noSQL資料儲存系統的原理和架構;

3、精通SQL和Mapreduce、Spark處理方法;

4、精通大資料系統架構,熟悉業界資料倉庫建模方法及新的建模方法的發展,有DW,BI架構體系的專項建設經驗;

5、對大資料體系有深入認識,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大資料技術,並能設計相關資料模型;

6、很強的學習、分析和解決問題能力,可以迅速掌握業務邏輯並轉化為技術方案,能獨立撰寫專案解決方案、專案技術文件;

7、具有較強的內外溝通能力,良好的團隊意識和協作精神;

8、機器學習技術、資料探勘、人工智慧經驗豐富者優先考慮;

9、具有能源電力行業工作經驗者優先。

大資料架構師崗位的主要職責概述4

職責:

1.參與公司資料平臺系統規劃和架構工作,主導系統的架構設計和專案實施,確保專案質量和關鍵效能指標達成;

2.統籌和推進製造工廠內部資料系統的構建,搭建不同來源資料之間的邏輯關係,能夠為公司運營診斷、運營效率提升提供資料支援;

3.負責資料系統需求對接、各資訊化系統資料對接、軟體供應商管理工作

5.根據現狀制定總體的資料治理方案及資料體系建立,包括資料採集、接入、分類、開發標準和規範,制定全鏈路資料治理方案;深入挖掘公司資料業務,超強的資料業務感知力,挖掘資料價值,推動資料變現場景的落地,為決策及業務賦能;

6.定義不同的資料應用場景,推動公司的資料視覺化工作,提升公司資料分析效率和資料價值轉化。

任職要求:

1.本科以上學歷,8年以上軟體行業從業經驗,5年以上大資料架構設計經驗,熟悉BI平臺、大資料系統相關技術架構及技術標準;

2.熟悉資料倉庫、熟悉資料集市,瞭解資料探勘、資料抽取、資料清洗、資料建模相關技術;

3.熟悉大資料相關技術:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

4.熟悉製造企業資訊化系統及相關資料庫技術;

5.具備大資料平臺、計算儲存平臺、視覺化開發平臺經驗,具有製造企業大資料系統專案開發或實施經驗優先;

6.對資料敏感,具備優秀的業務需求分析和報告展示能力,具備製造企業資料分析和資料洞察、大資料系統的架構設計能力,瞭解主流的報表工具或新興的前端報表工具;

7.有較強的.溝通和組織協調能力,具備結果導向思維,有相關專案管理經驗優先。

大資料架構師崗位的主要職責概述5

職責:

1.負責產品級業務系統架構(如業務資料物件識別,資料實體、資料屬性分析,資料標準、端到端資料流等)的設計與優化。協助推動跨領域重大資料問題的分析、定位、解決方案設計,從架構設計上保障系統高效能、高可用性、高安全性、高時效性、分散式擴充套件性,並對系統質量負責。

2.負責雲資料平臺的架構設計和資料處理體系的優化,推動雲資料平臺建設和持續升級,並制定雲資料平臺呼叫約束和規範。

3.結合行業應用的需求負責資料流各環節上的方案選型,主導雲資料平臺建設,參與核心程式碼編寫、審查;資料的統計邏輯迴歸演算法、實時互動分析;資料視覺化方案等等的選型、部署、整合融合等等。

4.對雲資料平臺的關注業內技術動態,持續推動平臺技術架構升級,以滿足公司不同階段的資料需求。

任職要求:

1.熟悉雲端計算基礎平臺,包括Linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基礎環境,熟悉控制、計算、儲存和網路;

2.掌握大型分散式系統的技術棧,如:CDN、負載均衡、服務化/非同步化、分散式快取、NoSQL、資料庫垂直及水平擴容;熟悉大資料應用端到端的相關高效能產品。

3.精通Java,Python,Shell程式語言,精通SQL、NoSQL等資料庫增刪改查的操作優化;

級別實戰資料平臺和生產環境的實施、開發和管理經驗;

5.熟悉Docker等容器的編排封裝,熟悉微服務的開發和日常排程;

6.計算機、軟體、電子資訊及通訊等相關專業本科以上學歷,5年以上軟體工程開發經驗,2年以上大資料架構師工作經驗。