當前位置:才華齋>範例>職場>

大資料架構師崗位的主要職責概述(精選10篇)

職場 閱讀(2.67W)

在學習、工作、生活中,大家逐漸認識到崗位職責的重要性,崗位職責具有提高內部競爭活力,更好地發現和使用人才的作用。想學習制定崗位職責卻不知道該請教誰?下面是小編為大家整理的大資料架構師崗位的主要職責概述,希望能夠幫助到大家。

大資料架構師崗位的主要職責概述(精選10篇)

大資料架構師崗位的主要職責概述 篇1

職責:

1、負責大資料平臺及BI系統框架設計、規劃、技術選型,架構設計並完成系統基礎服務的開發;

2、負責海量埋點規則、SDK標準化、埋點資料採集、處理及儲存,業務資料分佈儲存、流式/實時計算等應用層架構搭建及核心程式碼實現;

3、開發大資料平臺的核心程式碼,專案敏捷開發流程管理,完成系統除錯、整合與實施,對每個專案週期技術難題的解決,保證大資料產品的上線執行;

4、負責大資料平臺的架構優化,程式碼評審,並根據業務需求持續優化資料架構,保證產品的可靠性、穩定性;

5、指導開發人員完成資料模型規劃建設,分析模型構建及分析呈現,分享技術經驗;

6、有效制定各種突發性研發技術故障的應對預案,有清晰的隱患意識;

7、深入研究大資料相關技術和產品,跟進業界先進技術;

任職要求

1、統計學、應用數學或計算機相關專業大學本科以上學歷;

2、熟悉網際網路移動端埋點方法(點選和瀏覽等行為埋點),無埋點方案等,有埋點SDK獨立開發經驗者優選;

3、熟悉Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等,具備實際專案設計及開發經驗;

4、熟悉資料採集、資料清洗、分析和建模工作相關技術細節及流程

5、熟悉Liunx/Unix作業系統,能熟練使用shell/perl等指令碼語言,熟練掌握java/python/go/C++中一種或多種程式語言

6、具備一定的演算法能力,瞭解機器學習/深度學習演算法工具使用,有主流大資料計算元件開發和使用經驗者優先

7、熟悉大資料視覺化工具Tableau/echarts

8、具有較強的執行力,高度的責任感、很強的學習、溝通能力,能夠在高壓下高效工作;

大資料架構師崗位的主要職責概述 篇2

職責:

根據大資料業務需求,設計大資料方案及架構,實現相關功能;

搭建和維護大資料叢集,保證叢集規模持續、穩定、高效平穩執行;

負責大資料業務的設計和指導具體開發工作;

負責公司產品研發過程中的資料及儲存設計;

針對資料分析工作,能夠完成和指導負責業務資料建模。

職位要求:

計算機、自動化或相關專業(如統計學、數學)本科以上學歷,3年以上大資料處理相關工作經驗;

精通大資料主流框架(如Hadoop、hive、Spark等);

熟悉MySQL、NoSQL(MongoDB、Redis)等主流資料庫,以及rabbit MQ等佇列技術;

熟悉hadoop/spark生態的原理、特性且有實戰開發經驗;

熟悉常用的資料探勘演算法優先。

大資料架構師崗位的主要職責概述 篇3

職責:

1、大資料平臺架構規劃與設計;

2、負責大資料平臺技術框架的選型與技術難點攻關;

3、能夠獨立進行行業大資料應用的整體技術框架、業務框架和系統架構設計和調優等工作,根據系統的業務需求,能夠指導開發團隊完成實施工作;

4、負責資料基礎架構和資料處理體系的升級和優化,不斷提升系統的穩定性和效率,為相關的業務提供大資料底層平臺的支援和保證;

5、培養和建立大資料團隊,對團隊進行技術指導。

任職要求:

1、計算機相關專業的背景專業一類院校畢業本科、碩士學位,8年(碩士5年)以上工作經驗(至少擁有3年以上大資料專案或產品架構經驗);

2、精通Java,J2EE相關技術,精通常見開源框架的架構,精通關係資料庫系統(Oracle MySQL等)和noSQL資料儲存系統的原理和架構;

3、精通SQL和Mapreduce、Spark處理方法;

4、精通大資料系統架構,熟悉業界資料倉庫建模方法及新的建模方法的發展,有DW,BI架構體系的專項建設經驗;

5、對大資料體系有深入認識,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大資料技術,並能設計相關資料模型;

6、很強的學習、分析和解決問題能力,可以迅速掌握業務邏輯並轉化為技術方案,能獨立撰寫專案解決方案、專案技術文件;

7、具有較強的內外溝通能力,良好的團隊意識和協作精神;

8、機器學習技術、資料探勘、人工智慧經驗豐富者優先考慮;

9、具有能源電力行業工作經驗者優先。

大資料架構師崗位的主要職責概述 篇4

職責:

1.參與公司資料平臺系統規劃和架構工作,主導系統的架構設計和專案實施,確保專案質量和關鍵效能指標達成;

2.統籌和推進製造工廠內部資料系統的構建,搭建不同來源資料之間的邏輯關係,能夠為公司運營診斷、運營效率提升提供資料支援;

3.負責資料系統需求對接、各資訊化系統資料對接、軟體供應商管理工作

5.根據現狀制定總體的資料治理方案及資料體系建立,包括資料採集、接入、分類、開發標準和規範,制定全鏈路資料治理方案;深入挖掘公司資料業務,超強的資料業務感知力,挖掘資料價值,推動資料變現場景的落地,為決策及業務賦能;

6.定義不同的資料應用場景,推動公司的資料視覺化工作,提升公司資料分析效率和資料價值轉化。

任職要求:

1.本科以上學歷,8年以上軟體行業從業經驗,5年以上大資料架構設計經驗,熟悉BI平臺、大資料系統相關技術架構及技術標準;

2.熟悉資料倉庫、熟悉資料集市,瞭解資料探勘、資料抽取、資料清洗、資料建模相關技術;

3.熟悉大資料相關技術:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

4.熟悉製造企業資訊化系統及相關資料庫技術;

5.具備大資料平臺、計算儲存平臺、視覺化開發平臺經驗,具有製造企業大資料系統專案開發或實施經驗優先;

6.對資料敏感,具備優秀的業務需求分析和報告展示能力,具備製造企業資料分析和資料洞察、大資料系統的架構設計能力,瞭解主流的報表工具或新興的前端報表工具;

7.有較強的溝通和組織協調能力,具備結果導向思維,有相關專案管理經驗優先。

大資料架構師崗位的主要職責概述 篇5

職責:

1.負責產品級業務系統架構(如業務資料物件識別,資料實體、資料屬性分析,資料標準、端到端資料流等)的設計與優化。協助推動跨領域重大資料問題的分析、定位、解決方案設計,從架構設計上保障系統高效能、高可用性、高安全性、高時效性、分散式擴充套件性,並對系統質量負責。

2.負責雲資料平臺的架構設計和資料處理體系的優化,推動雲資料平臺建設和持續升級,並制定雲資料平臺呼叫約束和規範。

3.結合行業應用的需求負責資料流各環節上的方案選型,主導雲資料平臺建設,參與核心程式碼編寫、審查;資料的統計邏輯迴歸演算法、實時互動分析;資料視覺化方案等等的選型、部署、整合融合等等。

4.對雲資料平臺的關注業內技術動態,持續推動平臺技術架構升級,以滿足公司不同階段的資料需求。

任職要求:

1.熟悉雲端計算基礎平臺,包括Linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基礎環境,熟悉控制、計算、儲存和網路;

2.掌握大型分散式系統的技術棧,如:CDN、負載均衡、服務化/非同步化、分散式快取、NoSQL、資料庫垂直及水平擴容;熟悉大資料應用端到端的相關高效能產品。

3.精通Java,Python,Shell程式語言,精通SQL、NoSQL等資料庫增刪改查的操作優化;

級別實戰資料平臺和生產環境的實施、開發和管理經驗;

5.熟悉Docker等容器的編排封裝,熟悉微服務的開發和日常排程;

6.計算機、軟體、電子資訊及通訊等相關專業本科以上學歷,5年以上軟體工程開發經驗,2年以上大資料架構師工作經驗。

大資料架構師崗位的.主要職責概述 篇6

職責描述:

1、負責集團大資料資產庫的技術架構、核心設計方案,並推動落地;

2、帶領大資料技術團隊實現各項資料接入、資料探勘分析及資料視覺化;

3、新技術預研,解決團隊技術難題。

任職要求:

1、在技術領域有5年以上相關經驗,3年以上的架構設計或產品經理經驗;

2、具有2年以上大資料產品和資料分析相關專案經驗;

3、精通大資料分散式系統(hadoop、spark、hive等)的架構原理、技術設計;精通linux系統;精通一門主流程式語言,java優先。

大資料架構師崗位的主要職責概述 篇7

崗位職責:

1、基於公司大資料基礎和資料資產積累,負責大資料應用整體技術架構的設計、優化,建設大資料能力開放平臺;負責大資料應用產品的架構設計、技術把控工作。

2、負責制定大資料應用系統的資料安全管控體系和資料使用規範。

3、作為大資料技術方案到產品實現的技術負責人,負責關鍵技術點攻堅工作,負責內部技術推廣、培訓及知識轉移工作。

4、負責大資料系統研發專案任務規劃、整體進度、風險把控,有效協同團隊成員並組織跨團隊技術協作,保證專案質量與進度。

5、負責提升產品技術團隊的技術影響力,針對新人、普通開發人員進行有效輔導,幫助其快速成長。

任職資格:

1、計算機、數學或相關專業本科以上學歷,5—20xx年工作經驗,具有大型系統的技術架構應用架構資料架構相關的實踐工作經驗。

2、有分散式系統分析及架構設計經驗,熟悉基於計算叢集的軟體系統架構和實施經驗。

3、掌握Hadoop/Spark/Storm生態圈的主流技術及產品,深入瞭解Hadoop/Spark/Storm生態圈產品的工作原理及應用場景。

4、掌握Mysql/Oracle等常用關係型資料庫,能夠對SQL進行優化。

5、熟悉分散式系統基礎設施中常用的技術,如快取(Varnish、Memcache、Redis)、訊息中介軟體(Rabbit MQ、Active MQ、Kafka、NSQ)等;有實踐經驗者優先。

6、熟悉Linux,Java基礎紮實,至少3—5年以上Java應用開發經驗,熟悉常用的設計模式和開源框架。

大資料架構師崗位的主要職責概述 篇8

崗位職責:

1、負責公司大資料平臺架構的技術選型和技術難點攻關工作;

2、依據行業資料現狀和客戶需求,完成行業大資料的特定技術方案設計與撰寫;

3、負責研究跟進大資料架構領域新興技術並在公司內部進行分享;

4、參與公司大資料專案的技術交流、解決方案定製以及專案的招投標工作;

5、參與公司大資料專案前期的架構設計工作;

任職要求:

1、計算機及相關專業本科以上,5年以上資料類專案(資料倉庫、商務智慧)實施經驗,至少2年以上大資料架構設計和開發經驗,至少主導過一個大資料平臺專案架構設計;

2、精通大資料生態圈的技術,包括但不限於MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備資料統計查詢效能優化能力。熟悉星環大資料產品線及有過產品專案實施經驗者優先;

3、優秀的方案撰寫能力,思路清晰,邏輯思維強,能夠根據業務需求設計合理的解決方案;

4、精通ORACLE、DB2、mySql等主流關係型資料庫,熟悉資料倉庫建設思路和資料分層架構思想;

5。熟練掌握java、R、python等1—2門資料探勘開發語言;

6。熟悉雲服務平臺及微服務相關架構思想和技術路線,熟悉阿里雲或騰訊雲產品者優先;

7、有菸草或製造行業大資料解決方案售前經驗者優先;

8、能適應售前支援和專案實施需要的短期出差;

大資料架構師崗位的主要職責概述 篇9

崗位職責:

1、負責相關開源系統/元件的效能、穩定性、可靠性等方面的深度優化;

2、負責解決專案上線後生產環境的各種實際問題,保障大資料平臺在生產上的安全、平穩執行;

3、推動優化跨部門的業務流程,參與業務部門的技術方案設計、評審、指導;

4、負責技術團隊人員培訓、人員成長指導。

5、應專案要求本月辦公地址在錦江區金石路316號新希望中鼎國際辦公,月底專案結束後在總部公司辦公

任職要求:

1、熟悉linux、JVM底層原理,能作為技術擔當,解決核心技術問題;

2、3年以上大資料平臺專案架構或開發經驗,對大資料生態技術體系有全面瞭解,如Yarn、Spark、HBase、Hive、Elasticsearch、Kafka、PrestoDB、Phoenix等;

3、掌握git、maven、gradle、junit等工具和實踐,注重文件管理、注重工程規範優先;

4、熟悉Java後臺開發體系,具備微服務架構的專案實施經驗,有Dubbo/Spring cloud微服務架構設計經驗優先;

5、性格開朗、善於溝通,有極強的技術敏感性和自我驅動學習能力,注重團隊意識。

大資料架構師崗位的主要職責概述 篇10

職責描述:

1、負責大資料平臺框架的規劃設計、搭建、優化和運維;

2、負責架構持續優化及系統關鍵模組的設計開發,協助團隊解決開發過程中的技術難題;

3、負責大資料相關新技術的調研,關注大資料技術發展趨勢、研究開源技術、將新技術應用到大資料平臺,推動資料平臺發展;

4、負責資料平臺開發規範制定,資料建模及核心框架開發。

任職要求:

1、計算機、數學等專業本科及以上學歷;

2、具有5年及以上大資料相關工作經驗;

3、具有紮實的大資料和資料倉庫的理論功底,負責過大資料平臺或資料倉庫設計;

4、基於hadoop的大資料體系有深入認識,具備相關產品(hadoop、hive、hbase、spark、storm、 flume、kafka、es等)專案應用研發經驗,有hadoop叢集搭建和管理經驗;

5、熟悉傳統資料倉庫資料建模,etl架構和開發流程,使用過kettle、talend、informatic等至少一種工具;

6、自驅力強、優秀的團隊意識和溝通能力,對新技術有好奇心,學習能力和主動性強,有鑽研精神,充滿激情,樂於接受挑戰;