大資料架構師工作的職責1
職責
1、負責大資料架構設計,包括定義資料的儲存、整合(ETL)、應用,支撐業務運營和資料分析類需求實現;
2、制定資料治理領域的資料體系化管理措施,包括元資料設計、資料標準、資料質量、資料處理、資料安全等工作,確保資料可信與安全;
3、基於行業資料積累,滿足業務的資料探勘需求,實現從資料到資產的轉變,根據目標行業建立具有前瞻性的資料模型;
4、對各產品的資料安全負責,主導制定和實施資料庫系統安全策略,保證整體方案資料安全;
崗位要求
業務技能要求:
1、深入理解雲化、資料倉庫,在參與過的系統設計中,必須涉及這兩項關鍵技術;
n2、精通或者熟悉Hadoop體系架構,以及HDFS/HBase/Hive/MapReduce/Spark等技術,瞭解體系架構各元件的優缺點,有直接的產品設計與開發、部署、調優的經驗;
3、精通或熟悉常見RDBMS(Oracle / PostgreSQL / MySql)、NoSQL(Redis / Memcached/ MongoDB)、全文搜尋引擎(Solr/ElasticSearch)的使用及開發,瞭解各資料庫優缺點,熟悉與架構設計相關的資料儲存、效能調優等相關領域知識,有相關專案經驗尤佳;
4、熟悉業界常用的資料採集、整合、資料儲存、計算、資料模型、資料分析的技術方案,具有資料分析或資料探勘相關經驗者優先;
n5、熟悉資料治理相關流程,包括資料接入、資料處理、資料治理、資料組織、資料服務等。
專業知識要求:
1、具備資料治理的知識與體系方案,包含政策、組織、角色、流程、規範等,以及規劃相應的支撐方案。瞭解業界的資料管理方法論;
2、具備資料用例設計和開發能力。能夠基於業務相關資料進行業務需求分析和痛點識別,將業務需求轉化為資料的需求,完成資料用例的設計和開發;
3、精通海量資料(日增量百億)級別資料倉庫、資料集市的構建流程。熟悉公安、政務、工業、交通、醫療等多行業業務者優先。
大資料架構師工作的職責2
職責:
1、負責設計企業級大資料平臺的整體架構,從技術層面制定清晰的大資料產品與系統技術架構,並負責實現關鍵技術和產品。
2、負責設計具有創新價值的大資料底層平臺、大資料上層應用系統等,帶領團隊完成有質變的技術解決方案。
3、負責組織同事研究行內最前沿的技術發展方向,突破現有的技術難題。
4、負責研究院對外專案合作協調與支援,編寫專案建設方案及後期專案建設支援。
任職要求:
1、碩士及以上學歷,計算機相關專業。
2、 JAVA基礎紮實,不少於8年的一線開發經驗,精通Spring boot/MyBatis/Restful API的開發與管理、熟悉ReactJS/Angular/Vue之一前端開發技術,熟悉Maven或Ant、,熟悉Python語言開發加分。
3、不少於4年大資料的直接研發經驗,精通Hadoop/Spark系統,有hands—on的架構設計、效能調優、開發經驗。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive等系統的開發經驗。
4、掌握分散式系統原理,對分散式儲存、流式計算、訊息佇列中的一項或多項有深入的理解和認識。
5、熟悉分散式系統的監控、運維、故障恢復,高可用原理和設計理念。
6、演算法基礎紮實,熟悉常見的資料結構,掌握大規模高併發訪問、大資料開發等處理經驗;熟練的Linux系統,網路,記憶體和儲存等方面知識。
7、必須要有千萬級別的專案管理經驗,包括但不限於前期需求溝通,建設方案編寫,中期專案實施,進度彙報,後期專案維護。
大資料架構師工作的職責3
職責
1、負責公司大資料平臺的整體架構設計,包含資料收集、資料儲存、資料探勘、資料輸出;
2、負責規劃從資料來源到資料應用的整體流程,並參與使用者產品和資料產品的決策;
3、負責海量資料分析、使用者行為分析,構建使用者資料模型;
4、負責解決核心技術問題,對技術方案進行決策;
5、技術團隊管理。
6、熟悉手機IOS、安卓系統APP開發
任職資格
1、計算機相關專業畢業,本科以上學歷;
2、5年以上相關工作經驗,具備軟體產品架構設計經驗,熟練掌握高效能、高擴充套件性架構設計方法;
3、熟練掌握java或c++任意一門語言、熟悉linux作業系統;
4、熟悉Hadoop/MR/Hbase/Mahout/Spark等大資料技術,並能夠基於上述專案開發大資料相關應用;
5、熟悉基本資料探勘方法和技術;
6、強烈的敬業精神,良好的溝通與協調能力,能有效組織協調團隊完成各類開發工作;
7、熱愛技術,相信資料的價值,對大資料有深刻的理解。
大資料架構師工作的職責4
職責:
1、負責大資料基礎平臺、海量資料儲存/處理分散式平臺、資料分析系統架構設計和研發;
2、負責實時計算平臺基礎架構設計、部署、監控、優化升級;
3、制定專案/資料倉庫設計及實現規範,指導設計研發和部署;
4、協助策略和演算法團隊工作,保障資料探勘建模和工程化;
5、深入研究大資料相關技術和產品,跟進業界先進技術。
任職要求:
1、全日制本科及以上學歷,5年以上軟體和分散式系統研發經驗,3年以上大資料系統架構經驗;
2、精通Hadoop/HBase/Spark/Storm/Redis技術及其生態圈;
3、具備Java/C++/Scala等開發經驗,熟悉資料探勘和分析的策略與演算法;
4、具備良好的系統分析能力、故障診斷能力;
5、有大資料策略、演算法、視覺化經驗優先;
6、211/985重點學校畢業優先。
大資料架構師工作的職責5
職責:
1、負責大資料平臺的技術選型,基於Spark、Hadoop大資料平臺建設和開發;
2、完成包括資料模型設計、資料採集、資料儲存等方面的大資料系統架構的設計和資料層架構設計;
3、構建資料中臺,為多種行業應用提供主資料(畫像標籤/關係圖譜)、資料模型、人工智慧業務演算法及資料服務。
4、對海量資料處理的業務需求進行評估和方案設計、拆分任務並指導工程師完成開發;
5、帶領大資料技術團隊提供並實現大資料平臺上各項資料分析和資料視覺化的架構設計,支撐解決方案實施。
任職要求:
1、本科及以上學歷,具有5年及以上大資料架構設計和開發經驗;2年及以上帶領團隊經驗;溝通能力強。在大型網際網路企業從事大資料架構設計者優先考慮;有分散式大型商業軟體系統設計經驗、主導過大型商業軟體的架構設計並取得過市場商業成功者優先考慮;
2、熟悉整個大資料的完整處理流程,包括資料的採集、清洗、預處理、儲存、分析挖據、機器學習和資料視覺化;
3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一種主流資料庫的使用,並能進行效能調優;
4、具備優秀的團隊意識和溝通能力,學習能力和主動性強,具有鑽研精神,充滿激情,樂於接受挑戰。
大資料架構師工作的職責6
職責:
1、負責企業資料中心建設,設計資料邏輯模型和物理模型,並完成相關開發
2、梳理公司各業務線常用的指標和維度,統一指標定義口徑
3、根據資料應用開發和資料分析需求,設計資料倉庫資訊層模型,提高資料開發的效率
4、負責資料模型的運營和優化,及時響應業務邏輯變更,保證模型的資料質量和穩定性
5、負責公司資料標籤體系的建設,並推動標籤體系在實際業務場景中落地
崗位要求:
1、5年以上DW/BI資料架構設計、模型設計和效能調優等相關經驗
2、有較強的資料分析能力,精通資料倉庫架構,熟悉Erwin或PowerDesigner建模工具
3、精通一種主流關係資料庫(如mysql等),熟悉Hive開發
4、有電商業務經驗,元資料管理,資料質量管理或標籤體系搭建經驗者優先
5、優秀的協調溝通與團隊協作能力,極強的責任心,能承受一定的工作壓力,認同企業文化和團隊價值
大資料架構師工作的職責7
職責:
1、負責公司大資料產品的架構設計,包含資料收集、資料儲存、資料應用,並完成相關架構設計文件的撰寫;
2、參與規劃從資料來源到資料應用的整體流程,並參與相關產品的決策;
3、負責解決核心技術問題,對技術方案進行決策;
4、負責大資料研發團隊建設、人才梯隊培養和技術團隊管理;
5、積極瞭解業界發展,研究與跟蹤大資料新技術發展方向。
任職要求:
1、精通GoldenGate For BigData相關理論,具備大型資料利用的生產實戰經驗;
2、精通資料驅動的理論,設計並生產上線相關資料驅動的.產品;
3、精通常用訊息中介軟體的使用,例如kafka/RocketMQ/Apache Pulsar,有解讀相關原始碼者優先;
4、掌握hadoop、spark生態體系相關產品的使用,掌握MapReduce程式設計或Spark程式設計;
5、瞭解傳統資料倉庫理論及相關ETL工具,例如kettle/datastage;
6、熟悉Oracle、Mongodb、Mysql資料庫的使用;
7、紮實的Java語言基礎,熟悉Java開發工具和除錯工具的使用;
8、良好的團隊協作精神,有能力對團隊在軟體設計、實現和測試方面進行指導;
9、良好的邏輯分析能力和溝通能力,執行力強、對待工作認真嚴謹、責任心強、具備出色的學習能力和團隊合作精神,有一定的推動能力;
10、電腦科學、資訊科技或相關領域本科以上學歷,具有5年以上資料平臺專案開發經驗,3年以上的架構設計經驗,具有大資料平臺應用大型專案架構設計經驗優先;
大資料架構師工作的職責8
職責:
1、負責公司新業務方向平臺大資料基礎架構的搭建及後期資料處理體系的升級和優化,不斷提升系統的穩定性和效率。為公司未來方向性產品提供大資料底層平臺的支援和保證。
2、負責制定大資料平臺呼叫約束和規範;
3、負責大資料方向技術難題的解決,以及程式碼質量的把控;
4、作為大資料開發團隊的leader,負責大資料系統平臺開發團隊建設與人才梯隊培養,分享技術經驗,撰寫相關技術文件指導和培訓工程師。
任職要求:
1、熱衷於大資料技術,並能平衡大資料效能、穩定性、擴充套件性多重要素進行設計和優化;
2、熟悉伺服器基本知識,能夠評估系統硬體效能瓶頸;
3、掌握Linux作業系統的配置,管理及優化,能夠獨立排查及解決作業系統層的各類問題,並能提供解決問題的理論依據;
4、精通Java伺服器程式設計,熟悉JVM原理,對資料結構和演算法設計有較為深刻的理解;
5、精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底層架構,熟悉原理、原始碼、叢集部署,包括引數優化、Bug修復,貢獻過程式碼或提交過bug者優先
6、具備資料中心資源管理、監控、排程等系統研發經驗者優先,具備分散式系統研發經驗者優先;
7、具有應用大資料技術處理的專案開發、維護超過兩年的經驗者優先;
8、具有良好的文件編寫能力,可進行方案設計、架構設計。
大資料架構師工作的職責9
職責:
負責公司大資料產品架構的設計與實現;
配合大資料產品經理完成產品的快速研發與交付;
負責大資料產品架構的持續優化設計;
負責大資料產品核心元件設計;
負責大資料相關資料架構規劃、資料建模、資料庫設計以及大資料產品研發工作;
為應用開發團隊提供技術支撐。
及時向上級反饋工作進度、遇到的問題或者對現有工作的建議等;
完成上級領導交辦的其它各項工作。
任職資格:
985/211本科及以上學歷,3年以上的大資料開發經驗、
2年以上大資料架構設計經驗;
豐富的JAVA研發經驗,精通JAVA,熟悉Python Scala等程式語言;具備深厚的分散式系統或資料庫系統的理論基礎,熟悉分散式計算系統的工作機制,具有分散式檔案系統、分散式資料庫系統、叢集儲存系統等架構設計經驗;
熟悉整個大資料的完整處理流程(資料的採集、清洗、預處理、儲存、分析挖掘、機器學習和資料視覺化);
精通各種大資料相關技術體系:Hadoop、Spark、Storm、ElasticSearch、Kafka;
有資料探勘、機器學習相關應用或研究背景;
溝通能力較好,積極主動意識較強,責任心較強。
具備優秀的邏輯思維能力,對解決挑戰性問題充滿熱情,善於解決問題和分析問題;
良好的團隊合作精神,較強的溝通能力和學習能力;
大資料架構師工作的職責10
職責:
1、對業務需求深入分析,從而進行大資料平臺核心應用的架構設計、開發和技術支援;
2、規劃業務應用系統和基礎平臺的技術架構,參與需求分析、建模、架構設計、技術決策以及詳細設計;
3、把握複雜系統的設計,確保系統的架構質量,編寫核心部分程式碼;
4、帶領團隊攻克例如大資料量、高併發、高穩定性等帶來的各種挑戰及技術難關;
5、在大資料平臺建設路線圖指導下,進行架構實施和交付物投遞,同時確保研發質量和方向的準確性;
6、進行團隊技術的培訓和梯隊建設崗位要求;
任職條件:
1、本科或以上學歷,計算機相關專業,8年以上研發經驗,3年以上大資料平臺相關工作經驗;
2、精通Java開發技術,熟悉Shell、Scala語言和PYTHON優先;
3、程式設計基礎紮實,熟悉I/O、多執行緒、叢集等基礎框架和原理,熟悉分散式、快取、訊息等機制;
4、熟悉常用設計模式,程式碼評審規則,單元測試,持續整合;
5、熟悉AWS雲服務或阿里雲服務;
6、熟悉容器技術原理、生態系統,熟悉Docker、Mesos、Kubernetes等容器系統、大規模容器資源排程系統、分散式應用生命週期。
大資料架構師工作的職責11
職責:
1、正確理解業務需求,對需求進行工作量評估;
2、參與專案相關的需求、設計、投產手冊等文件的編寫;
3、根據進度計劃,完成所承擔功能模組的設計、開發、單元測試、聯調測試;
4、配合測試組修復程式碼缺陷,確保功能實現與程式碼質量;
5、負責所承擔功能模組投產、部署,及上線後的日常維護;
6、完成專案經理或者架構師安排的其他工作;
任職資格:
1、本科以上學歷,計算機相關專業,兩年以上大資料開發經驗;
2、熟悉Linux環境,掌握shell或python;
3、熟練使用hadoop,hive,HBase,YARN,kafka,spark等大資料開發元件;
4、精通ETL,資料倉庫的設計和開發;
5、有大資料處理實戰經驗,熟悉整個大資料的完整處理流程,包括資料的採集、清洗、儲存;
6、較強的動手能力和學習能力,良好的溝通能力、團隊協調能力;
7、具有銀行、金融行業從業背景者優先。
大資料架構師工作的職責12
職責:
1、大資料平臺架構規劃與設計;
2、負責大資料平臺技術框架的選型與技術難點攻關;
3、能夠獨立進行行業大資料應用的整體技術框架、業務框架和系統架構設計和調優等工作,根據系統的業務需求,能夠指導開發團隊完成實施工作;
4、負責資料基礎架構和資料處理體系的升級和優化,不斷提升系統的穩定性和效率,為相關的業務提供大資料底層平臺的支援和保證;
5、培養和建立大資料團隊,對團隊進行技術指導。
任職要求:
1、計算機相關專業的背景專業一類院校畢業本科、碩士學位,8年(碩士5年)以上工作經驗(至少擁有3年以上大資料專案或產品架構經驗);
2、精通Java,J2EE相關技術,精通常見開源框架的架構,精通關係資料庫系統(Oracle MySQL等)和noSQL資料儲存系統的原理和架構;
3、精通SQL和Mapreduce、Spark處理方法;
4、精通大資料系統架構,熟悉業界資料倉庫建模方法及新的建模方法的發展,有DW,BI架構體系的專項建設經驗;
5、對大資料體系有深入認識,熟悉Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大資料技術,並能設計相關資料模型;
6、很強的學習、分析和解決問題能力,可以迅速掌握業務邏輯並轉化為技術方案,能獨立撰寫專案解決方案、專案技術文件;
7、具有較強的內外溝通能力,良好的團隊意識和協作精神;
8、機器學習技術、資料探勘、人工智慧經驗豐富者優先考慮;
9、具有能源電力行業工作經驗者優先。
大資料架構師工作的職責13
職責:
1、負責公司大資料底層框架的整體架構設計,結合公司實際業務情況進行技術選型及大資料戰略規劃;
2、負責公司專案的整體評估、設計、架構及關鍵模組的開發;
3、負責架構優化,協助團隊解決開發過程中遇到的技術難題;
4、負責新技術的調研和大資料相關開源元件的研究,並能在團隊進行推廣應用;
5、參與資料分析、資料建模、專案核心模組及核心框架的開發;
6、負責大資料平臺的效能條有和問題診斷。
任職要求:
1、計算機相關專業,本科及以上學歷,3—5年以上工作經驗,2—3年大資料相關經驗;
2、具有紮實的大資料和資料倉庫理論功底,負責過大資料平臺或資料倉庫設計;
3、對基於Hadoop的大資料體系有深入的認識,具備相關產品(Hadoop、Hive、HBase、Spark、Storm、Flume、Kafka、Redis、ES等)專案應用研發經驗,有Hadoop叢集搭建和管理經驗,度過Hadoop和Spark原始碼;
4、熟悉Linux和Python語言,瞭解Scala原理和底層技術;
5、熟悉分散式系統的架構及對其進行設計和優化,對海量資料的清晰、分析處理及儲存有相關的實戰經驗;
6、演算法基礎紮實,熟悉常見的資料結構,深入理解分散式演算法和以上提到的分散式系統,
7、必須有一線coding的能力;
8、有統計學、數學知識,海量資料處理、分析和挖掘,大型網際網路公司從業經歷著優先。
大資料架構師工作的職責14
職責:
(1)負責公司大資料平臺搭建,相關的設計和技術開發工作,負責大資料儲存系統、分散式計算系統、資料整合、挖掘演算法等的設計、研發以及維護、優化工作;
(2)通過資料分析技術,挖掘有利於營銷中各業務場景的變數或規則類標籤,以提升模型效果,為文旅、教育業務提供數學模型理論及程式設計支撐;
(3)對接溝通業務系統研發團隊和產品部門,提供資料驅動方面的專業諮詢方案,並對業務的大資料應用場景提出建設性意見;
(4)配合部門領導進行專案需求分析、設計開發工作。
任職要求:
(1)計算機、統計學,數學等相關專業本科以上學歷,5年以上大資料或文旅、教育資料產品設計開發經驗,高效高質量產出需求和技術文件;
(2)精通Hadoop,熟悉大資料生態技術,如Storm、Spark、Scala、Flume、Kafka、Zookeeper、Hive、Hbase、Kerberos等,有大規模叢集架構、開發及運維經驗;熟悉HDFS/MapReduce等;
(3)熟悉Java,能夠獨立應用python、R、SAS或類似分析工具進行資料分析;
(4)熟悉大資料探勘、視覺化分析,各種BI演算法和產品等,在計算廣告、搜尋引擎、推薦系統、使用者畫像等有一個或多個演算法領域的研發經驗,能夠運用資料作為產品解決業務方運營及決策問題;
(5)有網際網路行業工作經驗者優先,有海量資料的機器學習演算法實踐經驗優先;
(6)工作認真、負責,有良好的團隊合作精神,良好的分析能力、溝通技巧。
大資料架構師工作的職責15
職責:
1、負責大資料專案平臺架構的評估、規劃和設計
2、開發大資料平臺的核心模組程式碼,負責大資料平臺的搭建,完成系統除錯、整合與實施,保證大資料產品的上線執行
3、根據業務需求整合優化資料架構,保證產品的可靠性、穩定性
4、指導開發人員完成資料模型規劃建設,分析模型構建及分析呈現
5、深入研究大資料相關技術和產品,跟進業界先進技術;
6、根據專案要求編寫相關技術文件;
7、負責大資料平臺的架構評審,程式碼評審,上線評審;參與資料應用需求、設計、稽核和評審;
8、負責核心模組研發,負責大資料平臺的搭建,完成系統除錯、整合與實施;
9、負責關鍵功能的開發,技術難題的解決,以及輸出程式碼的關鍵把控;
10、負責對使用關鍵技術的預研和選型,完成PoC;
11、指導工程師完成開發工作,並能分享技術經驗。
任職資格:
1、精通Linux作業系統,熟練使用Java;
2、3年以上大資料專案實戰經驗,兩個專案的架構設計經驗,熟悉Hadoop、Hbase、Storm、Spark、Pig等開源框架,並熟悉其工作原理;
3、有Hadoop、Spark、Hbase平臺效能調優經驗;
4、熟悉其它分散式儲存相關技術,包括HDFS,Hive、Redis、Mongodb、 Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;
5、熟悉Java開發常用框架、如Spring、MyBatis等;
6、熟悉關係型資料庫如oracle及資料庫程式設計。
7、能夠根據專案情況安排人力、分配任務,具有較強的團隊管理能力。
8、碩士以上學歷,20xx年以上的工作經驗。