當前位置:才華齋>範例>職場>

大資料架構師的職責

職場 閱讀(2.13W)

大資料架構師的職責1

職責:

大資料架構師的職責

1、負責大資料基礎平臺、海量資料儲存處理分散式平臺、資料分析系統架構設計和研發;

2、負責實時計算平臺基礎架構設計、部署、監控、優化升級;

3、制定專案資料倉庫設計及實現規範,指導設計研發和部署;

4、協助策略和演算法團隊工作,保障資料探勘建模和工程化;

5、深入研究大資料相關技術和產品,跟進業界先進技術。

任職要求:

1、3年以上大資料系統架構經驗;

2、精通Hadoop HBase Hive Spark Flink Kafka Redis技術及其生態圈;

3、具備Java Scala Python等開發經驗,熟悉資料探勘和分析的策略與演算法;

4、精通資料抽取,海量資料傳輸,資料清洗的常用方法和工具。

5、具備良好的系統分析能力、故障診斷能力;

6、有大資料策略、演算法、視覺化經驗優先;

7、有在華為雲端儲存產品和大資料產品的開發使用經驗優先。

大資料架構師的職責2

職責

1、負責企業級大資料平臺、資料雲服務的設計與開發;

2、基於大資料生態圈,支援智慧交通等大資料場景應用實現;

3、負責公司大資料產品的設計、封裝與落地;

4、負責學習大資料相關演算法研究、實現與應用

任職要求

1、統招本科及以上學歷;2年以上智慧城市建設或交通行業資訊化相關工作經驗,3年以上大資料架構設計、開發經驗;

2、精通大資料生態圈的技術,包括但不限於MapReduce、Spark、Hadoop、Kafka、Mongodb、Redis、Flume、Storm、Hbase、Hive,具備原始碼級問題解決和叢集優化改造能力;

3、熟悉常用程式語言,包括Java、Python、Scala等;

4、具有很強的技術研發和創新能力,能有效把握技術發展方向,有較強的執行能力、學習能力、溝通能力、適應能力,責任心強;

大資料架構師的職責3

職責

1、負責公司大資料平臺的整體架構設計,包含資料收集、資料儲存、資料探勘、資料輸出;

2、負責規劃從資料來源到資料應用的整體流程,並參與使用者產品和資料產品的決策;

3、負責海量資料分析、使用者行為分析,構建使用者資料模型;

4、負責解決核心技術問題,對技術方案進行決策;

5、技術團隊管理。

6、熟悉手機IOS、安卓系統APP開發

任職資格

1、計算機相關專業畢業,本科以上學歷;

2、5年以上相關工作經驗,具備軟體產品架構設計經驗,熟練掌握高效能、高擴充套件性架構設計方法;

3、熟練掌握java或c++任意一門語言、熟悉linux作業系統;

4、熟悉Hadoop/MR/Hbase/Mahout/Spark等大資料技術,並能夠基於上述專案開發大資料相關應用;

5、熟悉基本資料探勘方法和技術;

6、強烈的敬業精神,良好的溝通與協調能力,能有效組織協調團隊完成各類開發工作;

7、熱愛技術,相信資料的價值,對大資料有深刻的理解。

大資料架構師的職責4

職責:

1. 負責大資料基礎和應用平臺的整體規劃和架構設計,參與需求分析,架構設計,詳細設計以及技術選型決策

2. 參與資料探勘和建模相關核心演算法的程式碼實現

3. 負責大資料演算法平臺的技術把關,效能調優,控制架構質量,解決專案技術難題;對研發專案和任務需求進行評估和方案設計、拆分任務並指導工程師完成開發

4. 帶領團隊提供並實現大資料演算法平臺上各項資料接入、資料探勘分析及資料視覺化的架構設計與能力,支援解決方案實施

5. 負責資料庫設計、應用架構設計、核心技術選型等工作

6. 協調解決開發中的技術問題、設計和監控運營指標,保障系統穩定執行

7. 培養,指導有能力的員工,指導工程師進行技術驗證實現,核心技術攻關,解決開發過程中的技術難題

任職要求:

1. 熟悉大資料和資料倉庫的系統架構設計方法

2. 熟練使用並理解HadoopSpark架構及生態。(Hadoop,Hive,Hbase,Elasticsearch,Kafka,SparkFlink等)

3. 熟悉分散式系統架構,有分散式實時、離線和機器學習平臺的架構和開發經驗,具備海量資料清洗、分析處理及儲存的實踐經驗

4. 熟練使用JAVA,具有大規模分散式系統調優經驗

5. 熟悉AI相關演算法,熟悉機器學習、深度學習。熟悉AI學習開源框架(Tensorflow、PyTorch等)者優先;

6. 具備良好的團隊合作精神,對工作充滿激情。

7. 熟悉FusionInsight平臺開發經驗者優先

大資料架構師的職責5

職責:

1)負責公司軟體產品整體架構的設計和關鍵功能實現

2)負責公司架構長期看護以及優化;

3)負責軟體部門各模組間的協調配合;

4)提高鞏固軟體程式碼質量;

5)負責大資料流式框架的設計、優化及部署;

6)規劃研發部門員工的技術發展路線並提供必要的幫助和指導

任職資格:

1)本科及以上學歷,計算機相關專業,5年以上工作經驗;

2)頻繁換工作,比如一年一個公司,請繞路;

3)3年以上產品架構經驗,主導過產品的成功上線;

4)對底層裝置通訊協議,B/S系統,手機APP開發等都有一定的瞭解;

5)對各種主流語言C#JavaPathon有一定的瞭解

5)精通各種大資料架構,並深入研究過其中一種,有stormkafka等流式實時處理經驗為佳

6)能夠承擔較強的工作壓力,有良好的自我驅動能力和責任感;

7)具備優秀的邏輯思維能力、表達能力、溝通協調能力。

大資料架構師的職責6

職責:

1、負責企業大資料平臺的基礎建設、管理及制定拓展規劃;

2、負責大資料平臺相關自動化服務工具的設計、開發;

3、參與Hadoop、Hbase、Spark等核心平臺元件的開發、優化;

4、對平臺特殊場景化的資料應用制定相關實踐方案;

5、大資料團隊的搭建。

任職資格:

1、統招本科以上學歷,計算機等相關專業,5年以上工作經驗;

2、具有Hadoop等大規模叢集管理經驗、海量(PB)資料處理經驗;

3、精通Hadoop、Hive、Hbase等離線平臺相關元件的原理機制;

4、瞭解或熟悉Storm/Spark/Redis/Kafka/MongoDB等分散式系統;

5、熟悉高併發、分散式開發等相關知識,具有後端服務優化相關經驗;

6、熟悉爬蟲常用框架以及反爬技術;

7、具有良好的溝通能力、分析問題與攻關問題的能力;

8、有責任心,工作積極,對新領域新技術有熱情。

大資料架構師的職責7

職責:

1、 負責大資料倉庫、資料集市的規劃及實現,負責大資料中臺的設計和核心開發工作;

2、 負責資料基礎架構和資料處理體系的升級和優化,不斷提升系統的穩定性和效率,為公司的業務提供大資料底層平臺的支援和保證;

3、 大資料平臺的資料採集、處理、儲存以及挖掘分析的架構實現;

4、 研究未來資料模型和計算框架的創新與落地,包括但不限於以下領域:大規模資料實時化、研發模式敏捷化、資料計算框架輕量化、資料模型組織方式業務化等方面,參與制定並實踐團隊的技術發展路線

任職資格:

1、 精通資料建模、資料標準管理、元資料管理、資料質量管理;

2、 有作為技術負責人系統化解決問題的成功案例;有海量資料實踐經驗優先;

3、 熟悉目前正在發展的大資料分散式平臺前沿技術的應用;包括但不僅僅限於:hadoop、flink、spark等;

4、 性格積極樂觀,誠信,能自我驅動,有較強的語言表達能力;具備強烈的進取心、求知慾及團隊合作精神;具有良好的溝通、團隊協作、計劃和創新的能力; 在資料業界有一定的影響力優先,具有風控經驗背景的人優先;

5、 具備獨立的深度思考能力,給出結合實際情況的較為理想的技術解決方案。

大資料架構師的職責8

職責:

1.負責公司新業務方向平臺大資料基礎架構的搭建及後期資料處理體系的升級和優化,不斷提升系統的穩定性和效率。為公司未來方向性產品提供大資料底層平臺的支援和保證。

2.負責制定大資料平臺呼叫約束和規範;

3.負責大資料方向技術難題的解決,以及程式碼質量的把控;

4.作為大資料開發團隊的leader,負責大資料系統平臺開發團隊建設與人才梯隊培養,分享技術經驗,撰寫相關技術文件指導和培訓工程師。

任職要求:

1.熱衷於大資料技術,並能平衡大資料效能、穩定性、擴充套件性多重要素進行設計和優化;

2.熟悉伺服器基本知識,能夠評估系統硬體效能瓶頸;

3.掌握Linux作業系統的配置,管理及優化,能夠獨立排查及解決作業系統層的各類問題,並能提供解決問題的理論依據;

4.精通Java伺服器程式設計,熟悉JVM原理,對資料結構和演算法設計有較為深刻的理解;

5.精通elasticsearch、Redis、hadoop、Kafka、Zookeeper、Yarn、Hbase、Spark底層架構,熟悉原理、原始碼、叢集部署,包括引數優化、Bug修復,貢獻過程式碼或提交過bug者優先

6.具備資料中心資源管理、監控、排程等系統研發經驗者優先,具備分散式系統研發經驗者優先;

7.具有應用大資料技術處理的專案開發、維護超過兩年的經驗者優先;

8.具有良好的文件編寫能力,可進行方案設計、架構設計。

大資料架構師的職責9

職責

1、參與打造資料中內容的規劃、設計、開發和優化工作,實現高質量資料的互通與共享;

2、參與資料模型體系構建及資料主題設計和開發,搭建離線、實時資料公共層;

3、參與資料產品與應用的資料研發,發掘資料商業價值,打造極致體驗的資料產品;

4、深入理解資料產品的使用場景,為業務方在可用性、成本上做更好的設計做參考;

5、團隊成員的搭建與培養,任務劃分,進度監控,程式碼規範,質量保證。

任職要求

1、熟悉資料倉庫建模理論,3年以上相關領域實踐經驗;

2、Hadoop、Hive、Hbase、Storm、Spark等技術框架;

3、精通Java、Python、Scala、go等開發語言中的1到2種;

4、熟練使用Python/Java/scala或其他語言進行復雜業務邏輯的資料處理工作,具備海量資料處理以及效能優化的能力;

5、對MySQL、Redis、HBase等資料庫有一定的瞭解和使用經驗;

6、對olap,多維分析及kylin熟悉的更好;

7、思路清晰,具備良好的溝通能力和理解能力,較強的學習能力以及快速解決問題的能力;

8、對新技術,新事物有很好的探索和求知慾;

9、熟悉常規的機器學習演算法:降維(PCA、SVD)、SVM、邏輯迴歸(LogisticsRegression)、決策樹(GBDT、RandomForest)、關聯規則(Apriori、FP-Growth)、聚類(K-Means)等優先。

大資料架構師的職責10

職責:

1.參與公司資料平臺系統規劃和架構工作,主導系統的架構設計和專案實施,確保專案質量和關鍵效能指標達成;

2.統籌和推進製造工廠內部資料系統的構建,搭建不同來源資料之間的邏輯關係,能夠為公司運營診斷、運營效率提升提供資料支援;

3.負責資料系統需求對接、各資訊化系統資料對接、軟體供應商管理工作

5.根據現狀制定總體的資料治理方案及資料體系建立,包括資料採集、接入、分類、開發標準和規範,制定全鏈路資料治理方案;深入挖掘公司資料業務,超強的資料業務感知力,挖掘資料價值,推動資料變現場景的落地,為決策及業務賦能;

6.定義不同的資料應用場景,推動公司的資料視覺化工作,提升公司資料分析效率和資料價值轉化。

任職要求:

1.本科以上學歷,8年以上軟體行業從業經驗,5年以上大資料架構設計經驗,熟悉BI平臺、大資料系統相關技術架構及技術標準;

2.熟悉資料倉庫、熟悉資料集市,瞭解資料探勘、資料抽取、資料清洗、資料建模相關技術;

3.熟悉大資料相關技術:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka、RabbitMQ;

4.熟悉製造企業資訊化系統及相關資料庫技術;

5.具備大資料平臺、計算儲存平臺、視覺化開發平臺經驗,具有製造企業大資料系統專案開發或實施經驗優先;

6.對資料敏感,具備優秀的業務需求分析和報告展示能力,具備製造企業資料分析和資料洞察、大資料系統的架構設計能力,瞭解主流的報表工具或新興的前端報表工具;

7.有較強的溝通和組織協調能力,具備結果導向思維,有相關專案管理經驗優先。

大資料架構師的職責11

職責:

1、負責公司的大資料平臺的數倉架構、系統架構設計;

2、負責帶領團隊完成輿情分析相關的挖掘方案設計;

3、負責大資料研發組團隊管理;

4、負責帶領團隊完成輿情平臺的方案文件撰寫、迭代開發;

5、負責研發規範制定,研究行業前沿技術;

6、參與產品規劃及設計討論。

任職要求:

1、本科五年工作經驗及以上,有至少五年的大資料技術實踐經驗,有NLP或AI相關經驗;

2、有很強的架構設計能力和良好的表達能力;

3、有一定的專案管理及團隊管理能力;

4、精通Hadoop、Spark生態圈中的常用元件原理及應用;

6、理解媒體業務,精通資料倉庫的規劃和設計;

5、精通掌握Java或Python程式設計,有效能調優能力;

4、熟悉NLP演算法原理及應用;

6、對新生事物或者新技術有濃厚興趣,學習能力強。

大資料架構師的職責12

職責:

1、負責大資料平臺的架構設計、核心程式碼開發等任務;根據專案要求編寫相關技術文件;

2、負責大資料平臺的'架構評審,程式碼評審,上線評審;參與資料應用需求、設計、稽核和評審;

3、負責核心模組研發,負責大資料平臺的搭建,完成系統除錯、整合與實施;

4、負責建立和維護大資料平臺技術標準規範,指導開發人員編寫程式碼;

任職要求:

1、本科及以上計算機相關專業畢業;

2、精通離線和實時資料處理流程,掌握離線資料處理框架hive、impala、spark-sql等,掌握實時資料處理常用技術工具,包括Storm、SparkStreaming等;

3、熟悉大資料技術生態圈,精通大資料技術架構,有大資料平臺構建經驗;

4、掌握常見資料流接入工具,包括Flume、kafka等;

5、熟練掌握基本的Linux作業系統和某種指令碼語言程式設計(如Shell等);

6、掌握一種或以上實時處理語言,如JAVA、SCALA、PYTHON等,有SCALA經驗者優先;

7、有實際大規模資料(TB級以上)處理經驗優先;

大資料架構師的職責13

職責:

1、負責spark, hadoop, flink等開發和優化。

2、參與前期需求溝通和分析,以產品化開發的思維,完成需求分解和資料架構設計。

3、與研發和資料科學家合作保證產品定義清晰,按時完成產品上線。

4、能夠洞察市場狀況,與各部門合作轉化為基於大資料探勘的新策略或方案.

5、主動創造和發掘新的基於大資料探勘產品商業模式.

任職要求:

1、全日制本科及以上學歷,計算機軟體相關專業,5年以上開發經驗,3年以上架構經驗

2、精通hadoop/MapReduce/Spark/Hbase/Flink/Hive/R/Mahout等分散式資料儲存和分散式計算平臺原理,流式計算開發,有開源二次開發經驗者優先。

3、精通大資料探勘、機器學習.熟練掌握Java/Perl/Python至少一種程式語言。

4、具有資料探勘和分析、機器學習等專案實施相關經驗者優先;

5、良好的跨部門溝通合作能力,解決不同觀點能力並取得結果。具備敏銳的網際網路產品理解力,學習能力和邏輯思維能力強;

6、較強的自我驅動力、推動和協調能力,強烈的責任心和團隊合作精神;

大資料架構師的職責14

職責:

1、負責規劃科技大資料平臺及科技資料入庫自動化的方案設計;

2、負責大資料平臺的開發和維護,以及對外服務介面的開發;

3、負責大資料平臺的優化和改進工作。

任職要求

1、計算機相關專業本科及以上學歷,5年以上開發經驗,其中3年以上為網際網路、大資料相關的開發經驗;

2、熟知Hadoop生態圈體系,精通Hadoop/Spark/Storm/Kafka中的一項或幾項,深刻理解MapReduce的執行原理和機制,有MPI經驗者尚佳;

3、熟悉Elasticsearch、Redis、Hbased等相關資料庫的構建和操作,尤其是資料庫叢集的構建和操作,熟悉Neo4j者尚佳;

4、具有機器學習相關專案經驗者優先。

大資料架構師的職責15

職責:

1、負責公司大資料產品的架構設計,包含資料收集、資料儲存、資料應用,並完成相關架構設計文件的撰寫;

2、參與規劃從資料來源到資料應用的整體流程,並參與相關產品的決策;

3、負責解決核心技術問題,對技術方案進行決策;

4、負責大資料研發團隊建設、人才梯隊培養和技術團隊管理;

5、積極瞭解業界發展,研究與跟蹤大資料新技術發展方向。

任職要求:

1、精通GoldenGate For BigData相關理論,具備大型資料利用的生產實戰經驗;

2、精通資料驅動的理論,設計並生產上線相關資料驅動的產品;

3、精通常用訊息中介軟體的使用,例如kafka/RocketMQ/Apache Pulsar,有解讀相關原始碼者優先;

4、掌握hadoop、spark生態體系相關產品的使用,掌握MapReduce程式設計或Spark程式設計;

5、瞭解傳統資料倉庫理論及相關ETL工具,例如kettle/datastage;

6、熟悉Oracle、Mongodb、Mysql資料庫的使用;

7、紮實的Java語言基礎,熟悉Java開發工具和除錯工具的使用;

8、良好的團隊協作精神,有能力對團隊在軟體設計、實現和測試方面進行指導;

9、良好的邏輯分析能力和溝通能力,執行力強、對待工作認真嚴謹、責任心強、具備出色的學習能力和團隊合作精神,有一定的推動能力;

10、電腦科學、資訊科技或相關領域本科以上學歷,具有5年以上資料平臺專案開發經驗,3年以上的架構設計經驗,具有大資料平臺應用大型專案架構設計經驗優先;