大数据架构师工作的职责

———大数据架构师工作的职责大数据架构师工作的职责（通用24篇）

大数据架构师工作的职责篇1

职责：

1、正确理解业务需求，对需求进行工作量评估;

2、参加项目相关的需求、设计、投产手册等文档的编写;

3、依据进度方案，完成所担当功能模块的设计、开发、单元测试、联调测试;

4、协作测试组修复代码缺陷，确保功能实现与代码质量;

5、负责所担当功能模块投产、部署，及上线后的日常维护;

6、完成项目经理或者架构师支配的其他工作;

任职资格：

1、本科以上学历，计算机相关专业，两年以上大数据开发阅历;

2、熟识Linux环境，把握shell或python;

3、娴熟使用hadoop，hive，HBase，YARN，kafka，spark等大数据开发组件;

4、精通ETL，数据仓库的设计和开发;

5、有大数据处理实战阅历，熟识整个大数据的完整处理流程，包括数据的采集、清洗、存储;

6、较强的动手力量和学习力量，良好的沟通力量、团队协调力量;

7、具有银行、金融行业从业背景者优先。

大数据架构师工作的职责篇2

职责：

1.负责设计企业级大数据平台的整体架构，从技术层面制定清楚的大数据产品与系统技术架构，并负责实现关键技术和产品。

2.负责设计具有创新价值的大数据底层平台、大数据上层应用系统等，带领团队完成有质变的技术解决方案。

3.负责组织同事讨论行内最前沿的技术进展方向，突破现有的技术难题。

4.负责讨论院对外项目合作协调与支持，编写项目建设方案及后期项目建设支持。

任职要求：

1.硕士及以上学历，计算机相关专业。

2.JAVA基础扎实,不少于8年的一线开发阅历，精通Springboot/MyBatis/RestfulAPI的开发与管理.熟识ReactJS/Angular/Vue之一前端开发技术，熟识Maven或Ant.，熟识Python语言开发加分。

3.不少于4年大数据的直接研发阅历，精通Hadoop/Spark系统，有hands-on的架构设计、性能调优、开发阅历。有MongoDB、Kafka、Hbase/Cassandra/Storm/Hive等系统的开发阅历。

4.把握分布式系统原理，对分布式存储、流式计算、消息队列中的一项或多项有深化的理解和熟悉。

5.熟识分布式系统的监控、运维、故障恢复，高可用原理和设计理念。

6.算法基础扎实，熟识常见的数据结构，把握大规模高并发访问、大数据开发等处理阅历;娴熟的Linux系统,网络,内存和存储等方面学问。

7.必需要有千万级别的项目管理阅历，包括但不限于前期需求沟通，建设方案编写，中期项目实施，进度汇报，后期项目维护。

大数据架构师工作的职责篇3

职责：

1、负责大数据项目平台架构的评估、规划和设计

2、开发大数据平台的核心模块代码，负责大数据平台的搭建，完成系统调试、集成与实施，保证大数据产品的上线运行

3、依据业务需求整合优化数据架构，保证产品的牢靠性、稳定性

4、指导开发人员完成数据模型规划建设，分析模型构建及分析呈现

5、深化讨论大数据相关技术和产品，跟进业界先进技术;

6、依据项目要求编写相关技术文档;

7、负责大数据平台的架构评审，代码评审，上线评审;参加数据应用需求、设计、审核和评审;

8、负责核心模块研发，负责大数据平台的搭建，完成系统调试、集成与实施;

9.负责关键功能的开发，技术难题的解决，以及输出代码的关键把控;

10.负责对使用关键技术的预研和选型，完成PoC;

11.指导工程师完成开发工作，并能共享技术阅历。

任职资格:

1、精通Linux操作系统，娴熟使用Java;

2、3年以上大数据项目实战阅历，两个项目的架构设计阅历，熟识Hadoop、Hbase、Storm、Spark、Pig等开源框架，并熟识其工作原理;

3、有Hadoop、Spark、Hbase平台性能调优阅历;

4、熟识其它分布式存储相关技术，包括HDFS，Hive、Redis、Mongodb、Flume、Kafaka、Sqoop、Zookeeper、ElasticSearch等;

5、熟识Java开发常用框架.如Spring、MyBatis等;

6、熟识关系型数据库如oracle及数据库编程。

7、能够依据项目状况支配人力、安排任务，具有较强的团队管理力量。

8、硕士以上学历，20xx年以上的工作阅历。

大数据架构师工作的职责篇4

职责：

1.负责大数据基础平台、海量数据存储/处理分布式平台、数据分析系统架构设计和研发;

2.负责实时计算平台基础架构设计、部署、监控、优化升级;

3.制定项目/数据仓库设计及实现规范，指导设计研发和部署;

4.帮助策略和算法团队工作，保障数据挖掘建模和工程化;

5.深化讨论大数据相关技术和产品，跟进业界先进技术。

任职要求：

1.全日制本科及以上学历，5年以上软件和分布式系统研发阅历，3年以上大数据系统架构阅历;

2.精通Hadoop/HBase/Spark/Storm/Redis技术及其生态圈;

3.具备Java/C++/Scala等开发阅历，熟识数据挖掘和分析的策略与算法;

4.具备良好的系统分析力量、故障诊断力量;

5.有大数据策略、算法、可视化阅历优先;

6、211/985重点学校毕业优先。

大数据架构师工作的职责篇5

职责：

1、负责规划大数据平台及应用产品的需求和技术方案设计;

2、负责数据对接和对外服务设计、开发和维护，并能保证质量和性能;

3、负责基于大数据平台的应用设计、开发和维护;

4、能从系统全局和各子系统的角度思索可能存在的问题，并提出改进方案建议;

任职要求：

1、高校本科6年以上工作阅历，计算机相关专业。

2、至少4年以上的Java开发阅历，3年以上大数据应用系统的开发和设计阅历。

3、熟识Hadoop生态圈技术体系，对离线计算、内存计算和流式计算均有深刻理解，如Hadoop、Storm、Spark三个中的任意二个，能进行平台和组件优化。

4、精通Hive、HBase仓库设计，深刻理解MR运行原理和机制，能进行以供应高任务执行效率的优化。

5、精通Java开发，熟识JVM调优，对GC有深刻理解。

6、熟识Linux、Shell、Kafka、Oracle、Mysql、Redis等相关技术，能进行hbase牢靠性诊断和维护。

7、快速讨论和学习技术力量。

大数据架构师工作的职责篇6

1.负责数澜大数据平台的架构设计和研发，建立数据生态服务，解决海量数据面临的挑战;

2.管理和优化Hadoop、Spark等集群，计算作业的调优，保证集群和平台的高效和稳定;

3.负责Hadoop、Spark、Flink的功能、性能和扩展，解决并实现业务需求;

4.负责大数据产品的自动化、离线与实时计算、即席计算、数据质量、数据平安、机器学习等平台的设计和开发;

5.调研和把握当前的最新技术，将其中的先进技术引入到自己的平台中，改善产品，提升竞争力;

大数据架构师工作的职责篇7

1、建设大数据平台，主要技术为k8s,docker;

2、跟进开源社区的更新，阅读文档，验证feature;

3、阅读容器生态圈各组件的开源项目代码，开发新功能;

4、持续提升平台的性能和稳定性。

大数据架构师工作的职责篇8

职责:

1、从事电信行业大数据项目相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作

2、与数据专业委员会一起讨论数据建模方案和建模工具，负责产品线产品的数据架构、数据模型设计

3、参加讨论数据库之间的数据转换方式，参加项目中的数据移植工作，收集在项目中的数据移植阅历，优化产品的数据模型

4、负责培训本部门队伍的数据模型基础理论工作，建立数据模型团队

岗位要求：

1、统招本科学历，3年以上主流数据上(DB2、Oracle、SQLServer、Mysql等)ETL设计、开发阅历，具备大型数据仓库规律模型和物理模型设计阅历，精通SQL，有较好的SQL性能调优阅历;

2、拥有Python，R等数学建模工具的使用阅历，并具备肯定的数据处理和建模阅历，可以输出相应的模型分析结果、模型比较、模型效率以及对模型的理论和推断依据方法并对其进行完整的解释和说明;

3、熟识统计学基本原理，做过实战的数据建模项目;

4、有分布式数据仓库建设相关阅历者优先，具备电信行业数据仓库建设相关阅历者优先;

大数据架构师工作的职责篇9

职责：

1.规划设计大数据平台整体架构，规划各种组件，并且指导技术团队完成相关系统验证、安装、部署、配置;

2.负责制定大数据平台技术规范和接口规范，指导研发团队根据规范进行系统开发;

3.协作商务人员完成售前技术支持工作;

4.完成其他与数据应用有关的技术工作;

任职要求：

1.计算机相关专业本科学历，5年以上工作阅历;

2.对大数据技术栈有特别深刻的了解;具备架构设计的实际阅历;

3.对信息平安架构设计及实施有肯定的阅历;

4.熟识Linux、Windows等操作系统的安装配置;

5.熟识互联网应用的安装配置;熟识常见大数据技术栈组件的安装配置;熟识Visio等绘图工具的使用;

6.有卫生信息化建设阅历者优先;有容器安装部署阅历者优先。

大数据架构师工作的职责篇10

职责：

依据大数据业务需求，设计大数据方案及架构，实现相关功能;

搭建和维护大数据集群，保证集群规模持续、稳定、高效平稳运行;

负责大数据业务的设计和指导详细开发工作;

负责公司产品研发过程中的数据及存储设计;

针对数据分析工作，能够完成和指导负责业务数据建模。

职位要求：

计算机、自动化或相关专业(如统计学、数学)本科以上学历，3年以上大数据处理相关工作阅历;

精通大数据主流框架(如Hadoop、hive、Spark等);

熟识MySQL、NoSQL(MongoDB、Redis)等主流数据库，以及rabbitMQ等队列技术;

熟识hadoop/spark生态的原理、特性且有实战开发阅历;

熟识常用的数据挖掘算法优先.

大数据架构师工作的职责篇11

职责：

1、负责公司的大数据处理框架的研发设计工作，梳理可实现方案和技术规范;

2、开发、完善公司大数据平台;参加公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成;

3、负责业务平台数据统计分析模块的设计与规划;

4、负责公司产品研发过程中的数据及存储设计;

5、带领和培育团队完成组织分解的目标;

任职要求：

1、统招本科及以上学历，计算机、软件工程相关专业，至少8年以上工作阅历，5年以上大数据开发阅历;

2、熟识Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相关技术的基础架构

3、熟识数据仓库，数据算法，分布式计算技术理论，具有大数据整体系统架构设计阅历;

4、熟识Linux系统，娴熟使用shell/perl/python脚本处理问题;

5、对深度学习框架(Tensorflow)和机器学习(svm随机深林贝叶斯等)有肯定了解的优先;

6、能够组织项目开发组协同工作，包括团队沟通、方案、开发环境管理等

大数据架构师工作的职责篇12

职责：

负责公司大数据产品架构的设计与实现;

协作大数据产品经理完成产品的快速研发与交付;

负责大数据产品架构的持续优化设计;

负责大数据产品核心组件设计;

负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;

为应用开发团队供应技术支撑。

任职要求：

本科及以上学历，3年以上的大数据开发阅历、

2年以上大数据架构设计阅历;

丰富的JAVA研发阅历，精通JAVA，熟识PythonScala等编程语言;具备深厚的分布式系统或数据库系统的理论基础，熟识分布式计算系统的工作机制，具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计阅历;

熟识整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);

精通各种大数据相关技术体系：Hadoop、Spark、Storm、ElasticSearch、Kafka;

有数据挖掘、机器学习相关应用或讨论背景;

沟通力量较好，乐观主动意识较强，责任心较强。

大数据架构师工作的职责篇13

职责：

1.负责过多个大数据项目的架构;

2.精通Hadoop、Spark,HBase等主流的大数据平台、精通各组件优化设计原理;

3.精通大数据实时流式处理的设计和应用;

3.熟识大数据平台调优，具备大数据生产平台调优阅历;

4.金融行业，运营商行业大数据架构阅历更优;

5.讨论大数据技术的最新进展，并引入到公司技术架构;

6.指导大数据工程师的日常工作，并培育技术骨干。

任职资格：

1.计算机相关专业本科或以上学历;

2.具有5年以上大数据相关开发阅历;

3.具有2年以上带团队阅历

4.对Hadoop/Hive/Spark/HBase/ES等等大数据常用技术有深刻理解，能够带领团队进行技术攻坚，完成中间件的实施、改造、调优;

5.精通海量数据和实时数据的分析处理，能对线上的数据处理性能问题做调优;

6.精通数据仓库以及维度建模原理，有大型数据仓库建设阅历;

7.精通关系型数据库和NoSQL数据库的使用，熟识相关理论;

8.沟通顺畅，重点突出，高效。

大数据架构师工作的职责篇14

职责：

1、负责大数据平台的技术选型，基于Spark、Hadoop大数据平台建设和开发;

2、完成包括数据模型设计、数据采集、数据存储等方面的大数据系统架构的设计和数据层架构设计;

3、构建数据中台，为多种行业应用供应主数据(画像标签/关系图谱)、数据模型、人工智能业务算法及数据服务。

4、对海量数据处理的业务需求进行评估和方案设计、拆分任务并指导工程师完成开发;

5、带领大数据技术团队供应并实现大数据平台上各项数据分析和数据可视化的架构设计，支撑解决方案实施。

任职要求：

1、本科及以上学历，具有5年及以上大数据架构设计和开发阅历;2年及以上带领团队阅历;沟通力量强。在大型互联网企业从事大数据架构设计者优先考虑;有分布式大型商业软件系统设计阅历、主导过大型商业软件的架构设计并取得过市场商业胜利者优先考虑;

2、熟识整个大数据的完整处理流程，包括数据的采集、清洗、预处理、存储、分析挖据、机器学习和数据可视化;

3、精通Oracle/MySQL/PostgreSQL/Greenplum/MongoDB等其中至少一种主流数据库的使用，并能进行性能调优;

4、具备优秀的团队意识和沟通力量，学习力量和主动性强，具有钻研精神，布满激情，乐于接受挑战。

大数据架构师工作的职责篇15

职责：

1、负责企业大数据平台的基础建设、管理及制定拓展规划;

2、负责大数据平台相关自动化服务工具的设计、开发;

3、参加Hadoop、Hbase、Spark等核心平台组件的开发、优化;

4、对平台特别场景化的数据应用制定相关实践方案;

5、大数据团队的搭建。

任职资格:

1、统招本科以上学历，计算机等相关专业，5年以上工作阅历;

2、具有Hadoop等大规模集群管理阅历、海量(PB)数据处理阅历;

3、精通Hadoop、Hive、Hbase等离线平台相关组件的原理机制;

4、了解或熟识Storm/Spark/Redis/Kafka/MongoDB等分布式系统;

5、熟识高并发、分布式开发等相关学问，具有后端服务优化相关阅历;

6、熟识爬虫常用框架以及反爬技术;

7、具有良好的沟通力量、分析问题与攻关问题的力量;

8、有责任心，工作乐观，对新领域新技术有热忱。

大数据架构师工作的职责篇16

职责：

1、负责大数据平台架构的规划与设计;

2、负责大数据平台技术框架的选型与技术难点攻关;

3、参加企业级大数据产品和应用规划;

4、讨论跟进大数据架构领域新技术并共享;

5、大数据处理和分析应用平台的设计指导。

任职资格：

1、具备深厚的分布式系统或数据库系统的理论基础，熟识分布式计算系统的工作机制，具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计阅历;

2、熟识BI平台架构及相关项目标准，大数据解决方案包括Hadoop、Spark、Storm、机器学习等大数据平台解决方案;

3、熟识MySql/Postgresql/Oracle/MongoDB/Redis等主流数据数据库;

4、精通Linux/Unix环境，精通Jjava、scala、python、R中的一种或多种语言;

5、具备优秀的团队意识和沟通力量，学习力量和主动性强，具有钻研精神，布满激情，乐于接受挑战;

6、大专及以上学历，3年及以上工作阅历。

大数据架构师工作的职责篇17

职责：

1.负责企业数据中心建设，设计数据规律模型和物理模型，并完成相关开发

2.梳理公司各业务线常用的指标和维度，统一指标定义口径

3.依据数据应用开发和数据分析需求，设计数据仓库信息层模型，提高数据开发的效率

4.负责数据模型的运营和优化，准时响应业务规律变更，保证模型的数据质量和稳定性

5.负责公司数据标签体系的建设，并推动标签体系在实际业务场景中落地

岗位要求：

1.5年以上DW/BI数据架构设计、模型设计和性能调优等相关阅历

2.有较强的数据分析力量，精通数据仓库架构，熟识Erwin或PowerDesigner建模工具

3.精通一种主流关系数据库(如mysql等)，熟识Hive开发

4.有电商业务阅历，元数据管理，数据质量管理或标签体系搭建阅历者优先

5.优秀的协调沟通与团队协作力量，极强的责任心，能承受肯定的工作压力，认同企业文化和团队价值

大数据架构师工作的职责篇18

职责：

1、负责大数据项目技术架构评估与设计;

2、负责关键功能的开发，技术难题的解决，以及输出代码的关键把控;

3、负责对使用关键技术的预研和选型，完成PoC;

4、指导工程师完成开发工作，并能共享技术阅历。

任职要求：

1、3年以上相关工作阅历，其中具有1年以上架构设计阅历

2、熟识商业智能系统相关技术，如ETL、数据仓库、OLAP开发;

3、精通设计模式，熟识面对服务架构(SOA)以及其它常用软件架构思想，有SOA方案设计、开发实施的实际阅历，要具备实际的服务规划、服务粒度划分阅历;并且要擅长设计可重用组件和可定制化产品。

4、相关技术栈：Java/Scala/Flume/Hive/Kafka/HBase/Spark/Storm/Redis;

5、有扎实的计算机基础，熟识Java等编程语言;

大数据架构师工作的职责篇19

1、负责大数据平台资源规划、权限掌握、运维架构设计，为各产品业务供应稳定、高效、平安的运行环境;

2、负责实时，离线数据分析处理及实时平台的建设和搭建

3、熟识Flink流式计算引擎的使用以及源码原理，并且有相关的流式处理平台的阅历。

4、Java基础扎实，娴熟把握垃圾回收，网络，多线程编程，了解python或scala

5、负责大数据平台技术架构、数据架构的分析与设计;

大数据架构师工作的职责篇20

职责：

1.负责产品级业务系统架构(如业务数据对象识别，数据实体、数据属性分析，数据标准、端到端数据流等)的设计与优化。帮助推动跨领域重大数据问题的分析、定位、解决方案设计，从架构设计上保障系统高性能、高可用性、高平安性、高时效性、分布式扩展性，并对系统质量负责。

2.负责云数据平台的架构设计和数据处理体系的优化，推动云数据平台建设和持续升级，并制定云数据平台调用约束和规范。

3.结合行业应用的需求负责数据流各环节上的方案选型，主导云数据平台建设，参加核心代码编写、审查;数据的统计规律回归算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。

4.对云数据平台的关注业内技术动态，持续推动平台技术架构升级，以满意公司不同阶段的数据需求。

任职要求：

1.熟识云计算基础平台，包括Linux(Ubuntu/CentOS)和KVM、OpenStack/K8S等基础环境，熟识掌握、计算、存储和网络;

2.把握大型分布式系统的技术栈，如：CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟识大数据应用端到端的相关高性能产品。

3.精通Java，Python，Shell编程语言，精通SQL、NoSQL等数据库增删改查的操作优化;

4.PB级别实战数据平台和生产环境的实施、开发和管理阅历;

5.熟识Docker等容器的编排封装，熟识微服务的开发和日常调度;

6.计算机、软件、电子信息及通信等相关专业本科以上学历，5年以上软件工程开发阅历，2年以上大数据架构师工作阅历。

大数据架构师工作的职责篇21

职责：

1、负责大数据平台及BI系统框架设计、规划、技术选型，架构设计并完成系统基础服务的开发;

2、负责海量埋点规章、SDK标准化、埋点数据采集、处理及存储，业务数据分布存储、流式/实时计算等应用层架构搭建及核心代码实现;

3、开发大数据平台的核心代码，项目灵敏开发流程管理，完成系统调试、集成与实施，对每个项目周期技术难题的解决，保证大数据产品的上线运行;

4、负责大数据平台的架构优化，代码评审，并依据业务需求持续优化数据架构，保证产品的牢靠性、稳定性;

5、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现，共享技术阅历;

6、有效制定各种突发性研发技术故障的应对预案，有清楚的隐患意识;

7、深化讨论大数据相关技术和产品，跟进业界先进技术;

【任职要求】

1、统计学、应用数学或计算机相关专业高校本科以上学历;

2、熟识互联网移动端埋点方法(点击和扫瞄等行为埋点)，无埋点方案等，有埋点SDK独立开发阅历者优选;

3、熟识Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookeeper,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPython等，具备实际项目设计及开发阅历;

4、熟识数据采集、数据清洗、分析和建模工作相关技术细节及流程

5、熟识Liunx/Unix操作系统，能娴熟使用shell/perl等脚本语言，娴熟把握java/python/go/C++中一种或多种编程语言

6、具备肯定的算法力量，了解机器学习/深度学习算法工具使用，有主流大数据计算组件开发和使用阅历者优先

7、熟识大数据可视化工具Tableau/echarts

8、具有较强的执行力，高度的责任感、很强的学习、沟通力量，能够在高压下高效工作;

大数据架构师工作的职责篇22

职责：

1、负责大数据开发团队建设;

2、负责行业大数据产品架构设计与研发;

3、负责带领团队进行行业大数据产品关键技术攻关。

任职要求：

1、有三年以上大数据应用、开发阅历;具备海量数据加工处理(ETL)相关阅历，对数据挖掘及机器学习有较为深刻的理解;

2、熟识Hadoop相关技术，对HDFS、MapReduce、Hive、HBase有肯定的使用和开发阅历;

3、熟识Linux，娴熟使用Shell或