大数据架构工程师岗位职责（8篇）

第大数据架构工程师岗位职责（8篇）

大数据架构工程师岗位职责（通用8篇）

大数据架构工程师岗位职责篇1

职位描述：

1.负责大数据平台的架构设计、环境和框架的搭建以及部分核心编码工作；

2.参与业务需求调研，根据需求及行业特点设计大数据解决方案并跟进具体实施项目；

3.规划公司级数据平台，架构实时流与离线数据计算平台；

4.对业务需求进行分析建模并持续进行优化，包括但不限于推荐、排序、用户画像等。

任职要求：

1.本科及以上学历，5年以上大数据开发经验；

2.深刻理解hadoop、hive、spark、kafka、elasticsearch、hbase、storm、sqoop、zookeeper、flume的工作原理及应用；

3.深刻理解大数据处理实时流计算、分布式计算、分布式文件系统、分布式存储等相关技术和实现方法，有架构和设计实践经验；

4.精通scala/java语言的一种或多种；

5.有数据仓库、大数据平台及数据挖掘架构设计经验

大数据架构工程师岗位职责篇2

职位描述：

1、打造业界领先的存储、计算、调度、监控等基础设施；

2、参与存储、计算、devinfra、监控当中的一个或多个方向。

任职要求：

1、掌握分布式系统原理，对存储、计算、调度、监控、消息队列、集群管理中的一项或多项有深入的理解和认识；

2、乐于挑战没有明显答案的问题，能快速理解业务场景，从具体问题中抽象出通用的解决方案；

3、存储方向：对hdfs，rocksdb，ceph，hbase，kafka的一项或多项有经验者优先；

4、计算方向：对yarn，spark，flink，hive的一项或多项有经验者优先；

5、devinfra方向：对docker，mesos，kubernetes的一项或多项有经验者优先；

6、监控方向：对opentsdb，influ_db，prometheus，falcon的一项或多项有经验者优先。

大数据架构工程师岗位职责篇3

职位描述：

1、参与计算框架和服务的定制和改进，为公司批处理和流式计算能力提供支撑；

2、深入理解业务场景，解决性能瓶颈，实现业务目标；

3、计算、存储和网络方面基础技术的探索和储备。

任职要求：

1、精通各种性能分析和调试工具，高效进行分析；

2、熟练的c/c++/java开发能力，代码质量高；

3、熟悉网络、linu_、hadoop等系统，能够灵活解决新问题；

4、较好的团队协作和沟通能力。

大数据架构工程师岗位职责篇4

工作职责：

1、打造业界领先的存储、计算等分布式系统；

2、为海量数据和大规模业务系统提供可靠的基础设施。

任职要求：

1、掌握分布式系统原理，对存储、计算、消息队列、集群管理中的一项或多项有深入的理解和认识；

2、乐于挑战没有明显答案的.问题，能快速理解业务场景，从具体问题中抽象出通用的解决方案；

3、存储方向：对hdfs，rocksdb，leveldb，memcache，redis，mysql，hbase，kafka的一项或多项有经验者优先；

4、计算方向：对spark，mapreduce，storm，hive，presto，impala的一项或多项有经验者优先；

5、集群管理方向：对yarn，mesos的一项或多项有经验者优先；

6、向开源社区贡献过patch者优先，请在简历上说明。

大数据架构工程师岗位职责篇5

岗位职责：

1、参与公司数据开发平台、bi产品等大数据产品的设计和开发；

2、负责数据开发平台、bi产品等大数据产品的部署和维护，保证其稳定和可靠；

3、关注和参与大数据方向开源产品的技术动态与演进，推动产品与技术架构持续更新；

任职要求：

1、计算机相关专业，本科及以上学历，5年以上软件开发经验，3年以上互联网产品或分布式系统开发设计经验；

2、精通java，python，scala等一种或几种编程语言，并熟悉linu_操作系统及bashshell编程；

3、有hadoop/spark/hive/presto/hbase/elasticsearch/kafka等使用经验，并熟悉上述常用的分布式系统架构设计和原理；

4、熟悉微服务框架及相关技术，如dubbo，springcloud等；

5、熟悉mysql、redis，并了解或接触过其他数据库如oracle，sqlserver，postgresql，mongodb等；

6、了解容器技术，如docker，kubernetes；

7、具有一定的软件设计能力，热爱大数据和技术，相信技术改变世界，学习能力强，认同数据价值，有面向业务的思维，较强的自主学习能力和英文技术文档阅读能力；

8、良好的沟通能力、团队精神及服务意识，勇于接受挑战，能承受较大的工作压力；

9、有生产环境快速trouble—shooting的经验和能力者优先；

10、有olap，多维度数据分析经验优先，有对数据仓库有较强的理论基础和理解者优先；

大数据架构工程师岗位职责篇6

岗位职责：

1、基于公司大数据产品进行数据开发，包括数据的采集，清洗，预处理，存储，建模，分析挖掘等

2、根据业务用户需要分析数据，提供数据支持

3、参与公司大数据产品的运维和监控，保障数据质量和服务稳定性

任职要求：

1、具备本科以上学历，计算机，软件以及相关专业，5年以上大数据开发经验

2、熟悉数据仓库维度建模，并能根据客户需求进行数据开发，向模型更新数据

3、使用过至少一种以上的etl工具

4、熟练掌握java，对hadoop相关的技术和组件（hdfs，mr，hbase，hive，spark，storm，kafka等）有全面深入了解

5、熟练掌握shell或者python中的一种

6、具备spark开发经验者优先

7、具备实时计算（kafka+storm/sparkstreaming）经验者优先

8、具备数据分析和数据挖掘方面经验者优先

大数据架构工程师岗位职责篇7

岗位职责：

1、负责全公司的数据平台数据可视化研发工作

2、独立完成数据可视化研发工作

任职要求：

1、计算机、电子通信、数学、统计或者相关专业本科及以上学历

2、熟练掌握java/python中的一种语言

3、熟悉数据可视化开发，熟悉echarts应用开发的优先

4、熟悉web开发，熟悉html，js，css

5、熟悉quickbi的优先

6、具备良好的团队合作精神，工作有激情

7、对数据敏感，有产品思维的优先

大数据架构工程师岗位职责篇8

岗位职责：

1、参与大数据开放平台基础能力建设，承担系统架构、组件开发、方案验证等工作；

2、参与构建大数据系列产品，包括但不限于用户画像、用户增长与用户经营、数据分析挖掘、实时计算、数据分发、机器学习平台、风控反欺诈等产品线；

任职要求：

1、统招本科或以上学历，5年以上大数据开发工作经验；

2、扎实的java基础，能熟练使用java进行软件功能开发；

3、熟练掌握基于hadoop生态的大数据开发工具，包括h