大数据开发工程师岗位的主要职责概述

1、大数据开发工程师岗位的主要职责概述大数据开发工程师负责大数据平台的技术和产品的设 计、开发、优化和维护。以下是xx整理的大数据开发工程 师岗位的主要职责概述。大数据开发工程师岗位的主要职责概述1职责：1、 规划及建设大数据平台;2、 负责大数据存储系统、分布式计算系统、挖掘算法 等设计、研发以及维护、优化工作;3、负责分析、挖掘、对抗各种产品安全层面的恶意行 为;4、 参与项目的系统设计和核心代码开发，指导和培训 其他工程师;5、 整理和提交技术文档，负责核心功能模块的代码编 写和测试工作。岗位要求：1、 计算机、统计学等相关专业本科及以上学历，具有 深厚的数学、统计学和计算机相关知识，精通数

2、据仓库和数据挖掘的相关技术，3年以上大数据开发相关经验2、具有非常扎实的Java基础， 熟悉Shell、Python、R、Scala等一种以上语言;3、算法基础扎实，熟悉常见的数据结构，了解分布式 算法和分布式系统的技术原理;4、精通MapReduce设计方法或Spark计算框架、对NoSQL，Hadoop、Hbase、Spark、Hive等主流云计算，大数 据相关软件有充分的了解，并且有实践经验，能解决应用中 的复杂问题;5、熟悉大数据处理相关技术，包括但不限于Hadoop、Hive、Hbase、impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;6、研

3、读过Hadoop、Hbase、Hive源代码者，能够在特 定业务中进行定制改造者优先;7、具有海量数据处理、数据挖掘、数据分析相关项目 的工作经验者优先。大数据开发工程师岗位的主要职责概述2职责：1、参与大数据架构的规划设计，参与业务建模及数据 化运营平台的搭建、 运维， 对业务流程与大数据的结合提出 建议和解决方案;2、完成基于大数据平台的业务项目的开发、实施和维 护工作;3、负责解决大数据平台建设过程中的技术难点和性能 调优工作;4、参与数据仓库设计，根据业务需求实现高效率高灵 活性的查询，数据分析，数据挖掘;5、负责高吞吐高可用数据实时和离线采集，高并发的 大数据业务架构设计6、负责研发

4、技术发展方向，新技术领域的探索，引入 并验证数据平台领域新技术，提供系统效能7、对大数据技术及开源框架充满热情，具有钻研精神，能自我学习。任职资格：1、具有5年Java开发经验，熟悉Spring生态，掌握Hibernate、Mybatis任意一种ORM匡架，掌握Oracle、Mysql数据库。2、具有2年以上的大数据开发经验，熟悉大数据、数据仓库，分布式架构技术理论，具有大数据整体系统架构设 计和实战经验，熟悉CdH HdP TdH至少一款大数据产品， 有从无到有建设大数据平台经验者优先;3、熟悉大数据组件的开发、搭建、维护以及性能优化;4、较强的开发能力，必须熟练使用相关开发语言(Java/

5、Python/Scala/Shell等)，熟悉大数据生态、关系数 据库和NOSQ数据库、Linux等相关知识，能够独立完成并 指导初级开发人员完成大数据相关的技术实现和调优;5、 熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、impala、Spark、Flink、Kafka、Flume、Kylin、Phoen ix等组件或技术，能阅读源码跟踪问题。6、 熟练掌握Spark、flink任意一种计算框架，掌握MapReduce计算框架原理，并有实际项目开发经验。7、 熟练掌握HdFS、HBase、Kafka、Redis、Hive、Sqoop、S

6、hell等技术和组件，熟练应用开发，必须熟悉复杂数据查 询性能调优，包括实时查询和离线批处理查询，服务器和生 态组件的参数优化。8、 精通高级算法并有与业务结合落地优先;9、 扎实的独立分析问题、解决问题的能力，具备良好数据设计抽象能力，善于从复杂的数据问题中找到关键路 径，并且擅于跟业务团队就业务问题进行良好的沟通，能推 动业务的指标化、量化;10、有较好的学习能力、团队协作精神，认真细心，有 强烈的责任心，爱岗敬业，有较高抗压能力，有较好的工作 稳定性。大数据开发工程师岗位的主要职责概述3职责：1、参与大规模数据快速查询系统的架构设计和开发;2、大规模数据挖掘和机器学习算法的实现;3、在线

7、和离线海量数据分析平台的开发;4、研究大数据前沿技术，提升系统的运维效率;5、实现大数据基础架构平台的自动化运维。【任职要求】 ：的需求理解能力、 沟通协调能力和团队合作精;有很强的1、计算机相关专业,具有3年以上大数据开发经验，熟 悉Java,Linux;2、熟悉Hadoop大数据处理系统的开发,搭建及部署者优先3、熟练地处理数据模型、数据ETL以及存储管理;4、熟悉HdFS/Hive/MapReduce/Kylin/HBase，能独自进 行Mapreduce程序开发者优先;5、熟悉分布式系统概念、架构，有大规模分布式系统 设计、实现、部署等经验;6、有较强的书面与口头沟通表达能力，独立分析

8、、解 决问题的能力。大数据开发工程师岗位的主要职责概述4职责：1、 负责大数据平台架构的整体设计，承担数据抽取、 清洗、转化等数据处理程序开发;2、 为业务运营提供技术支持，完成应用系统的搭建、 优化、升级工作，保证平台稳定运行;3、 编写系统的需求分析、设计、开发和部署文档等。岗位要求：1、硕士及以上学历，计算机、自动化、通信等相关专 业;2、熟练掌握Java语言，并熟悉Python语言，熟悉分 布式系统架构，有hadoop，spark系统架构经验;3、熟悉实时计算框架storm，flink，spark streaming其中之一;4、 熟练使用SQL熟悉数据库原理， 熟练使用至少一种 主流

9、关系型数据库;5、 熟悉软件开发流程， 能够根据需求编写需求、 设计、开发手册等项目过程文档;6、 具有良好的沟通能力和主动性，抗压能力强。大数据开发工程师岗位的主要职责概述5职责：1.对数据进行结构化、标准化处理，对处理流程进行 自动化搭建2.通过ETL/Cube数据建模，构建基于数据仓库的分析 工具;3.参与数据与公司软件产品及第三软件的APi对接;4.搭建与优化，数据采集、处理、可视化流程中所需 的框架与模块开发;5.协同内外部力量完成需求的表达与技术攻关。 任职要求：1.熟 悉 数 据 库 的 设 计 和 开 发 如 ：Oracle/Mysql/MSSQL/Redis等，有处理大量数据经验的优 先;3.熟练使用ETL工具进行数据抽取，清