大数据开发工程师的具体职责(20211007145322)

1、大数据开发工程师的具体职责大数据开发工程师负责公司工程应用监测数据，分析软 件大数据平台的代码开发。下面是小编整理的大数据开发工 程师的具体职责。大数据开发工程师的具体职责 1职责 :1、 负责公司大数据平台数据处理工具ETL、流处理平台等建设，功能规划，平台演进，维护调优等 ;2、结合公司业务特征，负责公司数据仓库规划、数据 仓库建设、数仓管理等 ;3、负责大数据处理技术研究及新技术引进，参与超大 规模实时 / 离线数据计算框架，存储、查询、可视化解决方 案的设计，研发 ;4、负责公司业务数据仓库模型建设及全业务数据域打通;5、负责 BI 报表和可视化工程，和客户深度沟通，理 解客户的业务挑

2、战，提供解决方案，制定开发方案并执行， 支持各单位日常数据需求和任务 ;任职资格 :1 、 熟练掌握关系型数据库 , 例如： Oracle 、 Mysql 、 Vertica 等 ; 熟悉 NoSql 数据库，例如 HBase、 Redis 、 MongodDB 等; 具备丰富的数据库管理和运维调优经验 ;2、熟悉数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、数据开发测试工具与方法、数据质量、主数据管理，数据打通等 ;3、有从事分布式数据存储与计算平台应用开发经验， 熟悉 Hadoop 生态相关技术并有相关实践经验着优先，如 Hdfs 、 Mapreduce、 Hive 、 Hba

3、se、 Spark 、 Storm;4、精通数据预处理、检验、清洗、分析方法，精通各 种常用统计检验方法 ; 熟练掌握一门或多门编程语言，并有 大型工程建设经验者优先， 如 Java 、Python 、Shell 和 scala 等;5、精通 Linux ，熟悉日常运维、搭建常见效劳器、定位 解决日常问题的能力，具备 ETL 开发经验优先 ;6、良好的语言沟通与表达能力，有丰富的数据开发经 验，较强的数据、平台、技术理解能力 ;7、具备数学类、计算机类等相关专业统招本科及以上 学历，具有 3 年及以上大数据开发工作经验，有互联网行业 背景优先。大数据开发工程师的具体职责 2职责：1、在 had

4、oop 平台进行 hive/hbase/spark 开发 ;2、处理公司大数据平台产品的技术工作，包括存储、 处理、分析、挖掘、架构设计、研发工作 ;3、熟悉设计、构建和优化基于 hadoop/Hbase 的存储平 台架构 ;4、熟悉整体提升 hadoop/Hbase/Storm/Spark 集群的高 可用性、高性能、高扩展特性 ;5、部门相关工作。岗位要求：1、计算机等相关专业大专及以上学历 ;2、3 年以上软件开发经验，精通 Java 开发，至少 2 年 以上 Hadoop 相关开发经验 ;3、熟悉分布式系统、分布式计算系统的工作机制，具 有大规模数据平台，高并发大型系统，大数据等架构设计

5、和 开发经验 ;4、熟悉 sqoop、 Hive 、 hbase、 spark 等大数据生态组 件;5、精通 linux shell 和 sql 脚本 ;6、有 java web 开发经验者优先 ;7、良好的团队精神和沟通能力，很强的逻辑思维能力 和学习能力。大数据开发工程师的具体职责 3职责1. 负责大数据分析需求设计和开发工作，包括数据存 储、预处理、查询、统计、实时分析、数据优化及配置等功 能;2. 对大数据分析系统存在的问题进行跟踪和定位并及 时解决;3. 负责上级交办的其他相关工作。岗位要求：1. 本科以上学历， 2 年以上工作经验 ;2. Java 根底扎实，熟练使用 Java I

6、DE 进行代码编写 和调试，熟悉 JUnit 单元测试框架 ;3. 熟悉 Linux 操作系统，能在 Linux 上完成开发、调 试工作 ;4. 熟悉网络 IO 、多线程并发编程、集合等根底框架， 精通数据结构和数据算法 ;5. 参与过分布式高性能效劳的设计开发过程，有大规 模分布式系统的实践经验 ;6. 熟悉数据库操作和使用的根本技能，熟练一种关系 型数据库的使用 ;7. 能独立编写详细设计文档 ;8. 有大数据分析工具 Hadoop、 spark 使用开发经验优 先;9. 具有团队精神与敬业精神，学习钻研能力强，具有 良好的协调沟通能力。大数据开发工程师的具体职责 4职责：1、大数据的分布

7、式采集与环境搭建和测试 ;2、大数据存储、处理和分析工作 ;3、大数据相关产品线的改良和相关核心开发工作;4、其他大数据相关工作。任职要求：1、本科及以上学历，计算机相关专业 ;2、2 年以上 Java 开发及大数据相关开发经验， java 基 础扎实，熟练掌握多线程、集合、缓存、序列化、 nio 等技 术;3、熟悉 Linux 环境，熟悉 Linux shell/python/perl 任一脚本 ;4、熟悉 Hadoop、Spark 、ZooKeeper 等主流的大数据处 理架构，并有 1 年以上 Hadoop 相关的实际开发、架构及调 优经验 ;5、使用过阿里云 ;6、熟悉架构 ;7、具有较好的学习能力、沟通表达能力及团队合作能 力。大数据开发工程师的具体职责 5职责：1、本岗位培养方向为证券基金行业数据架构师;2、辅助大数据架构师制定工程开发流程、标准，辅助 数据模型设计人员进行模型设计 ;3、辅助技术架构师进行大数据平台调优 业务逻辑角度;4、负责大数据平台开发，包括数据抽取、转换和加载;5、负责控制数据需求、管理工程开发进度，配合QA完成工程质量管理 ;职位要求：1、2 年以上证券或者基金行业数据中心、大数据平台建设经验 ;2、具备较强的学习能力，对数据模型和大数据技术有 浓厚的兴趣 ;3、 熟练掌握基于 OR