大数据开发工程师的具体职责

大数据开发工程师的具体职责大数据开发工程师的具体职责 大数据开发工程师负责公司项目应用监测数据 分析软件 大数据平台的代码开发 下面是整理的大数据开发工程师的具 体职责 大数据开发工程师的具体职责 1 职责 1 1 负责公司大数据平台数据处理工具 ETL 流处理平台 等建设 功能规划 平台演进 维护调优等 2 2 结合公司业务特征 负责公司数据仓库规划 数据仓 库建设 数仓管理等 3 3 负责大数据处理技术研究及新技术引进 参与超大规 模实时 离线数据计算框架 存储 查询 可视化解决方案的 设计 研发 4 4 负责公司业务数据仓库模型建设及全业务数据域打通 5 5 负责 BI 报表和可视化项目 和客户深度沟通 理解 客户的业务挑战 提供解决方案 制定开发计划并执行 支持 各单位日常数据需求和任务 任职资格 1 1 熟练掌握关系型数据库 例如 Oracle Mysql Vertica 等 熟悉 NoSql 数据库 例如 HBase Redis MongodDB 等 具备丰富的数据库管理和运维调 优经验 2 2 熟悉数据仓库领域知识和技能者优先 包括但不局限 于 元数据管理 数据开发测试工具与方法 数据质量 主数 据管理 数据打通等 3 3 有从事分布式数据存储与计算平台应用开发经验 熟 悉 Hadoop 生态相关技术并有相关实践经验着优先 如 Hdfs Mapreduce Hive Hbase Spark Storm 4 4 精通数据预处理 检验 清洗 分析方法 精通各种 常用统计检验方法 熟练掌握一门或多门编程语言 并有大型 项目建设经验者优先 如 Java Python Shell 和 scala 等 5 5 精通 精通 LinuxLinux 熟悉日常运维 搭建常见服务器 定位 熟悉日常运维 搭建常见服务器 定位 解决日常问题的能力 具备解决日常问题的能力 具备 ETLETL 开发经验优先开发经验优先 6 6 良好的语言沟通与表达能力 有丰富的数据开发经验 较强的数据 平台 技术理解能力 7 7 具备数学类 计算机类等相关专业统招本科及以上学 历 具有 3 年及以上大数据开发工作经验 有互联网行业背景 优先 大数据开发工程师的具体职责 2 职责 1 1 在 在 hadoophadoop 平台进行平台进行 hive hbase sparkhive hbase spark 开发开发 2 2 处理公司大数据平台产品的技术工作 包括存储 处 处理公司大数据平台产品的技术工作 包括存储 处 理 分析 挖掘 架构设计 研发工作理 分析 挖掘 架构设计 研发工作 3 3 熟悉设计 构建和优化基于 熟悉设计 构建和优化基于 hadoop Hbasehadoop Hbase 的存储平台的存储平台 架构架构 4 4 熟悉整体提升 熟悉整体提升 hadoop Hbase Storm Sparkhadoop Hbase Storm Spark 集群的高可集群的高可 用性 高性能 高扩展特性用性 高性能 高扩展特性 5 5 部门相关工作 部门相关工作 岗位要求 1 1 计算机等相关专业大专及以上学历 计算机等相关专业大专及以上学历 2 2 3 3 年以上软件开发经验 精通年以上软件开发经验 精通 JavaJava 开发 至少开发 至少 2 2 年以年以 上上 HadoopHadoop 相关开发经验相关开发经验 3 3 熟悉分布式系统 分布式计算系统的工作机制 具有 熟悉分布式系统 分布式计算系统的工作机制 具有 大规模数据平台 高并发大型系统 大数据等架构设计和开发大规模数据平台 高并发大型系统 大数据等架构设计和开发 经验经验 4 4 熟悉 熟悉 sqoopsqoop HiveHive hbasehbase sparkspark 等大数据生态组件等大数据生态组件 5 5 精通 精通 linuxlinux shellshell 和和 sqlsql 脚本脚本 6 6 有 有 javajava webweb 开发经验者优先开发经验者优先 7 7 良好的团队精神和沟通能力 很强的逻辑思维能力和 良好的团队精神和沟通能力 很强的逻辑思维能力和 学习能力 学习能力 大数据开发工程师的具体职责 3 职责 1 1 负责大数据分析需求设计和开发工作 包括数据存储 负责大数据分析需求设计和开发工作 包括数据存储 预处理 查询 统计 实时分析 数据优化及配置等功能预处理 查询 统计 实时分析 数据优化及配置等功能 2 2 对大数据分析系统存在的问题进行跟踪和定位并及时对大数据分析系统存在的问题进行跟踪和定位并及时 解决解决 3 3 负责上级交办的其他相关工作 负责上级交办的其他相关工作 岗位要求 1 1 本科以上学历 本科以上学历 2 2 年以上工作经验年以上工作经验 2 2 JavaJava 基础扎实 熟练使用基础扎实 熟练使用 JavaJava IDEIDE 进行代码编写和进行代码编写和 调试 熟悉调试 熟悉 JUnitJUnit 单元测试框架单元测试框架 3 3 熟悉熟悉 LinuxLinux 操作系统 能在操作系统 能在 LinuxLinux 上完成开发 调试上完成开发 调试 工作工作 4 4 熟悉网络熟悉网络 IOIO 多线程并发编程 集合等基础框架 精 多线程并发编程 集合等基础框架 精 通数据结构和数据算法通数据结构和数据算法 5 5 参与过分布式高性能服务的设计开发过程 有大规模参与过分布式高性能服务的设计开发过程 有大规模 分布式系统的实践经验分布式系统的实践经验 6 6 熟悉数据库操作和使用的基本技能 熟练一种关系型熟悉数据库操作和使用的基本技能 熟练一种关系型 数据库的使用数据库的使用 7 7 能独立编写详细设计文档能独立编写详细设计文档 8 8 有大数据分析工具有大数据分析工具 HadoopHadoop sparkspark 使用开发经验优先使用开发经验优先 9 9 具有团队精神与敬业精神 学习钻研能力强 具有良具有团队精神与敬业精神 学习钻研能力强 具有良 好的协调沟通能力 好的协调沟通能力 大数据开发工程师的具体职责 4 职责 1 1 大数据的分布式采集与环境搭建和测试 大数据的分布式采集与环境搭建和测试 2 2 大数据存储 处理和分析工作 大数据存储 处理和分析工作 3 3 大数据相关产品线的改进和相关核心开发工作 大数据相关产品线的改进和相关核心开发工作 4 4 其他大数据相关工作 其他大数据相关工作 任职要求 1 1 本科及以上学历 计算机相关专业 本科及以上学历 计算机相关专业 2 2 2 2 年以上年以上 JavaJava 开发及大数据相关开发经验 开发及大数据相关开发经验 javajava 基础基础 扎实 熟练掌握多线程 集合 缓存 序列化 扎实 熟练掌握多线程 集合 缓存 序列化 nionio 等技术等技术 3 3 熟悉 熟悉 LinuxLinux 环境 熟悉环境 熟悉 LinuxLinux shell python perlshell python perl 任任 一脚本一脚本 4 4 熟悉 熟悉 HadoopHadoop SparkSpark ZooKeeperZooKeeper 等主流的大数据处理等主流的大数据处理 架构 并有架构 并有 1 1 年以上年以上 HadoopHadoop 相关的实际开发 架构及调优经相关的实际开发 架构及调优经 验验 5 5 使用过阿里云 使用过阿里云 6 6 熟悉架构 熟悉架构 7 7 具有较好的学习能力 沟通表达能力及团队合作能力 具有较好的学习能力 沟通表达能力及团队合作能力 大数据开发工程师的具体职责 5 职责 1 1 本岗位培养方向为证券基金行业数据架构师 本岗位培养方向为证券基金行业数据架构师 2 2 辅助大数据架构师制定项目开发流程 规范 辅助数 辅助大数据架构师制定项目开发流程 规范 辅助数 据模型设计人员进行模型设计据模型设计人员进行模型设计 3 3 辅助技术架构师进行大数据平台调优 辅助技术架构师进行大数据平台调优 业务逻辑角度业务逻辑角度 4 4 负责大数据平台开发 包括数据抽取 转换和加载 负责大数据平台开发 包括数据抽取 转换和加载 5 5 负责控制数据需求 管理项目开发进度 配合 负责控制数据需求 管理项目开发进度 配合 QAQA 完成完成 项目质量管理项目质量管理 职位要求 1 1 2 2 年以上证券或者基金行业数据中心 大数据平台建年以上证券或者基金行业数据中心 大数据平台建 设经验设经验 2 2 具备较强的学习能力 对数据模型和大数据技术有浓 具备较强的学习能力 对数据模型和大数据技术有浓 厚的兴趣厚的兴趣