大数据开发工程师的主要职责精选

大数据开发工程师的主要职责精选 大数据开发工程师负责该领域所属模块的代码开发、调试与维护工作，并进行技术沉淀和文档输出。下面是小编整理的大数据开发工程师的主要职责精选。大数据开发工程师的主要职责精选1职责：1、负责公司项目应用监测数据，分析软件大数据平台的代码开发;2、负责大数据体系架构设计和应用产品的研究;3、负责大数据平台及应用场景的构建、部署、测试;4、编写软件研发相关技术文档;5、编写产品研发相关任务单计划，阶段性代码、技术方案和软件产品及时提交至配置管理理库;6、spark程序的研发，sqoop脚本开发和商家用户行为等离线分析数据;7、kudu，kylin等技术调研，编写软件研发相关技术文档;8、sunmi数仓设计架构以及etl流程开发;9、建立多维度，多体系的用户标签体系以及用户行为数据库。岗位要求 ：1、本科以上学历，4年以上?工作经验，2年以上hadoop平台的相关研发经验，具有良好的需求分析，方案设计，架构设计，程序编写、测试能力;2、熟悉j2ee或python平台开发，有良好的java或python语言功底;3、了解linux/unix操作系统，了解脚本编程(shell/python其中一种);4、具备数据中心资源管理(yarn)、监控(clouderamanage)、调度(azkaban)等系统研发经验者优先，具备分布式系统研发经验者优先;5、熟悉hadoop以及其?生态圈系统上的hive、hbase、sqoop、spark、spark-streaming等技术，懂hadoop源码者优先;6、熟悉kylin有olap平台设计和开发经验优先;7、具有应用大数据技术处理tb级以上数据的项目开发经验者优先;8、有较清晰的代码编写规范，逻辑性强，工作态度认真，良好沟通能力和团队合作精神。大数据开发工程师的主要职责精选2职责：1、 负责基于hadoop/spark平台架构的开发、设计和布局 ;2、 完成系统框架的设计和核心代码的编写;3、 针对海量的用户行为数据进行统计、分析与挖掘，不断提高系统运行效率;4、 负责对数据进行分析，为项目组提供大数据技术指导及分析手段支撑;5、 负责大数据平台的性能监控和持续优化;针对需求提供大数据分析技术解决方案 ;6、 大数据平台的运维工作，持续完善大数据平台，保证稳定性、安全性;7、 熟练使用大数据etl数据抽取工具;8、领导安排的其他工作。任职资格：1、 3年互联网行业开发经验，计算机或相关专业本科以上学历;2、 精通hadoop大数据平台架构，具有扎实的java/python等开发语言;并可以开发高效可靠的代码;3、 具有较强的数据分析、数据挖掘的能力;4、 熟悉spark、hive、storm等计算框架者优先，对分布式存储和计算原理有较深的理解;5、 严密的数学思维、突出的分析和归纳能力、优秀的沟通表达能;6、 个性开朗，对技术钻研好学、逻辑思维能力强，沟通能力优秀，有团队合作精神。大数据开发工程师的主要职责精选3职责:1. 负责机票酒店大数据项目的评估、设计及关键模块研发;2. 参与公司大数据平台及联机分析系统的建设;3. 机器学习算法讨论、评估及算法的最终编码实现;4. 数据平台开发规范制定，数据建模及核心框架研发;任职要求:1. 本科及以上学历，计算机或数学相关专业，三年以上相关工作经验;2. 掌握java、python、scala等 中的一到两种语言;3. 熟悉mongodb、hive、hbase、redis等nosql数据库开发和调优;4. 熟悉数据相关开源框架和工具，如zookeeper、spark、flink、impala、kylin 等;5. 对数据结构和机器学习算法有一定的了解;6. 具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先;7. 有机票酒店等旅游行业数据开发经验者优先。大数据开发工程师的主要职责精选4职责：1.负责公司环保大数据平台的架构与搭建;2.负责需求分析，根据客户应用需求规划大数据平台架构;3.负责将大数据平台部署至私有服务器群、私有云或公有云;4.负责在企业内部进行数据平台原型开发与数据实时交互、存储性能测试;5.负责与数据挖掘算法交互的架构设计与开发。任职要求：1.计算机相关专业，全日制本科以上学历;2.具有3年以上大数据相关应用开发经验，有java开发经验更佳;3.至少熟悉一种流行的大数据编程框架，如spark，storm，flink等;4.熟悉大数据生态圈常用技术如rocketmq，kafka，flume，zookeeper等;5.熟悉hadoop安装、调试、发布配置应用，熟悉linux操作系统更佳;6.至少熟悉tidb，mysql，sqlserver其中一种数据库;7.学习能力强，对技术有热情，关注技术发展方向;8.具有工业物联网、智慧型环保项目背景者优先。大数据开发工程师的主要职责精选5职责：1、负责公司大数据平台建设;2、根据业务需求，制定数据仓库和数据分析平台的实施和持续更新;3、攻克技术难关，保证大数据系统的稳定运行;4、完成大数据产品的开发。职位要求：1、计算机相关专业全日制专科及以上学历，大数据相关经验;2、熟悉java或scala语言，熟悉spark，hadoop，kafka，hive，hbase，zookeeper等大数据相关技术;3、精通sql语句并对redis，mongodb等nosql数据库有一定经验;4、对于高并发、高稳定可用性、性能、大数据处理有过