数据仓库工程师的工作职责_第1页
数据仓库工程师的工作职责_第2页
数据仓库工程师的工作职责_第3页
免费预览已结束,剩余1页可下载查看

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、Word文档数据仓库工程师的工作职责 数据仓库工程师需要与团队形成良好沟通,有效传达设计意图,并持续跟进设计的调整和优化。数据仓库工程师的工作职责1职责1.负责数据ETL开发,优化ETL流程设计;2.负责数据质量问题的分析、跟进、解决,进行数据质量监测、校验和提升;3.负责ETL开发实施文档的编写;4.负责梳理公司数据仓库/数据集市数据清单、数据映射关系,优化现有数据仓库模型;5.完善和梳理数据指标体系,完成和维护数据字典的工作;6.参加数据标准的制定、数据标准管理和数据平安管理工作;7.参加公司大数据平台的建设,包括Sugar报表或神策接口配置,用户画像标签体系的开发等任职要求:1.有she

2、ll或Python脚本开发阅历;2.有传统数据库SQL Server和MySQL,有存储过程编写力量;3.熟识Hadoop生态相关技术并有相关实践阅历,包括但不限于Sqoop、Hive、HBase、Kylin等开发阅历;4.有kettle、azkaban或oozie工作流调度阅历;5.熟识Hive SQL或Flink SQL的开发;6.有数据仓库模型设计,有使用kafka+Flink Streaming实时数据处理阅历优先;7.有Sugar、神策或Tableau使用阅历,有用户画像或客户召回标签工作阅历优先;8.对数据挖掘和机器学习有所了解,包括常用的机器学习算法和数据建模过程的优先数据仓库工

3、程师的工作职责2职责:1、负责数据源导入、清洗、集成等工作,优化ETL流程并解决ETL相关技术问题;2、负责参加数据模型体系构建及数据主题设计和开发,数据仓库和业务数据集市的建设;3、负责数据集市需求调研和需求分析;4、基于阿里云Maxcompute,进行数据开发工作。岗位要求:1、3年或以上数据仓库开发和模型设计阅历;2、深化理解DW,BI相关的学问,包括:ETL、数据仓库、OLAP、多维数据模型等;3、熟识MapReduce、Hive原理;4、精通SQL,能够娴熟使用HiveSQL进行数据开发;5、具有良好的团队协作精神和沟通力量,较强的规律思维,学习力量和解决问题的力量,可担当较大的工作

4、压力;6、熟识阿里云大数据开发平台优先,如Maxcompute;7、熟识跨境电商及供应链业务优先。数据仓库工程师的工作职责3职责:1. 负责直播业务相关数据仓库的数据模型设计;3. 参加数据仓库ETL流程设计、开发和优化,解决ETL过程相关技术问题;3. 参加项目规划,数据采集设计,数据仓库开发,模型开发,报表开发等;4. 总结数据仓库建模的方法,负责数据产品平台化和系统化;任职资格:1. 2年及以上的数据仓库/BI相关研发阅历,对数据和业务敏感,有较好的数据模型设计力量;2. 熟识数据仓库各类模型建模理论,了解数据仓库数据分层架构,多维数据模型设计;3. 娴熟使用Hadoop/Spark/H

5、ive/HBase/Mysql,有列式数据库/Kylin/ElasticSearch等阅历者优先;4. 有较强的编程力量和编程阅历,至少熟识Java/Scala/Python/PHP等其中一门编程语言;5. 参加过大型数据仓库架构设计、模型设计、ETL设计,具备海量数据处理、性能调优阅历;6. 学习力量强,热衷开源技术,有团队观念,具备单独解决问题的力量;数据仓库工程师的工作职责4职责:1、 参加数据仓库及ETL基础架构规划、平安规划制定;2、 负责数据仓库及ETL的开发、测试和优化,并准时解决相关技术问题;3、 负责相关数据精确性验证及报表等日常维护;4、 报表性能优化:对存在性能问题的数据

6、报表进行优化;5、 数据运维:准时处理线上问题;6、 完成上级交代的其他工作。岗位要求:1.计算机相关专业本科及以上学历,2年以上ETL开发或数仓相关工作阅历;2.娴熟使用Oracle、MySQL、PostgreSQL等主流数据库,具有较强的SQL编写、优化力量,熟识存储过程编写;3.熟识数据仓库数据处理流程,有肯定的数据建模力量;4.具有良好的沟通理解力量,能依据业务提出的需求,快速理解并落地实施;5.有Kettle、Greenplum开发阅历者优先。数据仓库工程师的工作职责5职责:1. 负责数据仓库架构设计与开发2. 依据业务调研,设计信息模型与数据模型,负责大数据建模、ETL、数据产品及平台的设计与开发3. 满意业务数据需求,设计面对业务的数据集市模型4. 需求的沟通与数据开发项目管理5. 基于Hadoop生态的程序设计、开发和维护岗位要求:1.熟识SQL语言,至少熟识Oracle、MySQL、SQL sever一种及以上2.精通数据库系统(Oracle、SQL、mysql等):精通熟识Oracle数据库体系结构,基础扎实;精通熟识DataGuardRAC等高可用技术,能顺当的配置和管理dataGu

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论