数据仓库工程师的主要职责_第1页
数据仓库工程师的主要职责_第2页
数据仓库工程师的主要职责_第3页
数据仓库工程师的主要职责_第4页
数据仓库工程师的主要职责_第5页
全文预览已结束

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、数据仓库工程师的主要职责数据仓库工程师负责数据质量问题的分析、跟进、解决,进行数据质量监测、校验和提升。以下是小编整理的数据仓库工程师的主要职责。数据仓库工程师的主要职责1职责:1. 负责企业级数据仓库设计、规划、建设、实施、管理,数据仓库架构设计与数据开发,创建数据仓库、数据集市2. 熟悉数据仓库领域知识,从架构和技术层面参与建设数据仓库,包括元数据管理、数据质量、主数据管理、性能优化和调优。3. 负责数据仓库平台相关数据管理工作,如研发规范、质量规范、保障规范的制定与推动实施落地4. 配合和协助数据分析/数据挖掘形成底层/中间层的业务逻辑切片任职资格:1. 本科或硕士以上学历,计算机工程相

2、关专业2. 熟悉大数据相关技术能力(Hadoop/MapReduce/Hive/Hbase等),熟练进行数仓Hive建设和软件架构,较强的数据抽象能力3. 精通SQL,具备海量数据处理和Hive/Spark性能调优经验,3年以上大规模分布式数据仓库建设经验4. 熟练使用Druid/Kylin之一进行数据挖掘模型设计,熟练掌握Java/Scala之一,具备良好的coding素养和习惯,了解脚本语言,如Python、Shell等5. 强烈的责任心,工作态度积极主动,有较好的团队精神和沟通能力,工作细致认真数据仓库工程师的主要职责2职责:1、负责ETL开发、作业调度和数据平台建设2、负责数据仓库的设

3、计、开发和优化,建立结构层次合理、灵活可扩展的数据仓库3、设计并研发BI分析相关的数据产品4、结合对数据的理解和业务需求,对数据进行整理、分析和挖掘任职要求1、计算机相关专业本科及以上学历,有2年以上数据仓库、ETL工作经验2、有海量数据处理、ETL及作业调度优化、数据仓库建模等经验3、熟悉Linux、SQL、Python或Java、Shell脚本,有Hadoop/Hive/Spark/HBase/Kylin/Impala等大数据技术使用经验4、逻辑清晰,对数据敏感,深入了解业务,具备自己独特的想法并能提出合理的建议数据仓库工程师的主要职责3职责:1、负责制定数据仓库平台技术体系架构、数据架构

4、及规范;2、负责设计和实施公司业务数据的实时/离线数据ETL架构方案;3、负责调度架构设计与开发;4、负责数据仓库平台运维以及日常数据运营等管理;5、负责关键技术攻关;任职要求:1、5年以上数据仓库项目开发经验,参与过数据仓库架构设计,对ETL开发流程、调度架构有深入理解;2、精通mysql、oralce、greenplum等至少一种数据库,丰富的SQL性能调优经验;3、熟练使用Java、Shell、Python、Perl等至少一种脚本语言;4、熟悉数据治理理论,数据质量、元数据管理流程和方法;5、了解Hadoop/Hive/HBase/Spark/Storm等技术及其生态圈;6、沟通能力好、

5、责任心强,具有良好的团队合作精神和敬业精神;数据仓库工程师的主要职责4职责:1. 参与传统数仓和大数据数仓日常开发工作;2. 参与大数据仓库设计、规划和开发;3. 参与日常工作的优化,提出建设性意见;4. 负责管理项目,负责板块内的资源协调、进度管理、交付管理;5. 参与数据仓库、数据集市体系架构的设计、规划与开发,参与大数据、ETL开发,sql性能优化。任职要求:1.全日制本科,计算机等相关专业。3年以上数仓开发经验,有银行、金融从业经验者优先。2.2年以上项目管理经验,具备PMPKE书优先.3. 熟悉oracle/hive/spark,熟悉数据处理和性能优化,有UDF自定义函数、M所发经优

6、先;4. 熟悉常用ETL工具,熟悉常用的Linux指令,熟悉shell/python任意一种脚本语言。数据仓库工程师的主要职责5职责:1. 建设公司级数据仓库,并根据业务变化持续迭代和优化;2. 对业务数据进行梳理和抽象,建设数据仓库的数据模型;3. 对业务数据进行采集、清洗、转换和存储;4. 支撑BI、用户数据、用户运营、用户画像、房源数据、推荐系统等核心数据平台产品;5. 研究大数据前沿技术,不断持续优化大数据平台,为业务提供价值。任职资格:1. 本科及以上计算机、统计学、数据库、机器学习等相关专业,5年以上数据相关工作;2. 对业务数据有敏锐的理解能力,并能快速梳理和分析业务数据;3. 熟练掌握SQL语言、熟悉MySQL又Shell、Java(主要开发语言)、Python编程非常熟悉;4. 熟悉常用的ETL技术和原则;精通数据仓库数据库设计规范和实操;5. 熟悉Ha

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论