数据湖建设项目解决方案

数据湖建设项目解决方案构建安全、可信、高可用、高性能的大数据管理与应用底座02总体规划03建设方案04实施方案01总体概述建设背景集团数据智能化集团数据智能化行业运营智能化经营管理行业运营智能化经营管理智能化“4智”应用基础支撑应用基础支撑业务作业业务作业智能化解决数据“汇”、“存”、“管解决数据“汇”、“存”、“管”、“用”、“数据湖及应用平台开发管理、数据服务管理、数据安全管理和监控集团信息化现状分析11223344业务运营和管理遇到的问题分析集团高管层（决策层）n信息化投入较大，却不能及时有效了解集团整体业务运营情况n海量业务报表，却无法对决策管理提供有效支撑n无法通过企业关键绩效指导决策业务运营管理层n大量时间精力投入到数据收集、报表制作中n缺乏统一的业务运营口径和指标标准n业务的管理口径和财务口径不一致，各部门运营管理信息存在交叉重复n对上级部门运营管理汇报要求不够灵活，响应效率低下；对下级单位数据收集不及时、不准确n运营管理缺乏综合性系统和完整的数据支撑能力IT服务支撑层n缺少统一的平台满足决策层、管理层和运营层等对数据应用的各种需求n运营管理需求反复变更、“多对多”的情况，IT服务部门疲于应付n运营管理应用需求类型多、数量多、口径不一和数据质量差等原因，导致开发周期较长，时效性差等问题n业务数据来源分散，缺乏整合统一的基础数据，无法有效支撑决策和管理总体建设目标借助5G、云计算、大数据、物联网和人工智能等技术，重点解决战略闭环、业务运营、管理支撑等业务系统间数据不通和数据孤岛等问题，15346721534672数据汇聚能力数据存储能力数据治理能力数据分析能力数据服务能力数据应用能力数据汇聚能力数据存储能力数据治理能力数据分析能力数据服务能力数据应用能力•统计分析•灵活查询•多维分析•数据挖掘•人工智能•标签管理•指标管理•知识图谱•数据可视化离线数据采集•统计分析•灵活查询•多维分析•数据挖掘•人工智能•标签管理•指标管理•知识图谱•数据可视化离线数据采集实时数据采集结构化数据采集非结构化数据采集视频数据采集物联网数据采集互联网数据采集手工数据补录采集•数据库数据存储•文件数据存储•图片数据存储•声音数据存储•视频数据存储•关系图谱数据存储•时序数据存储•数据需求管理•资源目录管理•数据服务接口管理•数据共享交换管理•数据报送管理•数据开放管理•数据服务评价人员管理用户管理营销管理渠道管理财务管理风控管理工程管理生产管理监管报送…•数据运维管理•数据产品管理•数据资产价值评估•数据资产营销推广•数据资产合作•数据资产价值变现•数据运营考核评价•••••••••••••••数据标准管理•数据建模管理•数据开发管理•数据调度管理•数据质量管理•元数据管理•••••……•数据生命周期管理……•••………建设目标本期目标业务+（私域流量业务）综合分析和智能化应用，总结经验教训，为集团数据湖及应用平台的整体建设奠定基础。55共享服务需求分析资源目录梳理共享服务发布共享服务申请共享服务授权共享服务调用114n总体架构规划n数据架构规划n技术架构规划n应用体系规划n数据治理规划n数据共享规划n平台工具规划n平台建设蓝图规划应用设计用户需求分析数据及应用开发数据共享与服务对接3用户信息调研用户数据采集数据标准管理用户数据建模用户数据开发元数据3用户信息调研用户数据采集数据标准管理用户数据建模用户数据开发元数据管理数据质量检查2数据共享交换产品安装部署2数据共享交换产品安装部署数据治理产品安装部署大数据平台TBDS安装部署预期成效：”七步走”解决企业面临的数字化转型发展痛点 信息烟囱03利益割据数据分散 信息烟囱03利益割据数据分散3数据标准不统一安全保障不健全数据保密不全面管理机制3数据标准不统一安全保障不健全数据保密不全面管理机制不成体系0405060702总体规划数据治理体系咨询规划技术平台能力增强数据治理体系咨询规划技术平台能力增强•••第四阶段•集团与四大事业部数据入湖全域数据采集、存储、治理、•第四阶段•••AI平台搭建与应用探索••AI平台搭建与应用探索•基础分析能力建设（指标、标签、知识图谱）•综合分析应用建设••基础分析能力建设（指标、标签、知识图谱）•综合分析应用建设•实时分析与应用场景探索•重点应用建设支持•数据资产运营规划•数据产品体系建设•数据产品价值评估体系建设•数据价值变现体系建设•数据运营安全体系建设•数据采集能力迭代升级•数据治理能力迭代升级•数据分析能力迭代升级•数据应用能力迭代升级•数据共享服务能力迭代升级•算法模型中心健全第三阶段•数据采集技术平台搭建第三阶段••数据处理技术平台搭建••数据调度技术平台搭建•…•集团与事业部应用建设全面支撑（人员管理、用户管理•…•集团与事业部应用建设全面支撑（人员管理、用户管理•营销管理、渠道管理、财务管理、工程管理、合同管理、生产管理、风控管理、应急指挥、监管报送…）•数据共享技术平台搭建第二阶段•试点数据域（用户）采集、存储、治理、分析第二阶段••AI服务能力迭代升级•场景应用持续推进•数据运营考核体系建设第一阶段•基础分析能力完善（指标、标签、知识图谱）第一阶段•••…•态势感知能力建设…•实时分析应用场景体系建设•算法模型体系建设•AI服务体系化建设•区块链技术场景应用数据湖及应用平台总体架构（构建六个平台、四个中心、三个保障体系，一个统一门户）业务赋能业务赋能资金管理管理驾驶舱用户分析客户营销财务分析产能预测风险审计监管报送绩效考核管理驾驶舱用户分析客户营销财务分析产能预测风险审计监管报送绩效考核…保障体系保障体系标运安准维全规保保范障障体体体系系系数据统一门户应用集成运营可视化统一用户/权限平台管理数据需求管理数据统一门户应用集成运营可视化统一用户/权限平台管理数据需求管理数据资源目录管理租户管理9数据产品管理数据运营中心数据资产价值评估数据资产营销推广数据资产价值变现数据运营维护运营考核评价共享服务管理共享服务引擎78AI中心文本识别语音识别图像识别语义解析影像识别…654数据治理平台数据标准管理数据模型管理数据质量管理元数据管理主数据管理数据安全管理数据生命周期管理数据分析平台统计分析即席查询多维分析数据挖掘机器学习…9数据产品管理数据运营中心数据资产价值评估数据资产营销推广数据资产价值变现数据运营维护运营考核评价共享服务管理共享服务引擎78AI中心文本识别语音识别图像识别语义解析影像识别…654数据治理平台数据标准管理数据模型管理数据质量管理元数据管理主数据管理数据安全管理数据生命周期管理数据分析平台统计分析即席查询多维分析数据挖掘机器学习…数据共享开放平台注册注册发布发布订阅订阅认证认证权鉴共享监测共享服务保障权鉴共享监测共享服务保障共享审计共享审计文件共享服务文件共享服务库表共享服务库表共享服务接口共享服务接口共享服务数据服务中心指标服务知识图谱服务数据检索服务数据沙箱服务数据沙箱服务标签服务数据产品服务可信计算服务多方安全计算服务标签服务数据产品服务可信计算服务多方安全计算服务…数据资源中心实时数据区实时数据存储实时数据区实时数据存储实时分析处理实时指标计算汇聚区临时库ODS库基础区主题区分析区应用集市区财务营销管理标签库…实时分析21实时分析213数据处理平台离线数据处理实时数据处理非结构化数据转化数据统一调度3存储计算平台Hadoop关系数据库MPP内存数据库图数据库时序数据库对象数据库数据汇聚平台数据共享交换离线数据同步实时数据同步爬虫数据补录互联网数据互联网数据物联网数据外部数据……数据源…数据源业务系统四阶段：运营二阶段四阶段：运营二阶段：夯实一阶段：打基础三阶段：完善业务赋能业务赋能资金管理管理驾驶舱用户分析客户营销财务分析产能预测风险审计监管报送绩效考核管理驾驶舱用户分析客户营销财务分析产能预测风险审计监管报送绩效考核…保障体系保障体系标运安准维全规保保范障障体体体系系系数据统一门户应用集成统一用户/权限平台管理数据资源目录管理租户管理数据需求管理运营可视化数据统一门户应用集成统一用户/权限平台管理数据资源目录管理租户管理数据需求管理运营可视化9数据产品管理数据运营中心数据资产价值评估数据资产营销推广数据资产价值变现数据运营维护运营考核评价共享服务管理共享服务引擎78AI中心文本识别语音识别图像识别语义解析影像识别…654数据治理平台数据标准管理数据模型管理数据质量管理元数据管理主数据管理数据安全管理数据生命周期管理数据分析平台统计分析即席查询多维分析数据挖掘机器学习…9数据产品管理数据运营中心数据资产价值评估数据资产营销推广数据资产价值变现数据运营维护运营考核评价共享服务管理共享服务引擎78AI中心文本识别语音识别图像识别语义解析影像识别…654数据治理平台数据标准管理数据模型管理数据质量管理元数据管理主数据管理数据安全管理数据生命周期管理数据分析平台统计分析即席查询多维分析数据挖掘机器学习…数据共享开放平台注册注册发布发布订阅订阅认证认证权鉴共享监测共享服务保障权鉴共享监测共享服务保障共享审计共享审计文件共享服务文件共享服务库表共享服务库表共享服务接口共享服务接口共享服务数据服务中心指标服务知识图谱服务数据检索服务数据沙箱服务数据沙箱服务标签服务数据产品服务可信计算服务多方安全计算服务标签服务数据产品服务可信计算服务多方安全计算服务…数据资源中心实时数据区实时数据存储实时数据区实时数据存储实时分析处理实时指标计算汇聚区临时库ODS库基础区主题区分析区应用集市区财务营销管理标签库…实时分析21实时分析213数据处理平台离线数据处理实时数据处理非结构化数据转化数据统一调度3存储计算平台Hadoop内存数据库关系数据库MPP图数据库时序数据库对象数据库数据汇聚平台数据共享交换离线数据同步实时数据同步爬虫数据补录互联网数据互联网数据物联网数据外部数据……数据源…数据源业务系统数据湖及应用平台数据架构（统一标准，构建集团和四大事业部数据湖的六大数据区）离线采集实时服务API管理驾驶舱指标服务API用户分析标签服务API客户营销关系图谱服务API资金管理数据检索服务API财务分析文件共享风险审计数据库共享指挥调度API共享绩效考核产能预测实时数据源物联感知数据实时营销数据物流数据…外部数据离线数据源业务系统实时采集消息CDCAPI...文件数据库接口离线采集实时服务API管理驾驶舱指标服务API用户分析标签服务API客户营销关系图谱服务API资金管理数据检索服务API财务分析文件共享风险审计数据库共享指挥调度API共享绩效考核产能预测实时数据源物联感知数据实时营销数据物流数据…外部数据离线数据源业务系统实时采集消息CDCAPI...文件数据库接口16324主题区用户管理营销管理财务管理运营管理风险管理集市区经营分析用户画像财务分析风险审计产能预警监管报送事业部应用…5分析区指标库标签库关系图谱…汇聚区ODS库集团数据健康数据药品数据中药数据合约省医药数据……临时库基础区采购16324主题区用户管理营销管理财务管理运营管理风险管理集市区经营分析用户画像财务分析风险审计产能预警监管报送事业部应用…5分析区指标库标签库关系图谱…汇聚区ODS库集团数据健康数据药品数据中药数据合约省医药数据……临时库基础区采购当事人生产内部机构销售地理区域库存产品营销运输事件财务计划项目实时区实时区实时数据存储实时分析处理实时指标计算数据安全服务API监管报送……互联网数据补录填报6...数据安全服务API监管报送……互联网数据补录填报6...2543事业部汇聚区事业部事业部事业部2543事业部汇聚区事业部事业部事业部事业部临时库ODS库基础区主题区分析区应用集市区1 事业部实时区1、分析和数据共享服务；集团数据湖根据事业部数据需求分采用集团统一标准、统一建设、统一管理和统一16324用户管理营销管理财务管理运营管理风险管理…经营分析用户画像财务分析风险审计产能预警监管报送事业部应用…指标库标签库关系图谱主题区16324用户管理营销管理财务管理运营管理风险管理…经营分析用户画像财务分析风险审计产能预警监管报送事业部应用…指标库标签库关系图谱主题区集市区分析区5实时区实时区实时数据存储实时分析处理实时指标计算汇聚区汇聚区ODS库集团数据健康数据产品药品数据营销中药数据合约省医药数据项目地理区域内部机构临时库基础区当事人库存财务销售生产采购运输事件计划……26543事业部汇聚区事业部事业部事业部26543事业部汇聚区事业部事业部事业部事业部 临时库ODS库基础区主题区分析区+应用集市区1 事业部实时区103建设方案项目建设范围用n总体架构规划n数据架构规划n技术架构规划n应用体系规划n数据治理规划n数据共享规划n平台工具规划n平台建设蓝图规划nTBDS基础平台搭n数据治理平台搭建n数据共享服务平台搭建3.数据汇聚4.数据资源中心建设nn健康事业部用户数据汇聚n省医药公司用户数据汇聚n药品事业部用户数据汇聚n云健康事业部用户数据汇聚n信息调研n基础区数据模型设计n主题区数据模型设计n应用数据集市模型设计n数据清洗、转换和汇总n数据标准管理n元数据管理n数据质量管理nC端用户分析需求调研nC端用户数据分析设计nC源用户数据分析开发nC端用户数据资源目录梳理nC端用户数据共享发布项目建设总体思路FineReportFineBIFineReportFineBI本期范围项目逻辑架构：搭建基础平台，以集团C端用户需求为试点打通数据湖链路本期范围业务赋能业务赋能资金管理管理驾驶舱用户分析客户营销财务分析产能预测风险审计监管报送绩效考核管理驾驶舱用户分析客户营销财务分析产能预测风险审计监管报送绩效考核…保障体系保障体系标运安准维全规保保范障障体体体系系系数据统一门户应用集成统一用户/权限平台管理数据资源目录管理租户管理数据需求管理运营可视化数据统一门户应用集成统一用户/权限平台管理数据资源目录管理租户管理数据需求管理运营可视化9数据产品管理数据运营中心数据资产价值评估数据资产营销推广数据资产价值变现数据运营维护运营考核评价共享服务管理共享服务引擎78AI中心文本识别语音识别图像识别语义解析影像识别…69数据产品管理数据运营中心数据资产价值评估数据资产营销推广数据资产价值变现数据运营维护运营考核评价共享服务管理共享服务引擎78AI中心文本识别语音识别图像识别语义解析影像识别…6数据共享开放平台注册注册发布发布订阅订阅认证认证权鉴共享监测共享服务保障权鉴共享监测共享服务保障共享审计共享审计文件共享服务文件共享服务库表共享服务库表共享服务接口共享服务接口共享服务数据服务中心指标服务知识图谱服务数据检索服务数据沙箱服务数据沙箱服务标签服务数据产品服务可信计算服务多方安全计算服务标签服务数据产品服务可信计算服务多方安全计算服务…54数据治理平台数据标准管理数据模型管理数据质量管理元数据管理数据分析平台统计分析即席查询多维分析数据挖掘机器学习…54数据治理平台数据标准管理数据模型管理数据质量管理元数据管理数据分析平台统计分析即席查询多维分析数据挖掘机器学习…数据资源中心实时数据区实时数据存储实时数据区实时数据存储实时分析处理实时指标计算汇聚区临时库ODS库基础区主题区分析区应用集市区财务营销管理标签库…主数据管理数据安全管理数据生命周期管理实时分析21主数据管理数据安全管理数据生命周期管理实时分析213数据处理平台离线数据处理实时数据处理非结构化数据转化数据统一调度3存储计算平台Hadoop内存数据库关系数据库MPP图数据库时序数据库对象数据库数据汇聚平台数据共享交换离线数据同步实时数据同步爬虫数据补录互联网数据互联网数据物联网数据外部数据……数据源…数据源业务系统项目数据架构（4）治理（5）分析本期范围本期范围离线采集实时服务API管理驾驶舱指标服务API用户分析标签服务API客户营销关系图谱服务API资金管理数据检索服务API财务分析文件共享风险审计数据库共享指挥调度API共享绩效考核产能预测实时数据源物联感知数据实时营销数据物流数据…离线数据源健康事业部用户数据省医药公司用户数据药品事业部用户数据实时采集消息CDCAPI...文件数据库接口离线采集实时服务API管理驾驶舱指标服务API用户分析标签服务API客户营销关系图谱服务API资金管理数据检索服务API财务分析文件共享风险审计数据库共享指挥调度API共享绩效考核产能预测实时数据源物联感知数据实时营销数据物流数据…离线数据源健康事业部用户数据省医药公司用户数据药品事业部用户数据实时采集消息CDCAPI...文件数据库接口16324主题区用户管理营销管理财务管理运营管理风险管理集市区经营分析用户画像财务分析风险审计产能预警监管报送事业部应用…5分析区指标库标签库关系图谱…汇聚区ODS库集团数据健康数据药品数据中药数据合约省医药数据……临时库基础区采购当事人16324主题区用户管理营销管理财务管理运营管理风险管理集市区经营分析用户画像财务分析风险审计产能预警监管报送事业部应用…5分析区指标库标签库关系图谱…汇聚区ODS库集团数据健康数据药品数据中药数据合约省医药数据……临时库基础区采购当事人生产内部机构销售地理区域库存产品营销运输事件财务计划项目实时区实时区实时数据存储实时分析处理实时指标计算数据安全服务API监管报送……云健康事业部用户数据补录填报6...数据安全服务API监管报送……云健康事业部用户数据补录填报6...12543事业部主题区事业部分析区事业部应用集市区事业部12543事业部主题区事业部分析区事业部应用集市区事业部基础区事业部实时区事业部实时区临时库临时库ODS库1.数据湖平台框架体系规划服务提供商输入与分析业务与IT部门输入现状调研现状调研行业最佳实践评估建议评估建议现状期望问题! !分项规划分项规划蓝图规划与演进平台搭建流程预期成效2、基础技术平台搭建平台搭建流程预期成效22 通••••••…••••••••…•…3、数据采集汇聚临时区智慧零售达人管理erp电商平台用户电商平台用户S临时区智慧零售达人管理erp电商平台用户电商平台用户S电商系统数据电商平台门店用户数据生意参谋微信公众号后台医疗器械孩子王电商系统数据电商平台门店用户数据生意参谋微信公众号后台医疗器械孩子王数据库数据库文件文件CDCCDC日志消息消息接口接口数据源管理数据采集开发管理数据采集调度管理数据采集监控预警22 •汇聚业务范围确定•汇聚系统范围确定•汇聚表范围确定•汇聚手工数据范围确定•系统信息整理•用户信息配置•汇聚调度任务整理•数据字典整理•数据源配置•汇聚调度任务基础信•接口信息整理•汇聚区建表配置息配置•网络信息整理•数据汇聚任务配置与•汇聚调度任务依赖触开发•数据汇聚任务测试•数据汇聚查看和问题处理发配置•任务调度测试验证•调度任务监控配置•汇聚任务监控预警•汇聚监控任务故障处理•日常运维巡检理和监控运维。•4、数据体系建设—总体流程需求分析系统设计系统开发上线与维护系统软硬件资源安装系统测试与验收系统管理与维护业务调研(BD）计谈系统软硬件资源安装系统测试与验收系统管理与维护业务调研(BD）计谈①②③④4、数据资源中心建设—步骤一：信息调研•了解企业的整体IT架构和发展规划•了解企业的当前业务系统的现状•了解3-5年内业务系统建设的规化•了解企业针对信息系统建设标准化的规划•掌握业务系统之间的业务功能划分•掌握业务系统之间的数据交换、流向、以及数据衍生关系•掌握现有分析系统从业务系统之间进行数据抽取的内容和方式•掌握现有分析系统和业务系统以及应用系统的数据回送情况•详细查看每个实体业务含义和数据特征、并且进行分类和取舍定义•详细查看每个字段业务含义和数据物理特征、进行分类和取舍定义•掌握针对人员、组织机构、客户、营销、产品、渠道、合同、财务、生产、ERP等定义重要业务编码规则•仔细整理业务系统的代码编码、主外键关联关系••检查客户提供的重要业务编码规则是否在系统中完整执行•检查业务系统的代码的一致性和完整性，并且做出代码映射关系•基于实体和字段的物理特征，给出初步的数据质量审核报告•基于现有ID情况，结合业务需求调研，进行简要的缺口分析6调研报告评审准备访谈分析评审6调研报告评审55调研报告编写调研报告编写各个源系统分别进行各个源系统分别进行4样本数据分析2.评审信息调研报告3字段级调研1.通过分析样本数据验证前期调研21.根据调研结果及入模型策略筛选入仓范围2.3字段级调研1.通过分析样本数据验证前期调研2的结果、分析表间关系的结果、分析表间关系2.在复原源系统ER图的过程中了解表之间关系、表与字段的业务含义系统与表级调研11.了解源系统的字段的业务含义1资料收集2.只调研初步筛选资料收集1.了解系统系统架构、1.了解系统系统架构、功能、业务处理及其它系统间的关系持续迭代完善持续迭代完善1.收集源系统源：系统需求文档、操作手册、表结1.收集源系统源：系统需求文档、操作手册、表结构说明书、代码值、样本数据、建库脚本3.了解数据表的业务含义，并初步筛选出关注的表4.筛选出需求相关的表4、数据资源中心建设—步骤二：①数据模型设计方法↓务问据型视↓务问据型视4、数据资源中心建设—步骤二：②数据区定位与数据模型设计流程①从业务的角度出发全部原始数据全部原始数据核心数据、清洗融合后汇总与分析数据特定需求数据备 /验 /验证型型计项目管理：文档、沟通、问题跟踪、回顾、验证、测试、项目管理：文档、沟通、问题跟踪、回顾、验证、测试、4、数据资源中心建设—步骤二：③基础区数据模型设计线上媒体数据电商订单数据数据采集、数据清洗数据采集、数据清洗线上媒体数据电商订单数据数据采集、数据清洗数据采集、数据清洗基础区建模数据采集、数据清洗线下活动数据数据采集、数据清洗微信行为数据数据标准化ID识别微信openid手机号码EmailQQ男性30岁华东地区会员等级会员积分会员权益CookieMAC微信unionid的行为“像素”。4、数据资源中心建设—步骤二：⑤用户标签设计源数据标签体系标签构建源数据标签体系【订单】女装无缝羽绒长大衣409125金额：【订单】女装无缝羽绒长大衣409125金额：1299元收货地址：上海市X区XX大街手机号：138****8271购买时间：2018/01/1109:21:212017/10/2119:40:22关注公众号微信昵称：skyfly001微信OPENID：nsisuykksikqy阅读“U系列2019春夏款Lookbook”点击菜单“会员福利-50元心意券”阅读“2018年代表作”文章点击菜单“年货买买买”点击商城-男装-HEATTECH，访问某倍舒暖商品详情页收藏男装HEATTECH螺纹圆领T恤413314浏览新春新品活动页消费者维度认知信息人口信息活动偏好情感信息产品偏好场景偏好产品维度视觉系统功能卖点基本认知信息人口信息活动偏好情感信息产品偏好场景偏好产品维度视觉系统功能卖点基本信息情感卖点价格体系促销活动销售终端相对稳定的信息、人口学属性、身份属性性别有孩教育水平年龄地域婚否职业内容场景社交属性地点类型文化氛围关键社交属性地点类型文化氛围关键词衍生品根据行为与轨迹、自定义规则，自动添加参与X活动领取权益浏览X页面线上消费线下消费报名访问时长00:21:34跳出依据属性行为、计算得出的客户标签依据属性行为、计算得出的客户标签沟通时间：2018/01/0412:18:00沟通时间：2018/01/0412:18:00所在渠道：小程序商城手机号：138****8271咨询问题：倍舒暖与HEATTECH区别【订单】童装UltraStretch起居套装414607下单时间：2018/01/3120:22:00下单门店：上海淮海中路旗舰店订单金额：129元付款方式：支付宝品类偏好-童装重要价值客户重要价值客户购买力-购买力-高30天活跃度-120分利用算法训练模型得到的预测标签预测流失风险-利用算法训练模型得到的预测标签预测流失风险-低需求推荐-限时特优-女装复购可能预测-高汇总提炼提炼实时数据处理追加清洗、转换和标准化加载追加清洗、转换和标准化消息、接口定时抽取触发提炼数据库主动采集文件监听文件加载任务文件检查任务数据抽取加载任务数据汇聚加工任务数据质量检查任务汇总提炼提炼实时数据处理追加清洗、转换和标准化加载追加清洗、转换和标准化消息、接口定时抽取触发提炼数据库主动采集文件监听文件加载任务文件检查任务数据抽取加载任务数据汇聚加工任务数据质量检查任务数据清洗转换任务业务检核任务汇总提炼加工任务应用数据加工任务元数据加载任务ETL调度管理ETL任务管理负载管理ETL监控日志管理实时数据采集数据文件采集4、数据资源中心建设—步骤三：数据开发流程与支撑工具75267526 ••••••建库建表环境准备开发系统准备配置文件准备信息调研结果数据模型成果..•创建数据库•创建数据库用户•创建数据表•数据库表赋权•…•表映射•字段映射•代码映射•关联过滤条件映射••••••数据开发参数配置数据映射导入数据开发配置公共代码配置脚本编写调试…•单元测试模板准备•单元测试执行•单元测试报告•…•调度任务整理•调度任务基础信息配置•调度任务依赖触发配置•调度任务测试验证•…•集成测试模板准备•集成测试执行•集成测试报告•…4、数据资源中心建设—步骤四：数据统一调度管理ETL调度平台口消息接口功能接口ETL调度平台口消息接口功能接口Agent模块定时任务文件监控数据卸载数据挖掘数据同步分析汇总质量检查机器学习Agent模块定时任务文件监控数据卸载数据挖掘数据同步分析汇总质量检查机器学习数据加载清洗融合5、数据治理建设：数据标准管理标准范围含哪些？目前的状况如何？标准应该什么样？这些内容都在哪儿？标准应该如何执行？如何维护理标准？ •基础标准管理：为实体及属性设置标准•统计标准管理：为统计指标设置标准•机构清单管理：为层级化实体设置标准•公共代码管理：引入国家、行业或企业自定义的代码标准•业务术语管理：为元数据业务口径配置业务术语•命名规范管理：为系统各类标识符设立统一标准22•标准审核浏览：查看目前已发布的各类标准详情•标准审核审批：审核新创建的标准并发布33•评分体系库管理：设置元数据标准评分计算要素权重•标准评分管理：管理各级元数据的标准评分5、数据治理建设：元数据管理11223344数据源配置元数据采集任务配置数据库元数据采集文件元数据采集接口元数据采集脚本元数据采集ETL调度元数据采集…•元数据检索•系统、表与字段血缘关系分析•系统、表与字段影响分析关系分析•业务元数据分析••••••••数据资产展示数据字典管理数据对标业务指标管理数据质量检查系统故障排查变更影响评估…•元数据采集监控预警•元数据采集问题处理•系统日常运维监控•… 22 55包括技术元数据和业务元数据使用支持文档上传、下载、在