数据湖建设解决方案

1、目目 录录项目概述项目概述总体规划总体规划建设方案建设方案123项目建设背景项目建设背景“4智智”应应 用基础支用基础支 撑撑企业集团大企业集团大 数据智能化数据智能化经营管理经营管理智能化智能化业务作业业务作业智能化智能化医疗健康行医疗健康行 业运营智能业运营智能 化化解决数据“汇”、“存”、“管”、“用”、“营”难题数据湖及应用平台数据湖及应用平台数据管理和业务应用要求数据管理和业务应用要求 数据分散：数据分散：基础数据分布在各个应用平台中，应用开发商整合能力 差； 数据管理能力较弱：数据管理能力较弱：缺乏统一的数据标准管理、数据质量管理、数据开发管理、数据服务管理、数据安全管理和监控运维

2、管理等； 数据利用能力不强数据利用能力不强：现有数据无法适应新业务需求，同时历史数据 无法并入新的系统再利用。集团战略要求集团战略要求 集团战略管控数字化； 业务运营数字化； 产业协同数字化； 管理支撑数字化。“十四五十四五“规划愿景规划愿景 响应国家“十四五”规划提出的“加快数字发展，建设数字中国”，推进“三医”联动持续深化改 革，以“守护生命与健康”为使命，筹划建设“集团城市健康中心”，打造以传统中医药理论为基础， 依托现代科技赋能科技赋能，基于用户关系用户关系经营，通过大数大数据据、实体医疗、网络诊疗平台、药事服务平台和 新零售平台等提供防、养、调全渠道多场景多场景的健康产品、健康内容、

3、健康定制和健康管理服务，打造 一站一站式式解决目标用户健康问题的创新型健康服务中台。服务中台。集团信息化现状分析集团信息化现状分析集团领导市场财务销售运营办公自动化系统三方OMS生产管理系统全渠道数字化平台移动应用门户网站ERP系统人力资源系统业务信息系统业务信息系统集团级集团级集团财务系统业务系统信息化业务系统信息化基本形成体系基本形成体系项目管理级项目管理级公司级公司级1线上线下业务信息化线上线下业务信息化整合工作稳步推进整合工作稳步推进2决策管理和数据分析决策管理和数据分析 应用正在迭代完善应用正在迭代完善3集团统一数据管理和应用集团统一数据管理和应用 体系尚未建成体系尚未建成4业务运营

4、和管理遇到的问题分业务运营和管理遇到的问题分析析未统一业务口径未统一业务口径 和数据标准和数据标准数据质量数据质量 层次不齐层次不齐缺乏统一数据管理缺乏统一数据管理 支撑平台支撑平台需方多、变化快需方多、变化快IT服务支撑层服务支撑层缺少统一的平台满足决策层、管理层和运营层等对数据应用的各种需求运营管理需求反复变更、“多对多”的情况，IT服务部门疲于应付运营管理应用需求类型多、数量多、口径不一和数据质量差等原因，导致开发周期较长，时效性差等问题业务数据来源分散，缺乏整合统一的基础数据，无法有效支撑决策和管理集团高管层（决策层）集团高管层（决策层）信息化投入较大，却不能及时有效了解集团整体业务运

5、营情况海量业务报表，却无法对决策管理提供有效支撑无法通过企业关键绩效指导决策业务运营管理层业务运营管理层大量时间精力投入到数据收集、报表制作中缺乏统一的业务运营口径和指标标准业务的管理口径和财务口径不一致，各部门运营管理信息存在交叉重复对上级部门运营管理汇报要求不够灵活，响应效率低下；对下级单位数据收集不及时、不准确运营管理缺乏综合性系统和完整的数据支撑能力数据孤岛、数据分散数据孤岛、数据分散总体建设目标总体建设目标以以“守护生命与健康守护生命与健康”为为使命使命，推动推动企企业数业数字字化转化转型型，建立集团数据湖及应用建立集团数据湖及应用平平台，台，全全面提面提升升集团集团智智慧化慧化经经

6、营决营决策策管理管理能能力力。借助5G、云计算、大数据、物联网和人工智能等技术，重点解决战略闭环、业务运营、管理支撑等业业务务系统系统间间数据数据不不通和通和数数据孤据孤岛岛等问题，破解数据“汇汇”、“存存”、“ 管管”、“用用”、“营营”等难题。通过建立集团统一的数据湖及应用平台，提供数据汇汇聚聚、存、存储储、治、治理理、分、分析析、服、服务务、共、共享享、应、应用用和运运营营能力，夯实企业大数据智能化、经营管 理智能化、业务作业智能化、医疗健康行业运营智能化的“4智智”应应用用基础支撑能力，构建跨业跨业务务、跨、跨部部门和门和跨跨层级层级的融合融合应应用场用场景景，形成企业“数智数智化化”

7、运行的智智能能中中枢枢， 实现经营状态的实时监实时监测测，经营数据的辅助辅助决决策策、指标的智智能预能预警警预测预测，关键问题的智智慧决慧决策策，打造集团运行管理闭环与智慧化决策能力 。总体建设目标总体建设目标数据汇聚能力数据汇聚能力离线数据采集实时数据采集结构化数据采集非结构化数据采集视频数据采集物联网数据采集互联网数据采集手工数据补录采集数据库数据存储文件数据存储图片数据存储声音数据存储视频数据存储关系图谱数据存储时序数据存储数据架构管理数据标准管理数据建模管理数据开发管理数据调度管理数据质量管理元数据管理数据安全管理数据生命周期管理统计分析灵活查询多维分析数据挖掘人工智能标签管理指标管理

8、知识图谱数据可视化数据需求管理资源目录管理数据服务接口管理数据共享交换管理数据报送管理数据开放管理数据服务评价人员管理用户管理营销管理渠道管理财务管理风控管理工程管理生产管理监管报送数据运维管理数据产品管理数据资产价值评估数据资产营销推广数据资产合作数据资产价值变现数据运营考核评价12数据存储能力数据存储能力3数据治理能力数据治理能力4数据分析能力数据分析能力5数据服务能力数据服务能力6数据应用能力数据应用能力7数据运营能力数据运营能力 总体架构规划 数据架构规划 技术架构规划 应用体系规划 数据治理规划 数据共享规划 平台工具规划 平台建设蓝图规划 建设目标建设目标规划数据湖及应用平规划数据

9、湖及应用平台台框框架架体体系系、搭搭建建技技术术基基础础平平台台，实，实现现C端用端用户户数据数据采采集、集、入入湖湖、治治理理和和共共享享服服务务，以，以及及支撑支撑企企业务业务+（私域流量业务（私域流量业务）综合综合分分析析和和智智能化能化应应用，用，总总结经结经验验教教训训，为集为集团团数据数据湖湖及应及应用用平台平台的的整体整体建建设奠设奠定定基础。基础。目标目标基础平台搭建基础平台搭建数据治理体系建设数据治理体系建设数据共享服务建设数据共享服务建设数据分析应用建设数据分析应用建设框框 架架 体体 系系 规规 划划数据共享交换产品安装部署数据治理产品安装部署 大数据平台TBDS安装部署

10、用户需求分析应用设计数据及应用开发数据共享与服务对接用户信息调研用户数据采集数据标准管理用户数据建模用户数据开发元数据管理数据质量检查12345共享服务需求分析资源目录梳理共享服务发布共享服务申请共享服务授权共享服务调用预期成预期成效效：”七步走七步走”解决企业面临的数字化转型发展痛解决企业面临的数字化转型发展痛点点03020406070503信息烟囱信息烟囱数据分散数据分散利益割据利益割据数据保密数据保密 不全面不全面数据标准数据标准不统一不统一管理机制管理机制 不成体系不成体系安全保障安全保障 不健全不健全利用大数据技术建立集利用大数据技术建立集团团统一统一的的数据数据湖湖，实，实现现数据

11、数据采采集、集、存存储、储、处处理、理、分分析和析和服服务的务的统统一管一管理理，提，提高高信息信息和和数据数据的的响应响应时时间，间，提提高高经经 营管理工作效率，有利营管理工作效率，有利于于压缩压缩开开支，支，降降低管低管理理成本成本，推进推进数数字化字化转转型发型发展展。数字化转型面临的痛点数字化转型面临的痛点”七步走七步走”解决问题解决问题1设立专管机构，完善管理体系设立专管机构，完善管理体系2整合数据孤岛，统一数据标准整合数据孤岛，统一数据标准3构建数据采集体系，打通数据整合通道构建数据采集体系，打通数据整合通道4设计数据存储策略，提升数据存储效率设计数据存储策略，提升数据存储效率5

12、初步构建数据治理体系初步构建数据治理体系6制定数据共享服务策略，促进数据融合安全发展制定数据共享服务策略，促进数据融合安全发展7奠定数据应用基础，打造大数据综合应用能力奠定数据应用基础，打造大数据综合应用能力目目 录录项目概述项目概述总体规划总体规划建设方案建设方案123建设总体思路建设总体思路搭建技术基础平台，探索平台应用能力搭建技术基础平台，探索平台应用能力第一阶段第一阶段夯实数据基础，推进服务与应用建设夯实数据基础，推进服务与应用建设第二阶段第二阶段完善应用体系，提升平台智慧能力完善应用体系，提升平台智慧能力第三阶段第三阶段建立数据运营体系，持续优化平台能力建立数据运营体系，持续优化平台

13、能力第四阶段第四阶段数据湖及应用平台建设 规划数据采集技术平台搭建数据存储技术平台搭建数据处理技术平台搭建数据调度技术平台搭建数据治理技术平台搭建数据共享技术平台搭建试点数据域（用户）采 集、存储、治理、分析 和共享实施集团与事业部应用建设全面支撑（人员管理、用户管理营销管理、渠道管理、财务管 理、工程管理、合同管理、生 产管理、风控管理、应急指挥、 监管报送）基础分析能力完善（指标、标签、知识图谱）综合分析应用增强态势感知能力建设实时分析应用场景体系建设算法模型体系建设AI服务体系化建设区块链技术场景应用数据资产运营规划数据产品体系建设数据产品价值评估体系建设数据价值变现体系建设数据运营安全

14、体系建设数据采集能力迭代升级数据治理能力迭代升级数据分析能力迭代升级数据应用能力迭代升级数据共享服务能力迭代升级算法模型中心健全AI服务能力迭代升级场景应用持续推进数据运营考核体系建设数据治理体系咨询规划技术平台能力增强集团与四大事业部数据入湖全域数据采集、存储、治理、 分析和共享体系建设数据治理体系建设AI平台搭建与应用探索基础分析能力建设（指标、标 签、知识图谱）综合分析应用建设实时分析与应用场景探索重点应用建设支持数据湖及应用平台总体架数据湖及应用平台总体架构构（构建六个平台、四个中心、（构建六个平台、四个中心、三三个个保保障障体体系系，一一个个统统一一门门户）户）标运安准维全规保保范障

15、障体体体系系系数据共享开放平台数据共享开放平台数据汇聚平台数据汇聚平台存储计算平台存储计算平台数据处理平台数据处理平台数据共享交换离线数据同步实时数据同步数据补录数据源数据源互联网数据外部数据物联网数据业务系统HR系统OAERP主数据渠道系统三方OMS财务系统Hadoop关系数据库MPP内存数据库图数据库时序数据库对象数据库爬虫离线数据处理实时数据处理非结构化数据转化数据统一调度多维分析即席查询机器学习数据挖掘数据治理平台数据治理平台数据标准管理数据模型管理数据安全管理数据生命周期管理数据质量管理元数据管理 主数据管理数据分析平台数据分析平台数据资源中心数据资源中心统计分析数据沙箱服务多方安全

16、计算服务共享服务引擎共享服务引擎文件共享服务库表共享服务接口共享服务共享服务管理共享服务管理注册发布订阅认证权鉴共享服务保障共享服务保障共享监测共享审计文本识别语音识别语义解析标签服务数据产品服务可信计算服务AI中心中心数据服务中心数据服务中心图像识别影像识别指标服务知识图谱服务数据检索服务数据需求管理应用集成数据资源目录管理租户管理统一用户/权限数据统一门户数据统一门户运营可视化数据运营中心数据运营中心数据产品管理数据资产价值评估 数据资产营销推广 数据资产价值变现数据运营维护运营考核评价32145678实时分析9101112保障体系保障体系管理驾驶舱客户营销业务赋能业务赋能资金管理财务分析

17、产能预测风险审计用户分析绩效考核监管报送13平台管理汇聚区汇聚区临时库临时库ODS库库实时数据区实时数据区实时数据存储实时分析处理实时指标计算基础区基础区当事人财务主题区主题区用户管理营销管理分析区分析区指标库标签库应用集市区应用集市区经营分析用户画像数据湖及应用平台分阶段规划数据湖及应用平台分阶段规划运 维 保 障 体 系安 全 保 障 体 系标 准 规 范 体 系数据共享开放平台数据共享开放平台数据汇聚平台数据汇聚平台存储计算平台存储计算平台数据处理平台数据处理平台数据共享交换离线数据同步实时数据同步数据补录数据源数据源互联网数据外部数据物联网数据业务系统HR系统OAERP主数据渠道系统三

18、方OMS财务系统Hadoop内存数据库关系数据库MPP图数据库时序数据库对象数据库爬虫离线数据处理实时数据处理非结构化数据转化数据统一调度多维分析即席查询机器学习数据挖掘数据治理平台数据治理平台数据标准管理数据模型管理数据安全管理数据生命周期管理数据质量管理元数据管理 主数据管理数据分析平台数据分析平台数据资源中心数据资源中心统计分析数据沙箱服务多方安全计算服务共享服务引擎共享服务引擎文件共享服务库表共享服务接口共享服务共享服务管理共享服务管理注册发布订阅认证权鉴共享服务保障共享服务保障共享监测共享审计文本识别语音识别语义解析标签服务数据产品服务可信计算服务AI中心中心数据服务中心数据服务中心

19、图像识别影像识别指标服务知识图谱服务数据检索服务数据需求管理运营可视化数据资源目录管理租户管理统一用户/权限数据统一门户数据统一门户应用集成数据运营中心数据运营中心数据产品管理数据资产价值评估 数据资产营销推广 数据资产价值变现数据运营维护运营考核评价32145678实时分析9101112保障体系保障体系业务赋能业务赋能资金管理财务分析产能预测风险审计绩效考核监管报送13管理驾驶舱用户分析客户营销平台管理汇聚区汇聚区临时库临时库ODS库库实时数据区实时数据区实时数据存储实时分析处理实时指标计算基础区基础区当事人财务主题区主题区用户管理营销管理分析区分析区指标库标签库应用集市区应用集市区经营分析

20、用户画像二阶段：夯实三阶段：完善一阶段：打基础四阶段：运营事业部数据资源池事业部数据资源池集团数据资源池集团数据资源池实时数据存储实时区实时区实时分析处理实时指标计算临 时 库汇聚区汇聚区ODS库集团数据健康数据药品数据中药数据省医药 数据基础区基础区当事人采购内部机构生产地理区域销售产品库存营销运输合约事件计划财务项目主题区主题区用户管理营销管理运营管理风险管理财务管理集市区集市区经营分析用户画像风险审计监管报送产能预警财务分析事业部应用分析区分析区指标库标签库关系图谱事业部实时区事业部实时区事业部汇聚区事业部汇聚区临时库ODS库事业部事业部 基础区基础区主题区主题区事业部事业部 分析区分析

21、区应用集市区应用集市区1234561234事业部事业部56事业部事业部数据湖及应用平台数据架数据湖及应用平台数据架构构（统一标准，构建集团和四大事业部数统一标准，构建集团和四大事业部数据据湖的湖的六六大数大数据据区区）（1）数据源）数据源（2）采集）采集（3）汇聚）汇聚（4）治理）治理（5）分析）分析（6）共享服务）共享服务（7）数据应用）数据应用实时采集实时采集消息 CDC API. 离线采集离线采集文件数据库接口补录 填报.实时数据源实时数据源物联感知数据实时营销数据 物流数据离线数据源离线数据源业务系统外 部 数 据HR系统OAERP主数据渠道系统三方OMS财务系统互联网 数据数据来源数

22、据来源数据采集平台数据采集平台数据共享服务数据共享服务实时服务实时服务API指标服务指标服务API标签服务标签服务API关系图谱关系图谱 服务服务API数据检索数据检索 服务服务API文件共享文件共享数据库共享数据库共享API共享共享数据安全数据安全 服务服务API数据应用数据应用管理驾驶舱用户分析客户营销 资金管理 财务分析 产能预测 风险审计 指挥调度 绩效考核 监管报送集团数据湖与事业部四大数据湖之间定位及关系探集团数据湖与事业部四大数据湖之间定位及关系探讨讨集团数据资源池集团数据资源池实时数据存储实时区实时区实时分析处理实时指标计算临 时 库汇聚区汇聚区ODS库集团数据健康数据药品数据

23、中药数据省医药 数据基础区基础区当事人采购内部机构生产地理区域销售产品库存营销运输合约事件计划财务项目主题区主题区用户管理营销管理运营管理风险管理财务管理集市区集市区经营分析用户画像风险审计监管报送产能预警财务分析事业部应用分析区分析区指标库标签库关系图谱事业部数据资源池事业部数据资源池事业部实时区事业部实时区事业部汇聚区事业部汇聚区临时库ODS库事业部事业部 基础区基础区事业部事业部 分析区分析区1234561234事业部事业部主题区主题区56事业部事业部 应用集市区应用集市区方案一：事业部独立建方案一：事业部独立建设设数据数据湖湖，集，集团团汇聚汇聚整整合建合建湖湖方案二：集团统一建湖方案

24、二：集团统一建湖，事业事业部部数据数据湖湖同步同步和和特色特色发发展展方案建议：集团领导牵方案建议：集团领导牵头头，统统一一标标准准和和统统一一建建湖湖 方案描述：方案描述：事业部根据自身业务特色构建数据湖和数据治理体系， 集团数据湖汇聚事业部数据湖数据，设计数据标准，进行数据治理、数据分析和数据共享服务。 优点：优点：建设灵活，能快速满足各事业部和集团数据湖的应用需求。 缺点：缺点：难以统一标准和数据口径，多头数据采集，后期维护工作量 较大。 方案描述：方案描述：集团数据湖统一标准和数据治理体系，统一汇聚、治理、分析和数据共享服务；集团数据湖根据事业部数据需求统一分发 数据，事业部同步数据和

25、，并根据自身特色构建数据湖及应用。 优点：优点：集团与事业部数据标准统一，后期管理协调难度较少。 缺点：缺点：前期统一难度较高，事业部建设灵活度不高。 先进经验：先进经验：目前信息化领先行业和企业的数据平台能力建设，大部 分采用集团统一标准、统一建设、统一管理和统一运营。 方案建议：方案建议：目前集团和事业部业务系统已较为完备，数据湖建设处 于起步阶段，为集团统一标准和建湖奠定了基础。目目 录录项目概述项目概述总体规划总体规划建设方案建设方案123建设范围建设范围数据湖平台框架体系规划、技术基数据湖平台框架体系规划、技术基础础平台平台搭搭建，建，集团集团C端端用用户户数数据据采采集集、入入湖湖

26、、治治理理、共共享享服服务务和和用用户户分分析析应应用用1.数据湖平台框架体系规划数据湖平台框架体系规划 总体架构规划 数据架构规划 技术架构规划 应用体系规划 数据治理规划 数据共享规划 平台工具规划 平台建设蓝图规划 3.数据汇聚数据汇聚4.数据资源中心建设数据资源中心建设5.数据治理数据治理6.数据分析数据分析2.平台搭建平台搭建7.数据共享服务数据共享服务 TBDS基础平台搭 数据治理平台搭建 数据共享服务平台搭建 健康事业部用户数据汇聚 省医药公司用户数据汇聚 药品事业部用户数据汇聚 云健康事业部用户数据汇 聚 信息调研 基础区数据模型设计 主题区数据模型设计 应用数据集市模型设计

27、数据清洗、转换和汇总 数据标准管理 元数据管理 数据质量管理 C端用户分析需求调研 C端用户数据分析设计 C源用户数据分析开发 C端用户数据资源目录梳理 C端用户数据共享发布建设总体思路建设总体思路事业部用户数渠道分析用户月活用户日活地域分析时间分析数据入湖及治理数据入湖及治理数据分析应用数据分析应用数据可视化数据可视化FineReportFineBI用户信息数据用户标签模型填报数据、参数数据采集数据建模数据清洗数据加载数据整合数据汇总数据源数据源健康事业部健康事业部省医药公司省医药公司药品事业部药品事业部智慧零售达人管理微信公众号后台医疗器械app电商系统数据excelerp孩子王电商saa

28、s云健康云健康电商平台用户电商平台用户门店用户数据生意参谋数据共享服务数据共享服务用户资源 目录梳理用户数据 目录挂接用户数据 共享发布逻辑架逻辑架构构：搭建基础平台，以集团搭建基础平台，以集团C端用户需求为端用户需求为试试点打点打通通数据数据湖湖链链路路本期范围运 维 保 障 体 系安 全 保 障 体 系标 准 规 范 体 系数据共享开放平台数据共享开放平台数据汇聚平台数据汇聚平台存储计算平台存储计算平台数据处理平台数据处理平台数据共享交换离线数据同步实时数据同步数据补录数据源数据源互联网数据外部数据物联网数据业务系统HR系统OAERP主数据渠道系统三方OMS财务系统Hadoop内存数据库关

29、系数据库MPP图数据库时序数据库对象数据库爬虫离线数据处理实时数据处理非结构化数据转化数据统一调度多维分析即席查询机器学习数据挖掘数据质量管理元数据管理数据治理平台数据治理平台数据标准管理数据模型管理 数据生命周期管理数据安全管理主数据管理数据分析平台数据分析平台数据资源中心数据资源中心统计分析数据沙箱服务多方安全计算服务共享服务引擎共享服务引擎文件共享服务库表共享服务接口共享服务共享服务管理共享服务管理注册发布订阅认证权鉴共享服务保障共享服务保障共享监测共享审计文本识别语音识别语义解析标签服务数据产品服务可信计算服务AI中心中心数据服务中心数据服务中心图像识别影像识别指标服务知识图谱服务数据

30、检索服务数据需求管理运营可视化数据资源目录管理租户管理统一用户/权限数据统一门户数据统一门户应用集成数据运营中心数据运营中心数据产品管理数据资产价值评估 数据资产营销推广 数据资产价值变现数据运营维护运营考核评价32145678实时分析9101112保障体系保障体系风险审计业务赋能业务赋能管理驾驶舱用户分析客户营销财务分析资金管理产能预测绩效考核监管报送13平台管理汇聚区汇聚区临时库临时库ODS库库实时数据区实时数据区实时数据存储实时分析处理实时指标计算基础区基础区当事人财务主题区主题区用户管理营销管理分析区分析区指标库标签库应用集市区应用集市区经营分析用户画像数据架构数据架构事业部数据资源池

31、事业部数据资源池集团数据资源池集团数据资源池实时数据存储实时区实时区实时分析处理实时指标计算临 时 库汇聚区汇聚区ODS库集团数据健康数据药品数据中药数据省医药 数据基础区基础区当事人采购内部机构生产地理区域销售产品库存营销运输合约事件计划财务项目主题区主题区用户管理营销管理运营管理风险管理财务管理集市区集市区经营分析用户画像风险审计监管报送产能预警财务分析事业部应用分析区分析区指标库标签库关系图谱事业部实时区事业部实时区事业部汇聚区事业部汇聚区临时库ODS库事业部事业部 基础区基础区事业部事业部主题区主题区事业部事业部 分分析区析区事业部事业部 应用应用集市区集市区1234561 23 4

32、56（1）数据源）数据源（2）采集）采集（3）汇聚）汇聚（6）共享服务）共享服务（4）治理）治理（5）分析）分析（7）数据应用）数据应用实时采集实时采集消息 CDC API.离线采集离线采集文件数据库接口补录 填报.实时数据源实时数据源物联感知数据实时营销数据 物流数据数据来源数据来源数据采集平台数据采集平台数据共享服务数据共享服务实时服务实时服务API指标服务指标服务API标签服务标签服务API关系图谱关系图谱 服务服务API数据检索数据检索 服务服务API文件共享文件共享数据库共享数据库共享API共享共享数据安全数据安全 服务服务API离线数据源离线数据源健康事业部用健康事业部用 户户数据

33、数据省医药公司用省医药公司用 户户数据数据药品事业部用药品事业部用 户户数据数据云健康事业部云健康事业部 用用户数据户数据数据应用数据应用管理驾驶舱用户分析客户营销 资金管理 财务分析 产能预测 风险审计 指挥调度 绩效考核 监管报送本期范围1.数据湖平台框架体系规数据湖平台框架体系规划划行业最佳实践行业最佳实践平台提升机会平台提升机会专家知识专家知识应用体系规划应用体系规划规划原则规划原则现状调研现状调研战略定位战略定位 调研调研问卷问卷 调研访谈调研访谈评估建议评估建议分项规划分项规划目标目标现状现状期望期望问题问题总体评估总体评估平台提升建议平台提升建议提升机会分析提升机会分析总体架构规

34、划总体架构规划技术架构规划技术架构规划数据架构规划数据架构规划数据共享服务规划数据共享服务规划运维体系规划运维体系规划蓝图规划与演进蓝图规划与演进蓝图规划与演进蓝图规划与演进平台工具规划平台工具规划数据治理规划数据治理规划业务与业务与IT部门输入部门输入服务提供商输入与分析服务提供商输入与分析2、基础技术平台搭建基础技术平台搭建1需求沟通需求沟通2环境准备环境准备3平台安装部署平台安装部署平台部署验证平台部署验证4平台优化完善平台优化完善5搭搭建建 TBDS部署需求沟通流流 数据共享交换部署 服务器确定 网络环境确定 操作系统安装部署 TBDS安装部署 平台功能验证 平台访问和服务验证 平台实

35、施需求支持 应用功能优化完善程程需求沟通 端口环境确定 数据共享安装部署 平台系统接口验证 系统运行问题处理 数据治理部署需求沟通 网络访问需求沟通 操作系统确定 软件版本确定 数据治理安装部署 外部接口验证 网络访问验证 平平 台台预预 期期 成成 效效平台搭建完成，操作使用正常具备数据湖实施支撑能力具备完整平台运维文档3、数据采集汇聚、数据采集汇聚提供异构数据源之间的数据同步能提供异构数据源之间的数据同步能 力，实现集团力，实现集团C端用户整库迁移、全量端用户整库迁移、全量 数据汇聚、增量数据汇数据汇聚、增量数据汇聚聚、ETL任务管任务管 理和监控运理和监控运维。维。数据汇聚架构数据汇聚架

36、构数据汇聚流程数据汇聚流程汇聚范围确定汇聚范围确定12汇聚信息整理汇聚信息整理数据汇聚开发数据汇聚开发3任务调度配置任务调度配置4 汇聚业务范围确定 汇聚系统范围确定 汇聚表范围确定 汇聚手工数据范围确 定 系统信息整理 数据字典整理 接口信息整理 网络信息整理 汇聚调度任务整理 汇聚调度任务基础信 息配置 汇聚调度任务依赖触 发配置 任务调度测试验证 5汇聚监控运维汇聚监控运维 调度任务监控配置 汇聚任务监控预警 汇聚监控任务故障处理 日常运维巡检 用户信息配置 数据源配置 汇聚区建表配置 数据汇聚任务配置与 开发 数据汇聚任务测试 数据汇聚查看和问题 处理 预期成效预期成效数据汇聚需求数据

37、汇聚需求采集汇聚引擎采集汇聚引擎采集汇聚知识库采集汇聚知识库数据源管理数据采集 开发管理数据采集 调度管理数据采集 监控预警汇聚区汇聚区数据源数据源数据库 文件 CDC日志 消息接口临 时 区O D S数据汇聚平台数据汇聚平台健康事业部健康事业部省医药公司省医药公司智慧零售微信公众号后台药品事业部药品事业部 达人管理医疗器械电商系统数据erp孩子王电商平台智云健康智云健康电商平台用户电商平台用户门店用户数据生意参谋4、数据体系建设、数据体系建设总体流程总体流程信息调研(ID)应用 概要设 计项目前项目前期准备期准备业务调研(BD）应用开发系 统 软 硬 件 资 源 安 装系 统 测 试 与 验

38、 收系 统 管 理 与 维 护项目结项目结束回顾束回顾业务访业务需求业务需求 谈编写分析应用详 细设计前端界 面设计逻辑数据 模型设计物理数 据模型 设计数据接 口规范 设计映射/ETL/实时数据 开发应用设计需求分析需求分析系统设计系统设计系统开发系统开发上线与维护上线与维护数据治理项目管理（Project Management）4、数据资源中心建设、数据资源中心建设步骤一：信息调步骤一：信息调研研了解企业的整体IT架构和发展规划了解企业的当前业务系统的现状了解3-5年内业务系统建设的规化了解企业针对信息系统建设标准化的规划详细查看每个实体业务含义和数据特征、并且进行分 类和取舍定义详细查看

39、每个字段业务含义和数据物理特征、进行分 类和取舍定义掌握针对人员、组织机构、客户、营销、产品、渠道、 合同、财务、生产、ERP等定义重要业务编码规则仔细整理业务系统的代码编码、主外键关联关系检查客户提供的重要业务编码规则是否在系统中完整 执行检查业务系统的代码的一致性和完整性，并且做出代 码映射关系基于实体和字段的物理特征，给出初步的数据质量审 核报告基于现有ID情况，结合业务需求调研，进行简要的缺口分析识大局识大局找关系找关系掌握业务系统之间的业务功能划分掌握业务系统之间的数据交换、流向、以及数据衍生 关系掌握现有分析系统从业务系统之间进行数据抽取的内 容和方式掌握现有分析系统和业务系统以及

40、应用系统的数据回送情况看细节看细节查质量查质量工作内容工作内容调研流程调研流程1.收集源系统源： 系统需求文档、 操作手册、表结 构说明书、代码 值、样本数据、 建库脚本1.了解系统系统架构、 功能、业务处理及其 它系统间的关系2.了解系统的数据量、 改造计划、软硬件平 台3.了解数据表的业务含义，并初步筛选出关注的表4.筛选出需求相关的表1.通过分析样本数 据验证前期调研 的结果、分析表 间关系2.在复原源系统ER 图的过程中了解 表之间关系、表 与字段的业务含义1.根据调研结果 及入模型策略 筛选入仓范围 2.基于信息调研 结果编写信息调研报告1.分系统确认信息调 研报告：主要确认 如模型

41、范围2.评审信息调研报告准备准备访谈访谈分析分析1.了解源系统的字 段的业务含义2.只调研初步筛选 关注的表(1)生产系数据统结构与资料不一致怎么办？(2)源系统设计人员不配合怎么办？(3)入模型范围如何确定？(4)1资料收集资料收集2系统与表级调研系统与表级调研3字段级调研字段级调研4样本数据分析样本数据分析5调研报告编写调研报告编写评审评审6调研报告评审调研报告评审4、数据资源中心建设、数据资源中心建设步骤二：步骤二：数据模型设计方数据模型设计方法法物理模型物理模型(技术技术)逻辑模型逻辑模型(业务业务)概念模型概念模型参考模型参考模型行业数据模型选择：行业数据模型选择： 行业主题模型行业

42、主题模型数据主题与数据主题与 主主要数据概念要数据概念客户化客户化逻辑数据模型逻辑数据模型客户化物理数据模型业务业务 访问访问 数据数据 模型模型P e r f f o r r m a n c e M e a s u r r e m e n t t &Capiittall A lllocc ( ( R AC o m p l i a n c e & D i i s c l o s u r r e( ( B a s e l I I I I ) )P a y m e n t A n a l y s i sP e r f o r m a n c e M a n a g e m e n

43、tS a l e s & P e r f o r m a n c e R e p o r t i n gS a l e s & Performance R e p o r t i n gPerformance ManagementPayment AnalysisDiistr r iibu ttiion C h a n n e l Opt ti imizat ti ionChan MC u s t o m e r E q u i t yC u s t o m e r A c q u i s i t io nC u s t o m e r R e t e n t i o nT a

44、r g e t M a r k e t i n gO r g a n i c G r o w t hE v e n t & C a m p a i g n M a n a g e m e n tE v e n t & C a m p a i g n ManagementOrganic GrowthT a r g e t MarketingCustomer RetentionCustomer E q u i t yCustomer AcquisitionC u s t o m e r M a n a g e m e n tO p e r a t i o n s M a n a g

45、 e m e n tR i s k M a n a g e m e n tF i n a n c e & P e r f o r m M a nO p e r a t i o n a l B I U s e r sB u s i n e s s U s e r sP o w e r U s e r sI T ,M i n e r s视图集市 报表业务需求业务需求 数据要素清单数据要素清单数据整合映射映射制造业企业行业模型制造业企业行业模型数据湖数据库数据湖数据库4、数据资源中心建设、数据资源中心建设步骤二：步骤二：数据区定位与数据模型设计流数据区定位与数据模型设计流程程数据资源中心各区

46、定位数据资源中心各区定位汇聚数据区汇聚数据区 源系统分类 数据不整合 保留长期历史数据 保留明细数据 全量数据 增量数据基础数据区基础数据区 主题分类 数据整合 保留长期历史数据 保留明细数据主题主题/分析数据区分析数据区 主题分类结合维度建模 数据整合 保留一定周期的历史数据 保留部分明细/汇总加工数据集市区集市区 维度建模为主 数据整合 保留特定业务需求的历史数据 保留部分明细/汇总加工数据面向数据面向需求从业务的角度出发满足公共需求迭代开发全部原始数据全部原始数据模型设计步骤模型设计步骤核心数据、清洗融合后核心数据、清洗融合后汇总与分析数据汇总与分析数据特定需求数据特定需求数据(1)前前

47、 期期 准准 备备项目管理：文档、沟通、问题跟踪、回顾、验证、测试、认可方法方法技术技术工具工具模板模板经验经验业务知识业务知识(2) 信息调研信息调研(6)物理模型物理模型 设计设计(3)构建主题模构建主题模 型型(4)构建概念设构建概念设计计(5)逻辑模型逻辑模型 详详细设计细设计逻辑模型设计逻辑模型设计(7)设设 计计 评评 审审/ 验验 证证物理模型实现：物理模型实现：ETL开发开发4、数据资源中心建设、数据资源中心建设步骤二：步骤二：基础区数据模型设基础区数据模型设计计行业主题模型设计参考行业主题模型设计参考用户模型设计部分参考用户模型设计部分参考当事人偏好当事人偏好当事人偏好类型当

48、事人偏好类型当事人偏好频率当事人偏好频率当事人偏好联系事件当事人偏好联系事件当事人偏好媒介类型当事人偏好媒介类型当事人偏好当事人当事人偏好当事人当事人偏好当事人角色当事人偏好当事人角色当事人偏好地点当事人偏好地点当事人偏好地点角色当事人偏好地点角色当事人偏好地址当事人偏好地址地理区域地理区域 地址地址当事人偏好语言当事人偏好语言当事人当事人基于成熟行业模型蓝本，构建集团基于成熟行业模型蓝本，构建集团C端端用用户基户基础础数据数据模模型，型，融融合集合集团团和事和事业业部内部内外外部部数据、规避变化、形成统一的当事数据、规避变化、形成统一的当事人人数据数据视视图图。买家ID收货人姓名 收货地址

49、联系电话 发票抵扣券订单创建时间昵称公众号留言打开微页面 注册会员来源渠道 关注公众号访问活动微页面 提交活动表单姓名 手机号 邮箱数据采集、数据清洗微信微信openidEmailMAC华东地区华东地区基本信息：基本信息：男男性性30岁岁微信微信unionid手机号码手机号码CookieQQ用户用户ID：行为轨迹：行为轨迹：会员信息：会员信息：会员等级会员等级会员积分会员积分会员权益会员权益 电商订单数据电商订单数据订单编号 商品名称 订单金额用户在不同平台以不同的 身 份留下行为轨迹。通过 建立建立 ID 关联机制关联机制，在基础区进 行数据建模数据建模和标准化标准化，在 不同渠道的身份对应

50、到唯一 的独立身份，不 断累积用户 的行为“像素像素”。在基础区建模的基础上，根 据用户特征形成清晰的用户用户 360画像画像。4、数据资源中心建设、数据资源中心建设步骤二：步骤二：用户标签数据模型设用户标签数据模型设计计 线上媒体数据线上媒体数据Cookie访问行为记录 手机号车型页面停留时间试驾时间姓名 城市数据采集、数据清洗数据采集、数据清洗 微信行为数据扫描二维码 关注公众号 微信ID数据采集、数据清洗 线下活动数据线下活动数据用户画像主题建模用户画像主题建模ID识别识别基础区建模基础区建模数据标准化数据标准化【订单】女装 无缝羽绒长大衣 409125金额：1299元收货地址：上海市X

51、区XX大街 手机号：138*8271购买时间：2018/01/11 09:21:21沟通时间：2018/01/04 12:18:00所在渠道：小程序商城手机号：138*8271咨询问题：倍舒暖与HEATTECH区别【订单】童装 Ultra Stretch 起居套装 414607下单时间：2018/01/31 20:22:00 下单门店：上海淮海中路旗舰店 订单金额：129元付款方式：支付宝2017/10/21 19:40:22 关注公众号 微信昵称：skyfly001微信OPENID：nsisuykksikqy阅读“U系列2019春夏款Lookbook”点击菜单“会员福利-50元心意券” 阅读

52、“2018年代表作”文章点击菜单“年货买买买”点击商城-男装-HEATTECH，访问某倍舒暖商品详情页 收藏男装HEATTECH 螺纹圆领T恤 413314浏览新春新品活动页访问时长 00:21:34 跳出电商平台自有平台客服线下门店静态静态 标签标签流程流程 标签标签模型模型 标签标签预测预测 标签标签年龄性别职业地域婚否有孩相对稳定的信息、人口学属性、身份属性根据行为与轨迹、自定义规则，自动添加参与X活动浏览X页面报名领取权益线上消费线下消费教育水平依据属性行为、计算得出的客户标签重要价值客户品类偏好-童装30天活跃度-120分购买力-高利用算法训练模型得到的预测标签预测流失风险-低需求推

53、荐-限时特优-女装复购可能预测-高消费者消费者维维度度人口认知情感产品活动场景 信息信息信息偏好偏好偏好产品维度产品维度基本功能情感视觉促销销售价格 信息卖点卖点系统活动终端体系内容场景内容场景地点社交文化关键衍生类型属性氛围词品4、数据资源中心建设、数据资源中心建设步骤二：步骤二：用户标签设用户标签设计计源数据源数据标签构建标签构建标签体系标签体系ETL知识库知识库ETL调度管理ETL任务管理日志管理负载管理ETL监控4、数据资源中心建设、数据资源中心建设步骤三：数据开发体系框步骤三：数据开发体系框架架追加清洗、转换和标准化汇总加载基础数据区基础数据区临时区临时区应用应用数据集市区数据集市区

54、实时数据区实时数据区主题区主题区ODS库库汇总提炼 加工任务文件加载 任务应用数据 加工任务实时数据处理文件检查任务数据汇聚 加工任务数据清洗转 换任务数据质量检查任务数据抽取 加载任务数据治理任务数据治理任务数据处理任务数据处理任务抽取加载任务抽取加载任务业务检核任务文件监听抽取触发定时数据汇聚平台数据汇聚平台元数据管理库元数据管理库 数数据质量管理据质量管理实时数据采集数据库主动采集数据文件采集消息、接口追加清洗、转换和标准化分析区分析区提炼提炼提炼ETL开发管理开发管理ETL任务管理任务管理数据汇聚平台数据汇聚平台元数据加载任务4、数据资源中心建设、数据资源中心建设步骤三：数据开发流程与

55、支撑工步骤三：数据开发流程与支撑工具具ETL配置开发配置开发41数据开发准备数据开发准备 建库建表环境准备 开发系统准备 配置文件准备 信息调研结果 数据模型成果 .2建库建表建库建表 创建数据库 创建数据库用户 创建数据表 数据库表赋权 5 单元测试单元测试 单元测试模板准备 单元测试执行 单元测试报告 7系统集成测试系统集成测试3数据映射数据映射 表映射 字段映射 代码映射 关联过滤条件映 射 数据开发参数配置 数据映射导入 数据开发配置 公共代码配置 脚本编写调试 6 ETL调度配置调度配置 调度任务整理 调度任务基础信息配置 调度任务依赖触发配置 调度任务测试验证 集成测试模板准备 集

56、成测试执行 集成测试报告 数据开发流程数据开发流程数据开发工具支撑数据开发工具支撑4、数据资源中心建设、数据资源中心建设步骤四：数据统一调度管步骤四：数据统一调度管理理外部管理应用外部管理应用邮件短信ETLAutomation RepositoryETL调度平台调度平台管理与控制模块管理与控制模块知识库模块知识库模块Master模块模块消消 息息 接接 口口功功 能能 接接 口口Agent模块模块实时监控实时监控系统管理系统管理统计分析统计分析控制台控制台 系系统插统插件件 文件监控定时任务Agent1Agent2 Agent nPrimaryStandby一站式开发平台一站式开发平台数据治理

57、平台数据治理平台其他工具其他工具调度程序生成器历史明细引擎元数据数据质量数据标准数据生命周期批量 接口直连接口Cube构建引擎数据加载 清洗融合数据同步 分析汇 BT 总 E数据卸载质量检查 数据挖掘机器学习触发5、数据治理建、数据治理建设设：数据标准管：数据标准管理理数据标准设计流程数据标准设计流程1. 标准框架标准框架2. 现状调研现状调研3. 标准设计标准设计4. 标准映射标准映射5. 标准执行标准执行1. 数据主题1. 现有定义1. 信息大类1. 系统范围1. 影响分析1. 标准发布2. 设计范围2. 使用习惯2. 信息小类2. 应用领域2. 范围/顺序2. 管理机制3. 优先策略3.

58、 问题梳理3. 信息项3. 数据表3. 系统改造3. 工作流程4. 工作重点4. 现状分析4. 数据类型4. 数据字段4. 新建系统4. 维护增强5. 配合支持5. 参考文档5. 重要规则5. 数据取值5. 手工补录5. 配套工具6. 6. 6. 6. 6. 6. 6. 维护反馈维护反馈目前的状目前的状 况如何？况如何？标准应该什标准应该什 么样？么样？这些内容都这些内容都 在哪儿？在哪儿？标准应该如标准应该如 何执行？何执行？如何维护如何维护 理标准？理标准？标准范围含标准范围含 哪哪些？些？数据标准工具支撑数据标准工具支撑基础标准管理：为实体及属性设置标准统计标准管理：为统计指标设置标准机

59、构清单管理：为层级化实体设置标准公共代码管理：引入国家、行业或企业自定义的代码标准业务术语管理：为元数据业务口径配置业务术语命名规范管理：为系统各类标识符设立统一标准标准内容管理标准内容管理标准评分标准评分评分体系库管理：设置元数据 标准评分计算要素权重标准评分管理：管理各级元数据的标准评分132标准审核管理标准审核管理标准审核浏览：查看目前已发布 的各类标准详情标准审核审批：审核新创建的标准并发布5、数据治理建设：元数据管、数据治理建设：元数据管理理元数据管理流程元数据管理流程元数据管理工具支撑元数据管理工具支撑142元数据采集元数据采集支持上10种异构元数据采集, 采集配置、采集任务的管理和采集任务配置元数据使用元数据使用包括技术元数据和业务元数据使用35元数据地图元数据地图按照数据资产的层级分类，以3D形 式展示各个层级数据资产的汇总情况血缘血缘&影响分析影响分析可以对技术元数据进行细粒度到字段级 别的全链分析，影响分析和血缘分析知识中心知识中心支持文档上传、下载、在线预览1元数据采集元数据采集血缘影响分析血缘影响分析2元数据运营维护元数据运营维护4 数据源配置 元数据采集任务配置