数据湖建设项目解决方案

数据湖建设项目解决方案构建安全、可信、高可用、高性能的大数据管理与应用底座目录建设概述01总体规划02建设方案03实施方案0401总体概述建设背景“4智”应用基础支撑集团数据智能化经营管理智能化业务作业智能化行业运营智能化解决数据“汇”、“存”、“管”、“用”、“营”难题

数据湖及应用平台数据管理和业务应用要求数据分散：基础数据分布在各个应用平台中，应用开发商整合能力差；数据管理能力较弱：缺乏统一的数据标准管理、数据质量管理、数据开发管理、数据服务管理、数据安全管理和监控运维管理等；数据利用能力不强：现有数据无法适应新业务需求，同时历史数据无法并入新的系统再利用。集团战略要求集团战略管控数字化；业务运营数字化；产业协同数字化；管理支撑数字化。“十四五“规划愿景响应国家“十四五”规划提出的““加快数字发展，建设数字中国”，推进持续深化改革，以“守护生命与健康”为使命，筹划建设“集团城市健康中心”，打造以理论为基础，依托现代科技赋能，基于用户关系经营，通过大数据、实体医疗、网络诊疗平台、药事服务平台和新零售平台等提供防、养、调全渠道多场景的健康产品、健康内容、健康定制和健康管理服务，打造一站式解决目标用户健康问题的创新型健康服务中台。集团信息化现状分析集团领导市场财务销售运营办公自动化系统三方OMS生产管理系统全渠道数字化平台移动应用门户网站ERP系统人力资源系统业务信息系统集团级集团财务系统业务系统信息化基本形成体系项目管理级公司级1线上线下业务信息化整合工作稳步推进2决策管理和数据分析应用正在迭代完善3集团统一数据管理和应用体系尚未建成4业务运营和管理遇到的问题分析未统一业务口径和数据标准数据质量层次不齐缺乏统一数据管理支撑平台需方多、变化快信息化投入较大，却不能及时有效了解集团整体业务运营情况海量业务报表，却无法对决策管理提供有效支撑无法通过企业关键绩效指导决策大量时间精力投入到数据收集、报表制作中缺乏统一的业务运营口径和指标标准业务的管理口径和财务口径不一致，各部门运营管理信息存在交叉重复对上级部门运营管理汇报要求不够灵活，响应效率低下；对下级单位数据收集不及时、不准确运营管理缺乏综合性系统和完整的数据支撑能力缺少统一的平台满足决策层、管理层和运营层等对数据应用的各种需求运营管理需求反复变更、“多对多”的情况，IT服务部门疲于应付运营管理应用需求类型多、数量多、口径不一和数据质量差等原因，导致开发周期较长，时效性差等问题业务数据来源分散，缺乏整合统一的基础数据，无法有效支撑决策和管理集团高管层（决策层）IT服务支撑层业务运营管理层数据孤岛、数据分散总体建设目标以“守护生命与健康”为使命，推动企业数字化转型，建立集团数据湖及应用平台，全面提升集团智慧化经营决策管理能力。借助5G、云计算、大数据、物联网和人工智能等技术，重点解决战略闭环、业务运营、管理支撑等业务系统间数据不通和数据孤岛等问题，破解数据“汇”、“存”、“管”、“用”、“营”等难题。通过建立集团统一的数据湖及应用平台，提供数据汇聚、存储、治理、分析、服务、共享、应用和运营能力，夯实企业大数据智能化、经营管理智能化、业务作业智能化、医疗健康行业运营智能化的“4智”应用基础支撑能力，构建跨业务、跨部门和跨层级的融合应用场景，形成企业“数智化”运行的智能中枢，实现经营状态的实时监测，经营数据的辅助决策、指标的智能预警预测，关键问题的智慧决策，打造集团运行管理闭环与智慧化决策能力

。总体建设目标数据汇聚能力数据存储能力数据治理能力数据分析能力数据服务能力数据应用能力数据运营能力离线数据采集实时数据采集结构化数据采集非结构化数据采集视频数据采集物联网数据采集互联网数据采集手工数据补录采集…数据库数据存储文件数据存储图片数据存储声音数据存储视频数据存储关系图谱数据存储时序数据存储…数据架构管理数据标准管理数据建模管理数据开发管理数据调度管理数据质量管理元数据管理数据安全管理数据生命周期管理…统计分析灵活查询多维分析数据挖掘人工智能标签管理指标管理知识图谱数据可视化…数据需求管理资源目录管理数据服务接口管理数据共享交换管理数据报送管理数据开放管理数据服务评价…人员管理用户管理营销管理渠道管理财务管理风控管理工程管理生产管理监管报送…数据运维管理数据产品管理数据资产价值评估数据资产营销推广数据资产合作数据资产价值变现数据运营考核评价…1234567总体架构规划数据架构规划技术架构规划应用体系规划数据治理规划数据共享规划平台工具规划平台建设蓝图规划…建设目标规划数据湖及应用平台框架体系、搭建技术基础平台，实现C端用户数据采集、入湖、治理和共享服务，以及支撑企业务+（私域流量业务）综合分析和智能化应用，总结经验教训，为集团数据湖及应用平台的整体建设奠定基础。本期目标基础平台搭建数据治理体系建设数据共享服务建设数据分析应用建设框架体系规划大数据平台TBDS安装部署数据治理产品安装部署数据共享交换产品安装部署用户数据采集用户数据建模用户数据开发数据质量检查元数据管理数据标准管理用户需求分析应用设计数据及应用开发数据共享与服务对接共享服务需求分析资源目录梳理共享服务发布共享服务申请用户信息调研共享服务调用12345共享服务授权预期成效：”七步走”解决企业面临的数字化转型发展痛点利用大数据技术建立集团统一的数据湖，实现数据采集、存储、处理、分析和服务的统一管理，提高信息和数据的响应时间，提高经营管理工作效率，有利于压缩开支，降低管理成本，推进数字化转型发展。03020406070503信息烟囱

数据分散

利益割据

数据保密不全面

数据标准

不统一

管理机制不成体系

安全保障

不健全

数字化转型面临的痛点”七步走”解决问题1设立专管机构，完善管理体系2整合数据孤岛，统一数据标准3构建数据采集体系，打通数据整合通道4设计数据存储策略，提升数据存储效率5初步构建数据治理体系6制定数据共享服务策略，促进数据融合安全发展7奠定数据应用基础，打造大数据综合应用能力02总体规划平台建设总体思路搭建技术基础平台，探索平台应用能力第一阶段夯实数据基础，推进服务与应用建设第二阶段完善应用体系，提升平台智慧能力第三阶段建立数据运营体系，持续优化平台能力第四阶段数据湖及应用平台建设规划数据采集技术平台搭建数据存储技术平台搭建数据处理技术平台搭建数据调度技术平台搭建数据治理技术平台搭建数据共享技术平台搭建试点数据域（用户）采集、存储、治理、分析和共享实施…集团与事业部应用建设全面支撑（人员管理、用户管理营销管理、渠道管理、财务管理、工程管理、合同管理、生产管理、风控管理、应急指挥、监管报送…）基础分析能力完善（指标、标签、知识图谱）综合分析应用增强态势感知能力建设实时分析应用场景体系建设算法模型体系建设AI服务体系化建设区块链技术场景应用…数据资产运营规划数据产品体系建设数据产品价值评估体系建设数据价值变现体系建设数据运营安全体系建设数据采集能力迭代升级数据治理能力迭代升级数据分析能力迭代升级数据应用能力迭代升级数据共享服务能力迭代升级算法模型中心健全AI服务能力迭代升级场景应用持续推进数据运营考核体系建设…数据治理体系咨询规划技术平台能力增强集团与四大事业部数据入湖全域数据采集、存储、治理、分析和共享体系建设数据治理体系建设AI平台搭建与应用探索基础分析能力建设（指标、标签、知识图谱）综合分析应用建设实时分析与应用场景探索重点应用建设支持…数据湖及应用平台总体架构（构建六个平台、四个中心、三个保障体系，一个统一门户）运维保障体系安全保障体系标准规范体系保障体系数据运营中心数据共享开放平台数据汇聚平台存储计算平台数据处理平台数据共享交换离线数据同步实时数据同步数据补录共享监测共享审计权鉴发布订阅认证注册数据源业务系统互联网数据外部数据物联网数据HR系统OAERP主数据渠道系统三方OMS财务系统……Hadoop关系数据库MPP内存数据库图数据库对象数据库时序数据库爬虫离线数据处理实时数据处理非结构化数据转化数据统一调度数据分析平台统计分析多维分析即席查询机器学习…数据挖掘数据治理平台数据质量管理元数据管理数据标准管理数据模型管理数据生命周期管理数据安全管理主数据管理AI中心数据资源中心指标服务标签服务数据产品服务知识图谱服务…可信计算服务数据沙箱服务多方安全计算服务数据检索服务文件共享服务库表共享服务接口共享服务共享服务引擎共享服务管理共享服务保障文本识别影像识别语义解析图像识别语音识别…数据服务中心数据需求管理应用集成运营可视化数据资源目录管理租户管理…统一用户/权限数据统一门户数据产品管理数据资产价值评估数据资产营销推广数据资产价值变现数据运营维护运营考核评价12345678实时分析9101112业务赋能管理驾驶舱客户营销资金管理财务分析产能预测风险审计用户分析…绩效考核监管报送13平台管理实时数据区汇聚区临时库ODS库基础区主题区分析区应用集市区实时数据存储实时分析处理实时指标计算当事人财务…用户管理营销管理…指标库标签库…经营分析用户画像…数据湖及应用平台分阶段规划运维保障体系安全保障体系标准规范体系保障体系数据运营中心数据共享开放平台数据汇聚平台存储计算平台数据处理平台数据共享交换离线数据同步实时数据同步数据补录共享监测共享审计权鉴发布订阅认证注册数据源业务系统互联网数据外部数据物联网数据HR系统OAERP主数据渠道系统三方OMS财务系统……Hadoop关系数据库MPP内存数据库图数据库对象数据库时序数据库爬虫离线数据处理实时数据处理非结构化数据转化数据统一调度数据分析平台统计分析多维分析即席查询机器学习…数据挖掘数据治理平台数据质量管理元数据管理数据标准管理数据模型管理数据生命周期管理数据安全管理主数据管理AI中心数据资源中心指标服务标签服务数据产品服务知识图谱服务…可信计算服务数据沙箱服务多方安全计算服务数据检索服务文件共享服务库表共享服务接口共享服务共享服务引擎共享服务管理共享服务保障文本识别影像识别语义解析图像识别语音识别…数据服务中心数据需求管理应用集成运营可视化数据资源目录管理租户管理…统一用户/权限数据统一门户数据产品管理数据资产价值评估数据资产营销推广数据资产价值变现数据运营维护运营考核评价12345678实时分析9101112业务赋能管理驾驶舱客户营销资金管理财务分析产能预测风险审计用户分析…绩效考核监管报送13平台管理实时数据区汇聚区临时库ODS库基础区主题区分析区应用集市区实时数据存储实时分析处理实时指标计算当事人财务…用户管理营销管理…指标库标签库…经营分析用户画像…二阶段：夯实三阶段：完善一阶段：打基础四阶段：运营事业部数据资源池集团数据资源池实时区实时数据存储实时分析处理实时指标计算汇聚区临时库ODS库集团数据健康数据药品数据中药数据省医药数据…基础区当事人机构产品合约采购生产销售库存营销地理区域财务运输事件计划项目…主题区用户管理营销管理运营管理风险管理财务管理…集市区经营分析用户画像风险审计监管报送产能预警财务分析事业部应用…分析区指标库标签库关系图谱事业部实时区事业部汇聚区临时库ODS库事业部基础区事业部主题区事业部分析区事业部应用集市区123456123456数据湖及应用平台数据架构（统一标准，构建集团和四大事业部数据湖的六大数据区）（1）数据源（2）采集（3）汇聚（6）共享服务（4）治理（5）分析（7）数据应用标签服务API实时服务API数据库共享文件共享数据共享服务API共享离线采集实时采集消息CDCAPI...文件数据库接口补录填报...实时数据源物联感知数据实时营销数据…物流数据离线数据源业务系统HR系统OAERP主数据渠道系统三方OMS财务系统…外部数据互联网数据数据来源数据采集平台指标服务API关系图谱服务API数据检索服务API数据安全服务API…数据应用管理驾驶舱客户营销资金管理财务分析产能预测风险审计指挥调度…绩效考核监管报送用户分析集团数据湖与事业部四大数据湖之间定位及关系探讨事业部数据资源池集团数据资源池实时区实时数据存储实时分析处理实时指标计算汇聚区临时库ODS库集团数据健康数据药品数据中药数据省医药数据…基础区当事人机构产品合约采购生产销售库存营销地理区域财务运输事件计划项目…主题区用户管理营销管理运营管理风险管理财务管理…集市区经营分析用户画像风险审计监管报送产能预警财务分析事业部应用…分析区指标库标签库关系图谱事业部实时区事业部汇聚区临时库ODS库事业部基础区事业部主题区事业部分析区事业部应用集市区123456123456方案一：事业部独立建设数据湖，集团汇聚整合建湖方案二：集团统一建湖，事业部数据湖同步和特色发展方案建议：集团领导牵头，统一标准和统一建湖方案描述：事业部根据自身业务特色构建数据湖和数据治理体系，集团数据湖汇聚事业部数据湖数据，设计数据标准，进行数据治理、数据分析和数据共享服务。优点：建设灵活，能快速满足各事业部和集团数据湖的应用需求。缺点：难以统一标准和数据口径，多头数据采集，后期维护工作量较大。方案描述：集团数据湖统一标准和数据治理体系，统一汇聚、治理、分析和数据共享服务；集团数据湖根据事业部数据需求统一分发数据，事业部同步数据和，并根据自身特色构建数据湖及应用。优点：集团与事业部数据标准统一，后期管理协调难度较少。缺点：前期统一难度较高，事业部建设灵活度不高。先进经验：目前信息化领先行业和企业的数据平台能力建设，大部分采用集团统一标准、统一建设、统一管理和统一运营。方案建议：目前集团和事业部业务系统已较为完备，数据湖建设处于起步阶段，为集团统一标准和建湖奠定了基础。03建设方案项目建设范围数据湖平台框架体系规划、技术基础平台搭建，集团C端用户数据采集、入湖、治理、共享服务和用户分析应用总体架构规划数据架构规划技术架构规划应用体系规划数据治理规划数据共享规划平台工具规划平台建设蓝图规划…1.数据湖平台框架体系规划3.数据汇聚4.数据资源中心建设5.数据治理6.数据分析2.平台搭建7.数据共享服务TBDS基础平台搭数据治理平台搭建数据共享服务平台搭建健康事业部用户数据汇聚省医药公司用户数据汇聚药品事业部用户数据汇聚云健康事业部用户数据汇聚信息调研基础区数据模型设计主题区数据模型设计应用数据集市模型设计数据清洗、转换和汇总数据标准管理元数据管理数据质量管理C端用户分析需求调研C端用户数据分析设计C源用户数据分析开发C端用户数据资源目录梳理C端用户数据共享发布项目建设总体思路事业部用户数渠道分析用户月活用户日活地域分析时间分析数据入湖及治理数据分析应用数据可视化FineReportFineBI用户信息数据用户标签模型填报数据、参数数据采集数据建模数据清洗数据加载数据整合数据汇总数据源健康事业部省医药公司药品事业部智慧零售达人管理微信公众号后台医疗器械app电商系统数据excelerp孩子王电商saas云健康电商平台用户电商平台用户门店用户数据生意参谋数据共享服务用户资源目录梳理用户数据目录挂接用户数据共享发布项目逻辑架构：搭建基础平台，以集团C端用户需求为试点打通数据湖链路本期范围运维保障体系安全保障体系标准规范体系保障体系数据运营中心数据共享开放平台数据汇聚平台存储计算平台数据处理平台数据共享交换离线数据同步实时数据同步数据补录共享监测共享审计权鉴发布订阅认证注册数据源业务系统互联网数据外部数据物联网数据HR系统OAERP主数据渠道系统三方OMS财务系统……Hadoop关系数据库MPP内存数据库图数据库对象数据库时序数据库爬虫离线数据处理实时数据处理非结构化数据转化数据统一调度数据分析平台统计分析多维分析即席查询机器学习…数据挖掘数据治理平台数据质量管理元数据管理数据标准管理数据模型管理数据生命周期管理数据安全管理主数据管理AI中心数据资源中心指标服务标签服务数据产品服务知识图谱服务…可信计算服务数据沙箱服务多方安全计算服务数据检索服务文件共享服务库表共享服务接口共享服务共享服务引擎共享服务管理共享服务保障文本识别影像识别语义解析图像识别语音识别…数据服务中心数据需求管理应用集成运营可视化数据资源目录管理租户管理…统一用户/权限数据统一门户数据产品管理数据资产价值评估数据资产营销推广数据资产价值变现数据运营维护运营考核评价12345678实时分析9101112业务赋能管理驾驶舱客户营销资金管理财务分析产能预测风险审计用户分析…绩效考核监管报送13平台管理实时数据区汇聚区临时库ODS库基础区主题区分析区应用集市区实时数据存储实时分析处理实时指标计算当事人财务…用户管理营销管理…指标库标签库…经营分析用户画像…项目数据架构事业部数据资源池集团数据资源池实时区实时数据存储实时分析处理实时指标计算汇聚区临时库ODS库集团数据健康数据药品数据中药数据省医药数据…基础区当事人机构产品合约采购生产销售库存营销地理区域财务运输事件计划项目…主题区用户管理营销管理运营管理风险管理财务管理…集市区经营分析用户画像风险审计监管报送产能预警财务分析事业部应用…分析区指标库标签库关系图谱事业部实时区事业部汇聚区临时库ODS库事业部基础区事业部主题区事业部分析区事业部应用集市区123456123456（1）数据源（2）采集（3）汇聚（6）共享服务（4）治理（5）分析（7）数据应用标签服务API实时服务API数据库共享文件共享数据共享服务API共享离线采集实时采集消息CDCAPI...文件数据库接口补录填报...实时数据源物联感知数据实时营销数据…物流数据离线数据源数据来源数据采集平台指标服务API关系图谱服务API数据检索服务API数据安全服务API…健康事业部用户数据省医药公司用户数据药品事业部用户数据云健康事业部用户数据数据应用管理驾驶舱客户营销资金管理财务分析产能预测风险审计指挥调度…绩效考核监管报送用户分析本期范围1.数据湖平台框架体系规划行业最佳实践平台提升机会专家知识战略定位应用体系规划规划原则调研问卷调研访谈现状调研评估建议分项规划目标现状期望问题总体评估平台提升建议提升机会分析总体架构规划技术架构规划数据架构规划数据共享服务规划运维体系规划蓝图规划与演进蓝图规划与演进平台工具规划数据治理规划业务与IT部门输入服务提供商输入与分析2、基础技术平台搭建需求沟通1环境准备2平台安装部署3平台部署验证4平台优化完善5TBDS部署需求沟通数据共享交换部署需求沟通数据治理部署需求沟通网络访问需求沟通…服务器确定网络环境确定端口环境确定操作系统确定软件版本确定…操作系统安装部署TBDS安装部署数据共享安装部署数据治理安装部署…平台功能验证平台访问和服务验证平台系统接口验证外部接口验证网络访问验证…平台实施需求支持应用功能优化完善系统运行问题处理…平台搭建流程预期成效用户分析平台搭建完成，操作使用正常具备数据湖实施支撑能力具备完整平台运维文档3、数据采集汇聚

提供异构数据源之间的数据同步能力，实现集团C端用户整库迁移、全量数据汇聚、增量数据汇聚、ETL任务管理和监控运维。数据汇聚架构数据汇聚流程汇聚范围确定1汇聚信息整理2数据汇聚开发3任务调度配置45汇聚业务范围确定汇聚系统范围确定汇聚表范围确定汇聚手工数据范围确定系统信息整理数据字典整理接口信息整理网络信息整理…汇聚调度任务整理汇聚调度任务基础信息配置汇聚调度任务依赖触发配置任务调度测试验证…调度任务监控配置汇聚任务监控预警汇聚监控任务故障处理日常运维巡检…汇聚监控运维用户信息配置数据源配置汇聚区建表配置数据汇聚任务配置与开发数据汇聚任务测试数据汇聚查看和问题处理…预期成效数据汇聚需求数据源汇聚知识库采集汇聚引擎采集汇聚知识库汇聚知识库数据源管理数据采集开发管理数据采集调度管理数据采集监控预警汇聚区数据库文件CDC日志消息接口临时区ODS数据汇聚平台健康事业部省医药公司药品事业部智慧零售达人管理微信公众号后台医疗器械电商系统数据erp孩子王电商平台智云健康电商平台用户电商平台用户门店用户数据生意参谋4、数据体系建设—总体流程信息调研(ID)业务需求分析应用概要设计项目前期准备业务调研(BD）业务需求编写应用开发系统软硬件资源安装系统测试与验收系统管理与维护项目结束回顾业务访谈项目管理（ProjectManagement）应用详细设计前端界面设计逻辑数据模型设计物理数据模型设计数据接口规范设计映射/ETL/实时数据开发应用设计需求分析系统开发系统设计上线与维护数据治理①②③④4、数据资源中心建设—步骤一：信息调研工作内容了解企业的整体IT架构和发展规划了解企业的当前业务系统的现状了解3-5年内业务系统建设的规化了解企业针对信息系统建设标准化的规划详细查看每个实体业务含义和数据特征、并且进行分类和取舍定义详细查看每个字段业务含义和数据物理特征、进行分类和取舍定义掌握针对人员、组织机构、客户、营销、产品、渠道、合同、财务、生产、ERP等定义重要业务编码规则仔细整理业务系统的代码编码、主外键关联关系检查客户提供的重要业务编码规则是否在系统中完整执行检查业务系统的代码的一致性和完整性，并且做出代码映射关系基于实体和字段的物理特征，给出初步的数据质量审核报告基于现有ID情况，结合业务需求调研，进行简要的缺口分析识大局找关系掌握业务系统之间的业务功能划分掌握业务系统之间的数据交换、流向、以及数据衍生关系掌握现有分析系统从业务系统之间进行数据抽取的内容和方式掌握现有分析系统和业务系统以及应用系统的数据回送情况看细节查质量调研流程各个源系统分别进行收集源系统源：系统需求文档、操作手册、表结构说明书、代码值、样本数据、建库脚本了解系统系统架构、功能、业务处理及其它系统间的关系了解系统的数据量、改造计划、软硬件平台了解数据表的业务含义，并初步筛选出关注的表筛选出需求相关的表通过分析样本数据验证前期调研的结果、分析表间关系在复原源系统ER图的过程中了解表之间关系、表与字段的业务含义根据调研结果及入模型策略筛选入仓范围基于信息调研结果编写信息调研报告分系统确认信息调研报告：主要确认如模型范围评审信息调研报告准备访谈分析评审了解源系统的字段的业务含义只调研初步筛选关注的表生产系数据统结构与资料不一致怎么办？源系统设计人员不配合怎么办？入模型范围如何确定？…资料收集资料收集系统与表级调研字段级调研样本数据分析调研报告编写调研报告评审123456持续迭代完善4、数据资源中心建设—步骤二：①数据模型设计方法物理模型(技术)逻辑模型(业务)概念模型参考模型行业数据模型选择：行业主题模型数据主题与主要数据概念客户化逻辑数据模型客户化物理数据模型业务访问数据模型视图集市报表业务需求数据要素清单数据整合映射映射制造业企业行业模型数据湖数据库4、数据资源中心建设—步骤二：②数据区定位与数据模型设计流程数据资源中心各区定位模型设计步骤汇聚数据区源系统分类数据不整合保留长期历史数据保留明细数据全量数据增量数据基础数据区主题分类数据整合保留长期历史数据保留明细数据主题/分析数据区主题分类结合维度建模数据整合保留一定周期的历史数据保留部分明细/汇总加工数据集市区维度建模为主数据整合保留特定业务需求的历史数据保留部分明细/汇总加工数据面向数据面向需求从业务的角度出发满足公共需求迭代开发全部原始数据核心数据、清洗融合后汇总与分析数据特定需求数据(1)前期准备项目管理：文档、沟通、问题跟踪、回顾、验证、测试、认可…方法技术工具模板经验业务知识(2)信息调研(6)物理模型设计(3)构建主题模型(4)构建概念设计(5)逻辑模型详细设计逻辑模型设计(7)设计评审/验证物理模型实现：ETL开发4、数据资源中心建设—步骤二：③基础区数据模型设计行业主题模型设计参考用户模型设计部分参考当事人偏好当事人偏好频率当事人偏好类型当事人偏好联系事件当事人偏好媒介类型当事人偏好当事人当事人偏好当事人角色当事人偏好地点当事人偏好地点角色当事人偏好地址地理区域地址当事人偏好语言当事人基于成熟行业模型蓝本，构建集团C端用户基础数据模型，融合集团和事业部内外部数据、规避变化、形成统一的当事人数据视图。线下活动数据订单编号商品名称订单金额买家ID收货人姓名收货地址联系电话发票抵扣券订单创建时间微信行为数据扫描二维码关注公众号微信ID昵称公众号留言打开微页面注册会员来源渠道关注公众号访问活动微页面提交活动表单姓名手机号邮箱数据采集、数据清洗微信openidEmailMAC华东地区基本信息：男性 30岁微信unionid手机号码CookieQQ用户ID：行为轨迹：会员信息：会员等级 会员积分会员权益电商订单数据用户在不同平台以不同的身份留下行为轨迹。通过建立

ID

关联机制，在基础区进行数据建模和标准化，在不同渠道的身份对应到唯一的独立身份，不断累积用户的行为“像素”。在基础区建模的基础上，根据用户特征形成清晰的用户360画像。4、数据资源中心建设—步骤二：④用户标签数据模型设计线上媒体数据Cookie访问行为记录手机号车型页面停留时间试驾时间姓名城市数据采集、数据清洗数据采集、数据清洗数据采集、数据清洗用户画像主题建模ID识别基础区建模数据标准化【订单】女装

无缝羽绒长大衣

409125金额：1299元收货地址：上海市X区XX大街手机号：138****8271购买时间：2018/01/11

09:21:21沟通时间：2018/01/04

12:18:00所在渠道：小程序商城手机号：138****8271咨询问题：倍舒暖与HEATTECH区别【订单】童装

Ultra

Stretch

起居套装

414607下单时间：2018/01/3120:22:00下单门店：上海淮海中路旗舰店订单金额：129元付款方式：支付宝2017/10/21

19:40:22

关注公众号微信昵称：skyfly001微信OPENID：nsisuykksikqy阅读“U系列2019春夏款Lookbook”点击菜单“会员福利-50元心意券”阅读“2018年代表作”文章点击菜单“年货买买买”点击商城-男装-HEATTECH，访问某倍舒暖商品详情页收藏男装HEATTECH

螺纹圆领T恤

413314浏览新春新品活动页访问时长

00:21:34

跳出电商平台自有平台客服线下门店静态标签流程标签模型标签预测标签性别 地域 年龄职业 婚否 有孩相对稳定的信息、人口学属性、身份属性根据行为与轨迹、自定义规则，自动添加参与X活动浏览X页面报名领取权益线上消费线下消费教育水平依据属性行为、计算得出的客户标签重要价值客户 品类偏好-童装30天活跃度-120分购买力-高利用算法训练模型得到的预测标签预测流失风险-低需求推荐-限时特优-女装复购可能预测-高情感 产品 活动信息 偏好 偏好场景偏好销售 价格终端 体系情感 视觉 促销卖点 系统 活动关键 衍生词 品消费者维度人口 认知信息 信息产品维度基本 功能信息 卖点内容场景地点 社交 文化类型 属性 氛围4、数据资源中心建设—步骤二：⑤用户标签设计源数据标签构建标签体系ETL知识库ETL调度管理ETL任务管理日志管理负载管理ETL监控4、数据资源中心建设—步骤三：数据开发体系框架追加清洗、转换和标准化汇总加载基础数据区临时区应用数据集市区实时数据区数据汇聚平台主题区ODS库汇总提炼加工任务文件加载任务应用数据加工任务实时数据处理文件检查任务数据汇聚加工任务数据清洗转换任务数据质量检查任务数据抽取加载任务数据治理任务数据处理任务抽取加载任务数据质量管理业务检核任务文件监听抽取触发定时元数据管理库实时数据采集数据库主动采集数据文件采集消息、接口追加清洗、转换和标准化分析区提炼提炼提炼ETL开发管理ETL任务管理数据汇聚平台元数据加载任务4、数据资源中心建设—步骤三：数据开发流程与支撑工具数据开发准备1建库建表2数据映射3ETL配置开发45建库建表环境准备开发系统准备配置文件准备信息调研结果数据模型成果..创建数据库创建数据库用户创建数据表数据库表赋权…单元测试模板准备单元测试执行单元测试报告…单元测试6ETL调度配置7系统集成测试表映射字段映射代码映射关联过滤条件映射…数据开发参数配置数据映射导入数据开发配置公共代码配置脚本编写调试…调度任务整理调度任务基础信息配置调度任务依赖触发配置调度任务测试验证…集成测试模板准备集成测试执行集成测试报告…数据开发流程数据开发工具支撑4、数据资源中心建设—步骤四：数据统一调度管理邮件短信外部管理应用ETLAutomationRepositoryETL调度平台管理与控制模块知识库模块Master模块消息接口功能接口Agent模块实时监控系统管理统计分析控制台系统插件文件监控定时任务BTEAgent1Agent2AgentnPrimaryStandby一站式开发平台数据治理平台其他工具调度程序生成器历史明细引擎元数据数据质量数据标准数据生命周期批量接口直连接口Cube构建引擎数据加载数据同步数据卸载质量检查清洗融合分析汇总数据挖掘机器学习触发5、数据治理建设：数据标准管理数据标准设计流程1.标准框架数据主题设计范围优先策略工作重点配合支持……2.现状调研现有定义使用习惯问题梳理现状分析参考文档……3.标准设计信息大类信息小类信息项数据类型重要规则……4.标准映射系统范围应用领域数据表数据字段数据取值……5.标准执行影响分析范围/顺序系统改造新建系统手工补录……6.维护反馈标准发布管理机制工作流程维护增强配套工具……标准范围含哪些？目前的状况如何？标准应该什么样？这些内容都在哪儿？标准应该如何执行？如何维护理标准？数据标准工具支撑基础标准管理：为实体及属性设置标准统计标准管理：为统计指标设置标准机构清单管理：为层级化实体设置标准公共代码管理：引入国家、行业或企业自定义的代码标准业务术语管理：为元数据业务口径配置业务术语命名规范管理：为系统各类标识符设立统一标准标准内容管理标准审核浏览：查看目前已发布的各类标准详情标准审核审批：审核新创建的标准并发布标准评分评分体系库管理：设置元数据标准评分计算要素权重标准评分管理：管理各级元数据的标准评分132标准审核管理5、数据治理建设：元数据管理元数据管理流程元数据管理工具支撑元数据采集可以对技术元数据进行细粒度到字段级别的全链分析，影响分析和血缘分析元数据使用包括技术元数据和业务元数据使用142血缘&影响分析支持上10种异构元数据采集,采集配置、采集任务的管理和采集任务配置元数据地图35知识中心按照数据资产的层级分类，以3D形式展示各个层级数据资产的汇总情况支持文档上传、下载、在线预览元数据采集1血缘影响分析2元数据利用3元数据运营维护4数据源配置元数据采集任务配置数据库元数据采集文件元数据采集接口元数据采集脚本元数据采集ETL调度元数据采集…元数据检索系统、表与字段血缘关系分析系统、表与字段影响分析关系分析业务元数据分析…元数据采集监控预警元数据采集问题处理系统日常运维监控…数据资产展示数据字典管理数据对标业务指标管理数据质量检查系统故障排查变更影响评估…5、数据治理建设：数据质量管理数据质量管理流程数据质量管理工具支撑数据质量检查规则管理包括检查模板（质量检查SQL脚本）的新建、编辑及删除等工单管理包括工单流程的新建、浏览及审批132检查模板管理数据质量库2.配置质量检查规则3.部署检查脚本4.数据质量报告1.收集数据质量管理需求元数据资料库基于元数据配置数据质量规则增加数据质量规则集5.质量问题工单跟踪处理抽取数据源数据源基础区主题区传输汇聚区转换加载汇总抽取ETL处理流程数据质量检查数据集市分析区数据质量管理7.质量考核评价6.处理结果查询提供检查规则的创建、编辑、删除、启用及停用等功能数据质量探查45质量评分管理一是自动探查，根据系统内置好的探查模板自动对数据进行预设好的分析检查；二是手动探查，自定义方式设置探查模板，再根据探查模板对数据进行分析检查包括评分体系库管理（为元数据质量评分设置评分标准）和质量评分管理（管理各级元数据系统的质量评分）6、数据分析试点应用（运用BI工具对集团C端用户综合分析）用户地域分布产品地域销量门店地域分布用户数量统计用户增长分析日活用户分析用户年龄分布用户评价分析地域用户消费分析提升效率提升用户量辅助领导决策助力产品销量提升大屏PC端移动端7、数据服务试点应用：基于供需对接建立数据服务共享体系目录清单有什么？在哪里？谁负责？数据资源中心1、目录问题域2、目录分类部门目录主题目录基础目录业务目录数据目录管理目录上级目录本级目录下级目录资源属性功能分类层级属性3、目录建立4、数据挂接提供方主动编目A管理方编目B供需对接推动编目C提供方主动挂接A供需对接推动挂接C需求清单需求方资源信息数据项信息需求说明管理方审批/分发责任清单资源信息共享内容共享条件结束目录清单：确保数据的系统性需求清单：确保数据的针对性责任清单：压实数据采集责任提供方以信息化手段推动数据共享服务，建立能按需共享的业务模式，解决各部门数据共享和应用难题。管理方挂接B提供方7、数据共享服务试点应用：基于C端用户建立数据共享服务流程数据资源目录梳理1共享资源发布2共享资源申请3共享资源审核授权45汇聚区资源目录梳理基础区资源目录梳理主题区资源目录梳理数据集市区资源目录梳理..共享服务目录创建共享数据源配置共享数据接入共享数据资源配置与更新共享服务测试共享服务发布…数据共享资源检索数据共享服务调用数据共享服务调用问题反馈…共享服务调用6共享服务管理与运维共享服务系统管理共享服务权限管理共享服务日志管理共享服务监控预警共享服务故障处理共享服务统计分析…数据共享资源检索数据共享资源申请数据共享资源数量申请数据共享资源问题反馈…数据共享资源使用审核数据共享资源数量审核数据共享资源跨部门授权数据共享资源部门内授权…数据共享服务流程数据共享服务工具支撑04实施方案实施方法产品定义需求分析系统设计开发测试与部署准备维护迭代技术数据应用项目管理培训与部署运行使用与支持获取技术需求信息调研业务调研定义/扩展技术架构定义/扩展数据架构定义/扩展业务架构定义/扩展应用架构技术需求分析数据源分析数据需求分析业务需求分析体系架构设计原型设计应用设计测试方案制定产品安装与参数调整应用开发部署方案制定系统集成测试用户验收测试培训资料准备培训/部署基础层模型设计应用层模型设计基础层ETL设计应用层ETL设计汇总层模型设计汇总层ETL设计构建基础层ETL构建应用层ETL构建汇总层ETL单元测试实时数据处理设计实时数据处理总体实施计划项目启动试运行结束项目运维12月9日培训及知识转移项目管理项目结束基础模型系统运维12月22日11月23日信息调研数据采集接入设计开发环境搭建一期平台测试及上线数据治理体系建设启动应用上线试运行（3个月）12月31日3月31日项目建设方案数据模型设计数据共享服务体系建设数据资源目录梳理与数据共享运维11月15日ETL开发数据分析应用平台咨询规划次年3月31日平台上线组织角色项目领导小组甲方领导乙方领导项目管理办公室乙方项目经理乙方项目总监甲方项目经理QA组……专家顾问组产品研发顾问解决方案顾问数据模型顾问架构与开发组……需求组……平台组……咨询规划组……模型组……技术支持组集团信息系统专家各事业部信息系统专家数据中心专家事业部业务专家业务支持组集团部门业务专家事业部业务专家角色职责序号小组名称小组负责人小组职责1项目领导小组