数据中台及数据治理服务及案例分享（PPT）

数据中台及数据治理服务及案例分享（PPT）整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行知识星球：优享智库一、数据治理服务二、案例分享目录32数据需求清单数据责任清单数据标准元数据......公共数据资源附加属性业务属性数据仓数据湖数据服务化用业务活动全景图逻辑实体属性业务梳理、系统梳理概念模型制定质量标准质量改进分析数据流向梳理逻辑模型质量评估六大特性数据质量标准数据模型治全域数据资产数据资产梳理业务流程业务活动 数据治理及数据集设计的整体方法论盘职责目录系统目录数据目录完整性有效性一致性获取源系统数据字典获取源系统数据资源扩展属性基础属性ID数据负面清单系统&数据业务对象识别

业务场景管理元数据业务元数据逻辑设计系统调研业务调研业务&数据集主数据扩展唯一性准确性及时性33...34•提升数据准备度，为业务运作提供可信的足量的数据支撑•实现业务上下游数据的快速传递共享，提升业务运作效率•数据质量的持续提升减少纠错成本，降低运营风险，提升业务服务满意度数据集成与共享数据分布数据资产目录架构模型组织架构数据模型规范数据模型设计实体、属性识别数据模型管控数据模型数据销毁安全数据交换安全数据处理安全数据存储安全数据传输安全数据采集安全数据安全数据落IT系统指标数据数据字典发布业务对象识别数据标准制定数据标准数据质量改进数据质量度量数据质量控制数据质量标准数据质量数据地图血缘关系元数据元数据规范元数据 数据治理框架•有效的数据质量控制•高效的数据共享•一致的数据标准•可信数据源数据治理组织/流程数据治理框架价值体现治理诉求优化提升夯实基础职责&业务活动数据导向展开(自下而上)组织架构&规章制度标准规范业务系统(OLTP)增量部分落标应用场景导向展开(自上而下)数据安全合规制度规范数据安全(数据分类分级)数据资产目录&数据服务(数据运营)数据标准核标(管理看板)技术元数据数据质量检查(管理看板)业务模型数据资产盘点(元数据-数据标准关联)通过数据模型设计规范贯标业务数据基础数据标准数据模型赋能部门业务 数据治理路径数据湖数据架构(OLAP)主数据35 一体化数据架构这一步是数据中台核心工作内容，其中业务模型、数据模型也是数据中台建设的关键所在。数据资产(数据湖)数据标准业务模型 业务流程业务架构数据责任数据安全入湖标准元数据数据模型数据资产目录数据资产层标准层架构层加工层36模型发布模型治理运营无人DDL脚本模型上线交付核标与数据质量元数据融合资产目录维护数据权属认责信息分级分类逻辑数据湖数据标准落标模型设计数据湖实时入湖批量入湖元数据管理部门业务系统数据库 TP&AP一体化建模体系技术元数据采集数据标准落标率模型审计定时/自动采集应用&数据交付一体化数据资产数据湖4、连接&萃取自动发布逻辑实体、属性定时/自动采集5、应用开发1、部门数仓3、数据建模2、数据同步6、数据校验数据模型管理湖侧元数据模型验证自助入湖37需求分析运行维护系统测试 开发阶段的数据模型标准化数据模型设计是开发过程的重要一环，影响程序架构，内外部API，会影响业务逻辑，以至分布式组件架构。详细设计业务概念模型逻辑模块领域类图物理模型实现类图模型基线数据库差异数据字典物理模型基线封版上线概要设计上线交付数据库具体实现Hibemate/JPA澄清业务需求设计数据流程功能模块设计主要数据属性数据模型封板交付编码开发数据库监测 项目成效由数据资产系统建立数据模型管理，实现数据模型事前-事中--事后的管理通过统一模型工具以及在数据资产管理平台简历数据模型管理功能，实现数据模型事前-事中-事后的管理。并且实现了数据资产管理的闭环。元数据完整性检查其他(模型浏览、探索等)数据资产的闭环，通过模型关联元数据和标准，为数据标准落地打下基础设计模型模型检查与监控模型审核一致性对比架构师等人员审核模型完整性检查数据模型数据标准元数据事前事中事后39模型工具自动审核提供核准通过证书确定标注主题逻辑模型参考模型工具自动监测差异发送差异报告模型库提供模型落标报告审核重点标准使用问题通过模型工具自动落标初期提供落标指导人员设计上线维护开发测试定位核准监测落标评审 自动化和落标流程基础知识储备培训/架构/工具自动检测发送报告标准落标过程管理实时推荐人工服务自动检测智能核准工具辅助人工审核开发过程管理数据标准管理模型设计模型审核元数据管理数据标准管理员项目组模型设计员模型架构师元数据管理员NYYNNY是否提供模型反馈意见N是否通过模型评审N是否与基线模型一致？Y线模型 数据模型管控流程修改模型并提交模型评审引用数据标准数据库上线采集元数据发布模型报告使用建模工具进行模型设计数据标准管理数据标准审核发布邮件通知相关负责人自定义数据标准是否有可引用的数据标准？数据标准体系建设发布数据标准？发布基Y•不建议在没有业务需求时，强制按标准进行系统改造•配合已有的系统改造计划，将数据标准要求作为需求执行•可考虑在不同系统交互时，完成标准转换•不强制执行•可作为外购产品的评估指标•可考虑在不同系统交互时，完成标准转换•在业务系统建设时，执行适用的数据标准•新建系统的代码应遵照数据标准项的代码 不同类型系统的落标策略新建系统现有系统外购系统42内部数据重要数据核心数据涉密数据内部公文、业务数据、组织架构等企业经营数据、个人信息等极大商业价值数据、核心商业、敏感信息等国际有关保密规定、涉及国家安全秘密、机密数据、特殊用途研发数据等《数据安全法》《网络安全法》《中央企业商业秘密安全保护技术指引》《个人信息保护(草案)》《个人信息安全规范等》基础风险排查数据库的漏洞情况，补丁情况，安全配置情况，是否存在诸如弱口令，缺醒口令，高危代码等认为造成的使用缺陷统计分析，可视化展现账号检查梳理检查已有的数据权限情况，尤其是高危操作的权限，特权账号的权限，运维人员的权限，以及43在用的管控措施结合法规要求，优化数据分类分级标准，联合数据治理团队，提供数据分类分级方法，识别最重要的数据，形成数据分类分级标准参考目录，同时识别重要数据资产安全风险隐患公开数据

公开发布的财务报表、业务通告和政策等数据资产排查数据分级规则 数据安全分类分级盘点数据资产梳理访问状况源，不同使用场景等条件进行数据资产使用情况的形成资产地图，包括数据库，表的详情和数量按不同时间段，不同访问盘点数据资产分布情况，依据参考 数据安全架构和授权体系数据安全三维框架：人—数—安全框架数据自动授权体系：建自动访问体系和白名单相结合44OLAP数据资产和安全管理安全定密盘点分类数据标准治理敏感数据识别脱敏数据流脱敏函数脱敏规则访问策略数据安全框架数据安全分级数据安全分类数据安全管理制度组织机构组织人员访问等级数据安全共享制度数据安全访问引擎数据安全应用血缘关系治理静态脱敏工具数据治理数据服务API数据资产目录数据资产访问控制动态脱敏数据库即时查询资产盘点白名单OLTP 数据安全网关数据分类分级驱动的数据资产安全管控姓名电话地区张三1512****0325北京李四1432****0452上海王五1222****1325北京姓名电话地区张三1512****0325北京李四1432****0452上海王五1222****1325北京效能监控安全审计分类分级访问统一数据查询SQLBI安全访问JDBC风险识别数据资产分类登记MYSQLOracelHive业务应用级用户UserA业务应用级用户UserB User数据安全网关 Data安全防控45一、数据治理服务二、案例分享目录46数据中台-->支撑基础库的建设-->赋能数字政府转型47业务信息数据公安口出生、死亡及户籍登记基本信息人社口社会五险参保等信息税务口民政口 地理实体数据 影像数据 高程数据基础库管理应用人口库应用人口概况、人口查询、人口统计、人口画像、周期管理、模板管理、字段映射、执行策略、入库管理、异常告警、标签管理、标签映射和关系、图形化分析……法人库应用法人概况、法人查询、法人统计、法人画像、周期管理、模板管理、字段映射、执行策略、入库管理、异常告警、标签管理、标签映射和关系、图形化分析……空间地理应用地图服务、影像服务、地名地址服务、三维服务与坐标转换等功能服务……基础数据库人口库法人库空间地理库数据抽取/数据交换 电子地图数据 地名地址数据 三维数据 基础库建设民政口婚姻关系双方信息卫计口孕产妇及家属信息建模建模元数据管理建模元数据管理元数据管理空间地理数据法人数据人口数据质监口工商口48一、数据治理服务二、案例分享三、总结目录49遵循“横向规划，纵向切入”建设模式•全局规划、全盘考虑，打通各部门所有权责覆盖的业务活动•数据中台建设不可能一蹴而就，需要从应用场景出发梳理数据需求坚持“应用场景需求牵引，咨询、软件、平台、服务四位一体推进”原则•按需搭建平台•基于平台敏捷实