数据治理体系及应用实践

数据治理体系及应用实践目录数据治理体系概述01数据治理应用案例02数据应用实践03告别“数据霾”，数据治理须从现在做起一、数据治理背景数据是基础，算法是核心，应用是关键水平协同垂直继承操作规范性二、数据需要治理数据不是天生就是健康可用的，影响数据质量的因素主要有四个方面：信息、流程、技术和管理，应通过治理工作逐步提升质量以满足各类运营分析使用要求。系统数据资产三、数据治理的复杂性数据架构管理数据环境审计系统评估及持续改善组织架构安全保障制度数据安全管理数据生命周期

数据模型管理数据标准管理数据质量管理

主数据管理元数据管理核心领域保障机制四、数据治理体系梳理由于数据治理机制匮乏而引发的业务及技术问题梳理与规划针对不同规模/不同经营类型成员企业/不同成熟度业务板块的数据治理实施路径梳理和明晰高层决策组织机制，包括决策机构、管理机构、执行机构、监督机构，包括组织架构及沟通决策流程优化和完善各治理领域的管理制度和工作流程梳理和明确针对不同规模/不同经营类型成员企业的数据治理组织架构数据标准：指标数据标准、数据标准落地性元数据：自动化、映射关系识别数据质量：数据质量规则梳理数据生命周期：解决方案孵化数据安全：解决方案孵化数据管控管理：优化界面和用户体验、增强系统自动化水平、增强模块之前的互动数据安全管理：引入成熟产品，引入数据门户统一管理数据生命周期管理：考虑引入成熟产品，或在数据管控平台定制开发跟踪和整理监管机构在数据治理领域的动向和要求收集与整理行业对标企业数据治理现状，包括组织架构、实施领域等收集与整理公司各数据治理项目实施案例整理与提炼项目实施工艺、工作模版、通用产出及投标文档⑤五、数据治理体系建设层次数据管控业务组数据管控技术组数据管控委员会专职标准管理专员2人-3人，按主题划分。专职数据质量管理专员2人-3人，

按系统跟进。数据管控主管部门可以考虑元数据管理专员兼任标准管理专员。数据标准管理数据管控主管部门需要配置专职的数据质量管理专员2人-3人。数据质量管理数据标准管理数据质量管理在数据管控主管部门需要配置专职3-4人负责数据字典管理。对应系统开发组要配备兼职的专员。元数据管理业务部门数据标准专员

（兼职）数据质量专员

（兼职）由数据管控主管部门技术规划部门负责。数据架构管理由数据管控主管部门安全部门负责。数据安全管理六、数据治理体系管理架构数据标准类数据应用支持类数据管控类数据应用类所有领域数据治理制度与流程管理办法管理流程技术规范及模板数据标准管理办法各类数据标准管理细则数据标准管理相关流程数据质量管理办法数据录入维护管理办法数据模型管理办法元数据管理办法数据流管理办法主数据管理办法数据安全管理细则外部数据管理办法历史数据归档管理办法数据质量管理相关流程数据模型管理相关流程元数据管理相关流程数据流管理相关流程数据安全管理相关流程外部数据管理相关流程历史数据归档管理相关流程数据平台数据交换管理办法数据平台运维管理办法数据平台ETL开发管理细则数据集市管理办法数据仓库管理办法数据库统一运维管理办法数据平台数据交换管理相关流程数据平台运维管理相关流程数据平台ETL开发管理相关流程数据集市管理相关流程数据仓库管理相关流程数据库统一运维管理相关流程报表需求管理办法数据服务管理办法数据应用手工数据补录管理办法管理驾驶舱系统数据管理实施细则开放数据服务支持系统管理细则报表需求管理相关流程数据服务管理相关流程数据应用手工数据补录管理相关流程数据管理与应用绩效管理流程数据质量度量规则及检核方法模板数据模型设计评审/备案申请表IT系统改造、新建或变更投产元数据管理审核单元数据专项服务需求审批表IT系统改造、新建或元数据日常变更通知单数据交换需求审批表ETL编写规范报表新增需求审批表报表变更需求审批表数据管理与应用关键指标及计算说明数据管理与应用绩效管理办法数据标准需求审批表七、数据治理体系制度与流程目录数据治理体系概述01数据治理应用案例02数据应用实践03北京市政交通一卡通有限公司于2000年成立，是一家以智能卡为交易载体、全面应用于城市市政公共交通及小额支付交易领域的高新技术企业。股东为北京控股、北京地铁和北京公交。公司是经营“北京市政交通一卡通”智能卡的制作、发售、应用、结算并负责系统投资和管理的企业，拥有北京市城市建设事业IC卡密钥的管理和使用权，并于2011年获得中国人民银颁发的“支付业务许可证”，在北京市、天津市、河北省境内开展预付卡的发行与受理业务。至今，累计发卡超过1亿张，在公共交通、市政、小额消费、移动支付等领域广泛应用。一、北京市政交通一卡通企业介绍——基本信息公共交通、轨道交通、出租车、P+R停车场、公共自行车、市郊铁路、加油站城市交通市政服务商业消费创新应用燃气缴费、公园景区、公共电话、环保系统、学生卡、养老助残卡、残疾人一卡通、居住证商场百货、超市便利店、餐饮&蛋糕房、健身房、酒店、自动售货机等智慧楼宇、企业解决方案、网络服务平台、移动支付四大领域二十八类应用二、北京市政交通一卡通企业介绍——应用领域累计发卡超过1.6亿张，市场保有量超1.2亿张累计城市市政行为及交通轨迹数据615亿笔发卡日均新增3万张，市政行为及交通轨迹数据日均新增3000万笔发卡交易增量三、

数据基础及应用平台——数据基础：海量历史数据发卡日期原始卡类型持有时长卡状态逻辑卡类型出行偏好小额消费频次开通账户渠道充值APP单位通勤OD职住区域通勤时长及距离经常活动区域出行规律消费频次充值频率出行频次票价敏感度低收入人群灰色人群标签应用标签人群：3000万活跃用户标签类别：公共交通市政服务外源融合样本数据：70亿四、

数据基础及应用平台——数据基础：标签画像数据治理0601数据模型0507元数据管理02数据标准管理0304数据质量管理数据安全管理生命周期管理主数据管理

数据治理体系应用确保一卡通数据准确，符合一卡通业务定义要求准确性时效性完整性规范性确保一卡通数据的“新鲜度”，过时的数据跟不上管理的要求确保一卡通数据完整，全面展现各部门希望查看的对象及其属性保证一卡通数据源必须能够可靠稳定地提供数据一、一卡通元数据管理原则显示标准定义、比较各种数据口径展现数据关联、追踪变换过程，数据地图记录数据定义的动态变化数据定义的全局检索关系数据库、多维数据库ETL工具、存储过程面向业务的应用元数据为一卡通提供数据准确说明，形成全局视图支持一卡通多数据源的数据整合二、元数据在一卡通的价值元数据版本比对血缘分析影响分析数据地图一致性分析元数据变更分析三、一卡通元数据管理——应用概览四、一卡通元数据管理——数据地图数据治理0601数据模型0507元数据管理02数据标准管理0304数据质量管理数据安全管理生命周期管理主数据管理

数据治理体系应用开放性共享性完整性有效性一致性

规范性数据标准制定过程中，一卡通各个部门领导人员均需积极参与数据标准化信息在一卡通各业务部门、外部合作伙伴共享使用涵盖一卡通全部重要数据信息数据准确度高、理解上不存在歧义做到“五统一”：定义统一、口径统一、名称统一、来源统一、参照统一制度规范、流程控制、系统管理等一、一卡通数据标准管理原则一卡通数据标准管理的总体目标：通过统一的数据标准制定和发布，结合制度约束、系统控制等手段，实现数据的完整性、有效性、一致性、规范性、开放性和共享性管理，提高数据治理水平。同名不同义处理重点在于明确数据项之间的业务定义的差异，对于业务含义有实质性差异的数据项应分拆为名称不相同的若干数据项。

同义不同名处理代码分类不统一的处理是由于各业务部门或系统的称呼、使用习惯不同而产生的。针对该问题的标准化需要着重解决两个问题：一是名称统一的问题，二是数据定义部门统一的问题。定义层面具有相同含义的字段，但在内部不同业务部门、不同业务代码不一致的情况。这是数据标准化工作的重点和难点，应逐项分析拟定解决方案，达成一致。二、一卡通数据标准管理建设重点标准框架准备阶段标准设计标准映射标准执行维护增强标准范围应包括哪些？标准引入参考标准应该是什么样的？目前对标准满足情况？标准应该如何执行？如何维护管理标准？数据主题设计范围优先策略工作重点配合支持……现状梳理行业以及顶层标准参考同业实践业务调研导入……信息大类信息小类信息项数据类型重要规则……系统范围应用领域数据表数据字段数据取值……影响分析范围/顺序系统改造新建系统手工补录……标准发布管理机制工作流程维护增强配套工具……三、一卡通数据标准实施方法分类框架信息模型技术定义数据映射数据验证业务定义准入原则命名规则合并拆分规则变更原则归属原则指标数据：国标GBT36073-2018《数据管理能力成熟度评估模型》定义如下：指标数据是组织在经营分析过程中衡量某一个目标或事物的数据,一般由指标名称、时间和数值等组成。另外有一种通俗的定义，也叫报表数据，企业中的报表，这些报表由各类事务型数据所组成。四、一卡通数据标准——指标定义框架业务属性：

业务属性描述数据与企业业务相关联的特性。业务属性包括中文名称、英文名称、业务定义、业务规则、值域、标准依据、敏感度、是否关键数据项。技术属性：

技术属性描述数据与信息技术实现相关联的特性，是数据在信息系统项目实现时统一的技术方面定义。技术属性包括数据类型、数据格式。管理属性：

管理属性描述数据标准与数据管理相关联的特性，是数据管控在数据标准管理领域的统一要求。管理属性包括数据定义者、数据管理者、数据使用者、业务应用领域、使用系统、相关数据、与相关数据关系。五、数据标准管理——数据标准梳理框架六、数据标准管理——数据标准维护数据治理0601数据模型0507元数据管理02数据标准管理0304数据质量管理数据安全管理生命周期管理主数据管理

数据治理体系应用准确性唯一性时效性完整性一致性可靠性在转换、分析、存储、应用流程中不存在错误数据不存在冗余重复在数据需求定义要求的期限内获得最新数据，或按要求的更新频率刷新数据值确保数据完整，数据库应用或要求的所有记录、字段都存在存储在或者用于多种数据仓库、应用软件、系统和使数据相等的流程中的信息等价保证数据源必须能够可靠稳定地提供数据一、一卡通数据质量管理原则一卡通数据的不同使用目的会导致不同的数据质量要求，满足业务流程正常运转的需要并不一定就能保证满足分析的需求，使用环节的需求是决定数据质量管理目标的主要因素。分析型系统、监管报送系统使用目的多种多样，涵盖银行运营分析、监管报送的方方面面ODS数据仓库业务源系统保证业务流程的正常运转和满足一些简单的统计功能生产环节集成环节使用环节数据流转过程数据质量问题发现来自于使用环节数据质量问题主要产生于生产环节数据质量问题的发现数据质量问题的产生二、一卡通数据质量问题特征一卡通数据质量评估规则包括数据质量业务规则和数据质量技术规则，业务规则通过技术规则来贯彻执行。业务规则技术规则数据在业务层面是否符合已经达成共识的数据质量各个方面的要求，通常每个数据标准项都有其对应的数据质量业务规则。数据质量业务规则的实例化，是其在系统中的应用，用于对特定的数据集进行数据质量监控、检查、评估等。数据质量技术规则和具体系统表、字段密切相关。1条数据质量业务规则，可以对应0/1/多条数据质量技术规则数据质量业务规则和具体的信息系统无关1条数据质量技术规则，最多对应1条数据质量业务规则数据质量技术规则和具体的信息系统紧密相关三、一卡通数据质量评估规则卡号不为空卡号应唯一日期代码值包含在代码表值域中卡号代码长度等于12……进站交易时间应小于出站交易时间检核规则维度小类维度大类四、一卡通数据质量检核规则体系搭建一卡通数据质量校验体系校验体系问题发现问题分析质量提升质量验证评估报告发现一卡通数据质量问题进一步分析数据质量问题的成因组织相关开发项目组拟定数据质量提升方案并执行制定检核规则并持续跟进和验证数据质量提升情况定期形成评估报告，分析数据质量提升趋势五、一卡通数据质量实施方法论六、一卡通数据质量管理——数据质量规则数据治理0601数据模型0507元数据管理02数据标准管理0304数据质量管理数据安全管理生命周期管理主数据管理

数据治理体系应用数据信息的展现分析主数据管理模块数据管控平台标准模块门户展现平台业务系统发卡系统联机系统京津冀审计系统清算系统数据挖掘平台数据仓库数据标准制定与维护数据同步数据信息生成数据信息访问标准入仓主管理主协同主标准主整合主分析一、一卡通主数据管理策略业务现状调研信息化现状调研现状调研现状分析与需求阶段系统实施标准化体系蓝图1、现状调研报告1、通过对企业现状的分析，梳理业务流程，结合数据应用场景，识别主数据范围，明确主数据产生源头，规划主数据的实施路线1、数据标准化体系规划报告2、各类主数据标准、管理制度规范3、集成标准、实施方案与计划1、系统搭建、数据清洗2、初始化、集成开发3、上线培训与系统运行数据现状数据标准化体系规划制定数据标准管理架构体系数据标准体系绩效考核体系IT架构体系分类标准编码规则属性规范管理流程管理制度规范集成服务标准现状评估与需求阶段数据管理现状数据应用现状主数据识别实施路线数据源头管理流程安全架构体系实施方案与计划业务流程现状管理现状信息系统应用系统集成关系各业务协同关系各业务间数据流现状分析集成开发与测试数据建模数据清洗系统搭建上线准备系统上线二、一卡通主数据标准及建设方法思路主数据管理体系管理制度规范数据管理组织绩效考核体系数据管理流程主数据管理系统建设标准化管理组织标准化专家团队标准化管理岗位历史数据清洗主数据管理系统搭建系统集成安全架构体系安全制度安全组织安全技术申请流程修改流程归档流程绩效考核制度定量/定性考核主数据标准制定用户主数据卡片主数据商户主数据管理制度工作责任书设备主数据其它类主数据三、一卡通主数据标准化建设内容数据治理0601数据模型0507元数据管理02数据标准管理0304数据质量管理数据安全管理生命周期管理主数据管理

数据治理体系应用产品交易渠道客户卡片员工内部机构财务公共代码一、数据模型——一卡通各主题模型主题域名称主题域描述客户一卡通公司关注的对象，可以是客户、合作伙伴和内部机构等。包括客户、内部组织、营业网点等。卡片一张集成电路卡，该卡片具有电子钱包及其他功能，可储存多次付款纪录，亦可反复充值使用。交易利用一卡通进行一次消费、充值等与金额有关的行为即为一笔交易渠道客户、机构与一卡通公司之间发生交互的通道，包括客户开卡、交易、资金存取、获取通知、产品营销推荐等各类业务涉及的渠道。财务财务主题域描述了企业财务管理的账簿。机构企业有意愿能追踪的内部业务单元。员工产品一卡通公司及其关联的当事人提供给市场，能满足客户（包括内部客户）的某种需求，一卡通公司可从中赚取各种实际或潜在收益的货物（有形）与服务（无形）。账户公共代码二、数据模型——一卡通各主题模型划分说明出生日期婚姻状况类型交易代码交易日期信用评级称谓姓名是否进入黑名单交易时间职业收入学历关联客户科目交易金额卡号证件信息偏好交易内部机构产品渠道交易账户公共代码性别财务POS机代码部门代码制卡时间总帐卡片客户员工卡状态发行批号卡有效期错误代码运营公司代码自营网点充值设备公司代码姓名职务所在部门账户金额账户号码账户名称账户状态行业代码性别代码卡类型代码普通卡老年卡学生卡三、数据模型——数据主题划分四、数据模型——逻辑数据模型修订数据模型设计人员要参与整个建设流程；业务调研、概念数据模型和逻辑数据模型需要客户业务人员参与，信息调研和物理数据模型需要客户IT人员参与；各阶段成果需要与客户相关人员充分沟通并达成共识，