数据治理方法论和案例

•公司介绍•案例介绍–管理分析平台、数据管控平台、数据资产管理和数据仓库规划与建设•方法论–企业架构•方法论–管理引擎•方法论–数据仓库建设29业务痛点与项目实现效果归纳数据手工传输链路长且来源系统分散，时效性差数据手工传输链路长且来源系统分散，时效性差ExcelExcel难以应对日益庞大的数据量，运行效率低耗费大量人力的手工编织表格工作，出错率高；耗费大量人力的手工编织表格工作，出错率高；无法支持灵活的多轮次账务调整只能提供固定的基础报表，缺乏灵活查询支持，只能提供固定的基础报表，缺乏灵活查询支持，无法下钻底层明细数据质量差，存在大量缺失和不一致数据质量差，存在大量缺失和不一致只能反映业务现状，无法实现预算、预测等复杂功能只能反映业务现状，无法实现预算、预测等复杂功能数据交换平台系统直接抽取、加载；同时采用多种方式，按需触发更新；信息传递时间极短数据仓库利用数据仓库强大的计算引擎，可实现复杂的计算分摊模式ETL调度平台管理分析平台（BI工具）支持下钻、上钻、切片、切块等多维度分析展现，可灵活定制展现数据资产管理平台端到端数据质量质量提升、建立数据质量管理流程规预算与业务预测系统（2期）多种报表应用加工展现下载管理口径计算加工实施成果---系统运行情况多种报表应用加工展现下载管理口径计算加工实现可随时每天调账，结果实时在报表中体现；并且实现会计结账到管理报表生成完全由系统自动生成；由系统进行全方面质量监控，过程可见且释放大量人力资源。7号第一轮结账 存储可能调度控制调度控制 统一数据交换应用文件传输文件传输多交换模式场景1统一数据交换存储实施成果---数据治理与数据仓库成果 存储可能调度控制调度控制 统一数据交换应用文件传输文件传输多交换模式场景1统一数据交换存储1.建立起质量问题的检核、反馈、修正和追踪的闭环治理流程；建立事前、事中、事后3个阶段的管理流程和监控点，数据质量从2.数据管理过程中的角色、职能、工作流程形成了固化的文档规则3.数据仓库入仓23张表，556个字段，涉及134个实体，862个属性；建立九大逻辑数据模型调度管理控制台调度服务调度备用服务扩展服务...调度总控服务 调度管理控制台调度服务调度备用服务扩展服务...调度总控服务源应用源应用数据库源应用本源应用本地文件存储Tools&ApproachnTools&Approachn主动探索的一般过程主动探索的一般过程提出、发现业务问题设计开发执行灵活查询结果引出新的问题结果成为分析其他业务问题的基础将业务问题转化为查询需求分析结果并提出建议需要进一步查询报表通常通过简单的统计告诉我们发生了什么，而主动探索则在以下的各个环节体现更多作用：1、通过统计分析探究因果关系（为什么发生）2、进而通过事件触发（什么正在发生）进行预测么将要发生）但是主动探索的起因经常是固定报表，还有一些灵活查 主动探索的工作流程测算类：如果下月开始调薪，那么对产品 主动探索的工作流程统计类：超过3个月投入的产品平均毛利就发现的现象提出进行分析的业务问题就业务问题分析/设计要进行查询的数据内容选择合适的工就发现的现象提出进行分析的业务问题就业务问题分析/设计要进行查询的数据内容选择合适的工具和手段进行查询根据查询的结果决定是否还需要继续分析综合查询过程/结果，形成对问题的结论意见制定合适的行动策略并下发，用于指导业务现有报表无法提供的数据支持成果示例--预算与业务预测系统推动全面预算管理深入.灵活设置预算编制层级深度、系统要求设置的编制单元必须逐级编制确认、推动业务预测的参与深入度.每级管理人员可以拨回或灵活加入自身调整、自动分产品、分级自动汇总、没有等待时间.不同级别和业务属性采用了3种不同的预测输入模式、使得预测是基于业务发展现状，管理者可以随时查看明细.报表模式多样化：固化+定制季度及全年的差异支持详细数据本地下载，在线灵活分析（SmartBI）度制本a对比当月预测及上月预测中，各客户及产品收入差异（两个季度/年）a查看当年全年（各月）损益表（收入及成本明细）b查看上年全年（各月）损益表（收入及成本明细）c查看各客户及产品收入年增长率a查看最近6个月的预测，以及各版本与当月数据分发接口数据查询接口系统监控接口层LOCK数据分发接口数据查询接口系统监控接口层LOCK产品信息部门费用数据架构层层层&层宏游标生产经营支持决策系统优化1.建立数据标准规范1.建立数据标准规范2.建立数据模型设计规范3.建立据交互标准4.建立ETL开发规范5.建立质量检核规则库和治理流程1.设计并建立基于SOA架构的企业ESB平台1.设计并建立基于SOA架构的企业ESB平台2.设计并建立企业服务资产库3.梳理企业服务总线的相关规范，形成标准4.实现人力、财务、资产系统之间的交换接入1.基于数据标准及模型规范，优化数仓模型1.基于数据标准及模型规范，优化数仓模型2.基于双总线策略，优化数据采集抽取3.ETL调度优化4.指标体系优化5.报表平台及UI优化 成果示例--建立标准及规范重点工作领域主要解决问题工作成果数 据解决模型设计规范问题，主要包扩规范数据概念，明数据模型设计规范集团数据模型设计规范模确信息项定义及属性，建立可信赖的数据关系。 成果示例--建立标准及规范重点工作领域主要解决问题工作成果数 据解决模型设计规范问题，主要包扩规范数据概念，明数据模型设计规范集团数据模型设计规范模确信息项定义及属性，建立可信赖的数据关系。 型 基础数据标准定义系统建设过程中数据产生质量的源头控基础数据标准定义 数据交互标准定义 数据质量检核规则解决业务发展过程发现数据质量的问题。数据质量质数据质量问题治理工作流程量数据质量管理 开解决数据仓库、数据集市在开发过程中的规范性ETL开发规范发ETL开发规范管问题。控 1.科技及研发投入占主营业务收入比例2.信息化项目投入占主营业务收入比例3.信息化应用水平等级4.正版软件采购数量1.全国机场月度排名2.航空公司简称3.运输生产年度计划4.财务年度计划1.科技及研发投入占主营业务收入比例2.信息化项目投入占主营业务收入比例3.信息化应用水平等级4.正版软件采购数量1.全国机场月度排名2.航空公司简称3.运输生产年度计划4.财务年度计划1.违规运输危险品事件数2.机场责任造成的事故征候万架次率3.机场责任重大事故数4.航空不安全事件数5.非航空不安全事件数1.单位旅客的水消耗2.综合环境消费量3.综合环境消费量与总产值之比4.单位旅客消耗标准煤5.单位旅客均电力消耗水平1.营业收入、利润、所有者权益，成本费用、净利润2.航空性/非航空性收入3.单位旅客收入、成本4.单位起降架次收入成本5.资金余额及构成1.固定资产2.固定投资总额3.固定投资完成率1.固定资产2.固定投资总额3.固定投资完成率4.平均故障时长(分AB类)5.工单完成及时率6.工单执行率2.单位员工营收、净利润3.员工人均收入4.人力成本占总成本比例5.员工总数、离职率数仓建设实现……6.员工结构，性别年龄学数仓建设实现……数据采集优化……成果示例-多种管理驾驶舱展现方式成果示例一数据资产管理全面展现以“元数据管理”为核心，建设数据资产管理平台展现数据全景数据仓库整体技术框架数据仓库的技术体系可以分为数据获取层、访问控制层五大模块。项目自2011年8月至2012年9月，历时13个月1.实现12个源系统的数据入仓2.1.实现12个源系统的数据入仓2.提炼8大主题，完成数据整合；3.实现724项基础数据标准落地；4.引入ADMS开发平台，提升数据加工的效率、准确性与可维护性。1.完成存款、贷款、资金三大业务条线协议级指标梳理2.实现机构、客户级汇总3.构建共享视图及数据接口，提供统一高效访问途径；4.时间90项分析类数据标准落地。1.配合完成数据仓库管理制度及流程制定；2.整理数据仓库元数据信息，实现仓库数据的数据地图、影响、血缘等元数据分析；1.制定初始化及历史数据清洗方案及规划；2.完成3年17个关键时点快照类历史数据入仓；3.实现19个境内源业务系统及3个境外香港源业务系统的数据入仓加载及清洗工作。支持了经营管理、风险管理、监管报送等共计16个应用分析系统。基础层建设汇总层建设数据管控初始化及历史数据清洗-26企业战略企业架构(EA)--从业务到企业战略实现其当前(as-is)和未来(to-be)的•业务架构：是把企业的业务战略转化为日常运作的渠道，业务战略决定业务架构，它包括业务的运营模式、流程体系、组织结构、地域分布等。•IT架构：指导IT投资和设计决策的IT框架，是建立企业信息系统的综合蓝图，包括数据架构、应用架构和技术架构三部分。27业务架构（业务战略、治理、组织和关键业务流程信息，及其间的交互）业务架构（业务战略、治理、组织和关键业务流程信息，及其间的交互）技术架构(支持业务、数据和应用服务必须的软件和硬件能力) 以业务架构映射形成IT架构蓝图规划任务标准化任务标准化 任务1任务4任务3任任务2任务5任务6任务任务任务任务任任务标准化任务标准化 任务1任务4任务3任任务2任务5任务6任务任务任务任务任务务n流程描述 业务规则构图能力结构图能力结任任务528292.结合业务架构本身可以梳理出来的企业级数据模型和数据标准本身反应业务逻辑3.应用架构、数据架构、技术架构这三个架构是IT治理中一个企业信息化组织要管理好自身的IT系统必须慎重设计和认真评审的三个重点架构内2.结合业务架构本身可以梳理出来的企业级数据模型和数据标准本身反应业务逻辑3.应用架构、数据架构、技术架构这三个架构是IT治理中一个企业信息化组织要管理好自身的IT系统必须慎重设计和认真评审的三个重点架构内的质量，当然最终也影响业务的质量。数据治理又被IT治理牵制，很多数据质量，数据有效性的问题不从IT设计、开发、测试、运行的规范化理-数据管控核心领域数据架构管理数据模型管理数据标准管理主数据管理数据安全管理数据生命周期数据质量管理元数据管理管理政策组织人员保障与规范流程规范数据管控核心领域数据架构管理数据模型管理数据标准管理主数据管理数据安全管理数据生命周期数据质量管理元数据管理管理政策组织人员保障与规范流程规范技术支撑完善与落地1数据标准内容数据管控保障机制数据管控保障机制•规章制度•管控办法•考核机制•流程目标•流程任务•流程分级•管控架构•管控层次•管控职责•技术规范•实施办法•支撑平台1.数据架构管理—规划并管理数据从产生端到使用端的分布、传输与存储的逻辑框架2.数据模型管理—企业的信息模型是企业数据标准的图形化展现，3.数据标准管理—规范化企业重要活动及对象的数据记录格式4.数据质量管理—对数据的有效性和可用性进行持续监控和评估5.元数据管理—对企业数据资产的登记造册，并记录其相关性6.数据安全管理—对数据设定安全等级，保证其被适当地使用7.主数据管理—对企业关键的，跨系统共享的业务数据进行统一的管理策略8.数据生命周期管理—是对数据产生、存储、传输、使用和销毁全过程进行管理数据管控是对数据资产的管理行以数据标准为例，各领域的建设框架 ①⑥③①⑥③②数据生命周期数据生命周期④数据质量管理数据标准管理数据质量管理数据标准管理数据归档管理数据安全管理数据归档管理数据安全管理⑤⑤组织的合理性是责权利的界定（兼职）组织的合理性是责权利的界定（兼职）数据管控技术组数据管控技术组数据架构管理数据架构管理•数据质量管理元数据管理数据质量管理元数据管理数据安全管理••数据标准管理管理专员2人-3人，（兼职） 管理办法管理流程技术规范及模板 2,形成数据项3业务对象(O),形成主题,便于理解数据项2-1数据项1-1及其属性数据项2-2数据项1-2数据项2-35 2,形成数据项3业务对象(O),形成主题,便于理解数据项2-1数据项1-1及其属性数据项2-2数据项1-2数据项2-35数据项1-3数据项2-44 数据模型相互关系(R)提炼业务活动主题间关系 主题B拥有这些客户分为如何整合不同系统的相同信息？ 客户分类 信息覆盖原则数据标准是衡量数据问题的尺度，同时也是数据治理的目标：这些客户分为如何整合不同系统的相同信息？ 客户分类 信息覆盖原则0谁才是应当关0 客户定义 客户信息模型 客户信息模型 客户归并规则