数据治理实施方案

1、数据治理实施方案现代企业日常各项经营活动中积累了大量数据资源， 这些数据除 了支持企业生产业务流程运转之外，也越来越多地被用于支撑监管报 送和信息披露、精准营销、决策支持、风险控制、产品定价、绩效考 核等运营管理和决策过程的数据分析需求。市场正逐渐从卖方市场转变为买方市场，互联网的普及更加推动了 这个市场转变的速度。为了适应新的市场环境的生存和发展要求， 企 业要实现全方位的转型，需要更为科学的决策方式，需要对客户的需 求做出更快速的反应，需要不断提高内部的经营效率，需要有效化解 瞬息万变的市场带来的风险等等，而这些转型的落地离不开经营管理 和决策过程的优化和升级，而现实中企业日常经营管理和决

2、策过程的 背后，实质上是相关数据资源的加工和利用过程， 从大量原始数据的 基础上加工形成支撑各类决策需求的分析型数据，从而帮助各级决策 者及时获取做出准确决策所需要的关键信息。而另外一个方面，虽然当前企业各项经营活动已经积累了大量的数 据资源，如果不能对这些数据资源进行有效管理， 不能迅速地对这些 数据资源进行专业化处理，通过“加工”来实现数据资源的“增值”， 其对经营管理和决策过程转型升级的价值就得不到很好体现，甚至会给运营管理和决策带来负面制约作用，阻碍了企业应对市场生存挑战的转型和变革。因此企业需要一把开启数据资源金库大门而实现在互 联网时代业务价值倍增的钥匙。经过多年的信息化建设，当前

3、很多中国企业各项经营活动已经实 现了电子化处理， 今天很多企业， 都会有很多套应用系统支撑支持企 业各项生产活动业务流程运转和中后台管理， 每一套系统中都存有大 量的数据，积累了规模庞大而且内容丰富的数据资源。可是由于缺乏对现有数据资源统一管控的机制和技术平台，企 业目前数据资源的分布很凌乱的局面没有得到有效的直接管控， 历史 原因的建设的不同步造成新老各类系统在建设过程中根据自己的需 求各自为政而形成了数据割据和数据孤岛的存在， 表现为数据定义不 统一、各系统之间数据不合理冗余，形成多头交叉的局面，特别是使 用多年的老旧系统的存量数据所表现出来的数据不完整、 数据内容过 时失效等质量问题比较

4、严重， 这类问题给不少规划建设的新系统的上 线运行带来了很大的障碍， 客观上严重削弱了多年来企业花大力投入 信息化建设的成效和价值体现。 而且企业的战略成长需要信息科技应 用水平向更高层次的迈进， 这样的数据资源局面会随着更多的企业信 息披露和监管报送、ECIF、客户关系管理系统（CRM ）、内部资金 定价（FTP、绩效考核、风险管理、资产管理等企业级应用系统的 陆续建设和投产所暴露出来， 而数据质量问题已经成为严重制约企业 整体信息科技应用水平和价值提升的障碍， 事实上目前大多数中国企 业的数据资源也无法为客户营销、精细化管理、风险控制、决策支持等当下企业业务向互联网 +转型所必需的工作带来

5、有效助力，因此， 如果我们不能通过有效的数据治理工作来扭转这样的局面， 不但企业 多年信息化建设所形成的信息资产价值得不到很好体现， 而且必然会 由于跟不上运营管理和决策的数据需求而给企业的战略转型带来负 面作用。企业战略转型急需信息科技扭转这种数据资源管控缺失的局面，为 了使这些数据资源“包袱”变成“金矿”，有力支持信息科技工作达 到预期的规划目标， 通过建设和形成有效的数据治理体系来统一管控 好数据资源就变得尤为重要和迫切。二、数据治理平台定位根据国际先进理念， 数据治理是一个关注于在执行层面如何让各项数 据资源实现业务战略价值需求的体系， 成功的数据治理工作的实施是 数据管控机制和数据管

6、控领域的有效结合， 得到业界普遍共识的数据 治理体系架构包含以下内容与国际普遍认可的成熟的数据治理体系框架模型相对照，很多 企业目前虽然也有部分数据治理工作，但整体来看缺失的内容还很 多，而且现有的数据治理方面的工作成果和企业的业务运营管理和信 息科技建设工作都没能很好地结合起来， 目前并没有形成从全企业的 角度统筹安排的数据管控机制， 也没有一个技术平台支撑包括数据质 量管理和数据标准管理的活动，这也让我们应该清醒认识到数据治理 是一项意义重大、影响广泛而且任重而道远的系统性长期性的工程。同时我们要客观分析企业的现实情况， 当下很多企业信息化还在 大规模集中建设期，各项信息系统的建设和优化升

7、级工作正在如火如 荼的开展之中，如前述所述，老旧系统的存量数据质量问题的矛盾非 常突出，很多业务创新和市场营销的数据需求远远得不到满足，而新业务系统上线后由于数据质量问题而造成的生产问题也时有发生，摆在企业当前数据治理工作的燃眉之急是尽快解决影响信息系统推广 应用效果和业务用户体验问题的各种数据质量问题，时不我待，先构筑一个大而全的成熟数据治理体系再考虑具体问题的解决无疑是不 能适应企业迫切的当前发展需要的。因此，对于企业所要开展的数据治理工作， 我提出以解决当前 业务所遇到的数据质量问题为抓手，以构建的技术平台支撑各项解决 问题的数据治理工作实施的总体策略，参考业界数据治理体系框架模 型，在

8、企业最高领导层的统筹安排下，由信息科技部门牵头平台建设 和配套的数据治理实施工作，以高效解决当前信息科技成果推广中遇 到的数据质量问题为切入点，在实施中整合信息科技部与业务部门的 知识和意见，由科技部牵头通过引入成熟的技术支撑平台和实施服 务，配套推动能在企业落地执行的数据管控机制和组织建设，形成对企业的信息科技数据资源进行全方位的监管和控制体系，让对数据资源的统一管控在业务部门与信息科技部门达成高度共识和建设性合作机制，以求在解决各系统各项目的实际问题中逐步形成对数据资源 的良性治理体系。因此，我认为首先要明确数据治理体系和系统平台建设工作的 定位是管控，对于管控定位的具体体现在以下三个方面

9、。U从职能分工的角度，数据治理平台体现了代表企业战略决策层对 于数据资源的统一管控的职能要求定位， 数据治理平台侧重在管控层 面的计划和控制 ,具体数据问题的解决通过协调跨部门跨系统的资源 予以实施和改进， 这样更符合现代公司治理理念的管运分离原则， 这 样一方面解决目前企业在数据资源管理工作中存在的多头交叉而缺 失统筹安排的问题， 二方面能从管控的高度治理具体数据问题的时候 能协调更大范围内有关资源， 治理主体的分工责任更加明确， 这样在 效率和效果上更加可控；U从范围来讲，数据治理涵盖了企业所有信息资产和数据资源全生 命周期的不同形态， 从前端生产系统数据来源到后端运营管理和决策 的数据分

10、析和输出呈现，形成一个端对端的数据闭环管控体系；U从实施策略的角度，以解决后端数据分析成果输出的数据质量问 题给各项业务运营管理和决策带来的困扰为导向， 通过建设技术平台 有效支撑相应治理过程的管控活动， 通过技术手段准确监控造成数据 质量问题的来龙去脉和前因后果， 以对症把脉辅助具体治理活动背后 良好管控机制的形成，形成的相关部门人员通力合作齐抓共管根除数 据质量问题的针对性方案，最终通过每项问题的落地解决逐步积累企 业开展数据治理工作的成功经验，对照成熟的数据治理体系框架逐步 形成高水平的治理能力。三、数据治理目标场景分析为了更好地陈述企业开展数据治理工作的目标场景， 我们首先总结一 下当

11、前缺乏有效管控而造成的数据乱象，具体表现为：一是由于很多企业目前还没有明确的数据管控责任主体组织， 对数据采集、分布、流转及应用的数据分布、加工、利用缺乏合理规 划和控制，数据需求、数据质量、数据应用等问题的管理和解决分散 在不同业务和技术部门，没有一个清晰的协调机制和统一的报告渠 道，业务部门不能及时、按需获得数据支持；科技部门也不具备把业 务需求快速定位到已有的信息资产和数据资源等能力， 对于数据需求 和数据问题缺乏有效解决的方法和途径，基本靠各系统各项目各自来 解决和消化；缺乏规范全面的数据质量治理流程和考核机制，不能及时发现生产源头的数据质量问题，及时要求有关责任部门进行整改；二是很多

12、企业缺乏统一解决数据质量问题的组织和流程，目前 各业务部门遇到质量问题的时候纷纷以新增需求或者变更需求的方 式向信息科技部提出申请，把很多管理和业务上需要改进来解决的问 题转变成信息科技的技术需求要求解决，这样的做法本身就是治标不 治本的，而且这种应急性、临时性的需求提出和满足占用了信息科技 部大量的技术资源来配合，而得到的是一些并不规范和难以管理、 复 用的代码资产，信息科技部又不得不分散了大量的资源来长期维护， 一方面的这类的需求层出不穷地涌现，另外一方面这些价值不大的开 发成果又浪费了大量的科技资源长期维护， 导致企业信息科技投资的 回报率偏低，很多的资源投入无法体现出应该有的价值。三是

13、虽然有些企业已经颁布了企业数据标准，但由于一 方面数据标准的定义不完整，常见的缺失是没有完成逻辑模型和物理 模型的技术定义，因此不能被各信息系统建设项目在做数据库采集和 数据存储设计的时候直接遵照；另外一方面企业数据标准虽然可 能提出了数据分类，但并未能把标准中的数据分类和具体的信息科技 系统和在建的信息科技项目建立清晰的关系对照， 也缺失这个对于数 据标准化成果在各信息化建设项目的标准化贯彻实施落地方面的评 审检查措施，带来了数据标准化要求管理不到位的问题。 这样事实上 企业不同信息系统在建设过程中并未遵照统一数据标准要求进行各 自的数据模型的设计，未能从设计源头就避免出现数据技术定义割据

14、的问题，由于缺乏统一的技术标准要求，不同系统的数据模型难以逻 辑上集成，难以建立全面、准确、完整地反映运营状况的单一数据视 图，而面对诸如信息披露和监管报送、客户细分这样的数据利用需求的时候，每次都要根据需求反复开发针对性数据集成的代码， 难以做 到数据的逻辑整合和加工利用逻辑复用。从根本上解决这些问题，有待企业级的数据治理平台建成使用 以及配套的保障机制逐步建立后， 原来头痛医头脚痛医脚的解决方式 才能被更合理和高效的方法所取代。l 经过数据治理平台管控的数据已经消除信息错误、 缺失、不规范的 基础数据，统一监管报送平台完全可以压缩或者取消目前报送前大量 的手工数据补录、调整和数据核对工作，

15、实现自动化报送，解放人力 资源、提高报送时效性和监管机构对企业的满意度。l 建立统一的技术数据标准以有效管控各系统在数据定义方面的不 一致，规范数据来源，统一客户信息标准，经过数据质量平台的多次 校验和源数据平台对数据的修正后，各个系统的客户信息会达到一 致，ECIF中的客户信息就可以代表各个系统中的客户信息，各个系 统中的信息也将同步一致。l 在建项目将来将统一经过数据标准化和数据质量管理后的数据仓库/ODS等作为统一数据来源提供，将不会存在多个系统同时供数、 各自有各自标准的情况。四、数据治理平台建设内容建议 根据以上分析，数据治理工作是一项影响广大深远而复杂长期的过 程，牵一发而动全身，

16、数据治理每项工作都牵扯到跨部门、跨系统的 信息传递和资料共享， 做好数据的管控工作首先需要大量的沟通和信 息流转，没有技术平台来支撑各项数据治理的管控工作等于人体缺了 中枢神经系统， 举步维艰是必然的。 而结合企业常见的数据治理领域 重点工作，可以近期首先引入建设数据标准和元数据管理系统和数据 质量管理系统， 以下是我对这两个系统的建设内容的初步分析， 各企 业后续在项目建设要求和需求分析阶段还要逐步做更全面的补充。一、数据标准和元数据管理系统：通过建立一整套数据规范、管控流 程和技术工具来确保企业各种重要信息资产和数据资源，包括产品、 客户、机构、账户等信息在企业内外使用和交换的表达上是一致

17、和准 确的 ,数据标准可分为技术标准和业务标准。针对企业现有情况，针 对标准不统一的问题， 通过在数据治理平台首先把所有数据资源的图 纸-元数据资源集中管起来， 然后建立各系统元数据资源和数据标准 要求清晰的对照关系， 依此扎扎实实地实现数据标准管理功能落到各 系统的数据模型设计细节。提供管理业务、技术元数据，支持数据溯 源，有效支持企业“数据标准管控委员会”开展工作。对于已建和在 建的各系统，通过这个平台汇总的数据模型资料对其设计的数据模型 做好数据标准检查工作， 针对信息要素中的数据字段比对标准的业务 定义，补充完善标准的技术定义，让企业企业数据标准成为一个 活学活用的标准， 并且在使用中

18、不断完善。 以上管理工作可以通过业 界成熟的元数据管理管理予以支撑， 通过元数据管理工具， 不但可以 把数据标准以模型的方式形式化， 以便于各系统采用， 而且也可以对 各系统的数据模型文档统一管理起来， 也便于后期这些系统根据标准 化要求进行整改的设计检查和评审， 从设计源头把数据标准管起来和 用起来。二、数据质量管理系统，这个系统有四方面的建设内容：一方面要建 设企业级数据质量管理，覆盖对企业所有数据的质量管理活动 ,为所 有数据质量治理活动的相关用户提供统一的入口， 对数据质量问题做 到全程追踪和监控， 对数据质量管理流程达成全面支撑； 第二方面要 建立全企业统一的数据质量检查机制， 通过

19、配置和导入数据质量校验 规则，执行常态化的数据质量例行检查，生成数据质量报告，辅助数 据质量评估和考核， 以此从源头推动生产数据的创建者重视采集数据 的质量，结合元数据管理中的数据溯源， 也有助于分析和反映有关质 量问题的影响冲击面， 让大家直观看到数据质量问题的危害。 第三方 面要建立数据质量管理系统与数据标准和元数据管理系统的交互， 通 过元数据集中管理数据质量规则， 并建立数据质量规则与其它元数据 的关联关系，使数据质量管理的分析和应用能够得到元数据的支撑。 第四方面就是数据源采集要建立数据质量管理系统和数据仓库 /ODS 系统的交互， 为了避免数据治理平台陷入大量的数据采集工作， 我们

20、 初步设想通过数据仓库 /ODS 作为统一的数据源归集，由数据仓库 /ODS 根据各数据源系统一模一样的数据模型和数据内容建立每日业务数据镜像库， 通过执行本平台根据管理生成的质量检查规则所提 供的质量检查脚本对每日业务数据用批量方式进行全样数据质量检 查，并生成质量评估报告。业界的数据治理平台厂商目前能提供的工具平台已经比较成 熟，功能性能各有千秋、各有特色，不过基本都是采用开放的技术架 构和接口设计， 实施上不会存在技术方面和企业各种现有信息系统资 源不能接驳的问题。五、数据治理实施风险分析和工作内容建议通过分析数据治理的重点工作， 我们客观评估了实施过程中可能存在 的风险，具体如下：1、

21、单单依靠科技部的力量来了解企业领导、业务部门、基层单位和 网点对数据的具体需求 （即了解数据的最终应用） 的工作实施较为困 难，需要专业的团队配合科技部进行调研、 分析，通过了解模糊需求， 然后采用业界成熟的方法和手段， 抽丝剥茧， 逐渐明确最终的数据需 求。2、由于企业涉及的数据量非常大，如果对所有的数据全部铺开进行 治理的话， 需要全企业的各方资源进行倾斜， 必然会对其他工作的进 展造成影响， 因此，建议选取解决当前业务部门要求强烈的监管报送 数据和客户精细化分析数据质量问题为着力点， 倒推出其数据来源的 问题进行重点整治， 在该类数据治理得到价值体现后， 再总结治理经 验，然后逐步开展其

22、他类型数据治理。3、数据标准化管理必须和各系统大量的数据模型打交道，从标准化 要求的角度， 分析该类数据包含的所有信息要素的技术定义， 并进行 对应逻辑数据建模和物理数据建模。 此项工作的工作量非常巨大， 建 议在数据治理平台实施的同时， 一方面引入业界有丰富经验的数据建 模专家加以辅导和帮助， 另外一方面对各系统数据模型汇总分析求同 存异，一步步形成企业数据标准的技术定义数据模型。4、分析各类数据资源的业务和系统治理权责归属，此项工作可能涉 及的利益冲突非常强烈， 建议通过项目实施过程中建立管控机制， 让 治理主体在背负一定责任的同时也能享受到对应的利益。5、数据治理工作可能需要对各个数据源

23、系统进行标准化及质量提升 的改造。此项工作复杂度较高，在确定需改造的源系统后，各个源系 统的管理部门应及时评估改造工作量及费用预算， 建议这些工作后续 通过项目立项的方式来实施， 企业应给予充分的资源支持， 而数据治 理的责任主体对于这些项目的建设过程要负责全程跟踪和控制。因此，数据治理工作并不能盲目地认为买一套工具就可以一锤定 音地解决所有问题， 多年积累下来的数据问题成因是复杂的， 因此治 理的过程也会是艰巨的。 根据我的经验， 数据治理的项目要通过大量 服务性的实施工作内容才能让企业的目标落地， 毕竟技术平台仅仅起 到的是一个类似硬件基础设施这样的支撑作用， 而数据治理管控工作 的有效落

24、地是离不开大量的规划咨询、访谈调研、需求分析、数据模 型分析、问题跟踪工作的， 而执行数据治理过程还会涉及到一些具体 的系统改造项目的跟踪管理和数据质量测试和检查等工作。 数据治理 平台的实施工作要包括以下类别的工作内容：1、平台建设工作，这里面包括了需求分析、架构设计、开发部署、 测试运维等一般信息系统建设都会存在的工作。2、管控机制细化设计工作，一方面数据治理的机制包括政策、组 织、流程等在实施过程中要不断进行大量配套细化和设计工作， 企业 在制定数据治理的政策、 成立数据治理组织、 制定数据治理的管控制 度及工作流程这些方面缺乏相关业界经验， 独力承担这项工作难免因 为前瞻性不够而造成反

25、复修改来调整优化， 而制度的反复修改又会造 成负面影响，所以需要在项目实施中引入有相关经验的顾问资源结合 企业实际情况帮助企业细化设计数据管控机制的内容和实施路线。3、数据标准和数据建模工作，目前企业的数据标准缺失技术定义 部分，要以逻辑数据模型和物理数据模型的方式予以补充完善， 这样 才能形成各系统执行使用的技术标准定义， 才能指导各系统的标准化 落地改造工作， 而数据建模工作量非常大， 所以本项目需要引入有经 验的数据建模方面的专家指导这项工作的有效开展， 指导各系统各项 目数据建模工作匹配企业的业务需求， 分析企业现有的各系统的数据 模型来制定数据标准中的技术定义。4、项目管理类工作，由

26、于数据治理的落地执行会产生一些对各系 统的优化改造要求， 因此可能需要本项目对有关优化改造项目有一定 的项目管理职能， 当然这部分工作可以和企业现行的项目管理办公室 （PMO ）机制有效融合起来。5、数据测试和检查工作，由于本项目要和大量数据打交道，虽然 数据清洗加工处理的主体责任在各系统和各业务部门， 但从管控检测 的角度，数据测试和检查这方面工作内容也是不会少的。数据治理实施策略靖笙在相关实战工作经验基础上，归纳总结出“上接战略，下接 绩效；长线投资，短线操作；工具破冰，服务压轴；主流产品，专家 定制；问题导入， 全局把握”四十字作为送给广大中国企业作为数据 治理实施策略参考建议， 供各企

27、业领导在未来的建设要求、 实施选型、 过程管控、 成果验收的相关决策参考。 下文为四十字方针策略的对应 解释。U上接战略，下接绩效：数据治理是实现IT规划目标架构的重要举措， 务必需要从继承IT规划和近年建设成果的基础上推行，这是从全企业 特别是科技部的长远利益的考虑，所以数据治理项目的实施要和 IT 规划及当前大规模集中开展的信息化建设项目群相向而行、无缝融 合，而不能脱离IT规划和PMO主导下只从数据资源加工处理的角度 来实施，需要实施厂商对企业IT规划和当前项目群建设现状有非常深 入的了解和高度承接， 这是企业上下要一致对外坚持的底线， 避免实 施方对规划要求的扯皮和偷梁换柱。 而如前分

28、析， 数据质量问题已经 高度拨动了企业各层级的神经， 对于企业信息科技工作的绩效呈现强 相关关系，数据就像汽车（IT系统）的汽油，油品不好，再好的车也跑 不快，数据治理工作要下接绩效就是这个意思。U长线投资，短线操作：从业界多年经验来看，数据治理是一个长期 和逐步见效的过程， 是战略性的举措， 所以要理性冷静地做长线投资 准备，妄图一锤子买卖就能万事大吉是不现实的， 不要迷信哪些一招 鲜一针顶破天的技术神话， 因此必须在长期投资的心态来制定实施路 线。而在当前我国企业常见的文化和组织氛围中， 数据质量相关问题 矛盾很尖锐，容不得犹豫拖延，所以在实施操作上，小步快跑、以点 带面的短线操作更符合各

29、企业现状要求。 因此从策略上既要兼顾从长 计议又要兼顾立竿见影， 建议选择有长期服务能力、 意愿和心态的厂 商长期合作， 能从产品、技术、咨询、实施等提供全方面的长期支持。U工具破冰，服务压轴：“工若善其事，必先利其器”，作为这么复 杂的系统性工程，没有工具的支撑开展数据治理工作是不可想象的， 引入业界合适的数据治理工具来启动这次破冰之旅是必须的。然而， 数据治理工具的选用和部署只是万里长征的第一步， 数据治理项目最 大的工作量不在于工具的安装部署， 这是很简单的工作， 工具的选用 不是决定性的关键成功要素， 因为考虑到很多数据治理工作的落地要 依靠各源头系统的系统改造和安排业务人员大规模做源

30、头业务数据 重新采集、 更新录入等大量工作， 所以数据治理的成功关键在于有效 协调企业内外各相关方的资源， 把数据治理工作和业务经营和信息科 技各系统的需求、 建设和运维工作各环节有效衔接， 这些都是要靠针 对性的解决方案服务来完成的。 因此在合作厂商的选择上， 建议不要 过于聚焦现有工具平台产品的硬对比， 要重点聚焦在未来 1-3 年的服 务软实力比较上，在企业利益的角度，企业要的是端对端的软服务， 而不是生搬硬套拿来让企业削足适履的硬产品。U主流产品，专家定制：当前业界主流的数据治理工具产品功能性能 上各有千秋， 而通用的功能和技术能力都是具备的， 建议只需考虑在 业界主流产品里面选择工具产品即可， 当然也要注意考察了解该工具 产品的同业应用案例