数据治理工作方案分析

数据治理工作方案

立足新发展阶段，完整、准确、全面贯彻新发展理念，构建新发展格局，以推动高质量发展为主题，以供给侧结构性改革为主线，以释放数据要素价值为导向，围绕夯实产业发展基础，着力推动数据资源高质量、技术创新高水平、基础设施高效能，围绕构建稳定高效产业链，着力提升产业供给能力和行业赋能效应，统筹发展和安全，培育自主可控和开放合作的产业生态，打造数字经济发展新优势，为建设制造强国、网络强国、数字中国提供有力支撑。数据治理新模式（一）数据治理架构随着世界经济由工业经济向数字经济转型，数据逐步成为关键的生产要素，企业开始将数据作为一种战略资产进行管理。数据从业务中产生，在IT系统中承载，要对数据进行有效治理，需要业务充分参与，IT系统确保遵从，这是一个非常复杂的系统工程。实践证明，企业只有构筑一套企业级的数据治理综合体系，明确关键数据资产的业务管理责任，依赖规范的制度流程机制，构建有效的管理平台及工具，数据的价值才能真正发挥出来。构筑数据治理体系的过程，即以数据应用为核心打造良性循环的闭环数据治理管理体系的过程。各IT系统获取业务活动产生的各类数据后，经过系统的数据治理、管理，不断挖掘、变现数据价值，拓展、深入数据应用场景，指导业务决策，同时在不断应用数据过程中基于发现的数据问题，通过数据治理、管理的过程不断修订，推动业务系统全面升级，真正优化业务流程管理机制及规范，最终构建数据获取→管理→变现→发现→应对→修正的闭环管理机制。以数据应用核心，数据治理平台工具为支撑，在数据治理组织/制度保障下，不断通过数据治理手段，推动实现数据标准化及业务标准化，实现业务、技术、管理、平台的有效联动。在数据治理综合体系内，数据治理核心模块包括数据治理规划、数据治理职能及数据治理平台工具，数据治理规划是指数据治理体系与规划、数据治理组织与职责、数据治理制度及流程，是数据治理规范化管理的核心模块；数据治理职能包括数据标准管理、数据质量管理、数据架构及模型管理、数据开发、元数据管理、主数据管理、数据生命周期管理、数据安全管理八大职能，实际过程中，企业通常会合并管理；数据治理平台工具包括数据开发平台、数据资产管理平台、数据质量管理平台、数据服务平台，通常数据治理平台工具基于数据治理的阶段功能并不完全一致，实践中平台工具通常综合多方面功能，而不是单平台功能。三大模块互为动力，数据治理规划指导数据治理职能的全面发挥，数据治理各项职能通过数据治理平台工具协助管理，数据治理平台工具支撑数据治理规划的落地及优化，数据治理规划各层面逐步固化在数据治理平台上，数据治理平台辅助数据治理各项职能的管理，通过数据治理各项职能不断落实和完善数据治理规划，实现组织数字化转型，固化管理机制及流程体系。未来企业通过构筑数据治理综合体系，逐步建立数据治理机制，完成组织转型，数据治理职能将成为企业管理的重要组成部分，良性循环的管理体系将推动企业实现更广、更深层次的数据应用，数据决策将成为企业人思考的习惯，企业决策将更加科学、有效。未来企业数据治理蓝图架构中，业务系统、数据治理及数据应用互为动力，共同推动企业数字化转型的实现。（二）数据治理模式1、数据治理基本模式数据治理模式是指企业基于不同的数据治理目标，根据企业组织、系统、数据应用的现状，以何种数据治理策略开展数据治理活动。通常数据治理模式包括三种基本模式。模式一：自下而上，以数据架构为重，开展数据治理。这种模式重在数据架构，层层向上治理数据，至数据应用层。这种模式从底层数据切入，基于现有数据基础，盘点、建设、治理、应用层层展开，对企业整体的数据思维、数据治理水平要求较高，通常适用于数据量重、业务应用轻大型技术型企业，或政府机构，或新建、自研系统较多的企业。模式二：自上而下，以明确的数据应用为重，开展数据治理。这种模式即单点应用式，通常以现有应用需求为核心开展数据治理。聚焦各个业务领域的数据应用、数据治理需求，在有需求、有资源、有驱动力的前提下，按需组织推进数据治理工作。只有业务部门的深入参与才能做好数据治理，只有针对业务自身需求进行的治理，才能得到业务部门的认可和支持。此模式通常围绕数据应用的需求进行数据治理，比如升级架构、更换平台等涉及数据应用迁移时，或聚焦监管、上报类等明确数据应用时，围绕数据应用进行数据治理。此模式通常适用于数据应用较强、业务部门较为强势、但整体数据认知较弱的企业。这种模式的数据治理切入相对较为简单，实践证明，大部分企业数字化转型初期会这种模式，慢慢探索企业的数据治理道路，这种模式有助于拉齐数据部门、业务部门的认知，提升企业整体数据认知，为未来数据治理的开展提供基石。模式三：大规划模式，从数据应用规划入手，治理现状，规划未来，基于数据资产的未来开展数据治理。这种模式需要企业全面梳理业务的现状痛点及业务未来畅想，盘现状、规划未来，基于业务现在及未来的需求规划分析应用场景，在应用场景蓝图规划的范围内，全面的梳理数据的现状、规划数据的未来，针对蓝图规划中的数据需求，制定全方位策略。这种模式通常是企业的战略项目，由高层推进开展，对数据、业务协同性要求较高，整个过程涉及系统改造升级、业务流程优化再造，是企业全面升级的过程。组合模式一：模式一&模式二组合，即全域数据治理+明确应用场景规划。这种模式兼顾底层数据与上层应用，可对冲底层数仓重建的部分风险，同时可有效地阐述数据价值，整体可行性较高。组合模式二：模式一&模式三组合，即全域数据治理+全面应用场景规划。这种模式从现在、未来的角度全面开展数据治理，业务、数据全面覆盖，返工重建风险小，同时有助于推动业务系统、数据全面升级，业务价值较高，但对组织协同要求高，且成本投入高、耗时久，对执行团队要求高，复合型人才需求大，属于高风险高收益模式，需要企业高战略、高执行的推进落地。2、数据治理模式对比三大数据治理模式开展方式、适用场景、优劣势、资源投入各不相同。模式一，自下而上，切入方便，成本可控，重架构，但脱离应用，对执行团队架构能力要求较高，成效慢。模式二，自上而下，目的明确，切入方便，成本可控，重应用，但轻治理，容易造成面子工程，出现重复治理的风险。模式三，大规划模式，规划的眼光，覆盖业务、数据双层面，重建风险小，聚焦业务，有利于充分挖掘数据价值，但对组织的协同性要求较高，同时需要高质量复合型人才配合团队执行，整体落地风险较大，成本较大。三大数据治理模式各有优劣，而组合模式在某种程度上对冲单一模式的风险，可以更好地满足企业数据治理的需求和目的。企业应基于面临的现状，选择适合的自己的治理模式。3、数据治理模式选择不同的数据治理模式，对企业的数据治理水平、组织协同程度要求不同。自下而上的模式一是基于底层数据治理的，对数据治理水平要求较高，数据治理水平包括数据基础（数据量、数据质量等）以及数据治理能力，数据治理能力主要体现在数据治理团队专业度以及数据治理体系（组织、制度及流程）完善度。这种模式对组织协同度要求相对较低，主要靠数据治理团队推动进行。自上而下的模式二是基于明确数据应用进行数据治理的，相较于自下而上的模式一，组织的协同性要求会更高，需要业务部门、数据部门配合实现，但整体以需求为主，对数据治理的水平要求一般。大规划的模式三既治理现状，又规划未来，对组织协同性及数据治理水平均有极高要求。该模式需要动员企业的业务部门、技术部门、数据部门，同时需要企业各阶层（高层、中层、基层员工）的人员共同配合，全面盘点业务的痛点及未来规划，同时梳理数据现状，规划数据未来，通常为战略项目、高层领导共同将企业数据治理水平推向一个新水平，同时完成数字化组织的转型。组合模式在组织协同性、数据治理水平上会叠加单一模式的要求，如模式一&模式三的组合模式对组织协同性、数据治理水平要求最高。各模式对企业的组织协同性、数据治理水平的要求，基于各模式对企业组织协同、数据治理水平的要求不同，企业应充分盘点企业的组织现状、数据现状、应用现状，初步评估企业数据治理水平、组织协同度，结合数据治理的目标，评估可行性，选择最佳模式。企业数据治理是个复杂而漫长的过程，通常在不同的发展阶段，企业选择数据治理模式并不同，基于面对的组织、数据、应用现状，企业需要均衡目标与现状，选择当下最合适的数据治理模式。企业数据治理并不是一蹴而就的，它需要企业不断地进行规划、治理、监测、优化，通过数据治理不断完善企业的组织、制度、流程管理体系，同时不断提升企业数据治理管理水平，包括数据标准、数据质量、数据架构及模型、数据应用等模块的管理水平提升。数据治理是一个持续循环的过程，需通过不断地改进提升及完善。PDCA循环不是在同一水平上循环，而是呈阶梯式推动上升，每次循环将推进企业的数据治理水平及组织协同性向新的、更高的层级进阶，最终实现企业数字化转型。（三）数据治理实施路径企业数据治理实施路径通常包含三个阶段。第一阶段：起步阶段，业务运营数字化阶段。这个阶段主要是梳理企业面临的现状，响应痛点，探索业务场景化。企业逐步开始由信息化向数字化转型，这个阶段企业会重新审视原有的数据治理策略，重构数据治理战略及实现路径，逐步开始搭建数据治理框架、数据治理体系框架，升级原有的数据处理、应用模式，搭建大数据平台，构建大数据采集、汇集、存储、计算、服务的基础能力，逐步整合各系统的数据，打破数据孤岛，沉淀数据资产，探索业务场景化。第二阶段：深入拓展阶段，数据赋能常态化阶段。这个阶段数据应用成为重点，企业开始深挖数据价值，提高数据应用覆盖。数据应用的范围，由核心KPI指标的实现，逐步覆盖全部核心业务，搭建完善的分析框架和洞察体系，不断地提升业务决策质量。大数据平台持续发挥大数据处理的能力，企业纳入更多、更广的数据内容，不断扩大数据应用的广度及深度，初步形成企业的数据资产地图，数据标准体系逐步搭建，数据应用的效率大大提升，初步完成由经验主义向数据主义的转型，数据决策成为企业决策主要决策方式。这个阶段，企业开始全面建立数据管理权限体系，完善数据治理机制，优化数据治理流程及制度体系，由原有的粗放式管理升级为精细化管理，数据质量不断提升，企业数据管理能力升级，逐步通过数据质量平台、数据资产平台、数据治理平台工具等实现智能管理，企业数据思维认知全面提升。第三阶段：智能应用阶段，运营决策智慧化阶段。这个阶段企业实现洞策合一，智慧场景应用成为常态，全面完成数字化转型，探索数字业务，开启新篇章。这个阶段以智能应用为主，AI赋能成为常态，企业不断地挖掘数据的价值、激发创新，开始为企业战略性分析提供准确的数据依赖，在这个阶段，有些企业甚至在原有商业模式上，激发新的业务模式。数据管理层面，由数据治理体系建设逐步向数据治理体系优化进阶，完善机制、流程，进一步细化数据管理职责；数据资产层面，完成全域数据资产建设，构建强壮的数据模型体系，完成企业数据标准建设，不断完善数据资产体系；平台工具层面，大数据平台能力逐步向算法能力转移，智能推荐算法模型开发成为常态化的需求，数据治理平台逐步完善功能，协助企业智能化数据质量、数据标准、数据资产及主数据等模块，企业真正进入运营决策智慧化阶段。（四）数据治理项目交付步骤1、数据治理项目交付组织建议专业的交付团队，是项目成功的关键，依托于专业的数据治理服务团队和知识沉淀，开展项目实施工作。首先客户的CIO或CDO是项目顺利进行的关键角色，可以更高效地推动实施团队与业务的融合。其次是项目的项目经理，负责项目的管理和资源调度，各阶段人员及工作安排，项目计划制定、进度控制、项目风险管理、项目质量把关等；技术负责人、系统架构师、项目管理专员是项目团队的智囊团和质量保障；根据项目需求，安排不同岗位职能人员开展实施及售后工作，包括但不限于业务架构师、业务分析师、数据架构师、数据开发工程师、测试工程师、技术支持、运维工程师、产品专家、产品经理、客户成功专员等。2、数据治理项目交付步骤项目交付主要分为4个步骤，以需求调研为切入点，以方案设计为规划核心，以开发实施为交付重点，以上线运维为服务保障，依次稳步开展保证项目的顺利实施。第一步是需求调研：通过业务调研切入，以收集资料和访谈调研为抓手，了解客户的业务流程和痛点，深挖根本原因。以数据调研作为后续方案设计的开端，结合业务调研的痛点与根本原因，了解客户数据系统的现状后，以数据角度切入整体解决方案。第二步是方案设计：以数据标准方案为基石，以场景规划方案为需求原点，以数据架构方案为纲领，进行整个数据治理方案设计；以客户实际需求为主，形成规范的组织架构、管理制度，参考国标及行标，形成数据标准方案，为后续实施打下坚实基础；通过需求调研整理客户实施的场景范围，输出原型设计及指标清单，与客户确认后输出场景规划文档，以此确定客户整体需求范围；根据整体需求范围和数据系统现状，搭建数据架构，划分业务域及数据域，规划后续开发实施的整体框架。第三步是开发实施：确定整体方案后，进行产品部署、数据探查、数据同步工作，根据场景规划和架构设计方案，遵循数据标准方案，进行数据开发与数据治理。第四步是上线运维：整体开发完成后进行试运行，同步开展产品测试工作，均通过后进行产品验收及正式上线，质保期间由运维部门进行巡检及售后工作。3、数据治理项目交付成果项目交付成果与交付步骤紧密相关，需求调研阶段以调研会议纪要、数据资产清单为主，方案设计阶段以产品需求文档、数据架构设计文档、数据标准方案为主，开发实施阶段以数据模型设计、需求变更清单为主，上线运维阶段以试运行报告、验收报告、售后运维方案为主，结合客户实际需求，交付相应的数据治理成果。数据治理平台工具数据开发与治理一体化是将数据治理的过程融入到数据开发的全生命周期中，强调先设计、后开发、先标准、后建模的原则，其目标就是将数据治理的流程与数据开发的全生命周期相融合，在数据开发过程中完成数据治理。通过指标和数据标准的定义实现规范即设计，设计即开发，开发即治理的开发治理一体化理念。通过元数据管理、数据标准规范设计、数据质量提升、数据热度和成本计算，优化数据生产成本、量化数据收益价值，广泛应用于数据中台建设的中后期阶段。平台覆盖了日常数据治理过程中的核心资产管理模块。培育数据要素市场（一）健全数据流通制度研究制定数据交易管理办法，建立健全数据权益、交易流通和安全保护等基础性制度规范，明确数据主体、数据控制方、数据使用方权利义务，保护数据主体权益。健全数据市场定价机制，以数据应用需求为导向，完善数据市场流通环境，精准对接市场供给。建立数据交易协同监管机制，构建数据流通监管平台，加强数据交易流通全过程安全监管，确保数据流通过程可追溯、使用范围可明确、合法合规可审计、安全风险可防范、法律责任可追诉。（二）营造数据要素市场发展生态加强大数据产业协同创新统筹协调，引导和支持科研机构、高等院校、企业加强协同攻关，共同开展数据交易流通、数据基础前沿研究、关键共性技术研究。支持数据采集、存储、处理、分析等企业做大做强，带动大数据产业发展。大数据产业指导思想立足新发展阶段，完整、准确、全面贯彻新发展理念，构建新发展格局，以推动高质量发展为主题，以供给侧结构性改革为主线，以释放数据要素价值为导向，围绕夯实产业发展基础，着力推动数据资源高质量、技术创新高水平、基础设施高效能，围绕构建稳定高效产业链，着力提升产业供给能力和行业赋能效应，统筹发展和安全，培育自主可控和开放合作的产业生态，打造数字经济发展新优势，为建设制造强国、网络强国、数字中国提供有力支撑。数据治理发展形势从国际看，当今世界正经历百年未有之大变局，进入以数字化生产力为主要标志的数字时代，数字重新定义一切、云计算服务一切、网络连接一切、AI赋能一切，以互联网、大数据、人工智能、物联网等为代表的信息技术广泛渗透到经济社会各领域，世界各国都已将大数据作为重要战略任务。随着科技革命、产业变革纵深推进，抓住数据这一关键要素，充分释放数字化发展的放大、叠加、倍增效应，是抢占新一轮发展制高点的关键。从国内看，我国已成为全球数据量最大、数据类型最丰富的国家之一，数据日益对经济发展、社会治理、人民生活产生重要影响。近年来，印发了《促进大数据发展行动纲要》《数字经济发展战略纲要》等系列重要文件，对大数据发展管理作出全面部署。深入实施国家大数据战略，形成新发展格局中实现更大作为。打造繁荣有序产业生态（一）培育壮大企业主体发挥龙头企业研制主体、协同主体、使用主体和示范主体作用，持续提升自主创新、产品竞争和知识产权布局能力，利用资本市场做强做优。鼓励中小企业专精特新发展，不断提升创新能力和专业化水平。引导龙头企业为中小企业提供数据、算法、算力等资源，推动大中小企业融通发展和产业链上下游协同创新。支持有条件的垂直行业企业开展大数据业务剥离重组，提升专业化、规模化和市场化服务能力，加快企业发展。（二）优化大数据公共服务建设大数据协同研发平台，促进政产学研用联合攻关。建设大数据应用创新推广中心等载体，促进技术成果产业化。加强公共数据训练集建设，打造大数据测试认证平台、体验中心、实训基地等，提升评测咨询、供需对接、创业孵化、人才培训等服务水平。构建大数据产业运行监测体系，强化运行分析、趋势研判、科学决策等公共管理能力。（三）推动产业集群化发展推动大数据领域国家新型工业化产业示范基地高水平建设，引导各地区大数据产业特色化差异化发展，持续提升产业集群辐射带动能力。鼓励有条件的地方依托国家级新区、经济特区、自贸区等，围绕数据要素市场机制、国际交流合作等开展先行先试。发挥协会联盟桥梁纽带作用，支持举办产业论坛、行业大赛等活动，营造良好的产业发展氛围。数据治理目标与价值构建数据标准体系的目标是通过统一的数据标准制定和发布，结合制度约束、系统控制等手段，实现企业内部数据的完整性、有效性、一致性、规范性、开放性和共享性管理，为数据治理工作打下坚实的基础，为数据资产管理活动提供规范有效依据。数据标准化的过程是通过数据管理平台实现数据标准，并将各个系统产生的数据通过清洗、转换、加载到整合平台的数据模型中，实现数据标准化的过程。首先，通过要求数据语义遵循确定规则来减少源数据的不确定性、减轻数据交换的障碍。其次，数据标准的兼容性为企业相互共享提供可能，在不同场景和环境中使用数据产品或服务，可以使数据产品或服务正常流转运行。数据标准体系的建立可有效提升企业数据治理的效率，降低数据治理成本。（一）提升企业数据治理数据质量数据作为产生业务价值和实现业务目标的基石，数据质量已成为企业实现业务目标的一个极其重要的因素。数据的质量问题在一定的角度上反映出企业数据治理过程中存在的一些问题，分析数据质量问题可以帮助企业找到问题的源头。高质量的数据对管理决策，业务支撑都有极其重要的作用。企业的数据质量与企业经营业绩之间有着直接的关系。高质量的数据可以保持公司的竞争力，在企业市场竞争时期立于不败之地，而低质量数据往往会导致错误的业务决策。提升数据质量能够为企业提供结构清晰的数据，是企业开发业务系统、提供数据服务、发挥数据价值的必要前提。（二）推动数据安全体系建设企业数据安全体系建设是数据治理和信息生命周期管理的基础，通过对企业内部的数据全生命周期的盘点梳理，可以帮助确定企业数据所有权的适当分配及建立完善的权责制度，满足监管及合规要求。在企业数据治理过程中，数据安全能力的提高成为数据价值共享的关键，推动数据安全体系建设是企业数据治理的必要环节。企业根据数据资产对企业的重要程度，为数据打上不同的标签，对敏感数据进行分级分类，根据数据所属的级别，明确数据的使用范围、开放方式、不同等级的数据在不同场景使用不同的安全策略。企业可以采取数据泄露防护、加密、权限管理等技术手段，对企业机密数据提供进一步的保护，从而降低数据泄露带来的风险。（三）推动数据资产体系建设与管理数据治理是实现数据资源向数据资产转变的重要载体，基于数据治理形成的数据资产体系作为企业各业务数据服务的提供方，在建设过程中需匹配企业战略规划，从全局维度将自身平台能力与数据能力赋能业务。同时，数据源不断地向数据资产平台输出数据，即业务产生数据，数据服务业务，形成业务数据化、数据资产化、资产服务化、服务业务化、业务智能化的一套闭环、高效的数据资产体系与数据服务能力。企业如何进行数据资产管理、提升数据质量、挖掘数据价值并通过数据赋能业务，已成为企业数据治理的核心问题。企业通过建设统一的数据资产管理平台，综合管理所有数据资产，可实现数据资产的智能化管理，充分发挥数据的潜在价值。数据资产平台作为一体化的数据资产管理工具，通过制定元数据模型、数据标准等规范，采集并建立完整的数据资产目录体系，打通数据关系网络，实现数据的标准化和资产化管理。（四）推动数据管理组织体系建设数据管理组织体系涉及业务、IT、管理等方方面面，仅仅依靠技术部门来推动和开展数据管理工作无法取得成功，只有来自更高层管理者的驱动力，建立自上而下的跨部门、跨业务条线的组织体系，才能保证企业内部的高效协作，推进数据治理各项任务的有效执行。实践证明企业的数据管理办公室、数据管理部可协助企业制定公司级的数据管理制度、流程、机制，建立并维护企业级数据架构，监控数据质量，披露重大数据问题，建立专业任职资格管理体系，提升企业数据管理能力，推动企业数据治理制度文化的建立和传播。（五）促进数据应用及共享数据治理的主要目标之一是推动数据有序、安全地流动，以便最大程度地挖掘和释放数据价值。数据流动则需要推动数据的开放分享，实现数据的汇聚、建模、共享。数据的开放共享的核心在于数据汇聚，打破数据孤岛，实现数据价值的流通；重构数据获取及应用方式，重塑从数据供应到消费的链条；建立高效、规范的自助消费数据应用。数据治理可有效促进数据应用及数据共享，使更多的企业组织充分地使用已有数据资源，减少信息收集、数据采集等重复劳动和相应费用，而把精力重点放在开发新的数据应用及系统集成上。数据应用及共享可以为企业组织带来降低运营成本、增强业务能力、提高效率、集中访问数据以减少重复数据集、促进组织间的沟通与合作，加强参与组织之间的联系等益处。夯实产业发展基础（一）完善基础设施全面部署新一代通信网络基础设施，加大5G网络和千兆光网建设力度。结合行业数字化转型和城市智能化发展，加快工业互联网、车联网、智能管网、智能电网等布局，促进全域数据高效采集和传输。加快构建全国一体化大数据中心体系，推进国家工业互联网大数据中心建设，强化算力统筹智能调度，建设若干国家枢纽节点和大数据中心集群。建设高性能计算集群，合理部署超级计算中心。（二）加强技术创新重点提升数据生成、采集、存储、加工、分析、安全与隐私保护等通用技术水平。补齐关键技术短板，重点强化自主基础软硬件的底层支撑能力，推动自主开源框架、组件和工具的研发，发展大数据开源社区，培育开源生态，全面提升技术攻关和市场培育能力。促进前沿领域技术融合，推动大数据与人工智能、区块链、边缘计算等新一代信息技术集成创新。（三）强化标准引领协同推进国家标准、行业标准和团体标准，加快技术研发、产品服务、数据治理、交易