数据治理行业现状分析

数据治理行业现状

支持企业通过升级信息系统、部署物联感知设备等方式，推动研发、生产、经营、服务等全环节数据的采集。开展国家数据资源调查，绘制国家数据资源图谱。建立多级联动的国家工业基础大数据库和原材料、装备、消费品、电子信息等行业数据库，推动工业数据全面汇聚。大数据产业发展基本原则（一）价值引领坚持数据价值导向和市场化机制，优化资源配置，充分发挥大数据的乘数效应，采好数据、管好数据、用好数据，激发产业链各环节潜能，以价值链引领产业链、创新链，推动产业高质量发展。（二）基础先行坚持固根基、扬优势、补短板、强弱项并重，强化标准引领和技术创新，聚焦存储、计算、传输等重要环节，适度超前布局数字基础设施，推动产业基础高级化。（三）系统推进坚持产业链各环节齐头并进、统筹发展，围绕数字产业化和产业数字化，系统布局，生态培育，加强技术、产品和服务协同，推动产业链现代化。（四）融合创新坚持大数据与经济社会深度融合，带动全要素生产率提升和数据资源共享，促进产业转型升级，提高政府治理效能，加快数字社会建设。（五）安全发展坚持安全是发展的前提，发展是安全的保障，安全和发展并重，切实保障国家数据安全，全面提升发展的持续性和稳定性，实现发展质量、规模、效益、安全相统一。（六）开放合作坚持引进来和走出去，遵循产业发展规律，把握全球数字经济发展方向，不断完善利益共享、风险共担、兼顾各方的合作机制。一体化大数据资源中心工程（一）城市大数据资源中心完善数据目录管理、供需对接、交换等功能。升级公共数据开放系统，完善目录发布、指引发布、便捷检索、统计分析、应用展示等功能。建设数据中台，利用建模、映射、对标检查、同态加密、数据标签或水印等技术，开发数据元管理、数据模型、数据标准、数据质量、数据安全及审计等工具。（二）城市信息模型（CIM）以三维空间数据底座为核心，汇聚融合建筑、道路、轨道、隧道、桥梁、水体、地下空间等基础设施，以及资源调查、规划管控、公共专题、工程建设项目、物联感知等数据，统筹建设时空基础数据库、资源调查数据库、规划管控数据、工程建设项目数据库、公共专题数据库、物联感知数据库等主题数据库，形成融合共享、开放协同的GIS＋BIM＋IoT数据资源体系。数据治理发展短板（一）数据治理规则尚不完善数据治理统筹协调、分类推进机制不健全，碎片化、分散化治理现象一定程度存在，数据融合应用、协同治理、安全管控等相关政策法规、标准规范仍需进一步深化，与数据要素市场的高效流动性相适应的新型监管模式亟待建立。（二）数据聚通尚不充分数据共享汇聚尚不充分。数据开放效果尚不明显，开放数据的类型、数量、可用性尚不能满足企业数据运用需求。已共享开放数据的完整性、准确性、时效性、可用性等仍有待进一步提升。（三）数据治理应用尚有差距应用倒逼数据治理的成果不显著，基于应用需求推动业务流程再造、技术融合、业务融合、数据融合不足，跨部门、跨行业、跨系统的应用场景较少，运行监测、预测预警、实时调度、辅助决策等智能应用作用发挥还不够。大数据产业发展成效十三五时期，我国大数据产业快速起步。据测算，产业规模年均复合增长率超过30%，2020年超过1万亿元，发展取得显著成效，逐渐成为支撑我国经济社会发展的优势产业。政策体系逐步完善。围绕数字经济、数据要素市场、国家一体化大数据中心布局等作出一系列战略部署，建立促进大数据发展部际联席会议制度。有关部委出台了20余份大数据政策文件，各地方出台了300余项相关政策，23个省区市、14个计划单列市和副省级城市设立了大数据管理机构，央地协同、区域联动的大数据发展推进体系逐步形成。产业基础日益巩固。数据资源极大丰富，总量位居全球前列。产业创新日渐活跃，成为全球第二大相关专利受理国，专利受理总数全球占比近20%。基础设施不断夯实，建成全球规模最大的光纤网络和4G网络，5G终端连接数超过2亿，位居世界第一。标准体系逐步完善，33项国家标准立项，24项发布。产业链初步形成。围绕数据资源、基础硬件、通用软件、行业应用、安全保障的大数据产品和服务体系初步形成，全国遴选出338个大数据优秀产品和解决方案，以及400个大数据典型试点示范。行业融合逐步深入，大数据应用从互联网、金融、电信等数据资源基础较好的领域逐步向智能制造、数字社会、数字政府等领域拓展，并在疫情防控和复工复产中发挥了关键支撑作用。生态体系持续优化。区域集聚成效显著，建设了8个国家大数据综合试验区和11个大数据领域国家新型工业化产业示范基地。一批大数据龙头企业快速崛起，初步形成了大企业引领、中小企业协同、创新企业不断涌现的发展格局。产业支撑能力不断提升，咨询服务、评估测试等服务保障体系基本建立。十三五时期我国大数据产业取得了重要突破，但仍然存在一些制约因素。一是社会认识不到位，用数据说话、用数据决策、用数据管理、用数据创新的大数据思维尚未形成，企业数据管理能力偏弱。二是技术支撑不够强，基础软硬件、开源框架等关键领域与国际先进水平存在一定差距。三是市场体系不健全，数据资源产权、交易流通等基础制度和标准规范有待完善，多源数据尚未打通，数据壁垒突出，碎片化问题严重。四是安全机制不完善，数据安全产业支撑能力不足，敏感数据泄露、违法跨境数据流动等隐患依然存在。数据治理新模式（一）数据治理架构随着世界经济由工业经济向数字经济转型，数据逐步成为关键的生产要素，企业开始将数据作为一种战略资产进行管理。数据从业务中产生，在IT系统中承载，要对数据进行有效治理，需要业务充分参与，IT系统确保遵从，这是一个非常复杂的系统工程。实践证明，企业只有构筑一套企业级的数据治理综合体系，明确关键数据资产的业务管理责任，依赖规范的制度流程机制，构建有效的管理平台及工具，数据的价值才能真正发挥出来。构筑数据治理体系的过程，即以数据应用为核心打造良性循环的闭环数据治理管理体系的过程。各IT系统获取业务活动产生的各类数据后，经过系统的数据治理、管理，不断挖掘、变现数据价值，拓展、深入数据应用场景，指导业务决策，同时在不断应用数据过程中基于发现的数据问题，通过数据治理、管理的过程不断修订，推动业务系统全面升级，真正优化业务流程管理机制及规范，最终构建数据获取→管理→变现→发现→应对→修正的闭环管理机制。以数据应用核心，数据治理平台工具为支撑，在数据治理组织/制度保障下，不断通过数据治理手段，推动实现数据标准化及业务标准化，实现业务、技术、管理、平台的有效联动。在数据治理综合体系内，数据治理核心模块包括数据治理规划、数据治理职能及数据治理平台工具，数据治理规划是指数据治理体系与规划、数据治理组织与职责、数据治理制度及流程，是数据治理规范化管理的核心模块；数据治理职能包括数据标准管理、数据质量管理、数据架构及模型管理、数据开发、元数据管理、主数据管理、数据生命周期管理、数据安全管理八大职能，实际过程中，企业通常会合并管理；数据治理平台工具包括数据开发平台、数据资产管理平台、数据质量管理平台、数据服务平台，通常数据治理平台工具基于数据治理的阶段功能并不完全一致，实践中平台工具通常综合多方面功能，而不是单平台功能。三大模块互为动力，数据治理规划指导数据治理职能的全面发挥，数据治理各项职能通过数据治理平台工具协助管理，数据治理平台工具支撑数据治理规划的落地及优化，数据治理规划各层面逐步固化在数据治理平台上，数据治理平台辅助数据治理各项职能的管理，通过数据治理各项职能不断落实和完善数据治理规划，实现组织数字化转型，固化管理机制及流程体系。未来企业通过构筑数据治理综合体系，逐步建立数据治理机制，完成组织转型，数据治理职能将成为企业管理的重要组成部分，良性循环的管理体系将推动企业实现更广、更深层次的数据应用，数据决策将成为企业人思考的习惯，企业决策将更加科学、有效。未来企业数据治理蓝图架构中，业务系统、数据治理及数据应用互为动力，共同推动企业数字化转型的实现。（二）数据治理模式1、数据治理基本模式数据治理模式是指企业基于不同的数据治理目标，根据企业组织、系统、数据应用的现状，以何种数据治理策略开展数据治理活动。通常数据治理模式包括三种基本模式。模式一：自下而上，以数据架构为重，开展数据治理。这种模式重在数据架构，层层向上治理数据，至数据应用层。这种模式从底层数据切入，基于现有数据基础，盘点、建设、治理、应用层层展开，对企业整体的数据思维、数据治理水平要求较高，通常适用于数据量重、业务应用轻大型技术型企业，或政府机构，或新建、自研系统较多的企业。模式二：自上而下，以明确的数据应用为重，开展数据治理。这种模式即单点应用式，通常以现有应用需求为核心开展数据治理。聚焦各个业务领域的数据应用、数据治理需求，在有需求、有资源、有驱动力的前提下，按需组织推进数据治理工作。只有业务部门的深入参与才能做好数据治理，只有针对业务自身需求进行的治理，才能得到业务部门的认可和支持。此模式通常围绕数据应用的需求进行数据治理，比如升级架构、更换平台等涉及数据应用迁移时，或聚焦监管、上报类等明确数据应用时，围绕数据应用进行数据治理。此模式通常适用于数据应用较强、业务部门较为强势、但整体数据认知较弱的企业。这种模式的数据治理切入相对较为简单，实践证明，大部分企业数字化转型初期会这种模式，慢慢探索企业的数据治理道路，这种模式有助于拉齐数据部门、业务部门的认知，提升企业整体数据认知，为未来数据治理的开展提供基石。模式三：大规划模式，从数据应用规划入手，治理现状，规划未来，基于数据资产的未来开展数据治理。这种模式需要企业全面梳理业务的现状痛点及业务未来畅想，盘现状、规划未来，基于业务现在及未来的需求规划分析应用场景，在应用场景蓝图规划的范围内，全面的梳理数据的现状、规划数据的未来，针对蓝图规划中的数据需求，制定全方位策略。这种模式通常是企业的战略项目，由高层推进开展，对数据、业务协同性要求较高，整个过程涉及系统改造升级、业务流程优化再造，是企业全面升级的过程。组合模式一：模式一&模式二组合，即全域数据治理+明确应用场景规划。这种模式兼顾底层数据与上层应用，可对冲底层数仓重建的部分风险，同时可有效地阐述数据价值，整体可行性较高。组合模式二：模式一&模式三组合，即全域数据治理+全面应用场景规划。这种模式从现在、未来的角度全面开展数据治理，业务、数据全面覆盖，返工重建风险小，同时有助于推动业务系统、数据全面升级，业务价值较高，但对组织协同要求高，且成本投入高、耗时久，对执行团队要求高，复合型人才需求大，属于高风险高收益模式，需要企业高战略、高执行的推进落地。2、数据治理模式对比三大数据治理模式开展方式、适用场景、优劣势、资源投入各不相同。模式一，自下而上，切入方便，成本可控，重架构，但脱离应用，对执行团队架构能力要求较高，成效慢。模式二，自上而下，目的明确，切入方便，成本可控，重应用，但轻治理，容易造成面子工程，出现重复治理的风险。模式三，大规划模式，规划的眼光，覆盖业务、数据双层面，重建风险小，聚焦业务，有利于充分挖掘数据价值，但对组织的协同性要求较高，同时需要高质量复合型人才配合团队执行，整体落地风险较大，成本较大。三大数据治理模式各有优劣，而组合模式在某种程度上对冲单一模式的风险，可以更好地满足企业数据治理的需求和目的。企业应基于面临的现状，选择适合的自己的治理模式。3、数据治理模式选择不同的数据治理模式，对企业的数据治理水平、组织协同程度要求不同。自下而上的模式一是基于底层数据治理的，对数据治理水平要求较高，数据治理水平包括数据基础（数据量、数据质量等）以及数据治理能力，数据治理能力主要体现在数据治理团队专业度以及数据治理体系（组织、制度及流程）完善度。这种模式对组织协同度要求相对较低，主要靠数据治理团队推动进行。自上而下的模式二是基于明确数据应用进行数据治理的，相较于自下而上的模式一，组织的协同性要求会更高，需要业务部门、数据部门配合实现，但整体以需求为主，对数据治理的水平要求一般。大规划的模式三既治理现状，又规划未来，对组织协同性及数据治理水平均有极高要求。该模式需要动员企业的业务部门、技术部门、数据部门，同时需要企业各阶层（高层、中层、基层员工）的人员共同配合，全面盘点业务的痛点及未来规划，同时梳理数据现状，规划数据未来，通常为战略项目、高层领导共同将企业数据治理水平推向一个新水平，同时完成数字化组织的转型。组合模式在组织协同性、数据治理水平上会叠加单一模式的要求，如模式一&模式三的组合模式对组织协同性、数据治理水平要求最高。各模式对企业的组织协同性、数据治理水平的要求，基于各模式对企业组织协同、数据治理水平的要求不同，企业应充分盘点企业的组织现状、数据现状、应用现状，初步评估企业数据治理水平、组织协同度，结合数据治理的目标，评估可行性，选择最佳模式。企业数据治理是个复杂而漫长的过程，通常在不同的发展阶段，企业选择数据治理模式并不同，基于面对的组织、数据、应用现状，企业需要均衡目标与现状，选择当下最合适的数据治理模式。企业数据治理并不是一蹴而就的，它需要企业不断地进行规划、治理、监测、优化，通过数据治理不断完善企业的组织、制度、流程管理体系，同时不断提升企业数据治理管理水平，包括数据标准、数据质量、数据架构及模型、数据应用等模块的管理水平提升。数据治理是一个持续循环的过程，需通过不断地改进提升及完善。PDCA循环不是在同一水平上循环，而是呈阶梯式推动上升，每次循环将推进企业的数据治理水平及组织协同性向新的、更高的层级进阶，最终实现企业数字化转型。（三）数据治理实施路径企业数据治理实施路径通常包含三个阶段。第一阶段：起步阶段，业务运营数字化阶段。这个阶段主要是梳理企业面临的现状，响应痛点，探索业务场景化。企业逐步开始由信息化向数字化转型，这个阶段企业会重新审视原有的数据治理策略，重构数据治理战略及实现路径，逐步开始搭建数据治理框架、数据治理体系框架，升级原有的数据处理、应用模式，搭建大数据平台，构建大数据采集、汇集、存储、计算、服务的基础能力，逐步整合各系统的数据，打破数据孤岛，沉淀数据资产，探索业务场景化。第二阶段：深入拓展阶段，数据赋能常态化阶段。这个阶段数据应用成为重点，企业开始深挖数据价值，提高数据应用覆盖。数据应用的范围，由核心KPI指标的实现，逐步覆盖全部核心业务，搭建完善的分析框架和洞察体系，不断地提升业务决策质量。大数据平台持续发挥大数据处理的能力，企业纳入更多、更广的数据内容，不断扩大数据应用的广度及深度，初步形成企业的数据资产地图，数据标准体系逐步搭建，数据应用的效率大大提升，初步完成由经验主义向数据主义的转型，数据决策成为企业决策主要决策方式。这个阶段，企业开始全面建立数据管理权限体系，完善数据治理机制，优化数据治理流程及制度体系，由原有的粗放式管理升级为精细化管理，数据质量不断提升，企业数据管理能力升级，逐步通过数据质量平台、数据资产平台、数据治理平台工具等实现智能管理，企业数据思维认知全面提升。第三阶段：智能应用阶段，运营决策智慧化阶段。这个阶段企业实现洞策合一，智慧场景应用成为常态，全面完成数字化转型，探索数字业务，开启新篇章。这个阶段以智能应用为主，AI赋能成为常态，企业不断地挖掘数据的价值、激发创新，开始为企业战略性分析提供准确的数据依赖，在这个阶段，有些企业甚至在原有商业模式上，激发新的业务模式。数据管理层面，由数据治理体系建设逐步向数据治理体系优化进阶，完善机制、流程，进一步细化数据管理职责；数据资产层面，完成全域数据资产建设，构建强壮的数据模型体系，完成企业数据标准建设，不断完善数据资产体系；平台工具层面，大数据平台能力逐步向算法能力转移，智能推荐算法模型开发成为常态化的需求，数据治理平台逐步完善功能，协助企业智能化数据质量、数据标准、数据资产及主数据等模块，企业真正进入运营决策智慧化阶段。（四）数据治理项目交付步骤1、数据治理项目交付组织建议专业的交付团队，是项目成功的关键，依托于专业的数据治理服务团队和知识沉淀，开展项目实施工作。首先客户的CIO或CDO是项目顺利进行的关键角色，可以更高效地推动实施团队与业务的融合。其次是项目的项目经理，负责项目的管理和资源调度，各阶段人员及工作安排，项目计划制定、进度控制、项目风险管理、项目质量把关等；技术负责人、系统架构师、项目管理专员是项目团队的智囊团和质量保障；根据项目需求，安排不同岗位职能人员开展实施及售后工作，包括但不限于业务架构师、业务分析师、数据架构师、数据开发工程师、测试工程师、技术支持、运维工程师、产品专家、产品经理、客户成功专员等。2、数据治理项目交付步骤项目交付主要分为4个步骤，以需求调研为切入点，以方案设计为规划核心，以开发实施为交付重点，以上线运维为服务保障，依次稳步开展保证项目的顺利实施。第一步是需求调研：通过业务调研切入，以收集资料和访谈调研为抓手，了解客户的业务流程和痛点，深挖根本原因。以数据调研作为后续方案设计的开端，结合业务调研的痛点与根本原因，了解客户数据系统的现状后，以数据角度切入整体解决方案。第二步是方案设计：以数据标准方案为基石，以场景规划方案为需求原点，以数据架构方案为纲领，进行整个数据治理方案设计；以客户实际需求为主，形成规范的组织架构、管理制度，参考国标及行标，形成数据标准方案，为后续实施打下坚实基础；通过需求调研整理客户实施的场景范围，输出原型设计及指标清单，与客户确认后输出场景规划文档，以此确定客户整体需求范围；根据整体需求范围和数据系统现状，搭建数据架构，划分业务域及数据域，规划后续开发实施的整体框架。第三步是开发实施：确定整体方案后，进行产品部署、数据探查、数据同步工作，根据场景规划和架构设计方案，遵循数据标准方案，进行数据开发与数据治理。第四步是上线运维：整体开发完成后进行试运行，同步开展产品测试工作，均通过后进行产品验收及正式上线，质保期间由运维部门进行巡检及售后工作。3、数据治理项目交付成果项目交付成果与交付步骤紧密相关，需求调研阶段以调研会议纪要、数据资产清单为主，方案设计阶段以产品需求文档、数据架构设计文档、数据标准方案为主，开发实施阶段以数据模型设计、需求变更清单为主，上线运维阶段以试运行报告、验收报告、售后运维方案为主，结合客户实际需求，交付相应的数据治理成果。发挥大数据特性优势（一）加快数据大体量汇聚支持企业通过升级信息系统、部署物联感知设备等方式，推动研发、生产、经营、服务等全环节数据的采集。开展国家数据资源调查，绘制国家数据资源图谱。建立多级联动的国家工业基础大数据库和原材料、装备、消费品、电子信息等行业数据库，推动工业数据全面汇聚。（二）强化数据多样性处理提升数值、文本、图