数据治理行业企业市场现状及竞争格局分析

数据治理行业企业市场现状及竞争格局

从国内看，我国已成为全球数据量最大、数据类型最丰富的国家之一，数据日益对经济发展、社会治理、人民生活产生重要影响。近年来，印发了《促进大数据发展行动纲要》《数字经济发展战略纲要》等系列重要文件，对大数据发展管理作出全面部署。深入实施国家大数据战略，形成新发展格局中实现更大作为。立足新发展阶段，完整、准确、全面贯彻新发展理念，构建新发展格局，以推动高质量发展为主题，以供给侧结构性改革为主线，以释放数据要素价值为导向，围绕夯实产业发展基础，着力推动数据资源高质量、技术创新高水平、基础设施高效能，围绕构建稳定高效产业链，着力提升产业供给能力和行业赋能效应，统筹发展和安全，培育自主可控和开放合作的产业生态，打造数字经济发展新优势，为建设制造强国、网络强国、数字中国提供有力支撑。一体化大数据资源中心工程（一）城市大数据资源中心完善数据目录管理、供需对接、交换等功能。升级公共数据开放系统，完善目录发布、指引发布、便捷检索、统计分析、应用展示等功能。建设数据中台，利用建模、映射、对标检查、同态加密、数据标签或水印等技术，开发数据元管理、数据模型、数据标准、数据质量、数据安全及审计等工具。（二）城市信息模型（CIM）以三维空间数据底座为核心，汇聚融合建筑、道路、轨道、隧道、桥梁、水体、地下空间等基础设施，以及资源调查、规划管控、公共专题、工程建设项目、物联感知等数据，统筹建设时空基础数据库、资源调查数据库、规划管控数据、工程建设项目数据库、公共专题数据库、物联感知数据库等主题数据库，形成融合共享、开放协同的GIS＋BIM＋IoT数据资源体系。数据治理指导思想立足新发展阶段，完整、准确、全面贯彻新发展理念，积极融入服务新发展格局，坚持加快数字化发展指引，健全数字规则，保障数据安全，以数据汇聚治理为核心，全力攻坚数据聚通用，充分挖掘大数据商用、政用、民用价值，加快培育数字经济，打造数字政府、数字营商环境，构建数字社会，让大数据智能化为经济赋能、为生活添彩。扩展数据跨域跨境流通（一）打造国家级数据流通服务中心积极参与全国一体化大数据中心建设试点，加快建设全国一体化算力网络国家枢纽节点成渝枢纽。建设国家级数据流通服务中心，推进国家数据长城行动计划，推动跨层级、跨地域、跨行业数据联动和数据融合应用。建设国家级数据靶场，基于各类应用场景进行建模、数据治理和分析，有效支撑公共卫生、自然灾害、事故灾难、社会安全、基层治理等各领域应用。全面融入国家数网—数纽—数链—数脑—数盾协同创新体系。（二）促进数据跨省跨域流通积极探索数据共享交换和开发利用等一体化创新路径，促进数据跨省跨地域流通。探索建立统一的区域数据共享和开放目录清单，梳理跨省跨地域共享数据资源数量及种类，推动跨省跨地域数据共享开放。推动渝快办与天府通办对接，扩大跨省通办跨省联办服务范围，推进社保、医保、公积金等跨省通办事项高频使用证明的电子化，推进跨省跨地域互认共享、在线核验。（三）探索推动数据跨境流动联合新加坡加快建立数据跨境流动分类分级管理和风险评估政策体系，积极争取中新跨境服务贸易与跨境数据流动试点示范。探索签订数据保护互认备忘录，制定渝新跨境数据流动实施方案。数据治理是数字化转型的必经之路（一）数字全球化催生数字治理需求随着新一轮科技革命和产业变革深入发展，数字全球化正加速到来。经济全球化正在从以物质流动为特征的全球化，逐步向以数字流动为牵引的新型全球化转变。数据要素跨境流动大幅增加，数据成为关键生产要素，数据跨境流动驱动国际经济活动高效、便捷、智能开展，创造经济价值。此外，数字平台和云计算企业加快全球布局，作为数据汇集、匹配撮合、运算分析、技术支持的重要主体，将日益成为全球数字经济产业链价值链的核心。数字平台成为全球数字经济产业链价值链中心。但是，数字全球化为全球经济发展提供新动能的同时，也引发了数据安全、数字鸿沟、个人隐私、道德伦理等一系列新挑战。围绕新设施、新要素、新模式、新业态产生了一系列相互交织的新问题，新兴问题快速涌现，治理规则缺失，这些都在催生数字治理需求。基于此，信通院在《全球数字治理白皮书（2022年）》首次尝试提出全球数字治理体系框架，指出全球数字治理是各方为解决信息网络、数据要素、数字平台、数字技术应用等领域的全球性问题，而达成的塑造各方行为预期的规范、规则、标准、程序及执行机制的过程。（二）中国数字时代治理新范式在全球数字化背景下，放眼中国数字化形势，迎接数字时代，激活数据要素潜能，以数字化转型整体驱动生产方式、生活方式和治理方式变革，打造数字经济新优势，加强关键数字技术创新应用，加快推动数字产业化，推进产业数字化转型。数字化转型是建立在数字化转换、数字化升级的基础上，以优化企业管理、创新商业模式、提升企业核心竞争力为目标的企业管理变革过程，是企业主动适应新一轮科技革命和产业变革的举措。数字化转型是企业为达到高质量、可持续发展，利用新一代信息技术而进行的企业变革，是将新一代信息技术集成到所有业务领域，进而推动企业组织架构、业务模式、企业文化等变革的措施，从而对企业的运营方式及向客户提供价值的方式产生根本性的改变。数据治理已经成为全方位数字化转型的重要驱动力量。一方面，数据治理正在打破政府内部数据孤岛、重塑业务流程、革新组织架构，打造出权责明确而又精简、高效、统一的数字政府；另一方面，数据治理反哺更广阔的经济和社会数字化转型，既为市场增效，又为企业社会赋权。数据治理就是数字时代的治理新范式，其核心特征是全社会的数据互通、数字化的全面协同与跨部门的流程再造，形成用数据说话、用数据决策、用数据管理、用数据创新的治理机制。夯实产业发展基础（一）完善基础设施全面部署新一代通信网络基础设施，加大5G网络和千兆光网建设力度。结合行业数字化转型和城市智能化发展，加快工业互联网、车联网、智能管网、智能电网等布局，促进全域数据高效采集和传输。加快构建全国一体化大数据中心体系，推进国家工业互联网大数据中心建设，强化算力统筹智能调度，建设若干国家枢纽节点和大数据中心集群。建设高性能计算集群，合理部署超级计算中心。（二）加强技术创新重点提升数据生成、采集、存储、加工、分析、安全与隐私保护等通用技术水平。补齐关键技术短板，重点强化自主基础软硬件的底层支撑能力，推动自主开源框架、组件和工具的研发，发展大数据开源社区，培育开源生态，全面提升技术攻关和市场培育能力。促进前沿领域技术融合，推动大数据与人工智能、区块链、边缘计算等新一代信息技术集成创新。（三）强化标准引领协同推进国家标准、行业标准和团体标准，加快技术研发、产品服务、数据治理、交易流通、行业应用等关键标准的制修订。建立大数据领域国家级标准验证检验检测点，选择重点行业、领域、地区开展标准试验验证和试点示范，健全大数据标准符合性评测体系，加快标准应用推广。加强国内外大数据标准化组织间的交流合作，鼓励企业、高校、科研院所、行业组织等积极参与大数据国际标准制定。建设一体化大数据资源中心（一）深化基础平台建设深化基础数据库建设，推进法人、自然人、自然资源和空间地理、电子证照、信用、物联感知等数据归集。建设主题数据库，构建重点领域业务模型，建立跨领域自动化、语义一致化的主题数据库共建共享架构。推动建筑信息模型（BIM）技术与工程建造技术深度融合应用，构建高精度城市信息模型（CIM）平台。（二）强化数据目录管理构建数据图谱，梳理各部门、各行业非涉密数据数量、类型、更新周期、产生来源、支撑应用等情况，分行业、分地域构建覆盖人、企、事、车、地、物等主体的数据图谱，形成数据一张图。坚持需求导向，深入实施三清单制度，梳理数据共享需求，落实数据共享责任，完善数据目录，实现数据应享尽享。（三）推进公共数据开放依法推动公共数据最大限度开放，构建各部门公共数据开放清单，定期更新公共数据开放目录，持续拓展公共数据开放广度。完善公共数据开放系统，扩展数据服务功能，支撑数据开发利用。鼓励和支持利用开放的公共数据开展科学研究、咨询服务、产品开发、数据加工、数据服务等活动，引导各类社会力量开展公共数据应用创新，发挥数据资源效益。（四）打造数据治理能力中台持续提升大数据资源中心数据处理和治理能力，建成集数据可视化、地理信息系统（GIS）集成展现、数据叠加、数据沙箱、隐私计算、区块链、数据脱敏工具等技术和控件库、服务库的数据治理能力平台，为数据开发应用提供共性技术、业务协同等支撑。加强元数据管理、数据生命周期管理、数据交换与共享管理、数据安全管理等，提升数据治理能力。梳理跨层级、跨地域、跨系统、跨部门、跨业务大数据应用共性需求，强化集约化、组件化应用支撑，持续丰富数据中台服务能力。（五）持续提升数据质量建立数据质量闭环管理制度，明确数据采集、汇聚、存储、共享等各环节数据质量和职责要求。开展数据标准化巡查、清洗、去重、校验、修复等质量提升工作，推进覆盖公共数据、社会数据的数据清洗和比对加工。建立跨部门的数据质量纠错反馈机制，按照一数一源原则，对各部门共享的数据进行规范性检查、前后一致性比对、综合校验。构建数据质量评估指标体系，开展数据质量监测评估，提升数据的完整性、准确性、时效性和可用性。数据治理新模式（一）数据治理架构随着世界经济由工业经济向数字经济转型，数据逐步成为关键的生产要素，企业开始将数据作为一种战略资产进行管理。数据从业务中产生，在IT系统中承载，要对数据进行有效治理，需要业务充分参与，IT系统确保遵从，这是一个非常复杂的系统工程。实践证明，企业只有构筑一套企业级的数据治理综合体系，明确关键数据资产的业务管理责任，依赖规范的制度流程机制，构建有效的管理平台及工具，数据的价值才能真正发挥出来。构筑数据治理体系的过程，即以数据应用为核心打造良性循环的闭环数据治理管理体系的过程。各IT系统获取业务活动产生的各类数据后，经过系统的数据治理、管理，不断挖掘、变现数据价值，拓展、深入数据应用场景，指导业务决策，同时在不断应用数据过程中基于发现的数据问题，通过数据治理、管理的过程不断修订，推动业务系统全面升级，真正优化业务流程管理机制及规范，最终构建数据获取→管理→变现→发现→应对→修正的闭环管理机制。以数据应用核心，数据治理平台工具为支撑，在数据治理组织/制度保障下，不断通过数据治理手段，推动实现数据标准化及业务标准化，实现业务、技术、管理、平台的有效联动。在数据治理综合体系内，数据治理核心模块包括数据治理规划、数据治理职能及数据治理平台工具，数据治理规划是指数据治理体系与规划、数据治理组织与职责、数据治理制度及流程，是数据治理规范化管理的核心模块；数据治理职能包括数据标准管理、数据质量管理、数据架构及模型管理、数据开发、元数据管理、主数据管理、数据生命周期管理、数据安全管理八大职能，实际过程中，企业通常会合并管理；数据治理平台工具包括数据开发平台、数据资产管理平台、数据质量管理平台、数据服务平台，通常数据治理平台工具基于数据治理的阶段功能并不完全一致，实践中平台工具通常综合多方面功能，而不是单平台功能。三大模块互为动力，数据治理规划指导数据治理职能的全面发挥，数据治理各项职能通过数据治理平台工具协助管理，数据治理平台工具支撑数据治理规划的落地及优化，数据治理规划各层面逐步固化在数据治理平台上，数据治理平台辅助数据治理各项职能的管理，通过数据治理各项职能不断落实和完善数据治理规划，实现组织数字化转型，固化管理机制及流程体系。未来企业通过构筑数据治理综合体系，逐步建立数据治理机制，完成组织转型，数据治理职能将成为企业管理的重要组成部分，良性循环的管理体系将推动企业实现更广、更深层次的数据应用，数据决策将成为企业人思考的习惯，企业决策将更加科学、有效。未来企业数据治理蓝图架构中，业务系统、数据治理及数据应用互为动力，共同推动企业数字化转型的实现。（二）数据治理模式1、数据治理基本模式数据治理模式是指企业基于不同的数据治理目标，根据企业组织、系统、数据应用的现状，以何种数据治理策略开展数据治理活动。通常数据治理模式包括三种基本模式。模式一：自下而上，以数据架构为重，开展数据治理。这种模式重在数据架构，层层向上治理数据，至数据应用层。这种模式从底层数据切入，基于现有数据基础，盘点、建设、治理、应用层层展开，对企业整体的数据思维、数据治理水平要求较高，通常适用于数据量重、业务应用轻大型技术型企业，或政府机构，或新建、自研系统较多的企业。模式二：自上而下，以明确的数据应用为重，开展数据治理。这种模式即单点应用式，通常以现有应用需求为核心开展数据治理。聚焦各个业务领域的数据应用、数据治理需求，在有需求、有资源、有驱动力的前提下，按需组织推进数据治理工作。只有业务部门的深入参与才能做好数据治理，只有针对业务自身需求进行的治理，才能得到业务部门的认可和支持。此模式通常围绕数据应用的需求进行数据治理，比如升级架构、更换平台等涉及数据应用迁移时，或聚焦监管、上报类等明确数据应用时，围绕数据应用进行数据治理。此模式通常适用于数据应用较强、业务部门较为强势、但整体数据认知较弱的企业。这种模式的数据治理切入相对较为简单，实践证明，大部分企业数字化转型初期会这种模式，慢慢探索企业的数据治理道路，这种模式有助于拉齐数据部门、业务部门的认知，提升企业整体数据认知，为未来数据治理的开展提供基石。模式三：大规划模式，从数据应用规划入手，治理现状，规划未来，基于数据资产的未来开展数据治理。这种模式需要企业全面梳理业务的现状痛点及业务未来畅想，盘现状、规划未来，基于业务现在及未来的需求规划分析应用场景，在应用场景蓝图规划的范围内，全面的梳理数据的现状、规划数据的未来，针对蓝图规划中的数据需求，制定全方位策略。这种模式通常是企业的战略项目，由高层推进开展，对数据、业务协同性要求较高，整个过程涉及系统改造升级、业务流程优化再造，是企业全面升级的过程。组合模式一：模式一&模式二组合，即全域数据治理+明确应用场景规划。这种模式兼顾底层数据与上层应用，可对冲底层数仓重建的部分风险，同时可有效地阐述数据价值，整体可行性较高。组合模式二：模式一&模式三组合，即全域数据治理+全面应用场景规划。这种模式从现在、未来的角度全面开展数据治理，业务、数据全面覆盖，返工重建风险小，同时有助于推动业务系统、数据全面升级，业务价值较高，但对组织协同要求高，且成本投入高、耗时久，对执行团队要求高，复合型人才需求大，属于高风险高收益模式，需要企业高战略、高执行的推进落地。2、数据治理模式对比三大数据治理模式开展方式、适用场景、优劣势、资源投入各不相同。模式一，自下而上，切入方便，成本可控，重架构，但脱离应用，对执行团队架构能力要求较高，成效慢。模式二，自上而下，目的明确，切入方便，成本可控，重应用，但轻治理，容易造成面子工程，出现重复治理的风险。模式三，大规划模式，规划的眼光，覆盖业务、数据双层面，重建风险小，聚焦业务，有利于充分挖掘数据价值，但对组织的协同性要求较高，同时需要高质量复合型人才配合团队执行，整体落地风险较大，成本较大。三大数据治理模式各有优劣，而组合模式在某种程度上对冲单一模式的风险，可以更好地满足企业数据治理的需求和目的。企业应基于面临的现状，选择适合的自己的治理模式。3、数据治理模式选择不同的数据治理模式，对企业的数据治理水平、组织协同程度要求不同。自下而上的模式一是基于底层数据治理的，对数据治理水平要求较高，数据治理水平包括数据基础（数据量、数据质量等）以及数据治理能力，数据治理能力主要体现在数据治理团队专业度以及数据治理体系（组织、制度及流程）完善度。这种模式对组织协同度要求相对较低，主要靠数据治理团队推动进行。自上而下的模式二是基于明确数据应用进行数据治理的，相较于自下而上的模式一，组织的协同性要求会更高，需要业务部门、数据部门配合实现，但整体以需求为主，对数据治理的水平要求一般。大规划的模式三既治理现状，又规划未来，对组织协同性及数据治理水平均有极高要求。该模式需要动员企业的业务部门、技术部门、数据部门，同时需要企业各阶层（高层、中层、基层员工）的人员共同配合，全面盘点业务的痛点及未来规划，同时梳理数据现状，规划数据未来，通常为战略项目、高层领导共同将企业数据治理水平推向一个新水平，同时完成数字化组织的转型。组合模式在组织协同性、数据治理水平上会叠加单一模式的要求，如模式一&模式三的组合模式对组织协同性、数据治理水平要求最高。各模式对企业的组织协同性、数据治理水平的要求，基于各模式对企业组织协同、数据治理水平的要求不同，企业应充分盘点企业的组织现状、数据现状、应用现状，初步评估企业数据治理水平、组织协同度，结合数据治理的目标，评估可行性，选择最佳模式。企业数据治理是个复杂而漫长的过程，通常在不同的发展阶段，企业选择数据治理模式并不同，基于面对的组织、数据、应用现状，企业需要均衡目标与现状，选择当下最合适的数据治理模式。企业数据治理并不是一蹴而就的，它需要企业不断地进行规划、治理、监测、优化，通过数据治理不断完善企业的组织、制度、流程管理体系，同时不断提升企业数据治理管理水平，包括数据标准、数据质量、数据架构及模型、数据应用等模块的管理水平提升。数据治理是一个持续循环的过程，需通过不断地改进提升及完善。PDCA循环不是在同一水平上循环，而是呈阶梯式推动上升，每次循环将推进企业的数据治理水平及组织协同性向新的、更高的层级进阶，最终实现企业数字化转型。（三）数据治理实施路径企业数据治理实施路径通常包含三个阶段。第一阶段：起步阶段，业务运营数字化阶段。这个阶段主要是梳理企业面临的现状，响应痛点，探索业务场景化。企业逐步开始由信息化向数字化转型，这个阶段企业会重新审视原有的数据治理策略，重构数据治理战略及实现路径，逐步开始搭建数据治理框架、数据治理体系框架，升级原有的数据处理、应用模式，搭建大数据平台，构建大数据采集、汇集、存储、计算、服务的基础能力，逐步整合各系统的数据，打破数据孤岛，沉淀数据资产，探索业务场景化。第二阶段：深入拓展阶段，数据赋能常态化阶段。这个阶段数据应用成为重点，企业开始深挖数据价值，提高数据应用覆盖。数据应用的范围，由核心KPI指标的实现，逐步覆盖全部核心业务，搭建完善的分析框架和洞察体系，不断地提升业务决策质量。大数据平台持续发挥大数据处理的能力，企业纳入更多、更广的数据内容，不断扩大数据应用的广度及深度，初步形成企业的数据资产地图，数据标准体系逐步搭建，数据应用的效率大大提升，初步完成由经验主义向数据主义的转型，数据决策成为企业决策主要决策方式。这个阶段，企业开始全面建立数据管理权限体系，完善数据治理机制，优化数据治理流程及制度体系，由原有的粗放式管理升级为精细化管理，数据质量不断提升，企业数据管理能力升级，逐步通过数据质量平台、数据资产平台、数据治理平台工具等实现智能管理，企业数据思维认知全面提升。第三阶段：智能应用阶段，运营决策智慧化阶段。这个阶段企业实现洞策合一，智慧场景应用成为常态，全面完成数字化转型，探索数字业务，开启新篇章。这个阶段以智能应用为主，AI赋能成为常态，企业不断地挖掘数据的价值、激发创新，开始为企业战略性分析提供准确的数据依赖，在这个阶段，有些企业甚至在原有商业模式上，激发新的业务模式。数据管理层面，由数据治理体系建设逐步向数据治理体系优化进阶，完善机制、流程，进一步细化数据管理职责；数据资产层面，完成全域数据资产建设，构建强壮的数据模型体系，完成企业数据标准建设，不断完善数据资产体系；平台工具层面，大数据平台能力逐步向算法能力转移，智能推荐算法模型开发成为常态化的需求，数据治理平台逐步完善功能，协助企业智能化数据质量、数据标准、数据资产及主数据等模块，企业真正进入运营决策智慧化阶段。（四）数据治理项目交付步骤1、数据治理项目交付组织建议专业的交付团队，是项目成功的关键，依托于专业的数据治理服务团队和知识沉淀，开展项目实施工作。首先客户的CIO或CDO是项目顺利进行的关键角色，可以更高效地推动实施团队与业务的融合。其次是项目的项目经理，负责项目的管理和资源调度，各阶段人员及工作安排，项目计划制定、进度控制、项目风险管理、项目质量把关等；技术负责人、系统架构师、项目管理专员是项目团队的智囊团和质量保障；根据项目需求，安排不同岗位职能人员开展实施及售后工作，包括但不限于业务架构师、业务分析师、数据架构师、数据开发工程师、测试工程师、技术支持、运维工程师、产品专家、产品经理、客户成功专员等。2、数据治理项目交付步骤项目交付主要分为4个步骤，以需求调研为切入点，以方案设计为规划核心，以开发实施为交付重点，以上线运维为服务保障，