数据治理行业前景分析

数据治理行业前景

协同推进国家标准、行业标准和团体标准，加快技术研发、产品服务、数据治理、交易流通、行业应用等关键标准的制修订。建立大数据领域国家级标准验证检验检测点，选择重点行业、领域、地区开展标准试验验证和试点示范，健全大数据标准符合性评测体系，加快标准应用推广。加强国内外大数据标准化组织间的交流合作，鼓励企业、高校、科研院所、行业组织等积极参与大数据国际标准制定。加快培育数据要素市场（一）建立数据要素价值体系按照数据性质完善产权性质，建立数据资源产权、交易流通、跨境传输和安全等基础制度和标准规范，健全数据产权交易和行业自律机制。制定数据要素价值评估框架和评估指南，包括价值核算的基本准则、方法和评估流程等。在互联网、金融、通信、能源等数据管理基础好的领域，开展数据要素价值评估试点，总结经验，开展示范。（二）健全数据要素市场规则推动建立市场定价、政府监管的数据要素市场机制，发展数据资产评估、登记结算、交易撮合、争议仲裁等市场运营体系。培育大数据交易市场，鼓励各类所有制企业参与要素交易平台建设，探索多种形式的数据交易模式。强化市场监管，健全风险防范处置机制。建立数据要素应急配置机制，提高应急管理、疫情防控、资源调配等紧急状态下的数据要素高效协同配置能力。（三）提升数据要素配置作用加快数据要素化，开展要素市场化配置改革试点示范，发挥数据要素在联接创新、激活资金、培育人才等的倍增作用，培育数据驱动的产融合作、协同创新等新模式。推动要素数据化，引导各类主体提升数据驱动的生产要素配置能力，促进劳动力、资金、技术等要素在行业间、产业间、区域间的合理配置，提升全要素生产率。数据治理概念建设数字中国，加快发展数字经济，促进数字经济和实体经济深度融合，打造具有国际竞争力的数字产业集群。数据二十条随即出台，提出构建数据产权、流通交易、收益分配、安全治理等制度，初步形成我国数据基础制度的四梁八柱，将充分激活数据要素价值，赋能实体经济。在数字经济时代背景下，数据俨然已成为企业的核心生产要素之一。而企业数字化转型则是以数据为中心，通过数据驱动业务发展、管理协同和运营。因此数字化转型关键在于数据，数据治理则需先行。从而更好激发数据生产要素潜能，实现业务数据化、数据价值化，助力企业数字化转型。（一）DAMA数据治理体系国际数据管理协会（DataManagementAssociation，又名DAMAInternational，以下简称DAMA）在其《DAMA数据管理知识体系指南（第2版）》一书中将数据治理进行了定义，即数据治理是对数据资产管理行使权力、控制和共享决策（规划、监测和执行）的系列活动。此外，DAMA还将数据治理作为数据管理十大知识领域的中心，负责知识领域的平衡和一致性。DAMA提到数据治理的目标有三点：提升企业数据资产管理能力；定义、批准、沟通和实施数据管理的原则、政策、程序、指标、工具和责任；监控和指导政策合规性、数据使用和管理活动。可以看出，DAMA给出了比较全面的解释，但是距离企业可落地的数据治理还是距离较远，更像是纲领性的介绍，因此对于如何进行数据标准的制定以及如何进行数据资产的评估都缺少具体的描述。（二）信通院数据治理服务商成熟度模型（DGS）数据治理服务商成熟度模型（DGS）由中国信通院提出，以数据治理服务项目实施运维的流程为主线，融合数据治理核心能力，包括6大能力域、21个能力项，其中6大能力域遵循一般性数据治理项目流程。1）需求管理能力域：提供方通过采集需求方的业务需求、数据需求、技术需求等，明确数据治理目标和范围，并评估实施数据治理可行性。2）资源评估能力域：提供方通过对数据来源、数据规模、数据分类、数据关系、数据时效性、专业软件工具、存储计算环境以及硬件资源等主要影响因素进行分析，以提升数据治理项目任务分解的准确性，指导识别项目中的潜在风险。3）实施保障能力域：提供方通过制定实施规划，建立组织保障，开展风险管理，确保数据治理项目的顺利实施，降低风险和成本。4）方案设计能力域是数据治理项目的核心环节，提供方通过制定相关规范体系和设计文档，形成满足甲方需求的数据治理体系。5）方案实施能力域提供方通过依托相关平台工具，实现方案的落地。6）成果交付能力域包括试运行、成果验收2个能力项。DGS从服务商的角度出发，对数据治理的方方面面进行了解释，给出了模型规范和评估标准。对于企业来说，不管是想自己做数据治理，还是通过服务商来实现部分数据治理工作，DGS都提供了一套相对全面的参考指南。整体来看，目前数据治理提供商的数据工程服务能力优势集中于数据资源评估、数据质量、数据标准等能力项。（三）数据治理规范国家标准《信息技术服务治理第5部分：数据治理规范》（GB/T34960．5-2018）中，为了促进组织有效、高效、合理地利用数据，有必要在数据获取、存储、整合、分析、应用、呈现、归档和销毁过程中，提出数据治理的相关规范。规范中提出了数据治理的定义，即数据资源及应用过程中相关管控活动、绩效和风险管理的集合。规定了数据治理的顶层设计、数据治理环境、数据治理域及数据治理过程的要求，从而实现运营合规、风险可控和价值实现的目标。（四）数据中台大数据时代，大量结构化、非结构、半结构数据量暴增，计算难度几何式递增。同时数据复杂、数据类型庞杂等导致数据处理复杂度也大大提升。传统数据仓库的不足也逐渐暴露，数据孤岛、重复开发、数据共享难等问题日益加剧。在人工智能、大数据等技术发展和企业数字化转型加速的双重驱动下，2019年，数据中台在众多赛道中脱颖而出，成为行业焦点。艾瑞咨询《2022年中国数据中台行业研究报告》指出，数据中台是一种数字化综合解决方案。狭义来看，数据中台是一套实现数据资产化和服务复用的工具；广义来看，数据中台是一套运用数据推动企业数字化转型升级的机制和方法论。全国首个数据中台团体标准《数据中台元数据规范》（T/ZAII035-2022）也指出，数据中台是一套通过产品技术、解决方案、规范标准、团队组织的整合，实现数据汇聚、治理、运营的架构。这与艾瑞咨询的观点不谋而合。总结而言，数据中台是一套可持续的让数据产生价值的机制，是一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建的一套持续不断把数据变成资产并服务于业务的机制。（五）数据治理与数据中台数据治理是针对数据资产管理的控制、决策规范，它将严密性和纪律性植入企业的数据管理、规划、监测、使用和保护过程中。而数据中台也是一种数据资产管理机制，采集、计算、存储和处理海量数据，保证数据的标准统一和口径一致，建立全域级、可复用的数据存储能力中心和数据资产中心，提高数据共享和复用能力，灵活高效地解决数据应用需求。对比来看，数据中台和数据治理都是体系性的工作。虽说数据治理与数据中台涉及的绝大部分领域相同，但数据中台并不仅仅是数据治理工作的放大升级版，而是数据治理工作的深化，它强化了数据治理的深度和广度，并拓展了数据治理不涉及的数据应用领域。换言之，数据中台真正实现了企业内部数据的闭环。因此，数据中台是数据治理实现的一种高效方式，是当下最为适合企业数字化转型的模式。首先，从顶层设计出发，开展数据管理的战略规划和机制建设，为数据治理工作开好局。其次，引入数据治理工具，通过数据标准管理、数据架构和模型管理、数据开发、元数据管理、数据质量管理、数据生命周期管理、数据安全管理、主数据管理等八大数据治理专题夯实数据管理各项基础工作。最后，基于数据治理工具提升数据管理的自动化水平，最终促进数据资产的对内对外开放使用，实现数据资产的价值与变现能力全面提升。健全综合全面的数字规则（一）制定数据治理与管理制度规则建立健全数字规则，围绕数据聚通用、要素流通，推动数据管理、数据安全等规则建设。深入落实《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《关键信息基础设施安全保护条例》等法律法规，推动出台大数据发展管理地方性法规，实施数字规则意见，开展大数据发展管理领域立法先行先试，全面建立数据收集、汇聚、共享、开放、应用、交易、安全、执法监管等制度。（二）健全公共数据治理与管理规则推动与群众利益密切相关的医疗、教育、供水、供电、供气、通信、环境保护、公共交通等公共企事业单位数据采集、汇聚、共享、开放、利用等纳入公共数据管理体系。（三）建立行业数据治理与管理规则建立行业主管部门与大数据主管部门协调配合机制，推进行业数据联合治理、管理常态化。推进工业、交通、卫生健康、教育、金融等行业主管部门制定符合本行业特点的数据分类分级管理制度，依法依规加强行业数据全生命周期监管。发挥行业协会组织协调作用，推动行业数据相关自律规范、自律公约建立，规范会员行为。积极推动无人驾驶、数字金融、在线医疗、APP数据采集等领域的规则制定。（四）构建数据要素市场管理规则构建数据要素市场化配置制度规则，制定数据要素市场化配置改革行动方案，提高数据要素市场配置效率，促进数据要素健康有序流动。推动出台数据交易管理办法，加快数据交易中介服务、数据权属确认、数据价值评估、数据交易收益分配等配套制度建设，探索建立数据产品和服务进场交易机制。（五）优化完善数据标准规范加快推动数据开放、数据安全、数据治理、行业应用、质量评级等标准建设。聚焦基层治理、民生服务、城市治理、政府管理、产业融合、生态宜居等应用领域，推动制定一批地方、团体、企业标准和规范，鼓励相关标准规范试点示范和应用推广，持续推进大数据标准体系建设。贯彻国家大数据综合标准规范，推动《数据管理能力成熟度评估模型》（DCMM）贯标试点。积极参与制定大数据领域国际规则、国家标准、行业标准。建设一体化大数据资源中心（一）深化基础平台建设深化基础数据库建设，推进法人、自然人、自然资源和空间地理、电子证照、信用、物联感知等数据归集。建设主题数据库，构建重点领域业务模型，建立跨领域自动化、语义一致化的主题数据库共建共享架构。推动建筑信息模型（BIM）技术与工程建造技术深度融合应用，构建高精度城市信息模型（CIM）平台。（二）强化数据目录管理构建数据图谱，梳理各部门、各行业非涉密数据数量、类型、更新周期、产生来源、支撑应用等情况，分行业、分地域构建覆盖人、企、事、车、地、物等主体的数据图谱，形成数据一张图。坚持需求导向，深入实施三清单制度，梳理数据共享需求，落实数据共享责任，完善数据目录，实现数据应享尽享。（三）推进公共数据开放依法推动公共数据最大限度开放，构建各部门公共数据开放清单，定期更新公共数据开放目录，持续拓展公共数据开放广度。完善公共数据开放系统，扩展数据服务功能，支撑数据开发利用。鼓励和支持利用开放的公共数据开展科学研究、咨询服务、产品开发、数据加工、数据服务等活动，引导各类社会力量开展公共数据应用创新，发挥数据资源效益。（四）打造数据治理能力中台持续提升大数据资源中心数据处理和治理能力，建成集数据可视化、地理信息系统（GIS）集成展现、数据叠加、数据沙箱、隐私计算、区块链、数据脱敏工具等技术和控件库、服务库的数据治理能力平台，为数据开发应用提供共性技术、业务协同等支撑。加强元数据管理、数据生命周期管理、数据交换与共享管理、数据安全管理等，提升数据治理能力。梳理跨层级、跨地域、跨系统、跨部门、跨业务大数据应用共性需求，强化集约化、组件化应用支撑，持续丰富数据中台服务能力。（五）持续提升数据质量建立数据质量闭环管理制度，明确数据采集、汇聚、存储、共享等各环节数据质量和职责要求。开展数据标准化巡查、清洗、去重、校验、修复等质量提升工作，推进覆盖公共数据、社会数据的数据清洗和比对加工。建立跨部门的数据质量纠错反馈机制，按照一数一源原则，对各部门共享的数据进行规范性检查、前后一致性比对、综合校验。构建数据质量评估指标体系，开展数据质量监测评估，提升数据的完整性、准确性、时效性和可用性。夯实产业发展基础（一）完善基础设施全面部署新一代通信网络基础设施，加大5G网络和千兆光网建设力度。结合行业数字化转型和城市智能化发展，加快工业互联网、车联网、智能管网、智能电网等布局，促进全域数据高效采集和传输。加快构建全国一体化大数据中心体系，推进国家工业互联网大数据中心建设，强化算力统筹智能调度，建设若干国家枢纽节点和大数据中心集群。建设高性能计算集群，合理部署超级计算中心。（二）加强技术创新重点提升数据生成、采集、存储、加工、分析、安全与隐私保护等通用技术水平。补齐关键技术短板，重点强化自主基础软硬件的底层支撑能力，推动自主开源框架、组件和工具的研发，发展大数据开源社区，培育开源生态，全面提升技术攻关和市场培育能力。促进前沿领域技术融合，推动大数据与人工智能、区块链、边缘计算等新一代信息技术集成创新。（三）强化标准引领协同推进国家标准、行业标准和团体标准，加快技术研发、产品服务、数据治理、交易流通、行业应用等关键标准的制修订。建立大数据领域国家级标准验证检验检测点，选择重点行业、领域、地区开展标准试验验证和试点示范，健全大数据标准符合性评测体系，加快标准应用推广。加强国内外大数据标准化组织间的交流合作，鼓励企业、高校、科研院所、行业组织等积极参与大数据国际标准制定。大数据产业面临形势抢抓新时代产业变革新机遇的战略选择。面对世界百年未有之大变局，各国普遍将大数据产业作为经济社会发展的重点，通过出台数字新政、强化机构设置、加大资金投入等方式，抢占大数据产业发展制高点。我国要抢抓数字经济发展新机遇，坚定不移实施国家大数据战略，充分发挥大数据产业的引擎作用，以大数据产业的先发优势带动千行百业整体提升，牢牢把握发展主动权。呈现集成创新和泛在赋能的新趋势。新一轮科技革命蓬勃发展，大数据与5G、云计算、人工智能、区块链等新技术加速融合，重塑技术架构、产品形态和服务模式，推动经济社会的全面创新。各行业各领域数字化进程不断加快，基于大数据的管理和决策模式日益成熟，为产业提质降本增效、政府治理体系和治理能力现代化广泛赋能。构建新发展格局的现实需要。发挥数据作为新生产要素的乘数效应，以数据流引领技术流、物质流、资金流、人才流，打通生产、分配、流通、消费各环节，促进资源要素优化配置。发挥大数据产业的动力变革作用，加速国内国际、生产生活、线上线下的全面贯通，驱动管理机制、组织形态、生产方式、商业模式的深刻变革，为构建新发展格局提供支撑。数据流通扩大开放工程构建集自然语言处理、视频图像解析、数据可视化、语言智能问答、多语言机器翻译、数据挖掘分析等功能的大数据通用算法模型库和控件库，定期开展数据演习，建设面向公共卫生、自然灾害、国防战备等重大突发事件处置的国家级数据靶场，为重大突发事件开展决策研判和调度指挥提供支撑。规范数据入场交易，培育数据要素交易市场。建设涵盖数据资产评估、登记确权、交易撮合、评估定价、可信流通等方面的全流程数据要素流通交易平台和数据授权存证、数据溯源和数据完整性检测平台，提供数据交易、结算、交付、安全保障、资产管理等综合配套服务。大数据产业发展目标（一）产业保持高速增长到2025年，大数据产业测算规模突破3万亿元，年