T-SCSDSJFZYJH 011-2024 政务数据融合标准

CCSI64T/SCSDSJFZYJH（版式）四川省大数据发展研究会发布IT/SCSDSJFZYJH011-2024 1 1 1 2 2 2 3 3 4 4 4 4 4 5 5 5 6T/SCSDSJFZYJH011-2024本文件按照GB/T1.1-2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件发布机构不承担识别这些专利的责任。本文件由四川省大数据发展研究会提出并归口。本文件起草单位：四川省大数据中心、中国电信股份有限公司四川分公司、新腾数致网络科技有限公司、中通服创立信息科技有限责任公司、四川省大数据技术服务中心、中国移动通信集团四川有限公司成都分公司、四川天府大数据研究院。本文件主要起草人：董国风、程奕、周磊、解岩、吴凤、鲍超、杨铧、张军、秦强子、季飞、余恒、徐强、桂诚旺、苟斌、任墨海、唐为之、王思航、张霞、匡先辉、覃子凌、刘霖、高会伟、张航、刘陈、马宇飞、秦于力、雷山峰、温仁均、董俊熠、达久曲鸽、白宁超、李根。本文件版权归四川省大数据发展研究会所有。1T/SCSDSJFZYJH011-2024政务数据融合标准本文件规定了政务数据融合的术语和定义，提出了政务数据融合的目标和任务，提供政务数据融合的原则、技术要求、安全、技术评价及角色职责等方面的要求。本文件适用于政务数据融合的总体规划、建设和运营指导。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T37973-2019信息安全技术大数据安全管理指南GB/T39477信息安全技术政务信息共享数据安全技术要求GB/T35295信息技术大数据术语GB/T23011-2022信息化和工业化融合数字化转型价值效益参考模型3术语和定义下列术语和定义适用于本文件。3.1政务数据governmentdata政务服务相关部门及其技术支撑单位在履行职责过程中依法采集、生成、存储、管理的各类数据资源。[来源:GB/T38664.1-2020，3.1]注：根据可传播范围，政务数据一般包括可共享政务数据、可开放公共数据3.2政务数据融合governmentdatafusion将来自不同政府部门、不同数据源、不同格式和不同结构的数据进行整合和处理，以形成更全面、更准确、更有用的数据集，通过数据集的整合，吸取不同数据源的特点，然后从中提取出统一的，比单一数据更好、更丰富的信息。2T/SCSDSJFZYJH011-20243.3数据资产dataasset包含数据以及数据融合治理过程中数据产生的其他信息，是数据汇聚、数据整合、数据处理、数据使用过程中数据与信息的获取、存储和管理对象，参与整个数据融合过程。3.4社会数据socialdata政务数据之外数据，主要指由市场调查、民意测验、社会调查等单位采集和发布的有关社会现象、社会行为和社会状态等方面的数据和信息。3.5数据管理datamanagement数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程。3.6主管部门政务数据共享开放工作的行政主管部门，授权运维部门或单位的机构。3.7提供部门具有提出开放数据注册申请的组织或组织内部机构3.8运维部门或单位经主管部门授权的或依法委托的对平台进行运行维护管理的内部机构、部门或其他组织。3.9使用者对政务数据有使用需求的政务部门、公民、法人和其他组织.4缩略语下列缩略语适用于本文件。MDM:主数据管理(MasterDataManagement)5总则3T/SCSDSJFZYJH011-2024政务数据融合的目标是通过建立符合法规的数据治理体系，实现数据的合规性；通过风险控制体系，确保数据融合治理的风险可控；通过构建价值实现流程，充分利用数据融合分析的结果，解决实际问题，实现既定目标；最后，推动政务数据与社会数据的共享和利用，以“数据要素x”在相关行业和领域的广泛应用，以培育新的生产力。这四个目标的实现，需要利用到诸如数据加密、风险评估模型、数据分析和数据交换平台等技术。5.2任务政务数据融合的目标是为了提高政府的决策效率和服务质量，同时保护公民的隐私和数据安全。为了实现这个目标，在进行数据融合时需要考虑以下技术层面的问题：——平台构建：首先需要构建一个统一的数据平台，这可以通过使用大数据技术如Hadoop和Spark等实现。平台需要能够处理大量的数据，同时也需要有强大的数据清洗、整合和分析能力。此外，为了提高数据处理效率，可能还需要使用云计算技术。——数据融合：数据融合通常需要使用到ETL（Extract,Transform,Load）工具，和使用一些机器学习算法，如聚类和分类，来提取数据的特征和模式。——角色定位和数据权限管理：这通常需要使用到RBAC（Role-BasedAccessControl）模型，通过定义不同的角色和权限，来控制不同用户对数据的访问和操作。——数据安全：数据安全是政务数据融合的关键问题，需要使用到数据加密（采用国密）、数据脱敏、数据备份和恢复等技术来保证数据的安全。——数据质量和治理：使用数据质量管理工具，如InformaticaDataQuality，以及数据治理框架，如DAMADMBOK，来保证数据的质量和一致性。——数据价值评估：使用到数据价值评估模型，如数据资产价值模型，以及数据价值评估工具，如Gartner的ITValueModel，来评估数据的价值。6融合原则政务数据融合的原则参考融合目标，贯穿整个融合框架，指导融合决策规运行实施、价值创造。政务数据融合原则应包括以下要素:——目标一致：政务数据融合的决策规划应保持与各相关方业务规划、信息技术规划等的一致，确保数据融合与各方的业务目标相一致。——风险可控：政务数据融合各相关方应分析业务、领域和相关方需求，适应内外部环境变化，识别数据融合的促成因素，并有计划地对存在的风险进行不定期评估，保障融合数据的实施。——运营合规：各相关方应共同构建政务数据融合体系，对各相关方的责任进行界定，对其活动进行约束、规范及监督，并进行政策指导，研究、制定并实施具有领域特性、业务特征的融合标准，确保数据融合的合规性和可持续性。——价值实现：政务数据融合各业务相关方应围绕数据来源、数据融合、数据流通、数据服务、数据洞察等，开展数据资产的运营和应用的治理，保证现实问题的解决和既定目标的实现，实现政务数据融合的价值创造。以上原则要素应该贯穿整个政务数据融合过程，确保数据融合的有效性和可持续性。同时，政务数据融合原则应该不断更新，以适应新的技术发展和业务需求的变化，促进政务数据融合治理的创新和发展。4T/SCSDSJFZYJH011-20247融合治理规划7.1概述政务数据融合规划应该与国家“数据要素X”总体方针保持一致，并明确实施策略。至少应包括以下方面：调研相关领域需求并评估政务数据现状、技术现状、应用现状和环境，制定业务规划和信息技术规划，以确保数据融合与各方的业务目标相一致。制定数据融合战略规划，包括但不限于愿景、目标、任务、内容、边界、环境和蓝图等，以明确政务数据融合的方向和目标。建立数据融合的实施方案，包括但不限于实施主体、责权利、技术方案、管理方案、实施策略和实施路线等，以确保数据融合治理的有效性和可持续性。制定数据融合的资源规划，包括但不限于人力资源、物资资源、财务资源等，以保障数据融合的实施。明确风险偏好、符合性、审计等要求，监控和评价数据融合治理的实施并持续改进，以确保数据融合的合规性和可持续性。7.2架构规划——技术架构：技术架构应与总体规划一致，并明确技术内容、管理策略和支撑体系。这应包括数据存储、数据处理、数据交换与集成、数据安全与隐私保护等技术组件。通过分析平台建设现状和需求，结合技术架构要求，对平台功能模块、接口等进行规划和设计，以满足政务数据融合应用场景、问题、目标等因素，提出符合相关领域的业务需求。——应用架构：应用架构应根据业务需求和技术架构要求进行设计，以支持数据融合的应用和服务。这包括数据获取、数据处理、数据分析、数据展示等应用模块的设计和实现。——业务架构：业务架构应围绕政务数据融合的目标进行设计，以支持数据来源、数据融合、数据流通、数据服务、数据洞察等业务流程。业务架构应与技术架构和应用架构紧密结合，以实现数据融合的价值。——安全保障架构：安全保障架构应依据信息安全相关标准规范，结合法律法规、政策文件中有关网络和信息安全要求，从规则、技术、管理等维度进行综合设计，以确保数据融合的安全性和可靠性。8融合技术8.1数据汇聚数据汇聚包括数据采集、传输、存储等技术要求，应满足但不限于：a)具备物联感知、行业应用及互联网等不同类别的数据发现、获取、传输、接收、识别与存储b)提供可靠的数据传输机制，采取必要的技术手段和管理措施保证数据汇聚过程中个人信息和c)支持海量数据存储功能，提供构建分布式文件系统之上的分布式存储系统，满足政务与社会数据融合治理大数据平台不同类型的角色需求，能为不同角色提供不同级别的数据存储策5T/SCSDSJFZYJH011-2024d)支持集中控制的数据备份，应对不同数据实例制定具体的数据备份策略。8.2数据整合数据整合包括数据规范、清洗、转换等技术要求，应满足但不限于以下要求：a)依照统一的编码规则对汇聚到平台的数据进行编码，将符合一个源模式的数据转换为符合目标模式数据，满足将数据从一种表示形式变为另一种表示形式的技术要求。b)具备数据分类系统，定义数据标签库，对汇聚数据进行分类分级标识，生成数据的词汇表。依据数据分类分级策略变更对相关历史数据进行归档，并记录数据分类分级变更过程，确保数据分类分级过程的可追溯性。c)应满足错误数据纠正，如数据值错误、数据类型错误、数据编码错误、数据格式错误、数据异常错误、多值错误等。应对数据中可能存在的记录或字段列进行判断及去重处理，并满足对数据统一规格并将一致性内容抽象出来，如名称、类型、单位、格式、长度、缩写规则等。d)支持结构、半结构和非结构等不同类型数据源的数据抽取，应支持主流安全可控的数据库系统和数据仓库系统，并支持全量抽取、增量抽取、基于日志的抽取等抽取模式，可支持地理空间信息数据抽取，具备扩展能力，可以支持NoSQL等非关系数据库。数据抽取数据格式及抽取流程支持服务使用机构自定义配置。e)具备数据校验功能，如空值检测、长度检查、数值范围检查、正则表达式校验等，并提供数据表转换功能，如字段值替换、值映射、列转行、行转列、记录合并、记录排序、去除重复记录等。8.3数据处理数据处理包括但不限于数据脱敏、数据分析、数据可视化等技术要求，应满足但不限于以下要求：a)支持如泛化、抑制、干扰等数据脱敏技术，确保数据脱敏后保留原始数据格式和特定属性，满足开发与测试需求。具备统一的数据脱敏工具，实现数据脱敏工具与数据权限管理系统的联动，以及数据使用前的静态脱敏。b)应支持分布式数据处理，提供批量数据处理和实时流数据处理能力，并支持多种主流的数据处理计算框架，包括但不限于批量处理、交互查询、实时流、内存计算等。c)应支持对数据处理任务的创建、编排、执行、监控的能力，并提供多种数据挖掘分析的能力，包括但不限于描述性分析、诊断性分析、预测性分析、因果性分析等。d)应支持多种分析模式，包括但不限于离线分析、实时分析、交互式分析等，并具备供统计分析、机器学习、文本分析、视频分析等多种分析方法、模型和工具。e)应具备数据可视化的算法、工具、组件能力，展现数据中存在