DB54T 0426-2024 公共数据 数据质量管理规范

ICS35.24054CCSL7854西 藏 自 治 区 地 方 标 准DB54/T0426—2024公共数据 数据质量管理规范2024-11-18发布 2024-12-18实施西藏自治区市场监督管理局  发布DB54/T0426—2024DB54/T0426—2024PAGE\*ROMANPAGE\*ROMANII目 次前言 II范围 1规范性引用文件 1术语、定义和缩略语 1数据质量管理原则 2数据质量管理框架 2数据质量职责 3数据质量目标 4数据质量评价体系 4数据质量评价指标 4数据质量规则 5数据质量控制 5数据生存周期 5数据需求 5数据采集 5数据清洗 5数据应用 5数据评估 6数据退役 6数据质量检查 6数据质量检查计划 6数据质量监控 6数据质量问题处理 6数据质量提升 6数据质量问题分析 6数据质量改进 7数据质量跟踪 7参考文献 8前 言本文件按照GB/T1.1—2020《标准化工作导则第1草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由西藏自治区经济和信息化厅（自治区数据管理局）提出并归口。（自治区数据管理局责任公司、国家工业信息安全发展研究中心。青、贺赟、陶炜、李云志、杜洪涛、栾燕、蔡长亮。DB54/T0426DB54/T0426—2024PAGEPAGE10公共数据数据质量管理规范范围本文件规定了数据主体单位及相关方开展公共数据质量管理工作的要求，包括数据质量管理原则、管理框架、质量职责、质量目标、质量评价体系、质量控制、质量检查和质量提升。本文件适用于西藏自治区各级机构的公共数据质量管理。规范性引用文件（包括所有的修改单）适用于本文件。GB/T25000.12系统与软件工程系统与软件质量要求和评价(SQuaRE)第12部分：数据质量模型GB/T36073数据管理能力成熟度评估模型GB/T36344信息技术数据质量评价指标术语、定义和缩略语术语和定义GB/T36073和GB/T36344界定的以及下列术语和定义适用于本文件。数据质量dataquality在指定条件下使用时，数据的特性满足明确的和隐含的要求的程度。[来源：GB/T36344-2018，2.3]3.1.2数据生存周期datalifecycle将原始数据转化为可用于行动的知识的一组过程。[来源：GB/T36073-2018，3.14]3.1.3数据质量规则dataqualityrules数据质量规则是指判断数据是否符合数据质量要求的逻辑约束。3.1.4数据质量控制dataqualitycontrol数据质量控制是指通过数据质量检查、监控等手段发现并反馈数据质量风险的过程。3.1.5数据质量改进dataqualityimprove数据质量改进是指针对数据质量问题采取措施，对现有的数据质量水平加以提高。缩略语下列缩略语适用于本文件。PDCA：“策划-实施-检查-处置”循环（Plan-Do-Check-Act）数据质量管理原则实施数据质量管理，应遵循以下原则：聚焦关键数据（如主数据要性以及数据问题的风险水平来判定。覆盖全生存周期统之间的流转过程。预防为主上。根因修正不仅仅是修正数据。融入治理用元数据工具。数据质量管理框架PDCA见图14个阶段。图1 数据质量管理闭环架构各阶段详细要求如下：策划据质量评价的维度和指标体系、质量规则，识别所需的数据质量标准、业务规则；实施流通、应用的全生存周期进行管理控制；检查警等监控任务，并配套实施质量问题记录、查询、分发、跟踪等管理机制；处置——数据质量分析与提升，建立数据质量评估及分析方法，对检查结果进行质量评估和问题分析，——将相关分析成果和问题形成质量知识库；提升质量等，形成良好的数据质量文化。数据质量职责公共数据的管理机构或团队，应赋予相关人员角色的数据质量职责：首席数据官（或分管领导）作为数据质量管理工作的最高决策者、负责人，其数据质量管理工作内容宜包括：——下达数据质量目标；——签发数据质量评价及考核结果；——基于数据质量考核结果及改进状况，对相应领域数据责任人进行奖励及问责。数据质量主管作为数据质量管理工作的主要监督管理人，其数据质量管理工作内容宜包括：——牵头制定数据质量规则、数据质量计划、数据质量报告；——组织实施数据质量检查和质量问题分析、整改和跟踪验证工作；——负责审核相关质量文件、报告和整改措施。各业务/子系统负责人作为所辖业务领域数据质量的负责人，其数据质量管理工作内容宜包括：——承接本单位最高数据责任人设定的数据质量目标；——建立、实施、保持和持续改进所辖领域数据质量管理体系；——向最高数据责任人报告数据质量管理体系的绩效和改进需求；——基于所辖领域的数据质量结果及改进状况，对相应的业务数据责任人进行奖励及问责；——负责与所辖领域数据质量管理的相关外部联系工作。各业务数据责任人作为所辖业务数据质量的负责人，其数据质量管理工作内容宜包括：——承接所属领域数据责任人设定的数据质量目标；——建立、实施、保持和持续改进所辖业务数据质量管理体系；——向所属领域数据责任人报告数据质量管理体系的绩效和改进需求；——明确所辖业务数据质量问题改进责任人，并推动问题闭环管理；——负责与所辖业务数据质量管理工作的相关外部联系工作。数据质量目标数据质量管理是一个持续的过程，为有效地进行数据质量管理，应达到以下目标：建立数据质量管理组织，承担最终质量审查监督职能，质量问题有人负责；建立完善的数据质量管理规范，质量管理有章可循；建立数据质量管理平台，进行质量评估、问题改进系统记录，质量评估有据可查；建立数据质量管理绩效体系，针对质量管理进行目标管理、绩效考核，质量考核有人监督。数据质量评价体系数据质量评价指标GB/T25000.12-2017GB/T36344-2018度评价指标包括但不限于：的符合性度量；完整性评价指标，对于数据元和数据记录的赋值的完整性度量；出现率的度量；度量；可访问性评价指标，对于数据在需要时的可获取性，以及在设定有效期的可用性度量。数据质量规则规则进行持续维护与优化，并同步更新数据质量规则库。法，具体要求如下：根据数据质量评价维度和业务需要，制定详细的数据质量技术指标；精度校验、唯一性约束校验、主键及外键校验等；结合应用场景，定义业务规则，保证数据具有合理性；SQL数据质量控制数据生存周期数据质量管理活动应贯穿于数据生存周期的各个阶段，应符合图2的规定。图2 数据生存周期质量控制数据需求数据管理方应对数据需求进行评估，确认所需公共数据的开放主体。际需求的一致性。公共数据开放主体应按照公共数据目录规范编制开放数据目录。数据采集数据管理方应严格按照9.2的要求，采集满足相关需求的公共数据。数据清洗9.3完整性、准确性、一致性和时效性等要求。数据应用质量进行验证，将相关结果反馈给平台数据管理方。数据管理方应积极响应公共数据使用方提出的相关需求。数据应满足规范性、完整性、准确性、一致性、时效性和可访问性等要求。数据评估数据管理方应联合公共数据开放主体和公共数据使用方，开展数据评估工作。数据退役数据管理方应结合9.6的评估结果及相关政策要求，对不再适合开放的数据进行归档或销毁。数据质量检查数据质量检查计划务，制定相应的数据质量检查计划，内容主要包括：数据质量检查的业务点位、系统点位；检查的数据对象；检查的项目、指标、方法、方式、工具；检查的时间、频次；检查人员及相关的数据质量责任人员；检查结果的输出要求；其他相关检查任务调度信息等。数据质量监控量情况进行实时监控和校验，监控要求包括但不限于：对数据进行监控，明确数据的来源和去向；对规则校验的结果进行监控和分析，校验结果应定位到原始数据项。数据质量问题处理及关联数据；对数据质量问题进行分类、统计，形成数据质量报表。数据质量提升数据质量问题分析质量问题原因与影响分析方面的内容包括但不限于：信息原因，指数据规范性异常，包括元数据标准异常、数据质量规则异常、变化频度异常等；用、维护和稽核等流程；据存储能力有限等，主要涉及数据创建、获取、传输、装载、使用、维护等环节；不足等；响；问题影响程度，可根据受影响的业务性质、造成的损失、修复难度等，将影响程度分级描述，比如一般影响、严重影响、重大影响等。数据质量改进用系统问题修复等，具体要求如下：规则，比如纠正源系统中的数据；数据增强。通过给数据增加属性以提高其质量和可用性，比如时间戳、审计数据、参考数据、语境信息、地理信息、人口信息等；业务流程优化。通过业务流程优化，从根本上减少数据问题发生，比如改进数据输入的流程；应用系统问题修复。比如增加防止数据输入错误的功能。数据质量跟踪析、后续行动、人员反馈等信息，并进行以下措施：验证质量问题的纠正和改进效果，比如问题的消失、合格率的提升、数据的增值等