会展行业数据质量治理规范

1T/ZXCHXXXX-2021会展行业数据质量治理规范本文件规定了会展数据质量治理基本框架、会展数据质量治理基础保障、会展数据质量规划、会展数据质量控制、会展数据质量评估、会展数据质量改进的要求。本文件适用于会展行业数据治理主管部门或牵头部门，对会展行业数据进行全流程的数据质量治理指导，会展企业也可参考使用。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T26165—2021经济贸易展览会术语GB/T31594—2015社会保险核心业务数据质量规范GB/T34960.5—2018信息技术服务治理第5部分：数据治理规范GB/T35295-2017信息技术大数据术语GB/T36073—2018数据管理能力成熟度评估模型GB/T36344—2018信息技术数据质量评价指标DB52/T1540.4—2021政务数据第4部分：数据质量评估规范DB35/T1952—2020公共信息资源开放数据质量评价规范3术语和定义下列术语和定义适用于本文件。3.1元数据metadata定义和描述其他数据的数据。[GB/T18391.1—2009，定义3.2.16]3.2数据源datasource提供某种所需要数据的器件或原始媒体。3.3数据集dataset2T/ZXCHXXXX-2021数据记录汇聚的数据形式。[GB/T35295—2017，定义2.1.46]3.4数据治理datagovernance对数据进行处置、格式化和规范化的过程。[GB/T35295—2017,定义2.1.43]3.5数据质量dataquality在指定条件下使用时，数据的特性满足明确的和隐含的要求的程度。[GB/T25000,12—2017,定义4.3]3.6数据质量治理dataqualitygovernance为使数据质量满足业务需求，对数据质量进行规划、控制、评估和改进等活动的过程。3.7数据质量规则dataqualityrule数据质量规则是盘点数据是否符合数据质量要求的逻辑约束。3.8数据质量控制dataqualitycontrol数据质量控制是通过实时手段发现并反馈数据质量风险，消除或减少异常数据，满足数据质量要求。3.9数据质量评估dataqualityevaluation按照数据质量评估指标体系，采用适当的方法对数据质量进行评估，并形成数据质量评估结果的过程。3.10数据质量改进dataqualityimprove数据质量改进指针对数据质量问题采取措施，对现有的数据质量水平加以提高。4缩略语下列缩略语适用于本文件。PDCA：计划执行检查处理（PlanDoCheckAct）5会展数据质量治理基本框架会展数据质量治理体系架构如图1所示：3T/ZXCHXXXX-2021图1会展数据质量治理框架图会展数据质量治理以会展行业数据治理牵头部门作为治理主体，与参展商、展馆单位、主办单位等多方协同治理。会展数据质量治理以业务需求为驱动，通过数据质量规划、控制、评估和改进PDCA循环，提升数据质量，达到数据质量结果满意。会展数据质量治理框架包括：a)基础保障。包括会展数据质量治理所需的数据组织、制度流程、技术工具等基础保障；b)数据质量规划。通过对会展数据质量现状评估，制定合适的数据质量治理策略和计划；c)数据质量控制。通过会展数据源头系统和数据采集、存储、传输、处理、分析等流转过程进行全流程数据质量控制，实现数据质量风险及时发现和反馈，消除或减少异常数据，满足数据质量要求；d)数据质量评估。制定数据质量评估指标，实施数据质量评估，形成数据质量报告；e)数据质量改进。根据数据质量评估结果，制定、实施数据质量改进方案，确保数据质量改进的成果得到有效保持。6会展数据质量基础保障会展数据质量基础保障，包括数据组织、制度流程、技术工具。应明确与会展行业数据治理牵头部门、参展商、展馆单位、主办单位等在会展数据质量治理中的职责，建立会展数据质量治理制度、责任机制和工作细则,具备数据质量治理技术工具与能力。会展数据质量治理职责分工应遵循以下总体原则：a)会展行业数据治理牵头部门作为治理主体，对数据流转过程质量负责；4T/ZXCHXXXX-2021b)参展商、展馆单位、主办单位等作为治理协同方，对源头数据质量负责；会展数据质量治理根据职责分工分为决策者、数据管理者、数据所有者、数据生产者、数据使用者等角色，以保障数据质量治理持续有效开展；a)决策者：决策者是指会展行业数据治理牵头部门领导，负责制定数据质量治理战略，明确数据质量治理方向，牵头建立和完善企业数据质量治理框架；b)数据管理者：负责数据质量治理制度、责任机制和工作细则的制定和维护，执行数据质量评估和考核，跟踪数据质量问题改进；c)数据所有者：对特定数据域内的数据质量负责，配合解决相关数据质量问题；d)数据生产者：数据提供方，如参展商、展馆单位、主办单位,对源头数据质量负责；e)数据使用者：申请、下载、使用数据的组织或个人，作为数据质量业务需求方。会展数据质量治理技术工具应具备治理规则管理、治理任务管理、问题数据管理、知识库管理、质量监控与评价等功能与能力。7会展数据质量规划会展数据质量规划是指通过对会展数据质量现状评估，制定合适的数据质量治理策略和计划。会展数据质量规划宜包括但不限于以下内容：a)明确数据质量治理范围，结合会展行业特点，依据组织业务发展的需求以及场景数据问题的分析，明确组织数据质量治理的范围，梳理各数据的优先级以及质量需求。会展数据质量治理范围至少包括：展会、展馆、参展商、观众、展会预约、展馆预约等主数据；b)定义数据质量治理目标，制定合适的数据质量治理计划，数据质量治理计划应具备以下特点：1)数据质量目标与组织数据战略目标保持一致；2)数据质量目标可实现、可测量；3)考虑到适用性要求，不能为了治理而治理；4)明确为了实现数据质量目标要采取的措施和具体的时间计划表；5)明确所需要的资源并制定负责人。c)制定数据质量业务格式规范，会展数据质量治理的通用格式按照附录A规范的要求实施；d)设计数据质量规则，依据组织的数据质量治理需求及目标，定义各类数据质量评估指标、校验规则与方法。数据质量质量评估指标按照一致性、稳定性、完整性、时效性、规范性、可用性、准确性、唯一性分类定义，详见表1的内容。8会展数据质量控制8.1会展数据质量控制总则5T/ZXCHXXXX-2021通过会展数据源头和流转过程进行数据质量控制，实现数据质量风险及时发现和反馈，消除或减少异常数据，满足数据质量要求。8.2源头数据质量控制从会展源头业务系统控制好数据质量，让数据规范化输入、标准化输出。应考虑从以下几个方面做好源头数据质量的治理：a)维护好数据字典，消除不同部门、不同人员对数据的误解；b)自动化数据输入和校验。源头系统通过预设的规则对输入的数据进行自动化校验，减少人为因素数据质量问题；c)加强数据审核。建立数据质量审核流程机制，对人工操作进行质量审核。8.3流转过程数据质量控制对数据采集、存储、传输、处理、分析等数据全生命周期中各个过程做好数据质量预防和控制。8.3.1数据采集数据采集阶段质量控制策略包括但不限于以下内容：a)通过数据采集规范约束数据采集过程和模型的标准化；b)基于数据质量规则检查数据源提供数据的准确性、及时性和完整性；c)通过监控手段实时监控数据质量，及时通知处理数据异常问题。8.3.2数据存储数据存储阶段质量控制策略包括但不限于以下内容：a)制定数据分层分域质量格式规范；b)制定模型设计规范；c)建立合适的数据存储保留周期规范；d)基于数据质量规则实施数据质量核查，形成问题数据库和质量报告；8.3.3数据传输数据传输阶段质量控制策略包括但不限于以下内容：a)明确数据传输边界和数据传输限制；b)明确数据传输技术和工具对数据质量的影响；c)基于数据质量规则自动检查数据传输的及时性、完整性和安全性。8.3.4数据处理数据处理阶段质量控制策略包括但不限于以下内容：a)制定数据开发规范，提升数据加工处理质量；b)数据质量工具和数据加工作业工作流无缝对接，做到事中监控；6T/ZXCHXXXX-2021c)基于数据质量规则监控数据处理过程数据一致性、完整性、时效性、规范性、可用性、准确性和唯一性；d)建立数据质量预警机制，实时监控数据加工处理过程的数据质量，及时通知处理数据异常问题。8.3.5数据分析数据分析阶段质量控制策略包括但不限于以下内容：a)确保数据分析的算法、公式和分析系统有效且准确；b)确保要分析的数据完整且有效；c)建立数据分析质量预警机制，数据异常问题及时通知处理。9会展数据质量评估9.1评估指标会展行业数据主数据有：展会数据、展馆数据、参展商数据、观众数据、展馆预约数据、展会预约数据，具体类型涵盖个人信息、企业信息、贸易信息等。从作为数据生产端的参展商，到作为数据治理端的行业主管部门，数据流转所涉及的环节及单位角色较为复杂多样。为此，本文件就GB/T36344—2018的指标说明部分进行了扩展、细分和补充，作为会展数据质量评估指标，供实施评估时参考。具体内容如表1所示：表1会展数据质量评估指标表序号一级指标二级指标指标描述1一致性元数据一致多数据源之间的元数据保持命名一致、数据结构一致、约束规则一致2数据记录一致多个数据源之间的数据编码一致、命名及含义一致、数据分类层次一致、数据生命周期一致3相同数据一致同一数据在不同位置存储或被不同应用或用户使用时，数据保持一致；数据发生变化时，存储在不同位置的同一数据被同步修改4关联数据一致具有关联关系的数据，符合按业务要求的一致性约束规则5稳定性数据源稳定数据源数据产生周期、产生时段、产生数据量、产生数据格式、产生数据取值稳定6完整性数据源完整应纳入数据治理范围的数据源接入全面，覆盖率高7元数据完整元数据采集完整，不遗漏8数据记录完整数据记录内覆盖有效日期内所有数据，不丢失9内容数据完整所有数据项、数据元信息完整、不为空7T/ZXCHXXXX-2021表1会展数据质量评估指标表（续）序号一级指标二级指标指标描述时效性数据传输时效数据源从第一现场产生到传输录入的时间、行为类数据获取时间符合业务要求基于时间段的时效基于日期范围的记录数或频率分布符合业务需求基于时间点的时效基于时间戳的记录数、频率分布或延迟时间符合业务需求数据时序同一实体的数据元素之间的相对时序关系正确规范性数据属性规范数据的属性（包括描述、格式、值域等）符合相关规定数据标准规范数据在命名、创建、定义、更新、归档、销毁时遵循标准，包括国际标准、国家标准、行业标准、地方标准或相关规定数据模型规范数据模型定义以及数据的组织形式清晰可理解，数据符合数据模型要求元数据规范元数据文档规范，可解读业务规则规范业务规则归档良好，可解读权威参考数据规范用来参考的数值集合或分类表归档良好，可解读规范性数据安全规范数据符合安全隐私方面的规则，包括数据权限管理规范，数据脱敏处理规范，数据分类分级规范可用性数据可访问数据在有效生命周期内，可访问或获取22数据字段可用数据字段值、存在依赖关系的字段值有效，可调用23数据接口可用数据接口调用能准确、正常的返回请求24准确性数据内容准确数据内容真实、准确、符合预期25数据格式合规数据格式（包括数据类型、数值范围、数据长度、精度等）满足预期要求数据不重复特定字段、记录、文件或数据集不重复度量脏数据少正确字段、记录、文件或数据集之外无效数据出现率低28唯一性数据唯一特定字段、记录、文件或数据集唯一9.2评估步骤9.2.1评估流程8T/ZXCHXXXX-2021会展数据质量评估流程如图2所示。图2会展数据质量评估流程图9.2.2评估准备评估前应确定评估所需的资源、环境条件是否都具备，应确定评估目的、评估对象及范围、评估方式、质量预期，并编制数据质量评估方案。9.2.3选择评估指标根据评估目的、对象、范围等因素，按照9.1章节选择合适的评估指标。9.2.4确定指标规则根据选定的评估指标、评估对象确定数据质量稽核规则。9.2.5实施评估根据数据质量稽核规则，利用合适的稽核工具对数据进行稽核。9.2.6编制质量报告汇总稽核结果，编制数据质量评估分析报告，报告宜包括但不限于：评估对象及范围、评估指标、稽核规则、实施过程、质量问题、是否符合质量预期。10会展数据质量改进10.1数据质量改进总则9T/ZXCHXXXX-2021数据质量改进是根据数据质量评估结果，制定、实施数据质量改进方案，确保数据质量改进的成果得到有效保持。10.2数据质量改进流程会展数据质量改进流程如图3所示：图3会展数据质量改进流程图10.3数据质量问题分析通过数据质量问题分析识别导致会展数据质量问题的根本原因，包括但不限于人员因素、技术因素、流程因素、方法因素、环境因素等。常用的数据质量分析工具有鱼骨图、故障树图、帕累托图等。a)人员因素：由于人员素质、认知等因素导致数据质量问题，如：操作失误、人为作假、能力缺b)技术因素：由于数据设计、数据加工处理、数据传输迁移等各技术环节异常导致数据质量问题；c)业务因素：由于业务需求变更、业务需求不清晰、业务端数据输入不规范等导致数据质量问题；d)方法因素：由于数据规范性调整导致数据质量问题，例如：会展业务系统调整展品类别值域导致数据质量校验异常；e)管理因素：由于管理制度缺陷、管理制度不合理等导致数据质量问题，如不同部门对数据指标口径不统一、缺乏明确的数据质量目标及管理认责机制等；f)环境因素：由于系统软硬件环境问题导致数据质量问题。10.4数据质量改进方案设计与实施根据会展数据质量问题原因，制定数据质量改进方案，包括业务流程优化方案、数据处理流程优化方案、源系统改造方案等。应针对人员因素、技术因素、流程因素、方法因素、环境因素等产生质量问题的原因，分别采取相应的改进措施。实施改进方案后应评估质量改进效果。T/ZXCHXXXX-2021会展数据质量通用格式规范表A.1给出会展数据的通用字段规范要求和格式要求。表A.1会展数据质量通用格式规范Nb)字段值域要求：1：境内、2：境外、3：无有关港澳台及领土、主权表a)字段值域要求：1：中国香港HongKong,China、2：中国澳展、4：其他类、5：网上交易会、6：其他类重点、7：一般鼓b)字段值域要求：1：服务贸易、2：货物贸T/ZXCHXXXX-2021表A.1会展数据质量通用格式规范（续）NN展台主体结构c)指标公式：主体结构材料回收率（%）=收回的主体结构材料展台装修装饰c)指标公式：展台装修装饰材料回收率（%）=回收的展台装修展台电气材料及设备设施回c)指标公式：电气材料及设备设施回收率（%）=回收的电气材料及设备设施量（吨）/展台电气材料及设备设施总量（吨）主体结构展览c)指标公式：主体结构展览专业器材使用率（%）=主体结构展展台展览专业T/ZXCHXXXX-2021表A.1会展数据质量通用格式规范（续）展馆固体废弃展馆固体废弃联系人