DB23T 3820-2024工业互联网综合平台数据质量管理规范

ICS35.240.50CCSL6723IDBXX/TXXXX—XXXX本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由黑龙江省工业和信息化厅提出并归口。本文件起草单位：哈尔滨理工大学、黑龙江省标准化研究院、黑龙江省网络空间研究中心、中数(深圳)时代科技有限公司、哈尔滨工业大学、国家电网有限公司、国网黑龙江省电力有限公司电力科学研究院。本文件主要起草人：马超、刘志伟、吴宏伟、张罗刚、周廷楠、张颜遵、赵天诚、陈晓明、李双翼、叶子、关志博、黄海、曲家兴、方舟、白瑞、于海宁、吴英东、王孝余、乔羽、史心月、尚方、刘生。DBXX/TXXXX—XXXX2工业互联网综合平台数据质量管理规范本文件界定了工业互联网综合平台数据质量管理的术语和定义，规定了数据质量管理要求等内容。本文件适用于工业互联网综合平台数据质量的定义、测量、分析、改进、控制。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T25000.12—2017系统与软件工程系统与软件质量要求和评价（SQuaRE）第12部分：数据质量模型GB/T36344信息技术数据质量评价指标GB/T39400—2020工业数据质量通用技术规范GB/T42381.8数据质量第8部分：信息和数据质量：概念和测量3术语和定义GB/T39400—2020界定的以及下列术语和定义适用于本文件。3.1工业互联网综合平台以工业互联网平台为基础，支持汇聚数据、服务、用户等各类资源，具备数据集成分析、应用支撑能力和基础应用能力，支持省域内特色型、专业型、企业级等平台的集成和接入，支撑制造资源泛在连接、弹性供给、高效配置和协同创新的载体。3.2数据质量在指定条件下使用时，数据的特性满足明确的和隐含的要求的程度。[来源：GB/T25000.12—2017,4.3]3.3数据质量管理指导和控制某机构数据质量的协调活动。[来源：GB/T39400—2020,3.2]3.4数据质量管理工具34.1数据质量管理模型包括“定义-测量-分析-改进-控制”循环(DMAIC)的5个阶段，其中：a)定义(Define):明确项目范围和目标，识别并定义需要改进的问题或机会；b)测量(Measure):收集当前过程的数据和度量，以了解过c)分析(Analyze):理解数据，识别问题的根本原因，以及确定影响过程输出的关键因素；d)改进(Improve):开发和实施解决方案，消除存在的问题；e)控制(Control):确保改进的成果得以维持，并防止过程回归到原来的状态。4.2工业互联网综合平台数据质量管理模型见图1。5.1.1应依据工业互联网综合平台的管理需求，对平台运营过程中的数据需求进行详尽的分析，并参DBXX/TXXXX—XXXX45.1.2应依据工业互联网综合平台的数据质量管理目标，结合数据类型和数据质量特性，全面评估数据的来源、使用情境及用户需求，以界定数据质量管理的关键维度。5.2数据质量特性5.2.1一致性描述数据应遵循统一的规范，数据集合保持统一格式。5.2.2规范性描述数据应遵循预定的语法规则，数据类型、格式、取值范围、存储格式等应符合定义。5.2.3完整性描述数据不应存在缺失记录或缺失字段。5.2.4时效性描述数据的产生和供应应及时。5.2.5准确性描述数据应与其对应的客观实体的特征相一致。5.2.6可访问性描述数据应能够被用户使用。5.3数据分类工业互联网综合平台数据包括但不限于电力、制造、物流运输、煤炭、燃气、建筑、水务、现代服务、化工、冶金等行业领域产品和服务全生命周期产生和应用的数据，结合行业要求、业务规模、数据复杂程度等实际情况，可将数据分为以下类型：a)研发数据：包括研发设计数据、开发测试数据等；b)生产数据：包括控制信息、工况状态、工艺参数、系统日志、生产质量数据、生产实绩数据c)供应链数据：包括供需计划数据、仓储物流数据等；d)营销数据：包括投标次数、订单数量、交易金额、客户异议数据等；e)运维数据：包括产品运行状况数据、产品售后服务数据等；f)管理数据：包括客户基本信息、业务合作数据、人事财务数据、系统设备资产信息、产品基本信息、项目进度数据、业务统计数据（如资源量数据、能耗监测数据）等；g)金融服务数据：包括信贷服务数据、融资租赁服务数据、征信服务数据等；h)平台运营数据：接入的设备数据、工业模型库数据、工业App数据、平台运行数据等；i)外部数据：与其他主体共享的数据。6数据质量测量6.1数据质量测量准则按GB/T42381.8的要求，数据质量测量的应满足以下准则：DBXX/TXXXX—XXXX5a)语法：数据质量应符合其特定语法的程度；b)语义：可识别的数据定量元素与所表示的实体之间唯一且无二义性的对应关系；c)语用：数据使用性要求的符合度。6.2数据质量测量方法对可用于数据集的所有数据质量定量元素加以测量，判断这些元素是否符合数据质量定义和测量准7数据质量分析7.1数据质量分析准则7.1.1对数据质量测量过程中发现的数据质量问题应进行深入分析，并探究影响数据质量的根本原因。7.1.2对测量出的数据质量问题依据严重性和影响范围应进行优先级排序，确保关键问题得到及时解7.1.3应对数据质量趋势进行定期监测和分析，以便预测潜在的数据风险，并制定预防措施。7.1.4应对数据质量改进措施的效果进行分析，确保所采取的行动能够实质性地提升数据质量，并根据分析结果调整改进策略。7.2数据质量核查应根据数据质量分析准则对平台企业的数据质量情况进行核查，若发现数据质量问题及时向数据管理人员进行反馈并生成问题报告。8数据质量改进8.1改进措施8.1.1应根据数据质量分析结果，提供针对问题数据的质量提升建议，制定相关数据的修正、格式的标准化以及数据源的优化等改进措施。8.1.2应提供数据标准化、数据清洗、数据转换和数据整合等工具，对不符合质量标准的数据进行有效处理，纠正存在的数据质量问题。8.1.3应建立一个系统化的数据质量整改流程，包括整改任务的分配、执行、审核和反馈，确保整改措施得到有效实施。8.1.4对整改过程应进行监控和记录，包括整改效果的评估和记录，以便持续追踪数据质量改进的成效，为未来的质量控制提供参考。8.2数据质量合规跟踪8.2.1应对数据质量进行持续跟踪，详细记录数据质量事件的评估过程、初步诊断结果以及采取的后续行动，确保能够验证数据质量改进措施的有效性。8.2.2对系统中发现的问题应及时修正，并对数据标准进行完善，以提高数据质量的整体水平。8.2.3应建立数据质量合规跟踪的反馈机制，收集数据使用过程中的反馈信息，为数据质量的持续改进提供依据。9数据质量控制69.1数据质量监控9.1.1应对数据流向进行控制，确保能够清晰识别数据的来源和目的地。9.1.2对数据处理的每个环节应进行严格控制，确保数据处理活动的透明性和可追溯性。9.1.3对规则校验结果应进行实时监控和深入分析，确保校验结果能够准确关联到具体的原始数据项。9.1.4应建立多维度的数据质量评估体系，从不同角度控制数据质量，以全面识别潜在问题9.1.5应建立动态调整机制，根据监控结果和业务发展需求，灵活调整控制规则，以适应不断变化的数据环境。9.2质量警报9.2.1应提供定制化的数据质量警报设置，允许用户根据特定需求和偏好定义告警条件、通知方式和紧急程度。9.2.2应确保数据质量管理工具的可用性和实时性，以便在数据问题发生时，能够不间断地向相关人员发送准确及时的警报信息。9.2.3对识别出的问题数据应及时触发结果告警机制，确保相关人员能够迅速获得通知并采取相应措施。9.3数据整改按本文将8.1条的要求，对问题数据进行整改。9.4监控报告9.4.1应对数据质量监控结果详细记录，并形成数据质量监控报告。9.4.2应支持在线查看每项业务规则问题数据的详细情况，以及打包下载对应的问题数据，便于进一步分析和处理。9.4.3应提供数据质量检测报告的查看和下载功能，以及数据质量监控报告的访问，确保用户能够方便地获取所需信息。9.4.4应支持定制化报告功能，允许用户根据特定需求选择报告内容、格式和详细程度，以满足不同场景下的报告需求。数据质量监控报告应包括但不限于以下内容：a)历史检测记录的数据波动情况，展示数据质量随时间的演变趋势，为趋势分析提供数据支持；b)本次质量检测的执行时间、检测结果等基础信息以及数据质量的动态变化情况，帮助识别改进或退化的领域；c)每项业务规则的检测数据量、问题数据量、合格率等详细信息，提供量化的数据质量管理指标。DBXX/TXXXX—XXXX7参考文献[1]GB/T36073