2023年企业数据质量管理制度搭建

企业数据质量管理制度搭建无论是任何行业或者何种背景下的企业，在步入信息化数字化阶段后，都会面临数据质量问题。没有一个组织拥有完善的业务流程、完善的技术流程或完善的数据管理实践，全部组织都会遇到与数据质量相关的问题。

相比那些不开展数据质量管理的组织，实施正式数据质量管理的组织遇到的问题会更少。如何确保自己企业的数据质量比较高，或者是逐步提高，一个很重要的保障措施就是颁布管理制度。数据质量管理制度需要包含数据质量管理方法，数据质量管理规范，数据质量绩效考核方面的内容。

值得大家留意的是，管理制度搭建的过程中，往往很难区分规范、方法两者之间的关系。

规范是指对于某一工程作业或者行为进行定性的信息规定。主要是由于无法精准定量而形成的标准，所以相对笼统。

方法是根据规范制度的要求提出详细可落地、可执行的实施措施，所以肯定是很详细可量化的细则。

我们在规范中可以强调数据的准时性，但是在详细的管理方法中需要明确、量化准时性这一指标概念。如：猎取数据后X个工作日内录入数据，发生变更时X个工作日内完成数据更新等。

细分来讲，数据质量管理制度应当由以下几个关键部分组成。

一、规范定义

首先定义清晰什么样的数据称之为高质量的数据，高质量数据并不是越高越好，由于学过质量成本掌握的都清晰，数据质量并不存在肯定的，而只要满意企业业务管理需要，即可认为数据质量达标的数据。

还要明确什么样的数据属于数据质量管理的范畴。比如核心，重要的数据，所以识别关键数据重要数据，并且还要确认该类数据的生成规章和维护流程。

那达到什么程度才算高质量呢？例如：确保数据的准时性，毕竟怎么才算准时性，是猎取数据的时效？还是分发到下游的时效？还是接受数据的时效？

二、稽查监控措施

针对我们已经识别的数据及其对应生成规章，我们需要确定稽查监控的措施（提升数据质量的关键是预防，而不是事后修正）对于产生问题的错误数据，我们如何去修复改正相应流程数据稽查的频率和问题反馈频率，以及反馈渠道或稽查工具平台需要明确清晰三、组织与职能

重点描述组织岗位对应的职能，定义需要执行遵守的数据质量管理原则各组织对数据质量流程中的职责权利需要明确清晰，例如谁生产，谁使用，谁负责，谁改进等权责四、绩效考核

评价标准需要量化。一般状况下，以单条数据为单位，通过数据质量巡检规章，从完整性、准时性、精确     性、全都性、唯一性、有效性等六个维度进行检查，依据计算规章得出各区域的数据质量综合得分。常见的数据质量考核计算方法如下：

1）员工数据质量综合得分

以该员工录入维护的相关数据质量项为范围，以数据质量检查项的单条数据质量规章为检查单元，先计算正确记录数占比作为该条数据质量规章对应的得分，再加权计算该数据项的全部数据质量规章得分作为该数据项的得分，最终取全部数据项得分的平均值作为员工的数据质量综合得分，计算过程及计算公式如下：

数据质量规章得分=(1-数据质量规章检查的问题数/数据质量规章检查的总数)*100

数据质量规章的得分表（示例）

数据项的得分表（示例）

员工的得分表（示例）

2）团队数据质量综合得分

以该团队的全体成员为范围，统计每个团队的数据质量综合得分，取全部项目得分的平均值作为该团队的综合得分。

区域的得分表（示例）

统计各团队的综合得分，并依据各团队的综合得分从高到低进行排名，由数据管理团队负责人进行有效奖惩排名。假如对数据质量评价结果有看法，可向数据管理团队提出。

团队数据质量综合评价表（示例）

五、附则—数据质量衡量维度

在DAMA体系中，数据质量维度是指数据的某个可测量的特性。国际上较为成熟的框架包括：Strong-Wang框架、Redman的“可表示的三元组”还有LarryEnglist的固有特征和有用特征。各个企业公司可以依据自身的业务场景、管控要求选择不同的质量维度框架，本篇文章只针对DAMAUK提出的六个核心维度进行阐述解释：

1）完整性

指数据在创建、传递过程中无缺失和遗漏。包括实体完整、属性完整、记录完整和字段值完整四个方面，完整性是数据质量最基础的评判维度。

2）准时性

指准时记录和传递相关数据，满意业务对信息猎取的时间要求。数据交付的准时性，准时抽取、准时呈现，假如数据交付时间过长，可能导致分析结论失去参考意义。

3）精确     性

指真实、精确     记录原始数据，无虚假数据及信息，数据精确     反映其所建模的“真实世界”实体。例如：员工的身份信息必需与身份证件上的信息保持全都。

4）全都性

指遵守统一的数据标准，记录和传递数据和信息，主要体现在数据记录的规范和数据是否符合规律。例如：同一工号数据在不同系统的员工姓名不全都。

5）唯一性

指同一数据只能有唯一的标识符。体现在一个数据集中，没有实体多余一次消失，并且每个唯一实体有一个键值且该键值只指向该实体。例如：员工有且仅有一个有效工号。

6）有效性

指数据的值、格式和呈现形式符合数据定义和业务定义的要求。描述数据格式、数据类型、值域和相关业务规章的有效性。例如：员工的国籍类型