《数字技术 数据元件 质量评价与管理》

T/CIITA411-2023

ICS35.020

CCSL70

团体标准

T/CIITA411-2023

数字技术数据元件质量评价与管理

Digitaltechnology—Datacomponents—Qualityevaluationand

management

2023-XX-XX发布2023-XX-XX实施

中国信息产业商会发布

T/CIITA411-2023

数字技术数据元件质量评价与管理

1范围

本文件明确了数据元件质量管理的框架、质量评价指标、质量评价模型、质量评价流

程和质量管理机制，规范了数据元件质量评价的指标、方法和流程。

本文件适用于数据元件开发设计、使用中的质量评估，为数据运营商评估数据元件质

量和管理提供相关指导。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日

期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本

（包括所有的修改单）适用于本文件。

GB/T25069-2010信息安全技术术语

GB/T37973-2019信息安全技术大数据安全管理指南

GB/T37988-2019信息安全技术数据安全能力成熟度模型

GB/T36344-2018信息技术数据质量评价指标

T/CIITA406-2022数据元件的结构要求

3术语和定义

T/CIITA406-2022界定的以及下列术语和定义适用于本文件。

3.1

数据质量dataquality

在指定条件下使用时，数据的特性满足明确的和隐含的要求的程度。

[来源：GB/T36344-2018，2.3]

3.2

数据标准datastandard

数据的命名、定义、结构和取值规范方面的规则和基准。

[来源：GB/T36344-2018，2.8]

3.3

数据元件datacomponent

具有一定主题，通过对数据资源脱敏处理后，根据需要由若干相关字段形成的数据集

或由数据资源的关联字段通过建模形成的数据特征。

3.4

1

T/CIITA411-2023

数据运营商dataoperator

在获得授权运营的前提下，整合政务数据、社会数据等资源，推动数据价值开发和运

营管理的机构。

4质量评价与管理框架

数据元件质量评价与管理建立在数据资源质量和数据元件结果质量两方面。图1给出了

数据元件生产和管理过程中的质量评价与管理的总体框架图。

图1数据元件质量评价与管理框架

数据元件的质量指标体系主要由数据资源质量评价指标和数据元件结果评价指标构成。

数据资源质量评价指标包括以下方面：

——数据资源完整性，

——数据资源规范性，

——数据资源准确性，

——数据资源唯一性，

——数据资源一致性，

——数据资源时效性。

数据元件结果质量评价指标包括以下方面：

——数据元件结果规范性，

——数据元件结果完整性，

——数据元件结果准确性，

——数据元件结果时效性，

——数据元件结果可用性。

5质量评价指标

5.1质量评价指标概述

数据元件使用的数据资源和数据元件结果是影响数据元件质量的两大影响因素，对数

据元件质量的管理工作从这两方面开展。对使用的数据资源从完整性、规范性、准确性、

时效性、一致性、唯一性六个维度进行质量检测，对数据元件的结果从完整性、规范性、

准确性、时效性、可用性五个维度进行质量检测。

5.2数据资源质量评价指标

Ⅱ

T/CIITA411-2023

5.2.1数据资源完整性

完整性主要用于描述数据属性信息是否存在缺失数据记录。数据资源完整性可以通过

统计数据资源中缺失的记录数与数据记录总数的比例进行评价。

5.2.2数据资源规范性

规范性指标主要用于评估数据内容与数据标准的符合度情况。一般来说包含格式合规

性和值域有效性。

5.2.3数据资源准确性

准确性是指数据记录的信息是否存在异常或错误。准确性指标主要用于描述数据是否

与其对应的客观实体的特征相一致。任何字段的数据都应该符合特定的数据格式与值。准

确性用于度量哪些数据和信息是不正确的，或者数据是没有可用含义的，如果准确性指标

无法满足，那么数据资源质量提供的数据就缺乏实际的业务使用价值。比如人的年龄不应

该是负数，概率数字应该在0和1之间取值。不可靠的数据可能会导致错误的结果，由不准

确的数据资源开发的数据元件必然也会有严重的问题。

5.2.4数据资源唯一性

唯一性主要用于度量与评估数据资源内容或相关属性的重复情况，用于识别和度量重

复数据、冗余数据。现实世界中的同一个主体，在不同的数据源中常常有多个表达，在语

法上相同或相似的不同记录可能会代表现实世界中的同一主体，因而会对同一主体造成重

复性记录。

唯一性包括但不限于以下内容：

a)主键唯一性：数据的主键属性值确保唯一，不允许重复；

b)数据唯一性：数据的全部或部分属性值确保唯一，不允许重复。

5.2.5数据资源一致性

一致性是指数据是否遵循了统一的规范，数据集合是否保持了统一的格式。数据资源

一致性用于评价数据记录的规范和数据内容是否符合逻辑。数据资源的一致性反映的是数

据与其它特定上下文中使用的数据无矛盾的程度。一致性分为相同数据的一致性和关联数

据的一致性。

5.2.6数据资源时效性

时效性是指数据从产生到当前利用的时间间隔。时效性主要用于描述数据的更新周期、

更新时间等时间特性对数据应用的满足程度。不同类型的数据应用对数据的时间特性有不

同的要求。

评价数据资源时效性的意义在于如果数据分析周期加上数据建立的时间过长，就可能

导致分析得出的结论失去了借鉴意义。时效性包括但不限于以下内容：

a)接入时效性：数据接入与数据产生的时间差在合理的时间范围内；

b)更新时效性：数据内容更新与数据内容变动的时间差在合理的时间范围内。

5.3数据元件结果质量评价指标

5.3.1数据元件结果规范性

3

T/CIITA411-2023

规范性指标主要用于评估数据元件描述内容与数据元件结果的符合度情况。一般来说

包含格式合规性和值域有效性。

5.3.2数据元件结果完整性

完整性指标主要是用于评估数据元件属性信息是否存在缺失数据记录。数据元件结果

的完整性可以通过统计数据元件结果中缺失的记录数与记录总数的比例进行评价。

5.3.3数据元件结果准确性

准确性是指数据元件记录的信息是否存在异常或错误。准确性指标主要用于描述数据

是否与其对应的客观实体的特征相一致。任何字段的数据都应该符合特定的数据格式与值。

5.3.4数据元件结果时效性

时效性是指数据元件结果从产生到当前利用的时间间隔。时效性主要用于描述数据的

更新周期、更新时间等时间特性对数据应用的满足程度。不同类型的数据应用对数据的时

间特性有不同的要求。

5.3.5数据元件结果可用性

可用性指标主要用于评估数据元件的调用成功率和调用性能。调用成功率表示数据元

件调用成功次数占调用总数的百分比，调用性能表示数据元件能够正常运行的概率或时间

占有率期望，是否能在规定时间范围内返回结果。

6质量评价模型

6.1质量基准分

质量基准分与制定数据元件质量评价模型时，所选取的质量评价规则项数量有关。本

文件所提出的质量评价模型对数据元件质量结果采用百分制计分，如被评价数据元件所适

用的规则项总数为N，则每个规则项基准分S=100/N。

6.2质量系数

对于不同的质量评价规则项计算不同的质量系数。以完整性指标中的非空检查项为例，

对于数据元件某个属性，其非空值率=非空值记录数/总记录数。

6.3质量评分公式

将所有规则项的质量基准分与质量系数相乘，再计算总和，即得到数据元件的质量评

分结果。数据元件质量评分公式如下：

n

F(t)S

式中：Q=t=1

——数据元件质量总分；

——数据元件第个规则项计算得到的质量系数；

Q

F(—t)—数据元件质量基t准分。

S数据元件质量评价公式的计算示例，见附录B。

7质量评价流程

Ⅱ

T/CIITA411-2023

7.1评价流程

数据元件质量评价流程如图2。

图2数据元件质量评价流程

数据元件质量评价是一个动态过程，如果数据发生变化，则重新启动质量评价过程，

并及时更新质量评价结果。

7.2质量评价规则定义

数据元件质量规则是对数据元件进行质量核验的规则。基于数据元件的类型，定义合

理的评价规则，根据规则对数据元件进行质量评价，得到数据的质量基础信息。

数据元件质量规则定义包括以下内容：

a)规则管理：内置常用的数据元件质量评估规则，支持自定义质量规则；

b)规则库建设：基于行业特性，进行规则库的建设，包括技术类规则及业务类规则。

7.3质量评价任务执行

根据数据元件的类型，配置不同的质量规则，制定对应的数据元件质量评价任务，并

执行数据元件质量评价操作。以定时任务触发的方式对数据元件质量评价任务进行管理和

调度。应包括以下过程：

a)任务创建：依据数据元件质量评价要求，匹配相应的评价规则，制定任务执行的

其他条件，如系统资源、执行周期等，创建质量检核与评价任务。

b)任务执行：将任务下发给执行模块，开始执行评价任务，支持评价任务的暂停、

停止、重启等操作，支持定时周期执行。

7.4质量结果分析报告

基于质量评价任务所产生的问题数据及统计数据，并结合质量规则权重、评估指标权

重，对数据元件的质量进行评价。数据元件质量报告包括以下三个方面：

a)质量评分：依据数据元件质量指标体系、评估指标权重等多方面进行质量评分；

b)质量分析展示：支持数据元件质量的分析展示，包含但不限于质量排行、问题统

计、数据元件质量趋势等分析；

c)质量报告输出：从全局视角进行质量问题概要分析，提供具体规则的质量问题说

明，以便对数据元件质量问题进行整改。

7.5质量问题反馈跟踪

针对数据元件质量核验过程中记录的问题数据，及时向数据资源提供方反馈问题，跟

踪问题数据的处置情况，保证问题的闭环处理，避免对后续业务造成影响。

8质量管理机制

8.1管理人员

数据元件质量由数据运营商进行统筹管理，安排专职技术人员承担具体质量管理工作。

5

T/CIITA411-2023

质量管理人员符合以下要求：

a)应具备基本的数据治理、数据质量和模型测试相关的专业知识；

b)应熟悉数据元件质量管理相应的操作流程；

c)应对数据元件质量进行客观公正的评估。

8.2管理职责

数据元件质量管理人员承担质量管理的各项工作职责，具体主要包括以下方面:

a)确定数据元件质量管理的目标和需求；

b)定义数据元件质量评价的指标和权重；

c)制定数据元件质量评价的业务规则；

d)执行数据元件质量评价任务；

e)分析数据元件质量评价结果；

f)输出数据元件质量评价报告；

g)反馈数据元件质量问题；

h)制定数据元件质量改善方案

i)监督数据元件质量问题改进情况。

8.3管理工作要求

8.3.1数据资源质量管理要求

数据元件的质量评价依赖于数据元件开发阶段所使用的数据资源的质量。数据运营商

对数据资源进行质量管理。基于评价指标得分和指标权重得出数据资源的质量评估结果，

形成数据资源质量报告。

如数据资源不符合数据元件开发的要求，则将评估的结果反馈给数据资源提供方，由

数据资源提供方对数据质量加以改进。

8.3.2数据元件结果质量管理要求

数据运营商对数据元件结果质量进行评价。建立模型评价机制，通过设定详细的评价

指标，对数据元件结果进行评价打分。

如数据元件结果质量不合格，则将评价结果反馈给数据元件开发商，由数据元件开发

商改进完善后，重新提交数据运营商进行评价。

Ⅱ

T/CIITA411-2023

附录A

（资料性）

数据元件质量评价指标与规则项

附表A.1给出了数据元件质量的评价指标和对应的规则项。

表A.1数据元件质量评价指标与规则项

序一级二级指

规则项规则定义标准依据

号指标标

GB/T3304-1991《中国各民族

规范值域有民族值域有效民族字段的数据内容是否

1名称的罗马字母拼写法和代

性效性性符合数据标准值域

码》

行政区划(省/

规范值域有行政区划字段的数据内容GB/T2260-2007《中华人民共

2直辖市)值域有

性效性是否符合数据标准值域和国行政区划代码》

效性

行政区划(地级

规范值域有行政区划字段的数据内容GB/T2260-2007《中华人民共

3市/区县)值域

性效性是否符合数据标准值域和国行政区划代码》

有效性

规范值域有国家值域有效国家字段的数据内容是否GB/T2659-2000《世界各国和

4

性效性性符合数据标准值域地区名称代码》

规范值域有党派值域有效党派字段的数据内容是否GB/T4763-2008《党、派代

5

性效性性符合数据标准值域码》

规范值域有学历值域有效学历字段的数据内容是否

6GB/T4658-2006《学历代码》

性效性性符合数据标准值域

规范值域有政治面貌值域政治面貌字段的数据内容GB/T4762-1984《政治面貌代

7

性效性有效性是否符合数据标准值域码》

规范值域有行业门类值域行业类别字段的数据内容GB/T4754-2017《国民经济行

8

性效性有效性是否符合数据标准值域业分类》

文献保密等级字段的数据

规范值域有文献保密等级GB/T7156-2003《文献保密等

9内容是否符合数据标准值

性效性值域有效性级代码与标识》

域

GB/T2261.1-2003《个人基本

规范值域有性别值域有效性别字段的数据内容是否

10信息分类与代码第1部分:人

性效性性符合数据标准值域

的性别代码》

GB/T2261.2-2003《个人基本

规范值域有婚姻状况值域婚姻状态字段的数据内容

11信息分类与代码第2部分:婚

性效性有效性是否符合数据标准值域

姻状况代码》

GB/T2261.3-2003《个人基本

规范值域有健康状况值域健康状况字段的数据内容

12信息分类与代码第3部分:健

性效性有效性是否符合数据标准值域

康状况代码》

从业状况(个人从业状况或个人身份字段GB/T2261.4-2003《个人基本

规范值域有

13身份)值域有效的数据内容是否符合数据信息分类与代码第4部分:从

性效性

性标准值域业状况(个人身份)代码》

GB/T2261.5-2003《个人基本

规范值域有港澳台侨属值港澳台侨属字段的数据内

14信息分类与代码第5部分:港

性效性域有效性容是否符合数据标准值域

澳台侨属代码》

人大代表、政人大代表、政协委员字段GB/T2261.6-2003《个人基本

规范值域有

15协委员值域有的数据内容是否符合数据信息分类与代码第6部分:人

性效性

效性标准值域大代表、政协委员代码》

7

T/CIITA411-2023

GB/T2261.7-2003《个人基本

规范值域有院士值域有效院士字段的数据内容是否

16信息分类与代码第7部分:院

性效性性符合数据标准值域

士代码》

规范值域有学位值域有效学位字段的数据内容是否GB/T6864-2003《中华人民共

17

性效性性符合数据标准值域和国学位代码》

高等学校本

高等学校本科、专科所学

规范值域有科、专科所学GB/T16835-1997《高等学校本

18专业字段的数据内容是否

性效性专业值域有效科、专科专业名称代码》

符合数据标准值域

性

专业技术职务字段的数据

规范值域有专业技术职务GB/T8561-2001《专业技术职

19内容是否符合数据标准值

性效性值域有效性务代码》

域

专业技术职务专业技术职务字段的数据

规范值域有GB/T8561-2001《专业技术职

20等级值域有效内容是否符合数据标准值

性效性务代码》

性域

规范值域有家庭关系值域家庭关系字段的数据内容GB/T4761-2008《家庭关系代

21

性效性有效性是否符合数据标准值域码》

规范值域有职业类别值域职业类别字段的数据内容GB/T6565-2015《职业分类与

22

性效性有效性是否符合数据标准值域代码》

规范值域有职务级别值域职务级别字段的数据内容GB/T12407-2008《职务级别代

23

性效性有效性是否符合数据标准值域码》

规范值域有经济类型值域经济类型字段的数据内容GB/T12402-2000《经济类型分

24

性效性有效性是否符合数据标准值域类与代码》

规范值域有组织机构类型组织机构字段的数据内容GB/T20091-2021《组织机构类

25

性效性值域有效性是否符合数据标准值域型》

医疗保险类型字段的数据

规范值域有医疗保险类型GB/T31596.4-2015《社会保险

26内容是否符合数据标准值

性效性值域有效性术语第4部分：医疗保险》

域

规范值域有货币种类值域货币种类字段的数据内容GB/T12406-2008《表示货币和

27

性效性有效性是否符合数据标准值域资金的代码》

GB/T7408-2005《数据元和交

规范值域有2位月份值域有月份字段的数据内容是否换格式信息交换日期和时间

28

性效性效性符合数据标准值域表示法》

ISO8601

轿车轮胎规格字段的数据

规范值域有轿车轮胎规格GB/T2978-2014《轿车轮胎规

29内容是否符合数据标准值

性效性值域有效性格、尺寸、气压与负荷》

域

企业信用等级字段的数据

规范值域有企业信用等级GB/T22116-2008《企业信用

30内容是否符合数据标准值

性效性值域有效性等级表示方法》

域

知识产权种类字段的数据

规范值域有知识产权种类《中华人民共和国知识产权

31内容是否符合数据标准值

性效性值域有效性法》

域

劳务合同类型字段的数据

规范值域有劳务合同类型《中华人民共和国劳动合同

32内容是否符合数据标准值

性效性值域有效性法》

域

规范值域有工作类型值域工作类型字段的数据内容《中华人民共和国职业分类大

33

性效性有效性是否符合数据标准值域典》

规范值域有企业种类值域企业种类字段的数据内容《中华人民共和国合伙企业

34

性效性有效性是否符合数据标准值域法》

不动产权类型字段的数据

规范值域有不动产权类型

35内容是否符合数据标准值《不动产登记暂行条例》

性效性值域有效性

域

Ⅱ

T/CIITA411-2023

教师资格证种类字段的数

规范值域有教师资格证种

36据内容是否符合数据标准《教师资格条例》

性效性类值域有效性

值域

规范值域有专利类型值域专利类型字段的数据内容《中华人民共和国专利法》

37

性效性有效性是否符合数据标准值域(2020修正)

规范值域有著作权类别值著作权字段的数据内容是

38《中华人民共和国著作权法》

性效性域有效性否符合数据标准值域

软件著作权分类字段的数

规范值域有软件著作权分

39据内容是否符合数据标准《计算机软件分类代码表》

性效性类值域有效性

值域

行政许可类别字段的数据

规范值域有行政许可类别

40内容是否符合数据标准值《行政许可法》

性效性值域有效性

域

行政处罚类型字段的数据

规范值域有行政处罚类型《中华人民共和国行政处罚

41内容是否符合数据标准值

性效性值域有效性法》

域

规范值域有商标类别值域商标类别字段的数据内容《商标注册用商品和服务国际

42

性效性有效性是否符合数据标准值域分类表》(尼斯分类)

规范值域有6位邮政编码值邮政编码字段的数据内容

43《中国地址邮政编码簿》

性效性域有效性是否符合数据标准值域

GA214.12-2004《常住人口管

规范值域有宗教信仰值域宗教信仰字段的数据内容

44理信息规范第12部分：宗教

性效性有效性是否符合数据标准值域

信仰代码》

GA324.1-2001《人口信息管

规范值域有户口类别值域户口类别字段的数据内容理代码第1部分：户口类别代

45

性效性有效性是否符合数据标准值域码

》

GA324.5-2001《人口信息管理

规范值域有兵役状况值域兵役状况字段的数据内容

46代码第5部分：兵役状况代码

性效性有效性是否符合数据标准值域

》

GA/T2000.27-2014《公安信息

规范值域有户口性质值域户口性质字段的数据内容

47代码第27部分：户口性质分

性效性有效性是否符合数据标准值域

类与代码》

GA/T2000.28-2014《公安信

规范值域有房屋类型值域房屋类型字段的数据内容

48息代码第28部分：房屋类别

性效性有效性是否符合数据标准值域

代码》

房屋产权性质房屋产权性质种类字段的GA/T2000.29-2014《公安信

规范值域有

49种类值域有效数据内容是否符合数据标息代码第29部分：房屋产权

性效性

性准值域性质种类代码》

GA/T2000.30-2014《公安信

规范值域有房屋用途值域房屋用途字段的数据内容

50息代码第30部分：房屋用途

性效性有效性是否符合数据标准值域

代码》

出生登记类别字段的数据GA/T2000.34-2014《公安信

规范值域有出生登记类别

51内容是否符合数据标准值息代码第34部分：出生登记

性效性值域有效性

域类别代码》

规范值域有血型值域有效血型字段的数据内容是否GA/T2000.37-2014《公安信息

52

性效性性符合数据标准值域代码第37部分：血型代码》

GA/T2000.156-2016《公安信

规范值域有证件种类值域证件种类字段的数据内容

53息代码第156部分：常用证件

性效性有效性是否符合数据标准值域

代码》

9

T/CIITA411-2023

GA/T2000.190-2018《公安信

规范值域有休假种类值域休假种类字段的数据内容

54息代码第190部分：休假种类

性效性有效性是否符合数据标准值域

代码》

机动车获得方式字段的数GA/T16.1-2012《道路交通管

规范值域有机动车获得方

55据内容是否符合数据标准理信息代码第1部分：机动车

性效性式值域有效性

值域获得方式代码》

机动车使用性质字段的数GA/T16.3-2012《道路交通管

规范值域有机动车使用性

56据内容是否符合数据标准理信息代码第3部分：机动车

性效性质值域有效性

值域使用性质代码》

机动车车辆类型字段的数GA/T16.4-2012《道路交通管

规范值域有机动车车辆类

57据内容是否符合数据标准理信息代码第4部分：机动车

性效性型值域有效性

值域车辆类型代码》

机动车号牌种类字段的数GA/T16.7-2012《道路交通管

规范值域有机动车号牌种

58据内容是否符合数据标准理信息代码第7部分：机动车

性效性类值域有效性

值域号牌种类代码》

机动车车身颜色字段的数GA/T16.8-2012《道路交通管

规范值域有机动车车身颜

59据内容是否符合数据标准理信息代码第8部分：机动车

性效性色值域有效性

值域车身颜色代码》

机动车能源种类字段的数GA/T16.9-2012《道路交通管

规范值域有机动车能源种

60据内容是否符合数据标准理信息代码第9部分：机动车

性效性类值域有效性

值域能源种类代码》

机动车国产/进机动车国产/进口分类字段GA/T24.12-2005《机动车登记

规范值域有

61口分类值域有的数据内容是否符合数据信息代码第12部分：国产/进

性效性

效性标准值域口车辆代码》

GA/T16.17-2012《道路交通管

规范值域有机动车状态值机动车状态字段的数据内

62理信息代码第17部分：机动

性效性域有效性容是否符合数据标准值域

车状态代码》

GA/T16.31-2017《道路交通管

规范值域有交通行为值域交通行为字段的数据内容

63理信息代码第31部分：交通

性效性有效性是否符合数据标准值域

违法行为分类与代码》

交通违法处罚交通违法处罚种类字段的GA/T16.34-2012《道路交通管

规范值域有

64种类值域有效数据内容是否符合数据标理信息代码第34部分：交通

性效性

性准值域违法处罚种类代码》

化学品危险性化学品危险性分类字段的

规范值域有GA/T972-2011《化学品危险性

65分类值域有效数据内容是否符合数据标

性效性分类与代码》

性准值域

中国签证种类字段的数据GA/T704.8-2007《出入境管理

规范值域有中国签证种类

66内容是否符合数据标准值信息代码第8部分：中国签证

性效性值域有效性

域种类代码》

贷款利率种类字段的数据

规范值域有贷款利率种类JR/T0135-2016《贷款统计分

67内容是否符合数据标准值

性效性值域有效性类及编码》

域

规范值域有贷款类别值域贷款类别字段的数据内容JR/T0135-2016《贷款统计分

68

性效性有效性是否符合数据标准值域类及编码》

Ⅱ

T/CIITA411-2023

贷款合同期限字段的数据

规范值域有贷款合同期限JR/T0135-2016《贷款统计分

69内容是否符合数据标准值

性效性值域有效性类及编码》

域

贷款逾期期限字段的数据

规范值域有贷款逾期期限JR/T0135-2016《贷款统计分

70内容是否符合数据标准值

性效性值域有效性类及编码》

域

个人贷款用途字段的数据

规范值域有个人贷款用途