DB37T 4646.2-2023 公共数据 数据治理规范 第2部分：数据清洗比对

ICS35.240CCSL67ICS35.240CCSL67山 东 省 地 方 标 准DB37/T4646.2—2023公共数据 数据治规第2部分：数据洗比Publicdata—Datagovernancespecification—Part2:Datacleaningandcomparison2023-12-28发布 2024-01-28实施山东省场监理局 发布DB37/T4646.2DB37/T4646.2—2023II目 次前言 II引言 III112范引文件 13语定义 1415据查 16据量查 1检规制定 1质检实施 27题据正 2数修要求 2数修方法 28据换 69据全 6附录A（范）数清洗对程 7附录B（料）数探查单例 8附录C（料）数质量查则例 9附录D（料）数质量查告例 10附录E（料）数转换则例 11参考献 12DB37/T4646.2DB37/T4646.2—2023IIII前 言本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。DB37/TDB37/T4646——第1部分：数据归集；——第2部分：数据清洗比对；——第3部分：数据返还；——第4部分：资源服务目录。DB37/T4646.2DB37/T4646.2—2023IIIIII引 言2021〕128号）DB37/T4646《公共数据数据DB37/T46461234DB37/T4646.2DB37/T4646.2—2023PAGEPAGE10公共数据 数据治理规范 第2部分：数据清洗比对范围（GB/T2261.1—2003个人基本信息分类与代码第1部分：个人性别代码GB/T22239—2019信息安全技术网络安全等级保护基本要求GB/T35273—2020信息安全技术个人信息安全规范GB/T36344—2018信息技术数据质量评价指标DB37/T4646.1—2023公共数据数据治理规范第1部分：数据归集DB37/T4646.1—2023界定的以及下列术语和定义适用于本文件。3.1数据准 datastandardGB/T36344—2018，2.8]概述5.1B。5.2

应根据数据库表结构、数据字典等，对归集数据进行数据探查，形成数据探查清单，示例见附录如存在数据探查清单与数据库表结构不一致、数据字典缺失等情况，应进行补充修改。GB/T36344检查规则示例见附录CD出现以下情况可删除空缺记录：可对空缺值进行常量填充，即使用一个常量填充该字段所有空缺值。可对该字段中非空缺值进行统计，根据统计结果选择空缺值填充内容，要求包括但不限于：可根据该条记录中其它非空字段的特点，设置关联条件，对空缺值进行填充。设定A字段为待填充的含空缺值的字段，B为关联字段，要求包括但不限于：BABABABA可选择分析字段，设置分析方法进行分析并填充，方法包括但不限于：可按照相关国家标准、行业标准和地方标准等规范文件中的规则和要求或者预设的规则进行填充，如人的性别名称为缺失值，性别代码为1，按照GB/T2261.1—2003规则，对应填充性别名称为男性。7.2.2 出现以下情况可删除违规记录：330******1420量“00000183可设置规则后删除违规字符，或直接将违规字符替换为空，出现以下情况可删除违规字符：X数据量较小，违规值较少的情况可采用人工校验修改方式，如自然人出生日期为“2010-12/12”，可人工修改为“2010-12-12”，人工修改违规值应保证修正值的准确度。可将违规字符进行替换，替换方法包括但不限于：7～14&&***”（*对于数据内容不在字典内的字段，可选择字典匹配方式处理，匹配方式包括但不限于：精确匹配：新增规则字典，设置匹配规则后做精确对应，如章丘行政区划由“370181为“370114100处理违规值的其他方式包括但不限于：185～88回归分析：通过回归函数拟合数据，光滑违规值，如幼儿园儿童入学年龄数据中，有一条数185～8统计分析：依据统计的方法修改违规值，如将违规值修改为正常值的平均值，如幼儿园儿童185～87185～867.2.3 对于重复字段，可选择保留某一字段，删除其它重复的字段，方式包括但不限于：多条记录出现同一字段重复时，可选择关键字段进行排重，方式包括但不限于：可根据记录的重复情况进行排重，包括但不限于：7.2.4 对于同一字段来自多个部门时，以权威部门来源为准。如“身份证件号码”以公安部门提供的数据为准。1.7m1m，取1.7果等形成日志保存，并为查询、导出和删除等日志操作设置权限。GB/T22239—2019GB/T35273—2020附录A（）开始数据归集图A.1规定了数据清洗比对流程。开始数据归集质量检查实施质量检查实施存在问题检查规则制定数据探查问题数据修正不存在问题结束结束数据转换图A.1数据清洗比对流程附录B（）数据探查清单包括数据表探查清单和数据字段探查清单。数据表探查清单示例见表B.1。数据字段探查清单示例见表B.2。表B.1数据表探查清单示例所属部门表名表注释最后更新时间数据量是否更新更新周期XXX部门XXX_XX_XXXX信息202X-XX-XX10000是每月XXX局XX_XXXXXXXXXX变更信息202X-XX-XX10000是实时表B.2数据字段探查清单示例表名字段名字段注释数据类型空值数量空值率是否允许空值是否有重复数据是否使用字典值域样例数据XXXX_XXId主键ID；自增数值00.00%否是否否—100XXXX_XX未删除；1删除数值00.00%否否是是0、10附录C（资料性）数据质量检查规则示例数据质量检查规则示例见表C.1。表C.1数据质量检查规则示例规则名称规则说明字段完整检查规则检查字段数量与数据探查清单相比是否一致记录完整检查规则检查记录数量与数据探查清单相比是否一致空缺值检查规则检查值的填充是否完整，是否存在空缺值逻辑检查规则检查数据是否存在逻辑或常识性错误，如幼儿园入学年龄为18岁格式检查规则检查数据是否存在格式错误，如身份证件号码长度大于18位值域检查规则检查数据的值是否在允许取值的范围之内字段重复检查规则检查字段是否存在重复记录重复检查规则检查记录是否存在重复数据冲突检查规则检查分布在不同表中的相同数据是否一致数据更新检查规则检查数据是否已按照要求进行更新附录D（资料性）数据质量检查报告示例数据质量检查报告示例见表D.1。表D.1数据质量检查报告示例数据质量检查报告202X年XX月XX总体情况：202XXXXXXX:XXXXXXXXXXX问题主要集中在XXXX规则上。数据时效性校验通过率为XX.XXXX%，更新情况较差。表数据量及问题率统计序号来源部门名称数据资源名称表名质检数据量（条问题数据量（条）问题率（%）1XXX部门XXXX信息xx_xx_xxxx9999854785.479%2XXXX部门XXX信息xxx_xxxxxx9900.000%数据质量问题序号表名字段名质检规则问题数据量（条合格率（%）检查时间1xxx_xxxxxxlianxidianhua271397.683%202X年XX月XX日2xxx_xxxxxxchuanzhen传真号码格式校验2629177.555%202X年XX月XX日附录E（）数据转换规则示例见表E.1。表E.1数据转换规则示例规则类型规则名称规则说明格式转换规则日期型统一格式转换将各类日期型数据统一转换为符合GB/T7408—2005YYYYMMDD时间型统一格式转换将各类时间型数据统一转换为符合GB/T7408—2005的时间型数据，如hhmmss日期时间型统一格式转换将各类日期时间型数据统一转换为符合GB/T7408—2005YYYYMMDDThhmmss代码转换规则性别数据统一代码转换将人员性别代码按照GB/T2261.1—2003中“性别代码”进行统一转换民族数据统一代码转换将人员的民族代码按照GB/T3304—1991中“民族数字代码”进行统一转换婚姻状况数据统一代码转换将人员的婚姻状态代码按照GB/T2261.2—2003换机构性质数据统一代码转换将法人单位的机构性质代码按照GB/T36104—2018中“登记业务类型”进行统一转换参 考 文 献[1]GB/T2261.2—2003个人基本信息分类与代码第2部分：婚姻状况代码[2]GB/T3304—1991中国各民族名称的罗马字母拼写法和代码[3]GB/T7408—2005数据元和交换格式信息交换日期和时间表