DB37T 4646.2-2023公共数据 数据治理规范 第2部分：数据清洗比对

37Publicdata—Datagovernancespecification—Part2:Datacleaning 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。东省先后印发《山东省“十四五”数字强省建设规划》（鲁政字〔2021〕128号）等一系列政策文件，数据清洗比对、数据返还、资源服务目录等工作存在的普遍问题，制定DB37/T4646《治理规范》系列标准。DB37/T4646拟由以下四公共数据数据治理规范第2部分：数据清洗比对GB/T22239—2019信息安全技术网络安全等级保护基本要求GB/T35273—2020信息安全技术个人信息安全GB/T36344—2018信息技术数据质量评价DB37/T4646.1—2023界定的以及下列术语和定义适用于本文件。4概述和数据转换，提升数据质量。数据清洗比对流程应符合6.1.2数据质量检查规则应基于业务特征和数据特点制定，并同步至数据质量检查规则库，数据质量6.1.3数据质量检查规则应通过数据质量检查规则库统筹管理并进行动态更新维a)对于存在字段缺失、记录缺失和数值缺失的数据应选择合适的缺失值修正方法，主要包括删b)对于存在逻辑、格式、值域等问题的数据应选择合适的违规值修正方法，主要包括删除处理c)对于存在字段重复和记录重复的数据应选择合适的重复值修正方法，主要包括字段排重、依a)某条记录的一个或多个关键字段空缺；可对空缺值进行常量填充，即使用一个常量填充该字段所a)字段类型为数值型时，可使用非空缺值的平均值、最大值、最小值、众数、某分位数等进行b)字段类型为日期型和日期时间型时，可使用非空缺值的平均日期或时间、最近日期或时间、c)字段类型为字符型时，可对非空缺值分类并统计出各类别的数量和占比，根据各类别数量或a)关联分析：使用关联分析的挖掘方法，寻找出强关联的字段，根据强关联字段关联情况寻找b)聚类分析：使用聚类分析的挖掘方法，将非空数据记录聚类成若干簇，根据簇如人的性别名称为缺失值，性别代码为1，按照GB/T2261.1—2003规则，对应填充a)关键字段存在违规值，且无法恢复，如自然人身份证件号码为“330******1420”，无b)编码错误导致大量违规值存在，且无法恢复，如因编码错误导致行驶证中车牌a)模糊匹配：新增规则字典，设置匹配规则后做模糊对应，如行政区划“济南市”；而待修正数据单位为厘米，可通过数值转换的方式，对待修正数据除以100。数值转换一般需人工分析a)近似填充：通过考察相近的值平衡违规值，可将违规值修改为离违规值最近的正常值，或修改为离违规值较近的若干个正常值的平均值等，如幼儿园儿童入学年龄数据中，有一条数据b)回归分析：通过回归函数拟合数据，光滑违规值，如幼儿园儿童入学年龄数据中，有一条数b)条件保留：设置条件规则和约束字段，比如按日期型或日期时间型字段保留离当前日期最近b)不完全重复：设置对比字段的值，保留一条和对比字段的值完全一致的记录。9数据安全9.1应记录数据探查时间、数据质量检查时间、数据质量检查内容、数据质量检查结果、数据转换结存在问题存在问题数据归集数据探查检查规则制定质量检查实施质量检查实施不存在问题数据转换数据探查清单包括数据表探查清单和数据字段探查清单。数据表探查清单示例见表B.1是是增0否是否否 0否否是是0、10检查数据是否存在逻辑或常识性错误，如幼儿园入学年检查数据是否存在格式错误，如身份证件号码长度称12012将各类时间型数据统一转换为符合GB/T7408—2005的时间型数