




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
ICS35.240CCSL67ICS35.240CCSL67山 东 省 地 方 标 准DB37/T4646.2—2023公共数据 数据治规第2部分:数据洗比Publicdata—Datagovernancespecification—Part2:Datacleaningandcomparison2023-12-28发布 2024-01-28实施山东省场监理局 发布DB37/T4646.2DB37/T4646.2—2023II目 次前言 II引言 III112范引文件 13语定义 1415据查 16据量查 1检规制定 1质检实施 27题据正 2数修要求 2数修方法 28据换 69据全 6附录A(范)数清洗对程 7附录B(料)数探查单例 8附录C(料)数质量查则例 9附录D(料)数质量查告例 10附录E(料)数转换则例 11参考献 12DB37/T4646.2DB37/T4646.2—2023IIII前 言本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定起草。DB37/TDB37/T4646——第1部分:数据归集;——第2部分:数据清洗比对;——第3部分:数据返还;——第4部分:资源服务目录。DB37/T4646.2DB37/T4646.2—2023IIIIII引 言2021〕128号)DB37/T4646《公共数据数据DB37/T46461234DB37/T4646.2DB37/T4646.2—2023PAGEPAGE10公共数据 数据治理规范 第2部分:数据清洗比对范围(GB/T2261.1—2003个人基本信息分类与代码第1部分:个人性别代码GB/T22239—2019信息安全技术网络安全等级保护基本要求GB/T35273—2020信息安全技术个人信息安全规范GB/T36344—2018信息技术数据质量评价指标DB37/T4646.1—2023公共数据数据治理规范第1部分:数据归集DB37/T4646.1—2023界定的以及下列术语和定义适用于本文件。3.1数据准 datastandardGB/T36344—2018,2.8]概述5.1B。5.2
应根据数据库表结构、数据字典等,对归集数据进行数据探查,形成数据探查清单,示例见附录如存在数据探查清单与数据库表结构不一致、数据字典缺失等情况,应进行补充修改。GB/T36344检查规则示例见附录CD出现以下情况可删除空缺记录:可对空缺值进行常量填充,即使用一个常量填充该字段所有空缺值。可对该字段中非空缺值进行统计,根据统计结果选择空缺值填充内容,要求包括但不限于:可根据该条记录中其它非空字段的特点,设置关联条件,对空缺值进行填充。设定A字段为待填充的含空缺值的字段,B为关联字段,要求包括但不限于:BABABABA可选择分析字段,设置分析方法进行分析并填充,方法包括但不限于:可按照相关国家标准、行业标准和地方标准等规范文件中的规则和要求或者预设的规则进行填充,如人的性别名称为缺失值,性别代码为1,按照GB/T2261.1—2003规则,对应填充性别名称为男性。7.2.2 出现以下情况可删除违规记录:330******1420量“00000183可设置规则后删除违规字符,或直接将违规字符替换为空,出现以下情况可删除违规字符:X数据量较小,违规值较少的情况可采用人工校验修改方式,如自然人出生日期为“2010-12/12”,可人工修改为“2010-12-12”,人工修改违规值应保证修正值的准确度。可将违规字符进行替换,替换方法包括但不限于:7~14&&***”(*对于数据内容不在字典内的字段,可选择字典匹配方式处理,匹配方式包括但不限于:精确匹配:新增规则字典,设置匹配规则后做精确对应,如章丘行政区划由“370181为“370114100处理违规值的其他方式包括但不限于:185~88回归分析:通过回归函数拟合数据,光滑违规值,如幼儿园儿童入学年龄数据中,有一条数185~8统计分析:依据统计的方法修改违规值,如将违规值修改为正常值的平均值,如幼儿园儿童185~87185~867.2.3 对于重复字段,可选择保留某一字段,删除其它重复的字段,方式包括但不限于:多条记录出现同一字段重复时,可选择关键字段进行排重,方式包括但不限于:可根据记录的重复情况进行排重,包括但不限于:7.2.4 对于同一字段来自多个部门时,以权威部门来源为准。如“身份证件号码”以公安部门提供的数据为准。1.7m1m,取1.7果等形成日志保存,并为查询、导出和删除等日志操作设置权限。GB/T22239—2019GB/T35273—2020附录A()开始数据归集图A.1规定了数据清洗比对流程。开始数据归集质量检查实施质量检查实施存在问题检查规则制定数据探查问题数据修正不存在问题结束结束数据转换图A.1数据清洗比对流程附录B()数据探查清单包括数据表探查清单和数据字段探查清单。数据表探查清单示例见表B.1。数据字段探查清单示例见表B.2。表B.1数据表探查清单示例所属部门表名表注释最后更新时间数据量是否更新更新周期XXX部门XXX_XX_XXXX信息202X-XX-XX10000是每月XXX局XX_XXXXXXXXXX变更信息202X-XX-XX10000是实时表B.2数据字段探查清单示例表名字段名字段注释数据类型空值数量空值率是否允许空值是否有重复数据是否使用字典值域样例数据XXXX_XXId主键ID;自增数值00.00%否是否否—100XXXX_XX未删除;1删除数值00.00%否否是是0、10附录C(资料性)数据质量检查规则示例数据质量检查规则示例见表C.1。表C.1数据质量检查规则示例规则名称规则说明字段完整检查规则检查字段数量与数据探查清单相比是否一致记录完整检查规则检查记录数量与数据探查清单相比是否一致空缺值检查规则检查值的填充是否完整,是否存在空缺值逻辑检查规则检查数据是否存在逻辑或常识性错误,如幼儿园入学年龄为18岁格式检查规则检查数据是否存在格式错误,如身份证件号码长度大于18位值域检查规则检查数据的值是否在允许取值的范围之内字段重复检查规则检查字段是否存在重复记录重复检查规则检查记录是否存在重复数据冲突检查规则检查分布在不同表中的相同数据是否一致数据更新检查规则检查数据是否已按照要求进行更新附录D(资料性)数据质量检查报告示例数据质量检查报告示例见表D.1。表D.1数据质量检查报告示例数据质量检查报告202X年XX月XX总体情况:202XXXXXXX:XXXXXXXXXXX问题主要集中在XXXX规则上。数据时效性校验通过率为XX.XXXX%,更新情况较差。表数据量及问题率统计序号来源部门名称数据资源名称表名质检数据量(条问题数据量(条)问题率(%)1XXX部门XXXX信息xx_xx_xxxx9999854785.479%2XXXX部门XXX信息xxx_xxxxxx9900.000%数据质量问题序号表名字段名质检规则问题数据量(条合格率(%)检查时间1xxx_xxxxxxlianxidianhua271397.683%202X年XX月XX日2xxx_xxxxxxchuanzhen传真号码格式校验2629177.555%202X年XX月XX日附录E()数据转换规则示例见表E.1。表E.1数据转换规则示例规则类型规则名称规则说明格式转换规则日期型统一格式转换将各类日期型数据统一转换为符合GB/T7408—2005YYYYMMDD时间型统一格式转换将各类时间型数据统一转换为符合GB/T7408—2005的时间型数据,如hhmmss日期时间型统一格式转换将各类日期时间型数据统一转换为符合GB/T7408—2005YYYYMMDDThhmmss代码转换规则性别数据统一代码转换将人员性别代码按照GB/T2261.1—2003中“性别代码”进行统一转换民族数据统一代码转换将人员的民族代码按照GB/T3304—1991中“民族数字代码”进行统一转换婚姻状况数据统一代码转换将人员的婚姻状态代码按照GB/T2261.2—2003换机构性质数据统一代码转换将法人单位的机构性质代码按照GB/T36104—2018中“登记业务类型”进行统一转换参 考 文 献[1]GB/T2261.2—2003个人基本信息分类与代码第2部分:婚姻状况代码[2]GB/T3304—1991中国各民族名称的罗马字母拼写法和代码[3]GB/T7408—2005数据元和交换格式信息交换日期和时间表
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 资产管理优化方案计划
- Revision 1(教学设计)-2024-2025学年人教新起点版英语三年级上册
- 自我激励与职业生涯计划
- 网络直播安保工作总结与分析计划
- 医疗人文关怀活动总结与计划
- 促进高效工作环境的创建方案计划
- 绩效激励的多样化形式计划
- 萌宝世界杯活动方案
- 二年级下册数学教案-搭一搭(二)4 北师大版
- 如何应对员工的职业倦怠计划
- 《高原地区 无人机预警系统基本要求》
- 铁道概论知到智慧树章节测试课后答案2024年秋石家庄铁道大学
- 北师大版(2024新版)七年级上册数学第五章《一元一次方程》单元测试卷3(含答案解析)
- 2024年10月自考00318公共政策试题及答案
- 组态工控技术 课件 4组态王(KINGVIEW)入门工程
- 部编高教版2023·职业模块 中职语文 2.《宁夏闽宁镇:昔日干沙滩今日金沙滩》 课件
- 《脑胶质瘤诊疗指南2024版》解读
- 《铁路轨道维护》课件-单根更换混凝土枕作业
- 营销科学(初级)认证培训考试题库(含答案)
- 2023年水利部黄河水利委员会招聘考试真题
- 中国超重肥胖医学营养治疗指南
评论
0/150
提交评论