数据清洗方法

数据清洗方法第1页，课件共23页，创作于2023年2月一、数据清洗工作流程第2页，课件共23页，创作于2023年2月（一）必录项及重要指标项空缺（二）指标值异常（三）指标值之间逻辑关系异常（四）业务逻辑关系异常（五）贫困户、贫困人口重复二、数据清洗内容第3页，课件共23页，创作于2023年2月

（一）必录项及重要指标项空缺1.贫困户识别标准为空2.贫困户属性为空3.主要致贫原因为空4.脱贫状态标识为空5.行政区划为空6.证件号码为空三、数据清洗规则第4页，课件共23页，创作于2023年2月

（一）必录项及重要指标项空缺7.文化程度为空8.健康状况为空9.劳动技能为空10.务工状况为空11.在校生情况为空……三、数据清洗规则第5页，课件共23页，创作于2023年2月

（二）指标值异常1.证件号码不符合校验规则2.其他致贫原因超过两项3.出生日期与身份证号中的出生日期不符

三、数据清洗规则第6页，课件共23页，创作于2023年2月

（二）指标值异常4.务工时间不符合指标采集规范

5.人均纯收入为0或超5位数

6.与村主干路距离超过50公里……三、数据清洗规则第7页，课件共23页，创作于2023年2月

（三）指标值之间逻辑关系异常1.务工状况为“非务工”，务工时间不为0

2.贫困户无务工人员，却有工资性收入

3.贫困人口丧劳，有外出务工情况

三、数据清洗规则第8页，课件共23页，创作于2023年2月

（三）指标值之间逻辑关系异常4.年收入逻辑关系异常

5.人均纯收入逻辑关系异常

6.低保贫困户无低保金三、数据清洗规则第9页，课件共23页，创作于2023年2月

（三）指标值之间逻辑关系异常7.“与户主关系”和“性别”不符

8.贫困户“家庭人数”与实际人口数不符

9.贫困户存在多个户主

10.残疾人无残疾证

三、数据清洗规则第10页，课件共23页，创作于2023年2月

（四）业务逻辑关系异常1.贫困户家庭无在校生，主要致贫原因为“因学”

2.贫困户家庭无残疾人，主要致贫原因为“因残”3.贫困户家庭成员健康状况全部为“健康”，

主要致贫原因为“因病”。三、数据清洗规则第11页，课件共23页，创作于2023年2月

（四）业务逻辑关系异常4.返贫户在上一年度贫困户属性非“已脱贫”5.贫困户空挂7.脱贫户人均纯收入低于国家贫困标准8.年龄在16-60周岁的健康人口劳动能力为“丧劳”9.五保户（含五保贫困户、五保农户）存在年龄在16-60周岁的劳动力

三、数据清洗规则第12页，课件共23页，创作于2023年2月

（五）贫困户、贫困人口重复

（1）姓名不一致，如：王思妍，王恩妍

（2）性别不一致

（3）文化程度不一致

（4）……

三、数据清洗规则第13页，课件共23页，创作于2023年2月

（五）贫困户、贫困人口重复（5）多省交界处，户籍地混乱

三、数据清洗规则第14页，课件共23页，创作于2023年2月（6）仅“识别标准”不同

（7）仅“家庭人员数量”不同

（8）家庭成员互为户主

（9）拆户分户情况

（10）嫁娶、改嫁，户口迁移情况三、数据清洗规则第15页，课件共23页，创作于2023年2月

（一）后台批量处理

1.指标值含有空字符2.指标值含有特殊字符3.非指标体系代码选项4.指标值间存在逻辑关系，

如错误出生日期可从正确身份证中提取

并做更新处理四、数据清洗策略第16页，课件共23页，创作于2023年2月

（二）前台核实修改1.提取待清洗数据逐级下发2.基层扶贫部门核实修改（三）前台采集补录1.将应填未填项逐级下发2.基层扶贫部门采集录入四、数据清洗策略第17页，课件共23页，创作于2023年2月

（一）清洗内容1.证件号码重复2.证件号码有误3.证件类型值异常4.证件类型与证件号码不符五、证件号码清洗报告第18页，课件共23页，创作于2023年2月

（二）清洗规则1.证件号码重复2.证件号码包含空字符3.证件号码位数非15、18、20位4.18位身份证是否符合校验规则5.20位残疾证是否符合校验位及残疾类型、等级规则6.证件类型为空或非指标体系代码项7.证件类型与证件号码不符五、证件号码清洗报告第19页，课件共23页，创作于2023年2月（五）清洗策略

1.证件号码清洗（1）证件号码重复的，提取问题数据并提供修改建议，逐级下发，由基层扶贫部门核实后在前台修改

（2）证件号码未采集的（空值），将问题数据逐级下发，由基层扶贫部门进行前台采集补录（3）证件号码包含空字符的，首先从后台批量剔除空字符，然后再进行一轮数据清洗处理

五、证件号码清洗报告第20页，课件共23页，创作于2023年2月（五）清洗策略

1.证件号码清洗（4）非15、18、20位的证件号码，除中国人民解放军军官证以外，其他证件类型的证件号码，提取问题数据逐级下发，前台核实修改（5）15位证件号码，需升级为18位，将问题数据逐级下发，前台采集补录

五、证件号码清洗报告第21页，课件共23页，创作于2023年2月（五）清洗策略

1.证件号码清洗（6）对于证件号码为18、20位的错误数据，证件号码中第18位校验码应为“X”，但原采集录入为“ｘ、全角Ｘ、*、×”等字符的，可通过后台批量处理，统一替换为英文半角大写X；其他情况需提取问题数据逐级下发，由基层扶贫部门核实后在前台修改五、证件号码清洗报告第22页，课件共23页，创作于2023年2月（五）清洗策略

2.证件类型清洗（1）