数据清洗技术.ppt

数据清理技术 冯国双中国疾控中心卫生统计室 数据清洗 从数据收集结束 到统计分析之前 需要对数据做的清理工作 数据清洗 数据双录入对比数据合并查找重复值查找缺失值查找异常值 双录入对比 Excel用到的函数 If函数If 判断条件 条件满足返回值 条件不满足返回值 exact函数 比较两个文本是否相同exact 比较文本1 比较文本2 offset函数 返回给定偏移量的新区域offset 参照区域 行 列 双录入对比 small 数据区域 第几小 计算单元格范围的第几小的数值Column 返回单元格所在号Row 返回单元格所在行号 双录入对比 SAS命令 proccompare by变量1变量2 run 双录入对比 proccompare语句调用数据比较过程 选项base和compare分别指定两个比较和被比较的数据集 nosummary的作用是不显示一些概括性的结果 by语句指定的变量有点类似于索引的作用 通常指定id号 如果两个数据集的观测数不同 利用by语句可以保证它们比较的仍然是同一个id号 而不会出现错位比较的情况 双录入对比 dataa1 inputidggenderagemarriageheightweightnation cards 数据 dataa2 inputidggenderagemarriageheightweightnation cards 数据 proccomparebase a1compare a2nosummary run 双录入对比 双录入对比 查找缺失值 Excel函数 If函数If 判断条件 条件满足返回值 条件不满足返回值 exact函数 比较两个文本是否相同exact 比较文本1 比较文本2 offset函数 返回给定偏移量的新区域offset 参照区域 行 列 查找缺失值 small 数据区域 第几小 计算单元格范围的第几小的数值Column 返回单元格所在号Row 返回单元格所在行号 查找缺失值 SAS可用missing函数实现如果结合数组和自动变量 可以一次性实现所有变量缺失值的输出 查找缺失值 dataa1 inputidggenderagemarriageheightweightnation miss g missing g miss gender missing gender miss age missing age miss marriage missing marriage miss height missing height miss weight missing weight miss nation missing nation cards 数据 procprint run 查找缺失值 部分结果 查找缺失值 利用数组和自动变量datamissing seta arraycha character doi 1todim cha ifmissing cha i thenoutput end arraynum numeric doi 1todim num ifmissing num i thenoutput end dropi procprint run 查找缺失值 缺失值结果 查找重复值 Excel函数 countif 计数区域 条件 根据指定条件 在计数区域内计数 查找重复值 SAS命令 procsort by变量1变量2 run 查找重复值 procsort语句调用排序过程 选项out 数据集指定排序后的数据集名 因为排序后数据发生了变化 因此可指定该选项将排序后的数据存放到一个新的数据集中 如果不加该选项 排序后的数据集将覆盖原有数据集 这样你就找不回原有的未排序的数据了 选项nodupkey表示如果by语句指定的排序变量有重复值 则删除重复值 如按id排序 如果id有重复值 则只保留重复值中的第一个值 删除其它值 选项nouniquekey的作用跟nodupkey正好相反 如果by语句指定的排序变量都是唯一值 则将其删除 如按id排序 如果id没有有重复值 则全部删除 查找重复值 by语句指定排序的变量 可以指定多个 选项descending表示按降序排序 如果不加该选项 默认的是按升序排序 当需要查找重复值时 by语句指定的变量就是需要查找的重复值变量 查找重复值 dataa1 inputidggenderagemarriageheightweightnation cards 数据 procsortnouniquekeyout bb bygenderagemarriageheightweight run procprintdata bb run 查找重复值 5个变量均重复的观测 查找异常值 Excel函数 If函数If 判断条件 条件满足返回值 条件不满足返回值 结合各种算术运算符 比较运算符 逻辑运算符等 查找异常值 常见运算符 查找异常值 SAS可用if语句或where语句结合各种运算符来查找异常值 查找异常值 SAS中的常见运算符 查找异常值 dataa1 inputidggenderagemarriageheightweightnation cards 数据 datab1 seta1 if gendernotin 1 2 age 60 height 200 weight 100 marriagenotin 1 0 nationnotin 1 2 procprint run 查找异常值 查找异常值 datab2 seta1 if gendernotin 1 2 age and age 60 height and height 200 weight and weight 100 marriagenotin 1 0 nationnotin 1 2 procprint run 查找异常值 查找异常值 datagender where gendernotin 1 2 age where notmissing age and age 50 marriage where marriagenotin 1 0 height where notmissing height and height 200 weight where notmissing weight and weight 100 nation where nationnotin 1 2 seta1 run 查找异常值 procprintdata gender varidgender procprintdata age varidage procprintdata marriage varidmarriage procprintdata height varidheight procprintdata weight varidweight procprin