2023学年完整公开课版重复值清洗

数据采集与处理

重复值清洗数据采集与处理课程教学团队识别重复数据删除重复数据（1）函数法（2）高级筛选法（3）条件格式法（4）数据透视法（1）通过菜单删除重复项（2）通过排序删除重复项（3）通过筛选删除重复项（4）通过Powerquery删除重复项识别重复数据（1）函数法函数：=countif（范围,条件）可以看出在列字段为A的范围内，“男”重复4次，“女”重复4次。识别重复数据在countif函数中调节范围即可：=COUNTIF(A$2:A2,A2)----------A$2固定从A列的第二行开始，A2会变动，下拉时会变成A3,A4,A5...;||A$2:Ai：范围从A的第2行到第i行。可以C2：男出现一次，C3：当下，男出现2次，C4：自此，男出现3次。C5:女第一次出现，C6:自此，女出现两次了。识别重复数据该函数的语法规则如下：countif（range，criteria）参数：range要计算其中非空单元格数目的区域参数：criteria以数字、表达式或文本形式定义的条件用法编辑(1)求真空单元格个数:=COUNTIF(数据区,"=")(2)非真空单元格个数:=COUNTIF(数据区,"<>")相当于counta()函数(3)文本型单元格个数:=COUNTIF(数据区,"*")假空单元格也是文本型单元格(4)区域内所有单元格个数:=COUNTIF(数据区,"<>"""),如果数据区内有",该公式不成立.(5)逻辑值为TRUE的单元格数量=COUNTIF(数据区,TRUE)Countif用法识别重复数据（2）高级筛选法开始--排序与筛选--筛选（高级）结果是：为什么会出现两个“男”呢？识别重复数据第一次做高级筛选时，没有表头，此时进行，会将第一个单元格的内容作为表头一起复制过去。识别重复数据（3）条件格式法选择区域--开始--条件格式--重复值选择自己需要的标识方式。选第一种，可以看到，有重复的标红了。识别重复数据（4）数据透视法插入--数据透视表--创建数据透视表:选择用的区域和透视表放置区域---设置透视表：把表头拖到行和列的字段选择在当前的工作表汇总汇总透视表识别重复数据透视表框架出现在框架的最右边，可以设置透视表的行、列字段。将行字段设置为表头对应的内容，不难看出，每行的字段将为：男、女和未知。将列字段设置为表头的内容，列字段对应的是计数项，所以内容应为男、女和未知对应的个数。识别重复数据数据透视表创建成功：可以看出：“男”的重复个数为4，“女”的重复个数为14，“未知”的为1，总个数为19.识别重复数据数据透视表创建成功：可以看出：“男”的重复个数为4，“女”的重复个数为14，“未知”的为1，总个数为19.识别重复数据函数法：根据范围选择不同，可以看到重复的个数，也可以得到这是第几个重复值。高级筛选法：将多余的去除，只留下唯一一个。条件格式法：将有重复项的标记，可以直观看出哪些有重复项。缺点是只能看到该内容是重复的，不能区分不同的内容的重复项。但可以灵活运用，如果重复项过多，将条件设为找唯一项，可以很快找唯一项也不错。数据透视法：将计算重复项这个工作直接做成表格，可以直观看到每个字段的重复个数。总结：删除重复数据数据--数据工具--删除重复项可包括表头，共有20行，表头还是作为表头，内容为19个，结果是删除了16个重复值，留下了唯一值：男、女、和未知。（高级筛选法也可以有这个效果）（1）通过菜单删除重复项删除重复数据排序--删除（2）通过排序删除重复项对第一列，也就是我们想删除重复项的内容排序，将相同内容放在一起，通过countif，标记每个内容是第几个重复值，这几个重复值就是我们所需的第一列排序的效果是，女全在前面，男全在后面，countif的结果排序，效果是女列或者男这列，它们按属于第几个重复值排好序删除重复数据

删除大于1的

；同理删除“女”的大于1的删除重复数据countif排序---排序--筛选--删除重复项（3）通过筛选删除重复项具体如下：通过countif，标记每个内容是第几个重复值，这几个重复值就是我们所需的数据--排序和筛选：排序点击排序，出现下拉格删除重复数据因为靠第三列做筛选，所以点击第三列下拉框，会出现下面选项，把除了1以外的全部去掉留下的就是唯一的了，把灰色筛选那个点一下，就变成不是灰色了，结果就出来了。删除重复数据数据---从表格—Powerquery编辑器（4）通过powerquery删除重复项选择“区域”列，删除重复项删除重复数据通过菜单删除重复项：快