《商务大数据分析与应用》课件-3-1-1 大数据清洗概述

大数据清洗01ONE数据清洗课堂研讨任务描述知识准备拓展训练CONTENTS目录CONTENTSONE数据质量的高低严重影响了工业、经济等社会的方方面面，数据质量问题及其所导致的知识和决策错误已经在全球范围内造成了恶劣的后果，严重困扰着信息社会，大数据的广泛应用对数据质量的保障提出了迫切需求。数据清洗是数据质量管理的重要问题，其内容十分丰富，包括缺失值处理、实体识别与真值发现，错记的主动发现和修复等问题。张明对此产生了疑惑：什么是数据清洗呢？如何清洗“脏数据”呢？任务描述知识准备

数据清洗是一种对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。定义数据清洗的概念一知识准备“脏数据”的类型二残缺数据重复数据“脏数据”的类型错误数据这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。这一类错误产生的原因是业务系统不够健全，在接收输入后没有进行判断直接写入后台数据库造成的，比如：数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。对于这一类数据需将重复数据记录的所有字段导出来，让客户确认并整理。知识准备数据清洗流程三在实际操作中，数据清洗通常会占据分析过程的50%～80%的时间。图3-7为浅层次的数据清洗流程图。知识准备三数据清洗流程（一）预处理阶段查看数据看元数据抽取一部分数据，使用人工查看方式将数据导入处理工具12知识准备三数据清洗流程（二）阶段1：缺失值清洗缺失值是最常见的数据问题，处理缺失值也有很多方法。首先，确定缺失值范围。对每个字段都计算其缺失值比例，然后按照缺失比例和字段重要性，分别制定策略，可用图3-8表示。图3-8

数据的重要性与缺失率关系比例图知识准备三数据清洗流程（三）阶段2：格式内容清洗时间、日期、数值、全半角等显示格式不一致内容中含有不该存在的字符内容与该字段应有内容不符知识准备三数据清洗流程（四）阶段3：逻辑错误清洗这部分的工作是去掉一些使用简单逻辑推理就可以直接发现问题的数据，防止分析结果走偏。主要包含去重、去除不合理值以及修正矛盾内容。去重A去除不合理值B修正矛盾内容C知识准备三数据清洗流程（五）阶段4：非需求数据清洗在进行数据清洗时人们往往会把看上去不需要但实际上对业务很重要的字段删了，又或者某个字段觉得有用，但又没想好怎么用，不知道是否该删。此时，如果数据量没有大到不删该字段就无法处理，则能不删的字段尽量不删。此外，应该勤备份数据，以免误删数据影响后续分析。（六）阶段5：关联性验证如果数据有多个来源，则有必要进行关联性验证。例如，同时获得某品牌汽车的线下购买信息，以及相应汽车品牌的电话客服问卷信息，两者通过姓名和手机号关联。同一个人线下登记的车辆信息和线上问卷问出来的车辆信息如果不是同一辆，则该条数据需要调整或去除数据。课堂研讨张明现在收集到一份“链家”平台广州地区的房屋出租信息，但不知道该用什么工具对这份数据进行清洗，请你帮帮他。拓展训练01请使用至少两种工具对采集后的“链家”平台数据进行数据清洗。

数据清洗方法现实世界的数据常常是有噪声、不完全的和不一致的。数据清洗过程通过填补遗漏数据、消除异常数据、平滑噪声数据，以及纠正不一致的数据。遗漏数据处理假设在分析一个商场销售数据时，发现有多个记录中的属性值为空，如顾客的收入属性，对于为空的属性值，可以采用以下方法进行遗漏数据处理：忽略该条记录。手工填补遗漏值。利用缺省值填补遗漏值。利用均值填补遗漏值。利用同类别均值填补遗漏值。利用最可能的值填补遗漏值。最后一种方法是一种较常用的方法。噪声数据处理噪声是指被测变量的一个随机错误和变化。下面通过给定一个数值型属性，如价格，来说明平滑去噪的具体方法。方法被分为四种：Bin方法聚类方法人机结合检查方法回归方法噪声数据处理Bin方法Bin方法通过利用相应被平滑数据点的周围点（近邻），对一组排序数据进行平滑。排序后数据分配到若干桶（称为Buckets或Bins）中。对Bin的划分方法一般有两种，一种是等高方法，即每个Bin中的元素的个数相等；另一种是等宽方法，即每个Bin的取值间距（左右边界之差）相同。噪声数据处理例如：首先对价格数据进行排序，然后将其划分为若干等高度的Bin，即每个Bin包含三个数值

Bin均值平滑对每个Bin中所有值均用该Bin的均值替换。图中第一个Bin中4、8、15均用该Bin的均值9替换Bin边界平滑对于给定的Bin，利用每个Bin的边界值（最大值或最小值），替换该Bin中的所有值。一般讲，每个Bin的宽度越宽，其平滑效果越明显。噪声数据处理聚类方法通过聚类分析可帮助发现异常数据。相似或相邻近的数据聚合在一起形成了各个聚类集合，而那些位于这些聚类集合之外的数据对象，自然而然就被认为是异常数据。噪声数据处理人机结合检查方法通过人与计算机检查相结合方法，可以帮助发现异常数据。如：利用基于信息论方法可帮助识别用于分类识别手写符号库中的异常模式；所识别出的异常模式可输出到一个列表中；然后由人对这一列表中的各异常模式进行检查，并最终确认无用的模式（真正异常的模式）。这种人机结合检查方法比单纯利用手工方法手写符号库进行检查要快许多。噪声数据处理回归方法可以利用拟合函数对数据进行平滑。如：借助线性回归方法，包括多变量回归方法，就可以获得的多个变量之间的一个拟合关系，从而达到利用一个（或一组）变量值来帮助预测另一个变量取值的目的。利用回归分析方法所获得的拟合函数，能够帮助平滑数据及除去其中的噪声。不一致数据处理现实世界的数据库常出