第2章数据预处理

1、第第3章章 数据预处理数据预处理 3.1 预处理的必要性预处理的必要性 目前，数据挖掘的研究工作大都集中在算法的探讨而忽视目前，数据挖掘的研究工作大都集中在算法的探讨而忽视对数据处理的研究。事实上，数据预处理对数据挖掘十分重要，对数据处理的研究。事实上，数据预处理对数据挖掘十分重要，一些成熟的算法对其处理的数据集合都有一定的要求：一些成熟的算法对其处理的数据集合都有一定的要求：比如数比如数据的完整性好，冗余性小，属性的相关性小等。据的完整性好，冗余性小，属性的相关性小等。 数据预处理是数据挖掘的重要一环，而且必不可少。要使挖数据预处理是数据挖掘的重要一环，而且必不可少。要使挖掘算法挖掘出有效的

2、知识，必须为其提供掘算法挖掘出有效的知识，必须为其提供干净，准确，简洁的干净，准确，简洁的数据数据。然而，实际应用系统中收集的数据通常是。然而，实际应用系统中收集的数据通常是“脏脏”数据数据 1、杂乱性、杂乱性 如性别：如性别： A数据库数据库 male=1 , female=2 B数据库数据库 male=男男 ，female=女女 C数据库数据库 male=M , female=F2、重复性、重复性 同一客观事物在数据库中存在两个以上相同的物理描述同一客观事物在数据库中存在两个以上相同的物理描述 假设某周刊有假设某周刊有100000个订户，邮件列表中个订户，邮件列表中0.1%的记录是重复的，

3、的记录是重复的，主要是一个名字有不同的写法主要是一个名字有不同的写法 Jon Doe 和和John Doe 因此，每周需要印刷和邮寄因此，每周需要印刷和邮寄100份额外的刊物，假设每周的邮份额外的刊物，假设每周的邮寄和印刷费用是两圆，公司每年将浪费寄和印刷费用是两圆，公司每年将浪费10000元以上元以上3、不完整性、不完整性 由于实际系统设计时存在的缺陷以及使用过程中的一些人为因由于实际系统设计时存在的缺陷以及使用过程中的一些人为因素，数据记录可能会出现数据值的丢失或不确定，原因可能有：素，数据记录可能会出现数据值的丢失或不确定，原因可能有： （1）有些属性的内容有时没有）有些属性的内容有时没

4、有 （家庭收入，参与销售事物数据中的顾客信息）（家庭收入，参与销售事物数据中的顾客信息） （2）有些数据当时被认为是不必要的）有些数据当时被认为是不必要的 （3）由于误解或检测设备失灵导致相关数据没有记录下来）由于误解或检测设备失灵导致相关数据没有记录下来 （4）与其它记录内容不一致而被删除）与其它记录内容不一致而被删除 （5）忽略了历史数据或对数据的修改）忽略了历史数据或对数据的修改4、噪声数据、噪声数据 数据中存在着错误或异常（偏离期望值），血压和身高为数据中存在着错误或异常（偏离期望值），血压和身高为0就是明显的错误，当就是明显的错误，当数据缺失且用默认值数据缺失且用默认值来填充缺失项来

5、填充缺失项时，很容易发生这类错误。时，很容易发生这类错误。 （1）数据采集设备有问题）数据采集设备有问题 （2）数据录入过程中发生了人为或计算机错误）数据录入过程中发生了人为或计算机错误 （3）传输过程中发生错误）传输过程中发生错误4.2 4.2 数据预处理的功能数据预处理的功能 数据清理（清洗）数据清理（清洗） -可以去掉数据中的噪声，纠正不一致可以去掉数据中的噪声，纠正不一致 数据集成数据集成 -将多个数据源合并成一致的数据存储，构成一个完整将多个数据源合并成一致的数据存储，构成一个完整的数据集，如数据仓库或数据立方体的数据集，如数据仓库或数据立方体 数据变换（转换）数据变换（转换）- -

6、 将一种格式的数据转换为另一格式的数据将一种格式的数据转换为另一格式的数据( (如规范化如规范化) ) 数据归约（消减）数据归约（消减）-可以通过聚集、删除冗余特性或聚类等方法来压缩数据可以通过聚集、删除冗余特性或聚类等方法来压缩数据 4.3 4.3 数据清理（清洗）数据清理（清洗） 数据清理完成数据清理完成: 填充空缺的值填充空缺的值 识别孤立点识别孤立点 消除噪声消除噪声 纠正数据中的不一致纠正数据中的不一致 一、遗漏数据的处理一、遗漏数据的处理 (1)忽略该元组忽略该元组 若一条记录中有属性值被遗漏了，则将该记录排除在数若一条记录中有属性值被遗漏了，则将该记录排除在数据挖掘之外；尤其当类

7、标号缺少时通常这样做（假定挖掘据挖掘之外；尤其当类标号缺少时通常这样做（假定挖掘任务涉及分类或描述任务涉及分类或描述)。当每个属性缺少值的百分比变化很。当每个属性缺少值的百分比变化很大时，它的性能非常差。大时，它的性能非常差。 (2)人工填写空缺值人工填写空缺值当数据集很大、缺少很多值时，该方法可能行不通。当数据集很大、缺少很多值时，该方法可能行不通。(3)使用一个全局常量填充空缺值使用一个全局常量填充空缺值(4)使用属性的平均值填充空缺值使用属性的平均值填充空缺值 将空缺的属性值用同一个常数将空缺的属性值用同一个常数(如如“Unknown”或或)替换。如替换。如果空缺值都用果空缺值都用“Un

8、known”替换，当空缺值较多时。挖掘替换，当空缺值较多时。挖掘程序可能误以为它们形成了一个有趣的概念，因为它们都程序可能误以为它们形成了一个有趣的概念，因为它们都具有相同的值具有相同的值“Unknown”。因此，尽管该方法简单，。因此，尽管该方法简单，我们并不推荐它。我们并不推荐它。例如，假定AllElectronics顾客的平均收入为$28 000，则使用该值替换income中的空缺值(5)利用同类别均值填补遗漏数据利用同类别均值填补遗漏数据 例如，如果将顾客按credit risk分类， 则用具有相同信用度的顾客的平均收入替换income中的缺值(6)使用最可能的值填充空缺值使用最可能的

9、值填充空缺值二、噪声数据二、噪声数据 噪声噪声(noise)是一个测量变量中的随机错误或偏差。给定一个是一个测量变量中的随机错误或偏差。给定一个数值属性，例如数值属性，例如price，我们怎样才能平滑数据，去掉噪声，我们怎样才能平滑数据，去掉噪声? (1)分箱分箱(binning) 分箱方法通过考察分箱方法通过考察“邻居邻居”(即周围的值即周围的值)来平滑来平滑存储数据的值。存储的值被分布到一些存储数据的值。存储的值被分布到一些“桶桶”或箱中。或箱中。由于分箱方法参考相邻的值，因此它进行局部平滑。由于分箱方法参考相邻的值，因此它进行局部平滑。下图展示示了一些分箱技术。下图展示示了一些分箱技术。

10、 (2)聚类聚类(clustering) 通过聚类分析可以检测孤立点，聚类将类似的值组织成群通过聚类分析可以检测孤立点，聚类将类似的值组织成群或或“聚类聚类”。直观地看，落在聚类集合之外的值被视为孤立点。直观地看，落在聚类集合之外的值被视为孤立点 (3)计算机和人工检查结合计算机和人工检查结合 可以通过计算机和人工检查结合的办法来可以通过计算机和人工检查结合的办法来识别孤立点。识别孤立点。 (4)回归回归(regression) 可以利用拟合函数可以利用拟合函数(如回归函数如回归函数)来平滑数据。来平滑数据。 如线性回归涉及找出适合两个变量的如线性回归涉及找出适合两个变量的“最佳最佳”直线，使

11、得一直线，使得一个变量能够预测另一个。多线性回归是线性回归的扩展，个变量能够预测另一个。多线性回归是线性回归的扩展，它涉及多于两个变量，数据要适合一个多维面。使用回归，它涉及多于两个变量，数据要适合一个多维面。使用回归，找出适合数据的数学方程式，能够帮助消除噪声。找出适合数据的数学方程式，能够帮助消除噪声。 许多数据平滑的方法也是涉及离散化的数据归约方法。例如，上面介绍的分箱技术减少了每个属性的不同值的数量。 概念分层是一种数据离散化形式，也可以用于数据平滑。例如，price的概念分层可以把price的值映射到inexpensive，moderately_priced和expensive，从而

12、减少了挖掘过程所处理的值的数量。 4.4 数据集成和变换数据集成和变换一、一、 数据集成数据集成 它需要统一原始数据中的所有矛盾之处，如字段的它需要统一原始数据中的所有矛盾之处，如字段的: 同名异义、同名异义、 异名同义、异名同义、 单位不统一单位不统一 字长不一致字长不一致，从而把原始数据在最低层上加以转换，从而把原始数据在最低层上加以转换，提炼和集成。提炼和集成。 1、模式集成、模式集成 数据分析者或计算机如何才能确信一个数据库中数据分析者或计算机如何才能确信一个数据库中的的customer_id和另一个数据库中的和另一个数据库中的cust_number指的指的是同一实体？是同一实体？ 通

13、常，数据库和数据仓库有元数据通常，数据库和数据仓库有元数据关于数据的关于数据的数据。这种元数据可以帮助避免模式集成中的错误。数据。这种元数据可以帮助避免模式集成中的错误。2、冗余问题、冗余问题 一个属性是冗余的，如果它能由另一个表一个属性是冗余的，如果它能由另一个表“导出导出”，如，如年年薪薪属性属性 ；命名的不一致也可能导致数据集中的冗余；命名的不一致也可能导致数据集中的冗余 有些冗余可以被相关分析相关分析检测到。例如，给定两个属性，根据可用的数据，这种分析可以度量一个属性能在多大程度上蕴含另一个。属性A和B之间的相关性可用下式度量：) 1 . 3 () 1()( )(,BABAnBBAAr

14、其中，n是元组个数 ， 分别是A和B的平均值，分别是A和B的标准差。BA和BA和 如果(3.1)式的值大于0，则A和B是正相关的，意味A的值随B的值增加而增加。该值越大，一个属性蕴涵另一个的可能性越大。因此，一个很大的值表明A(或B)可以作为冗余而被去掉。如果结果等于0，则A和B是独立的，它们之间不相关。如果结果值小于0，则A和B是负相关的，一个值随另一个减少而增加。 (31)式可以用来检测上面的的customer_id和cust_number的相关性。3、数据值冲突的检测与处理、数据值冲突的检测与处理 表示不同导致数据冲突表示不同导致数据冲突 语义不同导致数据冲突语义不同导致数据冲突 二、数

15、据变换二、数据变换-数据变换将数据转换成适合于挖掘的形式。主要是找到数据数据变换将数据转换成适合于挖掘的形式。主要是找到数据的特征表示，对数据进行规格化处理。用维变换或转换方式的特征表示，对数据进行规格化处理。用维变换或转换方式减少有效变量的数目或找到数据的不变式减少有效变量的数目或找到数据的不变式 （1） 平滑平滑(smoothing) 去掉数据中的噪声。这种技术包括分箱（去掉数据中的噪声。这种技术包括分箱（Bin)、聚类、聚类和回归。和回归。 （2）聚集）聚集 对数据进行汇总和聚集对数据进行汇总和聚集 例如，可以聚集日销售数据，计算月和年销售额。例如，可以聚集日销售数据，计算月和年销售额。

16、 这一步用来为多粒度数据分析构造数据立方体这一步用来为多粒度数据分析构造数据立方体。 (3) 数据概化数据概化 使用概念分层，用高层次概念替换低层次使用概念分层，用高层次概念替换低层次“原始原始”数据。例如，数据。例如，分类的属性分类的属性，如，如street，可以概化为较高，可以概化为较高层的概念，如层的概念，如city或或country。 类似地，类似地，数值属性数值属性，如，如age映射到较高层概念，如映射到较高层概念，如young，middle-age和和senior。 (4) 规范化规范化(规格化）规格化） 将属性数据按比例缩放，使之落入一个小的特定区间，将属性数据按比例缩放，使之落

17、入一个小的特定区间， 如如-10到到10或或0.0到到1.0。 如学生成绩如学生成绩 G INT（G/10） 规格化的目的规格化的目的是将一个属性取值范围影射到一个特定范围之是将一个属性取值范围影射到一个特定范围之内，以消除数值性属性因大小不一而造成挖掘结果的偏差内，以消除数值性属性因大小不一而造成挖掘结果的偏差 在正式进行数据挖掘之前，尤其是使用在正式进行数据挖掘之前，尤其是使用基于对象距基于对象距离的挖掘算法时，必须进行数据的规格化离的挖掘算法时，必须进行数据的规格化。 如对于一个顾客信息数据库中年龄属性或工资属性，如对于一个顾客信息数据库中年龄属性或工资属性，由于工资属性的取值比年龄属性

18、的取值要大得多，若不由于工资属性的取值比年龄属性的取值要大得多，若不进行规格化处理，基于工资属性的距离计算值将远远超进行规格化处理，基于工资属性的距离计算值将远远超过基于年龄属性的计算值，这就意味着工资属性的作用过基于年龄属性的计算值，这就意味着工资属性的作用在整个数据对象的距离计算中被错误放大了在整个数据对象的距离计算中被错误放大了最小最小-最大规范化最大规范化 对原始数据进行线性变换。假定minA，和maxA分别为属性A的最小和最大值。最小最大规范化通过计算 AAAAAAnewnewnewvvmin_)min_max_(minmaxmin将属性将属性A的一个值的一个值v影射到影射到v ne

19、w_minA,new-maxA(3.2)716. 0)00 . 1 (12000980001200073000EX1 假定属性假定属性income的最小与最大值分别为的最小与最大值分别为$12 000和和$98 000。我们想映射我们想映射income到区间到区间0，1。根据最小根据最小-最大规范化，最大规范化，income值值$73000将变换为将变换为AAAAAAnewnewnewvvmin_)min_max_(minmaxminAAvvZ-score规范化（或规范化（或零零-均值规范化均值规范化） 该方法是根据属性该方法是根据属性A的平均值和标准差规范化。的平均值和标准差规范化。A的值的

20、值v被规范化为被规范化为v，由下式计算：，由下式计算：(3.3)225. 1160005400073600EX2 假定属性假定属性income的平均值和标准差分别为的平均值和标准差分别为$54 000和和$16 000。使用。使用z-score规范化，值规范化，值$73 600被转化为被转化为 )4.3(10jvv小数定标规范化小数定标规范化(十基数变换）十基数变换） 通过移动属性通过移动属性A的小数点位置进行规范化。的小数点位置进行规范化。 小数点的移动位数依赖于小数点的移动位数依赖于A的最大绝对值。的最大绝对值。 A的值的值v被被 规范化为，规范化为， 由下式计算由下式计算 其中，j是使

21、max(| v| 1)成立最小整数。 EX3 假定假定A的值由的值由-986到到917。 A的最大绝对值为的最大绝对值为986。为使用小数定标规范化，我们用。为使用小数定标规范化，我们用1000（即（即j=3）除每一值。这样，）除每一值。这样，-986被规范化为被规范化为-0.986。 注意，规范化将原来的数据改变很多，特别是上述的后两种注意，规范化将原来的数据改变很多，特别是上述的后两种方法。有必要保留规范化参数（如平均值和标准差，如果使用方法。有必要保留规范化参数（如平均值和标准差，如果使用z-score规范化），以便将来的数据可以用一致的方式规范化。规范化），以便将来的数据可以用一致的方

22、式规范化。4.5 数据规约（消减数据规约（消减） 数据立方合计数据立方合计维数削减维数削减数据压缩数据压缩数据块消减数据块消减离散化与概念层次生成离散化与概念层次生成 1、数据立方体合计、数据立方体合计 主要用于构造数据立方主要用于构造数据立方-建立数据仓库建立数据仓库 如对某公司三年销售合计处理，可用一个三维数据立方体（时间，商品，部门）表示，它从三个角度描述相应时空的销售额。 每个属性都可对应一个概念层次树，以帮助进行多抽象层次的数据分析。2、维归约、维归约 -主要用于检测并删除不相关、弱相关或冗余的属性维主要用于检测并删除不相关、弱相关或冗余的属性维。 用于数据分析的数据可能包含数以百计

23、的属性，其中大部分用于数据分析的数据可能包含数以百计的属性，其中大部分属性与挖掘任务不相关，是冗余的。例如，如果分析任务是按属性与挖掘任务不相关，是冗余的。例如，如果分析任务是按顾客听到广告后，是否愿意在顾客听到广告后，是否愿意在A11E1ectronics买流行的新款买流行的新款CD将顾客分类，与属性将顾客分类，与属性age，music不同，诸如顾客的电话号码等不同，诸如顾客的电话号码等属性多半是不相关的。属性多半是不相关的。 属性子集选择属性子集选择的目标是的目标是找出最小属性子集找出最小属性子集，使得，使得数数据类据类的的概率分布概率分布尽可能地接近尽可能地接近原分布原分布。 “如何找出

24、原属性的一个如何找出原属性的一个好的好的子集子集?”d个属性有个属性有2d个可能的子集。穷举搜索找出属性的最佳子集可能是个可能的子集。穷举搜索找出属性的最佳子集可能是不现实的，特别是当不现实的，特别是当d和数据类的数目增加时。和数据类的数目增加时。 因此，对于属性子集选择，通常使用因此，对于属性子集选择，通常使用压缩搜索空间的启发压缩搜索空间的启发式算法式算法。它们的策略是做局部最优选择，期望由此导致全局。它们的策略是做局部最优选择，期望由此导致全局最优解。最优解。 (1)逐步向前选择逐步向前选择(逐步添加方法）：逐步添加方法）： 该过程由该过程由空属性集空属性集开始，选择原属性集中开始，选择

25、原属性集中最好的属性最好的属性，并将它，并将它添加到该集合中。在其后的每一次迭代，将原属性集添加到该集合中。在其后的每一次迭代，将原属性集剩下的属性剩下的属性中的中的最好的属性最好的属性添加到该集合中。添加到该集合中。 如遗传算法如遗传算法 遗传算法是一种基于生物进化论和分子遗传学的全局随机搜索遗传算法是一种基于生物进化论和分子遗传学的全局随机搜索算法。算法。 ( 2)逐步向后删除逐步向后删除(逐步消减方法）：逐步消减方法）： 该过程由整个属性集开始。在每一步，删除掉在属性该过程由整个属性集开始。在每一步，删除掉在属性集中的最坏属性。直到无法选择出最坏属性或满足一集中的最坏属性。直到无法选择出

26、最坏属性或满足一定的阈值为止。定的阈值为止。(3)向前选择和向后删除的结合：向前选择和向后删除的结合：向前选择和向后删除方法可以结合在一起，每一步选择向前选择和向后删除方法可以结合在一起，每一步选择一个最好的属性，并在剩余属性中删除一个最坏的属一个最好的属性，并在剩余属性中删除一个最坏的属性。性。 (4) 判定树归纳判定树归纳 判定树算法，如判定树算法，如ID3和和C45最初是用于分类的最初是用于分类的 ,也可用也可用于构造属性子集于构造属性子集 利用决策树的归纳方法对初始数据进行分类归纳学习，利用决策树的归纳方法对初始数据进行分类归纳学习，获得一个初始决策树，所有获得一个初始决策树，所有没出

27、现在这个树上的属性均没出现在这个树上的属性均认为是无关属性，删除无关属性之后，就可获得一个较认为是无关属性，删除无关属性之后，就可获得一个较优的属性子集。优的属性子集。3、数据压缩、数据压缩数据压缩数据压缩使用数据编码或数据转换机制压缩数据集。使用数据编码或数据转换机制压缩数据集。若根据压缩后的数据集可以恢复原来的数据集若根据压缩后的数据集可以恢复原来的数据集-无损（无损（loseless)若根据压缩后的数据集不能恢复原来的数据集若根据压缩后的数据集不能恢复原来的数据集-有损有损(lossy)常用的有常用的有小波变换和主要成分分析小波变换和主要成分分析 4、数据块消减、数据块消减-利用更简单的

28、数据表达形式利用更简单的数据表达形式 参数与非参数两种方法参数与非参数两种方法 参数方法是通过模型计算获得原来的数据，只要存储模型的参数参数方法是通过模型计算获得原来的数据，只要存储模型的参数即可即可 非参数方法是指存储利用非参数方法是指存储利用直方图直方图、聚类聚类或或采样采样而获得的消减后的而获得的消减后的数据数据 直方图（等宽，等高）直方图（等宽，等高） 采样（随机，聚类，分类）采样（随机，聚类，分类）5 离散化和概念分层生成离散化和概念分层生成 离散化技术通过将离散化技术通过将属性域划分为区间属性域划分为区间来减少给定来减少给定连续属性值的个数。区间的标号可以替代实际的数据连续属性值的

29、个数。区间的标号可以替代实际的数据值。值。 概念层次树可以通过利用较高层次概念替换较低概念层次树可以通过利用较高层次概念替换较低层次概念而减少原来的数据。层次概念而减少原来的数据。 对于用户或领域专家，人工地定义概念分层可能是一项对于用户或领域专家，人工地定义概念分层可能是一项令人乏味、耗时的任务。幸而，许多分层蕴涵在数据库模令人乏味、耗时的任务。幸而，许多分层蕴涵在数据库模式中，并且可以在模式定义级定义。式中，并且可以在模式定义级定义。 概念分层常常自动地产生，或根据数据分布的统计分析概念分层常常自动地产生，或根据数据分布的统计分析动态地加以提炼。动态地加以提炼。 u 数值数据的离散化和概念

30、分层生成数值数据的离散化和概念分层生成 数值属性的概念分层可以根据数据分布分析自动地构造。 分箱分箱 通过将数据分布到箱中，并用箱中的平均值或中值替换箱通过将数据分布到箱中，并用箱中的平均值或中值替换箱中的每个值，可以将属性值离散化。就像用箱的平均值平滑或中的每个值，可以将属性值离散化。就像用箱的平均值平滑或用箱的中值平滑一样。这些技术可以递归地作用于结果划分，用箱的中值平滑一样。这些技术可以递归地作用于结果划分，产生概念分层。产生概念分层。 直方图分析直方图分析 直方图也可以用于离散化直方图也可以用于离散化. 下面给出了一个直方图，显示下面给出了一个直方图，显示某给定数据集某给定数据集price属性的数据分布。例如，频率最高的价属性的数据分布。例如，频率最高的价格大约在格大约在$300$325。可以使用划分规则定义值的范围。可以使用划分规则定义值的范围。例如，在等宽直方图中，将值划分成相等的部分或区间例如，在等宽直方图中，将值划分成相等的部分或区间(如如($0S100)，($100$200)，($900S1 000)。在等深直。在等深直方图中，值被划分使得每一部分包括相同个数的样本。方图中，值被划分使得每一部分包括相同个数的样本。u 分类数据的概念分层生成分类数据的概念分层生成 分类数据分类数据(categorical data)