中职教育二年级上学期电子与信息《大数据导论2平滑处理》教学课件

数据转换之平滑处理《大数据导论》——数据采集与预处理纸质教材参考及视频适用林子雨.大数据导论.北京：人民邮电出版社，2020第5章数据采集与预处理

中职用数据转换之平滑处理——

常用：分箱、回归、聚类等分箱（Bin）方法将排序后的数据分配到若干箱子（称为Bin）中，用箱子数据替换原值，对原本数值大小变化较自由的数据加以限制，实现平滑。如图所示，箱子划分方法一般有两种，一种是等高方法，即每个箱子中元素的个数相等，另一种是等宽方法，即每个箱子的取值间距（左右边界之差）相同。其实是看按容量还是边界均分。数据转换之平滑处理——

常用：分箱、回归、聚类等分箱（Bin）方法实例1：假设有一个排好序的数据集X={4,8,15,21,21,24,25,28,34}，这里采用基于平均值（也可以用边界例如最小或其他什么值）的等高分箱（容量均分）方法对其进行平滑处理，则分3箱的处理步骤如下：（1）把原始数据集X尽量容量均等的放入以下三个假想箱子： 4,8,15 21,21,24 25,28,34数据转换之平滑处理——

常用：分箱、回归、聚类等分箱（Bin）方法实例1：假设有一个排好序的数据集X={4,8,15,21,21,24,25,28,34}，这里采用基于平均值（也可以用边界例如最小或其他什么值）的等高分箱（容量均分）方法对其进行平滑处理，则分3箱的处理步骤如下：（1）把原始数据集X尽量容量均等的放入以下三个假想箱子： 4,8,15 21,21,24 25,28,34（2）分别计算得到每个箱子的平均值： 9 22

29数据转换之平滑处理——

常用：分箱、回归、聚类等分箱（Bin）方法实例1：假设有一个排好序的数据集X={4,8,15,21,21,24,25,28,34}，这里采用基于平均值（也可以用边界例如最小或其他什么值）的等高分箱（容量均分）方法对其进行平滑处理，则分3箱的处理步骤如下：（1）把原始数据集X尽量容量均等的放入以下三个假想箱子： 4,8,15 21,21,24 25,28,34（2）分别计算得到每个箱子的平均值： 9 22

29（3）用每个箱子的平均值替换该箱子内的所有元素： 9,9,9 22,22,22 29,29,29数据转换之平滑处理——

常用：分箱、回归、聚类等分箱（Bin）方法实例1：假设有一个排好序的数据集X={4,8,15,21,21,24,25,28,34}，这里采用基于平均值（也可以用边界例如最小或其他什么值）的等高分箱（容量均分）方法对其进行平滑处理，则分3箱的处理步骤如下：（1）把原始数据集X尽量容量均等的放入以下三个假想箱子： 4,8,15 21,21,24 25,28,34（2）分别计算得到每个箱子的平均值： 9 22

29（3）用每个箱子的平均值替换该箱子内的所有元素： 9,9,9 22,22,22 29,29,29（4）合并各个箱子中的元素得到新的数据集X={9,9,9,22,22,22,29,29,29}。数据转换之平滑处理——

常用：分箱、回归、聚类等分箱（Bin）方法实例2：仍用前面排好序的数据集X={4,8,15,21,21,24,25,28,34}，采用基于边界值的等高分箱（容量均分）方法对其进行平滑处理，则分3箱的处理需要从第二步修改：（1）把原始数据集X尽量容量均等的放入以下三个假想箱子： 4,8,15 21,21,24 25,28,34（2）分别计算得到每个箱子的平均值： 9 22

29（3）用每个箱子的平均值替换该箱子内的所有元素：

9,9,9 22,22,22 29,29,29（4）合并各个箱子中的元素得到新的数据集X={9,9,9,22,22,22,29,29,29}。数据转换之平滑处理——

常用：分箱、回归、聚类等分箱（Bin）方法实例2：仍用前面排好序的数据集X={4,8,15,21,21,24,25,28,34}，采用基于边界值的等高分箱（容量均分）方法对其进行平滑处理，如果分箱处理的结果是X={4,4,15,21,21,24,25,25,34}，则分3箱的处理需要从第二步修改：（1）把原始数据集X尽量容量均等的放入以下三个假想箱子： 4,8,15 21,21,24 25,28,34（2）分别计算得到每个箱子的平均值改上下边界值： 9改4,1522改21,24

29改25,34数据转换之平滑处理——

常用：分箱、回归、聚类等分箱（Bin）方法实例2：仍用前面排好序的数据集X={4,8,15,21,21,24,25,28,34}，采用基于边界值的等高分箱（容量均分）方法对其进行平滑处理，如果分箱处理的结果是X={4,4,15,21,21,24,25,25,34}，则分3箱的处理需要从第二步修改：（1）把原始数据集X尽量容量均等的放入以下三个假想箱子： 4,8,15 21,21,24 25,28,34（2）分别计算得到每个箱子的平均值改上下边界值： 9改4,1522改21,24

29改25,34（3）用每个箱子的平均值改下边界值替换该箱子内非边界的所有元素：

9,9,9改4,4,15

22,22,22改21,21,24

29,29,29改25,25,34数据转换之平滑处理——

常用：分箱、回归、聚类等分箱（Bin）方法实例2：仍用前面排好序的数据集X={4,8,15,21,21,24,25,28,34}，采用基于边界值的等高分箱（容量均分）方法对其进行平滑处理，如果分箱处理的结果是X={4,4,15,21,21,24,25,25,34}，则分3箱的处理需要从第二步修改：（1）把原始数据集X尽量容量均等的放入以下三个假想箱子： 4,8,15 21,21,24 25,28,34（2）分别计算得到每个箱子的平均值改上下边界值： 9改4,1522改21,24

29改25,34（3）用每个箱子的平均值改下边界值替换该箱子内非边界的所有元素：

9,9,9改4,4,15

22,22,22改21,21,24

29,29,29改25,25,34（4）合并各个箱子中的元素得到新的数据集

X={9,9,9,22,22,22,29,29,29}改{4,4,15,21,21,24,25,25,34}数据转换之平滑处理——

常用：分箱、回归、聚类等回归方法：主要利用拟合函数对数据进行平滑。例如，借助回归方法（包括多变量回归方法），就可以获得多个变量之间的拟合关系，从而达到利用一个（或一组）变量值来预测另一个变量取值的目的，最终拟合结果（预测值）因泛化而平滑。数据转换之平滑处理——

常用：分箱、回归、聚类等回归方法：如图所示，利用多项式回归所获得的拟合函数预测值代替原数据，能够帮助平滑数据并除去其中的噪声。问题：图中的黄色与蓝色线哪个是原数据哪个是预测数据？数据转换之平滑处理——

常用：分箱、回归、聚类等聚类方法：实际是无监督的分类，可以帮助发现异常数据。如图所示，相似或相邻近的数据聚合在一起形成了各个聚类集合，而那些位于这些聚类集合之外的数据对象，则被认为是异常数据。这些异常数据后续可替换为其他值，最终整体数据的图形有所平滑或变化峰值减小。问题：图中需要替换或清除的异常数据看起来有几个？数据转换之平滑处理——

练一练常用的平滑处理方法是（）[多选题]a.回归b.图像识别c.分箱d.聚类数据转换之平滑处理——

练一练常用的平滑处理方法是（）[多选题]a.回归b.图像识别c.分箱d.聚类处理过程中，每部分数据尽量包含的数据量一样多的平滑处理方法是（）[单选题]a.K均值聚类b.图像识别c.等高分箱d.线性回归数据转换之平滑处理——

练一练常用的平滑处理方法是（）[多选题]a.回归b.图像识别c.分箱d.聚类处理过程中，每部分数据尽量包含的数据量一样多的平滑处理方法是（）[单选题]a.K均值聚类b.图像识别c.等高分箱d.线性回归几种常用平滑处理方法都是将原数据用图形上看起来相对平滑或变化峰值减小的数据替换（）[单选题]a.对b.错数据转换之平滑处理——

练一练常用的平滑处理方法是（）[多选题]