Python机器学习项目化教程（微课视频版）课件 第4章 k近邻算法与非参数估计

第4章k近邻算法与非参数估计目录CONTENTS4.1k近邻算法原理4.2k近邻算法的应用4.3非参数估计4.5本章小结4.4非参数估计算法的实现4.1k近邻算法原理学习基础学习认知能力信息素养高假设X_test为待标记的样本，X_train为已标记的数据集，算法原理描述如下：（2）对数组D[]进行排序，取距离最近的k个点，记为X_knn。在X_knn中统计每个类别的个数，即class0在X_knn中有几个样本，class1在X_knn中有几个样本等。010203（1）遍历X_train中的所有样本，计算每个样本与X_test的距离，并把距离保存在数组D[]中。待标记样本的类别，就是在X_knn中样本个数最多的那个类别。4.2k近邻算法应用学习基础学习认知能力信息素养高Iris鸢尾花数据集（iris_training.csv）的数据可分为3类（iris-setosa，iris-versicolour，iris-virginica），共150条记录，每类各50个数据，每条记录有4个属性：花萼长度（SepalLength）、花萼宽度（SepalWidth）、花瓣长度（PetalLength）、花瓣宽度（PetalWidth），可以通过这4个特征预测鸢尾花属于哪一类。column_names=['SepalLength','SepalWidth','PetalLength','PetalWidth','Species']iris_data=pd.read_csv("iris_training.csv",header=0,names=column_names)print(df_iris.head())4.2k近邻算法应用学习基础学习认知能力信息素养高Iris鸢尾花数据集（iris_training.csv）的数据可分为3类（iris-setosa，iris-versicolour，iris-virginica），共150条记录，每类各50个数据，每条记录有4个属性：花萼长度（SepalLength）、花萼宽度（SepalWidth）、花瓣长度（PetalLength）、花瓣宽度（PetalWidth），可以通过这4个特征预测鸢尾花属于哪一类。4.2k近邻算法应用学习基础学习认知能力信息素养高Iris鸢尾花数据集（iris_training.csv）的预测类别:[1.0,2.0,0.0,1.0,1.0,1.0,0.0,2.0,1.0,2.0,2.0,0.0,2.0,1.0,1.0,0.0,1.0,0.0,0.0,2.0,0.0,1.0,2.0,2.0,1.0,1.0,0.0,1.0,2.0,1.0]Accuracy:96.66666666666667%4.3非参数估计4.3.1非参数估计与参数估计1.直方图估计法对于随机变量X的一组抽样，即使X的值是连续的，我们也可以划分出若干宽度相同的区间，统计这组样本在各个区间的频率，并画出直方图。4.3非参数估计4.3.1非参数估计与参数估计2.Parzen矩形窗估计Parzen矩形窗是以目标样本x作为中心点，根据窗口大小h，判断样本落入以x为中心的窗口内的样本数，从而得到x的概率。Parzen矩形窗估计与直方图估计的区别：Parzen矩形窗是根据目标样本点x确定矩形窗，直方图估计是先确定矩形窗，然后根据样本点找相应的矩形窗。4.3非参数估计4.3.1非参数估计与参数估计3.Parzen正态核窗估计当满足以下条件时，一维情况：4.3非参数估计4.3.2非参数估计的一般推导假设p(x’)是x’的密度函数，向量x落在区域R的概率为：N个向量中k个向量落在R内的概率为：k/N的均值和方差分别为：当N→∞时，频率与概率的取值趋于相等，有：4.4基于k近邻算法的实现下面我们对给定的鱼类数据，分别利用直方图估计、Parzen矩形窗估计和Parzen正态核估计实现kNN分类。给定的鱼类数据存放在文件fish.xls中，包含一维数据和二维数据两种类型，各2000条，一维数据的前6条如下：4.4基于k近邻算法的实现1利用直方图估计概率密度、分类数据预处理importxlrdfromoperatorimportitemgetterimportmatplotlib.pyplotaspltimportnumpyasnpreadbook=xlrd.open_workbook(r'Fish.xls')sheet=readbook.sheet_by_index(1)#索引的方式，从0开始sheet=readbook.sheet_by_name('long')#以名字的方式读取工作表nrows=sheet.nrows#行ncols=sheet.ncols#列fish=[]4.2基于k近邻算法的实现1利用直方图估计概率密度、分类数据预处理foriinrange(1,nrows):v1=sheet.cell(i,0).valuev2=sheet.cell(i,1).valuefish.append([v1,v2,0,0,0])train0=fish[0:500]train1=fish[1000:1500]train=train0+train1test0=fish[500:1000]test1=fish[1500:]test=test0+test14.2基于k近邻算法的实现2．直方图概率密度估计设定窗口大小v，求出训练集中样本的最大值max0和最小值min0，计算训练集被划分为多少个区间bin。#统计训练集中的数据有多少个落在窗口内

forjinrange(500):trainData0=train0[j][0]#第0类数据

trainData1=train1[j][0]#第1类数据

if((trainData0>=iRange)and(trainData0<=lRange)):k0=k0+1if((trainData1>=iRange)and(trainData1<=lRange)):k1=k1+1classPro0=k0/(n*v)classPro1=k1/(n*v)4.2基于k近邻算法的实现3．对测试样本分类比较窗口内分别属于类别0和类别1的概率大小，将测试样本newData划为概率值较大的一类，并计算分类的准确率。4.2基于k近邻算法的实现4．数据可视化为了将直方图概率密度可视化，就是将每个区域间的数据概率以直方图形式显示出来，因此，需要首先统计出训练集中每个区域内的样本数，并计算出概率值。4.4基于k近邻算法的实现2利用Parzen矩形窗估计概率密度、分类title="一维数据Parzen矩形窗估计(width=%.1f),precision1=%.3f,precision2=%.3f"%(v,accurate0,accurate1)test=np.array(test)print(test[:,0])fig=plt.figure()plt.subplot(211)plt.scatter(test[:500,0],test[:500,2],marker='s')plt.xlabel('Class0Data')plt.ylabel('Density')plt.show()4.4基于k近邻算法的实现3利用Parzen正态核估计概率密度、分类4.5本章小结kNN是一种有监督的分类算法，其算法思想简单、易于实现、无需估计参数、分类准确率高，不足之处在于预测结果依赖于k值的选择，易受到噪声数据影响，特别是当样