人工智能创新实验教程 课件 第4章 k-近邻算法

宁夏大学

第四章k-近邻算法K-近邻算法www.islide.cc2目录

CONTENT01引言02算法概述03实验数据04算法实战05本章小结01引言引言

古人云：“近朱者赤，近墨者黑”。其实机器学习中的kNN算法的核心思想就是这句流传至今的名言。kNN算法又称为K近邻算法，是众多机器学习算法中少有的懒惰学习算法，该算法不仅可以用来回归也可以用来分类。本章将学习k近邻算法的基本理论，使用距离测量的方法分类物品，编写构造knn分类器python代码，利用实际的例子讲解如何使用k-近邻算法对糖尿病数据集进行分类预测。02算法概述算法概述1、基本概念​k-近邻算法（k-NearestNeighbouralgorithm），又称为KNN算法，是数据挖掘技术中原理最简单的算法。KNN的工作原理：给定一个已知标签类别的训练数据集，输入没有标签的新数据后，在训练数据集中找到与新数据最邻近的k个实例，如果这k个实例的多数属于某个类别，那么新数据就属于这个类别。可以简单理解为：由那些离X最近的k个点来投票决定X归为哪一类。算法概述

简单地说，k近邻算法采用测量不同特征值之间的距离方法进行分类。​上图中有红色三角和蓝色方块两种类别，现在需要判断绿色圆点属于哪种类别。​当k=3时，绿色圆点属于红色三角这种类别；​当k=5时，绿色圆点属于蓝色方块这种类别。算法概述

要度量空间中点距离的话，有好几种度量方式，比如常见的曼哈顿距离计算，欧式距离计算等等。不过通常KNN算法中使用的是欧式距离，这里只是简单说一下，拿二维平面为例，二维空间两个点的欧式距离计算公式如下：如果是多个特征扩展到N维空间，怎么计算？可以使用欧氏距离（也称欧几里得度量），如下所示：算法概述k-近邻算法步骤如下：(1)计算已知类别数据集中的点与当前点之间的距离；(2)按照距离递增次序排序；(3)选取与当前点距离最小的k个点；(4)确定前k个点所在类别的出现频率；(5)返回前k个点出现频率最高的类别作为当前点的预测类别。03实验数据准备数据数据集介绍DiabetesData也称糖尿病数据集是一类多重变量分析的数据集。通过对442例糖尿病患者的年龄、性别、体重指数、平均血压以及兴趣反应等10个属性进行分析，预测基线一年后疾病进展的定量测量值。本章将从糖尿病数据集中选取部分作为实验数据，并存放于diabetes.csv文本文件中。8个属性变量和标记值具体介绍如右图：处理数据导入数据集，并将数据进行归一化且将数据集进行划分为训练集和测试集，具体操作如下所示：数据归一化为避免其中某个特征数据过大而影响整体，接下来要进行数值归一化的处理，使得这四个特征的权重相等。数据归一化的处理方法有很多种，比如0-1标准化、Z-score标准化、Sigmoid压缩法等等，在这里我们使用最简单的0-1标准化，公式如下：将该计算公式封装为minmax（）函数。处理数据集

归一化数据集后，按照一定比例地要求，将原始数据集分为训练集和测试集两部分。为保证数据地随机分配，采用打乱索引的方式打乱数据顺序。04案例实战k-近邻实现预测测试集并计算准确率

接下来，构建针对于心脏病数据集的分类器，上面我们已经将原始数据集进行归一化处理然后也切分了训练集和测试集，所以我们的函数的输入参数就可以是train、test和k(k-近邻算法的参数，也就是选择的距离最小的k个点)。结果分析准确度分数：调用datingClass()函数后，当k=9时，判断是否患糖尿病的预测准确率达到0.75预测结果下图即为测试集的预测情况：对比outcome和predict两列属性值情况，两者一致则为预测正确，否则即为错误。05本章小结本章小结

本章详细介绍了k近邻的相关理论，阐述了k-近邻算法的工作流程，通过一个糖尿病数据集讲述了如何使用k-近邻算法实现分类训练与预测。K-近邻算法是基于实例的学习，使用算法时我们必须有接近实际数据的训练样本数据。k-近邻算法必须保存全部数据集，如果训练的数据集很大，必须使用大量的存储空间。此外，由于必须对数据集中的每个数据计算距离值，实际使用时可能非常耗时。k-近邻算法的另一个缺陷是