《Python机器学习：原理与实践(第2版)》课件 薛薇 -第8、9章 数据预测建模：人工神经网络、数据预测建模：支持向量机

第8章数据预测建模：人工神经网络人工神经网络的基本概念感知机网络多层感知机网络B-P反向传播算法人工神经网络的Python应用实践导言

第8章数据预测建模：人工神经网络人工神经网络（ArtificialNeuralNetwork,ANN）是一种人脑的抽象计算模型，是一种模拟人脑思维的计算机建模方式通过类似于生物神经元的处理单元，以及处理单元之间的有机连接，解决现实世界的模式识别、联想记忆、优化计算等复杂问题人工神经网络的基本概念

人工神经网络的基本构成人工神经网络由相互连接的神经元，称为节点或处理单元组成人脑神经元的连接和连接强弱，在人工神经网络中体现为节点间的连线，称为连接或边，以及连接权重的大小上根据网络的层数，从拓扑结构上神经网络可分为：两层神经网络、三层及以上的多层神经网络这种方向性连接的网络也称前馈式网络各层的节点之间是全连接的，是一种全连接网络感知机网络多层感知机网络第8章数据预测建模：人工神经网络

第8章数据预测建模：人工神经网络感知机网络感知机：一种最基本的前馈式两层神经网络模型，仅由输入层和输出层构成感知机网络中的节点生物神经元会对不同类型和强度的刺激信号呈现出不同的反映状态（State）或激活水平（ActivityLevel）。同理，感知机的节点也会对不同的输入给出不同的输出由加法器和激活函数组成第8章数据预测建模：人工神经网络

感知机网络第8章数据预测建模：人工神经网络

感知机网络第8章数据预测建模：人工神经网络

感知机网络

第8章数据预测建模：人工神经网络

感知机网络第8章数据预测建模：人工神经网络

感知机网络

第8章数据预测建模：人工神经网络感知机节点中的激活函数连续型激活函数双曲正切函数：ReLU(RectifiedlinearUnit，ReLU)激活函数:感知机网络第8章数据预测建模：人工神经网络感知机节点中的激活函数[0,1]型阶跃函数在分类预测中的作用感知机网络

第8章数据预测建模：人工神经网络感知机节点中的激活函数Logistic激活函数在分类预测中的作用感知机网络

第8章数据预测建模：人工神经网络Python模拟和启示：认识激活函数加法器：Chapter8-1.ipynb第8章数据预测建模：人工神经网络

感知机网络第8章数据预测建模：人工神经网络感知机的迭代步骤：第一步，计算各节点的加法器和激活函数，给出节点的输出结果，即样本观测的预测值。第二步，计算样本观测的预测值与实际值间的误差，根据误差重新调整各连接权重会反复执行上述两步。需经过多个周期的学习。直到满足迭代终止条件为止迭代结束后将得到一组合理的连接权重和其对应的理想超平面。后续将依据超平面进行预测涉及的问题包括：第一，如何度量误差第二，如何通过迭代逐步调整网络权重如何度量误差：回归预测的损失函数：最优的网络权重：分类预测的损失函数：不适用于阶跃函数的情况，采用以下损失函数

第8章数据预测建模：人工神经网络

第8章数据预测建模：人工神经网络如何通过迭代逐步调整网络权重：梯度下降法机器学习中常用的实现参数优化的方法参数优化的目标：对特定模型M，利用数据D，得到损失函数最小时的最优模型参数wopt通常模型参数w为向量如：回归模型中w为回归系数和截距项；人工神经网络中w为网络权重损失函数的复杂程度取决于：损失函数L的形式；模型结构如：模型是关于参数W的线性函数，损失函数L为平方损失，L是w的二次函数参数优化较简单：单峰（存在唯一最值）求L对w的偏导数，并令偏导g(w)=0；求解方程组(最小二乘法)感知机网络---权重训练

第8章数据预测建模：人工神经网络参数优化的目标：如果模型形式较为复杂，则L可能不是关于w的简单平滑函数，如：多峰通常求解L(w)最小的参数w等价在高维空间中最小化一个多元复杂函数采用梯度下降法，通过迭代，利用关于L曲率的局部信息，引导在L曲面上进行局部搜索

第8章数据预测建模：人工神经网络

感知机网络第8章数据预测建模：人工神经网络第三步骤具体为：对于回归预测中的平方损失函数：有：对分类预测中的损失函数：有：

感知机网络

第8章数据预测建模：人工神经网络

第8章数据预测建模：人工神经网络

感知机网络第8章数据预测建模：人工神经网络说明：连接权重和偏差权重的初始值是随机的，相同迭代策略下迭代结束时的权重最终值可能是不等的，有些可能是最优解有些可能仅是局部最优解一般可通过迭代的多次重启动方式解决这个问题感知机网络第8章数据预测建模：人工神经网络

感知机网络第8章数据预测建模：人工神经网络

感知机网络

第8章数据预测建模：人工神经网络

多层感知机网络

第8章数据预测建模：人工神经网络

多层感知机网络第8章数据预测建模：人工神经网络多层感知机网络中的隐藏节点隐藏节点在分类预测中的作用：实现非线性样本的线性变换分类预测中的线性样本：对P维输入变量空间的两类样本，若能找到一个超平面将两类分开，则该样本为线性样本，否则为非线性样本

第8章数据预测建模：人工神经网络Python模拟和启示：认识隐藏节点本例中随着隐藏节点的增加，分类边界从直线逐步变为曲线和圆圈，较好地实现了非线性样本的分类Chapter8-2.ipynb第8章数据预测建模：人工神经网络

第8章数据预测建模：人工神经网络多层感知机网络中的隐藏节点隐藏节点在回归预测中的作用：实现非线性投影寻踪回归

可将投影寻踪回归视为三层感知机网络中隐藏层到输出层的所有连接权重均等于1的特例第8章数据预测建模：人工神经网络BP方向传播算法：多层网络引入反方向传播机制传递误差并完成权重更新反向传播算法的基本思想：向传播和反向传播两个阶段正向传播阶段：传播的是样本信息，网络的所有连接权重保持不变反向传播阶段：将输出节点的预测误差反方向逐层传播到上层隐藏节点，逐层更新权重，直至所有权重全部更新为止B-P反向传播算法第8章数据预测建模：人工神经网络

第8章数据预测建模：人工神经网络

第8章数据预测建模：人工神经网络人工神经网络的Python应用实践：手写体邮政编码的识别在数据集划分的基础上，建立不同个数隐藏节点的三层感知机网络，激活函数依次为ReLU和Logistic函数绘制随隐藏节点的增加，各网络测试误差变化曲线图，确定较为理想的网络拓扑结构和激活函数较为理想的模型是采用ReLU激活函数且包含9个隐藏节点的网络Chapter8-3.ipynb第8章数据预测建模：人工神经网络人工神经网络的Python应用实践：PM2.5浓度的回归预测指定输入变量SO2、CO、NO2、O3和输出变量PM2.5涉及多个参数组合的反复调试，为快速达成目标，直接利用Python的网格搜索算法实现基于最优网络结构进行预测Chapter8-4.ipynb第8章数据预测建模：人工神经网络第9章数据预测建模：支持向量机支持向量分类概述完全线性可分下的支持向量分类广义线性可分下的支持向量分类线性不可分下的支持向量分类Python应用实践导言

第9章数据预测建模：支持向量机支持向量机（SupportVectorMachine，SVM）是在统计学习理论（StatisticalLearningTheory，SLT）基础上发展起来的一种机器学习方法（1992年由Boser，Guyon和Vapnik提出）在解决小样本、非线性和高维的分类预测和回归预测问题上有许多优势支持向量机分为支持向量分类机和支持向量回归机讨论的问题涉及：第一、支持向量分类概述第二、完全线性可分下的支持向量分类第三、广义线性可分下的支持向量分类第四、线性不可分下的支持向量分类支持向量分类概述

第9章数据预测建模：支持向量机支持向量分类的基本思路如果两类样本观测点能够被超平面有效分开，则可能会找到多个这样的超平面支持向量分类算法确定的分类超平面：是具有最大边界的超平面，是距两类别的边缘观测点最远的超平面支持向量分类概述

固定迭代次数下，不同初始参数的神经网络给出分类边界应采用哪个超平面进行预测呢？第9章数据预测建模：支持向量机支持向量分类的基本思路支持向量分类中的超平面：具有最大边界的超平面，是距两类别的边缘观测点最远的超平面最大边界超平面的意义：有较高的预测置信度最大边界超平面仅取决于两类边缘上的观测点：这些样本观测称为支持向量，预测具有很强的鲁棒性

第9章数据预测建模：支持向量机支持向量分类概述

支持向量分类的基本思路支持向量分类的三种情况线性可分样本：样本观测点可被超平面线性分开的情况完全线性可分样本无法完全线性可分（广义线性可分）线性不可分样本第9章数据预测建模：支持向量机完全线性可分下的支持向量分类

以二维空间为例：首先，分别将两类的最外围的样本观测点连线形成两个多边形，应是关于两类样本点集的凸包（ConvexHull），最小凸多边形(各自类的样本观测点均在多边形内或边上)然后，以一类的凸包边界为基准线，找到另一类凸包边界上的点，过该点做基准线的平行线，得到一对平行线可以有多条这样的基准线和对应的平行线，应找到：相距最远,且能正确划分两类的一对平行线最大边界超平面（线）：平行于该对平行线、位于该对平行线的中间位置上第9章数据预测建模：支持向量机

完全线性可分下的支持向量分类

第9章数据预测建模：支持向量机

完全线性可分下的支持向量分类

第9章数据预测建模：支持向量机

完全线性可分下的支持向量分类

第9章数据预测建模：支持向量机

第9章数据预测建模：支持向量机

第9章数据预测建模：支持向量机

完全线性可分下的支持向量分类

第9章数据预测建模：支持向量机完全线性可分下支持向量分类的实现Chapter9-2.ipynb第9章数据预测建模：支持向量机广义线性可分下的超平面：采用适当的宽松策略，允许部分样本观测点进入“禁区”：广义线性或线性软间隔支持向量分类广义线性可分下的支持向量分类

第9章数据预测建模：支持向量机

广义线性可分下的支持向量分类第9章数据预测建模：支持向量机广义线性可分下的超平面

Chapter9-3.ipynb第9章数据预测建模：支持向量机

广义线性可分下的支持向量分类

只能要求两项之和最小第9章数据预测建模：支持向量机

第9章数据预测建模：支持向量机

第9章数据预测建模：支持向量机如何解决线性不可分的分类问题一般方式是进行非线性空间转换：低维空间中的线性不可分问题，通过恰当的非线性变换转化为高维空间中的线性可分问题线性不可分下的支持向量分类第9章数据预测建模：支持向量机

线性不可分下的支持向量分类第9章数据预测建模：支持向量机

点积计算是关键第9章数据预测建模：支持向量机

第9章数据预测建模：支持向量机

第9章数据预测建模：支持向量机

Chapter9-4.ipynb第9章数据预测建模：支持向量机Py