《Python机器学习：原理与实践(第2版)》课件 薛薇 -第8-12章 数据预测建模：人工神经网络-揭示数据内在结构：聚类分析

第8章数据预测建模：人工神经网络人工神经网络的基本概念感知机网络多层感知机网络B-P反向传播算法人工神经网络的Python应用实践导言

第8章数据预测建模：人工神经网络人工神经网络（ArtificialNeuralNetwork,ANN）是一种人脑的抽象计算模型，是一种模拟人脑思维的计算机建模方式通过类似于生物神经元的处理单元，以及处理单元之间的有机连接，解决现实世界的模式识别、联想记忆、优化计算等复杂问题人工神经网络的基本概念

人工神经网络的基本构成人工神经网络由相互连接的神经元，称为节点或处理单元组成人脑神经元的连接和连接强弱，在人工神经网络中体现为节点间的连线，称为连接或边，以及连接权重的大小上根据网络的层数，从拓扑结构上神经网络可分为：两层神经网络、三层及以上的多层神经网络这种方向性连接的网络也称前馈式网络各层的节点之间是全连接的，是一种全连接网络感知机网络多层感知机网络第8章数据预测建模：人工神经网络

第8章数据预测建模：人工神经网络感知机网络感知机：一种最基本的前馈式两层神经网络模型，仅由输入层和输出层构成感知机网络中的节点生物神经元会对不同类型和强度的刺激信号呈现出不同的反映状态（State）或激活水平（ActivityLevel）。同理，感知机的节点也会对不同的输入给出不同的输出由加法器和激活函数组成第8章数据预测建模：人工神经网络

感知机网络第8章数据预测建模：人工神经网络

感知机网络第8章数据预测建模：人工神经网络

感知机网络

第8章数据预测建模：人工神经网络

感知机网络第8章数据预测建模：人工神经网络

感知机网络

第8章数据预测建模：人工神经网络感知机节点中的激活函数连续型激活函数双曲正切函数：ReLU(RectifiedlinearUnit，ReLU)激活函数:感知机网络第8章数据预测建模：人工神经网络感知机节点中的激活函数[0,1]型阶跃函数在分类预测中的作用感知机网络

第8章数据预测建模：人工神经网络感知机节点中的激活函数Logistic激活函数在分类预测中的作用感知机网络

第8章数据预测建模：人工神经网络Python模拟和启示：认识激活函数加法器：Chapter8-1.ipynb第8章数据预测建模：人工神经网络

感知机网络第8章数据预测建模：人工神经网络感知机的迭代步骤：第一步，计算各节点的加法器和激活函数，给出节点的输出结果，即样本观测的预测值。第二步，计算样本观测的预测值与实际值间的误差，根据误差重新调整各连接权重会反复执行上述两步。需经过多个周期的学习。直到满足迭代终止条件为止迭代结束后将得到一组合理的连接权重和其对应的理想超平面。后续将依据超平面进行预测涉及的问题包括：第一，如何度量误差第二，如何通过迭代逐步调整网络权重如何度量误差：回归预测的损失函数：最优的网络权重：分类预测的损失函数：不适用于阶跃函数的情况，采用以下损失函数

第8章数据预测建模：人工神经网络

第8章数据预测建模：人工神经网络如何通过迭代逐步调整网络权重：梯度下降法机器学习中常用的实现参数优化的方法参数优化的目标：对特定模型M，利用数据D，得到损失函数最小时的最优模型参数wopt通常模型参数w为向量如：回归模型中w为回归系数和截距项；人工神经网络中w为网络权重损失函数的复杂程度取决于：损失函数L的形式；模型结构如：模型是关于参数W的线性函数，损失函数L为平方损失，L是w的二次函数参数优化较简单：单峰（存在唯一最值）求L对w的偏导数，并令偏导g(w)=0；求解方程组(最小二乘法)感知机网络---权重训练

第8章数据预测建模：人工神经网络参数优化的目标：如果模型形式较为复杂，则L可能不是关于w的简单平滑函数，如：多峰通常求解L(w)最小的参数w等价在高维空间中最小化一个多元复杂函数采用梯度下降法，通过迭代，利用关于L曲率的局部信息，引导在L曲面上进行局部搜索

第8章数据预测建模：人工神经网络

感知机网络第8章数据预测建模：人工神经网络第三步骤具体为：对于回归预测中的平方损失函数：有：对分类预测中的损失函数：有：

感知机网络

第8章数据预测建模：人工神经网络

第8章数据预测建模：人工神经网络

感知机网络第8章数据预测建模：人工神经网络说明：连接权重和偏差权重的初始值是随机的，相同迭代策略下迭代结束时的权重最终值可能是不等的，有些可能是最优解有些可能仅是局部最优解一般可通过迭代的多次重启动方式解决这个问题感知机网络第8章数据预测建模：人工神经网络

感知机网络第8章数据预测建模：人工神经网络

感知机网络

第8章数据预测建模：人工神经网络

多层感知机网络

第8章数据预测建模：人工神经网络

多层感知机网络第8章数据预测建模：人工神经网络多层感知机网络中的隐藏节点隐藏节点在分类预测中的作用：实现非线性样本的线性变换分类预测中的线性样本：对P维输入变量空间的两类样本，若能找到一个超平面将两类分开，则该样本为线性样本，否则为非线性样本

第8章数据预测建模：人工神经网络Python模拟和启示：认识隐藏节点本例中随着隐藏节点的增加，分类边界从直线逐步变为曲线和圆圈，较好地实现了非线性样本的分类Chapter8-2.ipynb第8章数据预测建模：人工神经网络

第8章数据预测建模：人工神经网络多层感知机网络中的隐藏节点隐藏节点在回归预测中的作用：实现非线性投影寻踪回归

可将投影寻踪回归视为三层感知机网络中隐藏层到输出层的所有连接权重均等于1的特例第8章数据预测建模：人工神经网络BP方向传播算法：多层网络引入反方向传播机制传递误差并完成权重更新反向传播算法的基本思想：向传播和反向传播两个阶段正向传播阶段：传播的是样本信息，网络的所有连接权重保持不变反向传播阶段：将输出节点的预测误差反方向逐层传播到上层隐藏节点，逐层更新权重，直至所有权重全部更新为止B-P反向传播算法第8章数据预测建模：人工神经网络

第8章数据预测建模：人工神经网络

第8章数据预测建模：人工神经网络人工神经网络的Python应用实践：手写体邮政编码的识别在数据集划分的基础上，建立不同个数隐藏节点的三层感知机网络，激活函数依次为ReLU和Logistic函数绘制随隐藏节点的增加，各网络测试误差变化曲线图，确定较为理想的网络拓扑结构和激活函数较为理想的模型是采用ReLU激活函数且包含9个隐藏节点的网络Chapter8-3.ipynb第8章数据预测建模：人工神经网络人工神经网络的Python应用实践：PM2.5浓度的回归预测指定输入变量SO2、CO、NO2、O3和输出变量PM2.5涉及多个参数组合的反复调试，为快速达成目标，直接利用Python的网格搜索算法实现基于最优网络结构进行预测Chapter8-4.ipynb第8章数据预测建模：人工神经网络第9章数据预测建模：支持向量机支持向量分类概述完全线性可分下的支持向量分类广义线性可分下的支持向量分类线性不可分下的支持向量分类Python应用实践导言

第9章数据预测建模：支持向量机支持向量机（SupportVectorMachine，SVM）是在统计学习理论（StatisticalLearningTheory，SLT）基础上发展起来的一种机器学习方法（1992年由Boser，Guyon和Vapnik提出）在解决小样本、非线性和高维的分类预测和回归预测问题上有许多优势支持向量机分为支持向量分类机和支持向量回归机讨论的问题涉及：第一、支持向量分类概述第二、完全线性可分下的支持向量分类第三、广义线性可分下的支持向量分类第四、线性不可分下的支持向量分类支持向量分类概述

第9章数据预测建模：支持向量机支持向量分类的基本思路如果两类样本观测点能够被超平面有效分开，则可能会找到多个这样的超平面支持向量分类算法确定的分类超平面：是具有最大边界的超平面，是距两类别的边缘观测点最远的超平面支持向量分类概述

固定迭代次数下，不同初始参数的神经网络给出分类边界应采用哪个超平面进行预测呢？第9章数据预测建模：支持向量机支持向量分类的基本思路支持向量分类中的超平面：具有最大边界的超平面，是距两类别的边缘观测点最远的超平面最大边界超平面的意义：有较高的预测置信度最大边界超平面仅取决于两类边缘上的观测点：这些样本观测称为支持向量，预测具有很强的鲁棒性

第9章数据预测建模：支持向量机支持向量分类概述

支持向量分类的基本思路支持向量分类的三种情况线性可分样本：样本观测点可被超平面线性分开的情况完全线性可分样本无法完全线性可分（广义线性可分）线性不可分样本第9章数据预测建模：支持向量机完全线性可分下的支持向量分类

以二维空间为例：首先，分别将两类的最外围的样本观测点连线形成两个多边形，应是关于两类样本点集的凸包（ConvexHull），最小凸多边形(各自类的样本观测点均在多边形内或边上)然后，以一类的凸包边界为基准线，找到另一类凸包边界上的点，过该点做基准线的平行线，得到一对平行线可以有多条这样的基准线和对应的平行线，应找到：相距最远,且能正确划分两类的一对平行线最大边界超平面（线）：平行于该对平行线、位于该对平行线的中间位置上第9章数据预测建模：支持向量机

完全线性可分下的支持向量分类

第9章数据预测建模：支持向量机

完全线性可分下的支持向量分类

第9章数据预测建模：支持向量机

完全线性可分下的支持向量分类

第9章数据预测建模：支持向量机

第9章数据预测建模：支持向量机

第9章数据预测建模：支持向量机

完全线性可分下的支持向量分类

第9章数据预测建模：支持向量机完全线性可分下支持向量分类的实现Chapter9-2.ipynb第9章数据预测建模：支持向量机广义线性可分下的超平面：采用适当的宽松策略，允许部分样本观测点进入“禁区”：广义线性或线性软间隔支持向量分类广义线性可分下的支持向量分类

第9章数据预测建模：支持向量机

广义线性可分下的支持向量分类第9章数据预测建模：支持向量机广义线性可分下的超平面

Chapter9-3.ipynb第9章数据预测建模：支持向量机

广义线性可分下的支持向量分类

只能要求两项之和最小第9章数据预测建模：支持向量机

第9章数据预测建模：支持向量机

第9章数据预测建模：支持向量机如何解决线性不可分的分类问题一般方式是进行非线性空间转换：低维空间中的线性不可分问题，通过恰当的非线性变换转化为高维空间中的线性可分问题线性不可分下的支持向量分类第9章数据预测建模：支持向量机

线性不可分下的支持向量分类第9章数据预测建模：支持向量机

点积计算是关键第9章数据预测建模：支持向量机

第9章数据预测建模：支持向量机

第9章数据预测建模：支持向量机

Chapter9-4.ipynb第9章数据预测建模：支持向量机Python编程题：物联网大数据应用---老年人危险体位预警正方性表示无线穿戴设备从平躺在床上，到坐起、曲身站起并直立过程中的体位（Activity）变化随着体位的实时变化（TimeStamp，不同时间点）变化，无线穿戴设备的竖直高度（vertical，穿戴设备距地面的高度）数据、水平位置（frontal，lateral，穿戴设备距两个垂直墙体的距离）数据以及倾角数据等(Phase,Frequency)都会发生变化这些数据会通过房间内的3个射频识别（RadioFrequencyIdentification，RFID）设备实时采集并传回。其中2个RFID安装在天花板上，1个安装在墙上老人在室内走动时各设备（SensorID）所接受的信号强度（RSSI）会不同数据采集时段内，老人们的体位状态包括1：坐在床上；2：坐在椅子上；3：躺在床上；4：站立或行走请利用支持向量分类预测老年人体位体位的四分类预测危险体位的二分类预测对该问题的二分类预测中，查全率是更重要的，你认为应如何提高查全率并编程实现第9章数据预测建模：支持向量机老年人危险体位预警1：坐在床上；2：坐在椅子上；3：躺在床上；4:站立或行走第9章数据预测建模：支持向量机第10章特征选择：过滤、包裹和嵌入策略特征选择概述过滤式策略下的特征选择包裹式策略下的特征选择嵌入式策略下的特征选择特征选择概述

第10章特征选择：过滤和包裹策略特征选择概述

特征选择的角度：第一，考察变量取值的差异程度第二，考察输入变量与输出变量的相关性第三，考察输入变量对模型误差的影响具体策略：第一，过滤式（Filter）策略特征选择与预测建模“分而治之”第二，包裹式（wrapper）策略将特征选择“包裹”到一个指定的预测模型中，通过预测模型评价变量重要性，并完成变量筛选第三，嵌入式（embedding）策略（以后讲）即特征选择“嵌入”到整个预测建模中，与预测建模“融为一体”第10章特征选择：过滤和包裹策略考察变量取值的差异程度：低方差过滤法（LowVarianceFilter）输入变量与输出变量的相关性：高相关过滤法（HighCorrelationFilter）

过滤式策略下的特征选择

Chapter10-2.ipynb第10章特征选择：过滤和包裹策略

计算原假设成立下，得到当前样本的特征或更极端特征的概率：概率-P值概率-P值很小且小于显著性水平α，依据小概率原理，推翻原假设接受备择假设

第10章特征选择：过滤和包裹策略

Chapter10-2.ipynb第10章特征选择：过滤和包裹策略

包裹式策略下的特征选择

第10章特征选择：过滤和包裹策略

包裹式策略下的特征选择

第10章特征选择：过滤和包裹策略

嵌入式策略下的特征选择第10章特征选择：过滤和包裹策略

约束条件：目标函数：

或

第10章特征选择：过滤和包裹策略嵌入式策略下的特征选择：等价表述为：以上为岭回归(RidgeRegression)的目标函数以上为Lasso(Leastabsoluteshrinkageandselectionoperator)回归的目标函数

第10章特征选择：过滤和包裹策略

Python中的目标函数：第10章特征选择：过滤和包裹策略

Chapter10-4.ipynb

第10章特征选择：过滤和包裹策略基于Lasso回归筛选重要变量

Lasso回归和岭回归的比较Chapter10-4.ipynb第10章特征选择：过滤和包裹策略Lasso回归和岭回归的比较:L2正则化(岭回归)还是L1正则化(Lasso回归)？

L2范数约束(岭回归)最优解下的损失函数小于L1范数约束最优解下的损失函数第10章特征选择：过滤和包裹策略弹性网回归L1范数约束(Lasso回归)更适于进行特征选择平方L2范数约束(岭回归)最优解下的损失函数小于L1范数约束最优解下的损失函数弹性网回归是对Lasso回归和岭回归的结合及拓展，同时引入L1正则化和L2正则化目标函数：Python中弹性网回归的目标函数为：

第10章特征选择：过滤和包裹策略Chapter10-5.ipynb

弹性网回归示例相同复杂度惩罚下，L1范数约束的错判率高于L2第10章特征选择：过滤和包裹策略弹性网回归示例第10章特征选择：过滤和包裹策略第11章特征提取：空间变换策略特征提取概述主成分分析矩阵的奇异值分解因子分析特征提取概述

第11章特征提取：空间变换策略特征提取：从众多具有相关性的输入变量中提取出较少的综合变量，用综合变量代替原有输入变量，从而实现输入变量空间的降维基于空间变换主成分分析

第11章特征提取：空间变换策略

第11章特征提取：空间变换策略主成分分析的基本原理数学表述为：

示例：

第11章特征提取：空间变换策略

第11章特征提取：空间变换策略

第11章特征提取：空间变换策略

第11章特征提取：空间变换策略

主成分分析

第11章特征提取：空间变换策略Python模拟与启示：认识主成分

chapter11-1.ipynb第11章特征提取：空间变换策略

矩阵的奇异值分解第11章特征提取：空间变换策略矩阵的奇异值分解

第11章特征提取：空间变换策略奇异值分解的Python应用实践：脸部数据特征提取奇异值分解第11章特征提取：空间变换策略chapter11-2.ipynb因子分析：一种常用的通过空间变换策略实施特征提取的经典统计方法核心目的：将众多具有相关性的输入变量综合成较少的综合变量，用综合变量代替原有输入变量，实现输入变量空间的降维因子分析的基本出发点六门课程成绩的相关系数矩阵(斯皮尔曼研究一个班级学生课程成绩相关性时提出的方法)因子分析

原因：学习成绩一定受某种潜在的共性因素影响，它可能是班级整体某方面的学习能力或者智力水平等第11章特征提取：空间变换策略因子分析的基本出发点：六门课程成绩的相关系数矩阵原因：学习成绩一定受某种潜在的共性因素影响，它可能是班级整体某方面的学习能力或者智力水平等，数学刻画：因子分析

第11章特征提取：空间变换策略

第11章特征提取：空间变换策略

第11章特征提取：空间变换策略

因子分析第11章特征提取：空间变换策略

因子分析第11章特征提取：空间变换策略

第11章特征提取：空间变换策略

第11章特征提取：空间变换策略Python模拟和启示：认识因子分析的计算过程chapter11-5.ipynb（包括手工计算过程、调包）pipinstallfactor_analyzer第11章特征提取：空间变换策略因子分析的其他问题因子的适用性：适合原有变量有中度以上相关性的情况因子的可解释性问题：因子载荷矩阵的旋转因子矩阵旋转：将因子载荷矩阵A右乘一个正交矩阵τ后得到一个新矩阵B常见方法：方差极大法因子旋转并不影响原有变量的共同度第11章特征提取：空间变换策略因子分析的Python应用实践：空气质量综合评测chapter11-6.ipynb第11章特征提取：空间变换策略第12章揭示数据内在结构：聚类分析聚类分析的一般问题基于质心的聚类模型：K-均值聚类基于联通性的聚类模型：系统聚类基于密度的聚类：DBSCAN聚类聚类分析的一般问题聚类分析的目的例如：基于RFM的市场细分RFM：最近一次消费（Recency）、消费频率（Frequency）、消费金额（Monetary）主观分组

基本概念：聚类变量有监督算法和无监督算法聚类解类中心第12章揭示数据内在结构：聚类分析聚类分析的一般问题类的定义：类是一组样本观测的集合，包括：聚类变量空间中距离较近的各样本观测点，可形成一个小类聚类变量空间中样本观测点分布较为密集的区域，可视为一个小类来自某特定统计分布的一组样本观测，可视为一个小类从聚类结果角度，包括：确定性聚类和模糊聚类基于层次的聚类和非层次的聚类从聚类模型角度，包括：基于质心的聚类模型（CentroidModels）基于联通性的聚类模型（ConnectivityModels）基于统计分布的聚类模型（Distributionmodels）基于密度的聚类模型（Densitymodels）其他聚类模型第12章揭示数据内在结构：聚类分析

第12章揭示数据内在结构：聚类分析

第12章揭示数据内在结构：聚类分析聚类解的可视化：利用二维图散点图直观展示小类内部样本观测点