模式识别与机器学习PPT课件

1、1模式识别与机器学习模式识别与机器学习w 任课教师：李冰锋w 单位：电气工程及自动化学院w 办公室：D507w 电话：156391796902第二章 线性回归算法模式识别与机器学习模式识别与机器学习2021-12-63实现统计学习方法的步骤如下 ： 1. 得到一个有限的训练数据集合； 2. 确定包含所有可能的模型的假设空间，即学习模型的集合：3. 确定模型选择的准则，即学习的策略；4. 实现求解最优模型的算法，即学习的算法；5. 通过学习方法选择最优模型；6. 利用学习的最优模型对新数据进行预测或分析。 2.4 2.4 线性回归线性回归2021-12-64 理想情况下，一个监督式学习算法应当选

2、择期望损失最小的模型。o 期望损失给定样本空间 ，特征分布 ，标签分布 以及损失函数 。对任意模型 ,定义其期望损失为： 2.4 2.4 线性回归线性回归2021-12-65 实际中，并通过模型在训练数据上的经验损失来近似期望损失。 当训练数据的规模足够大时， Hoeffding不等式保证了经验损失能够良好近似期望损失。o 经验损失2.4 2.4 线性回归线性回归2021-12-66确定模型选择的准则，即学习的策略o 损失函数设 为标签空间。损失函数是一个从 映射到正实数的函数 ，并且要求其具备如下性质：对任意 2.4 2.4 线性回归线性回归2021-12-672.4 2.4 线性回归线性回

3、归 线性回归算法实际上是一个其模型为线性模型，损失函数为平方损失函数，且经验损失最小化算法。 训练集：训练集： 线性模型：线性模型： 损失函数：损失函数： 优化目标：优化目标：2021-12-682.4 2.4 线性回归线性回归 目标函数：目标函数：均方误差 目标函数的矩阵化表示：目标函数的矩阵化表示：2021-12-692.4 2.4 线性回归线性回归 优化目标：优化目标：全局最优解全局最优解oror局部最优解局部最优解? ?凸函数凸函数or not ?or not ?2021-12-6102.4.1 2.4.1 线性回归的求解线性回归的求解 设 是一个 元实函数。如果对任意的 以及任意的

4、，有 则称 是一个凸函数。凸函数的局部最优解即为全局最优解。 设 处处 阶可导。则称 为凸函数充分必要条件为，对任意的 有 。2021-12-6112.4.1 2.4.1 线性回归的求解线性回归的求解2021-12-612o 局限性只有当 可逆时，结论才成立。所选各特征之间相互不独立或训练数据的个数小于特征维度时不可逆。对M阶方阵求逆算法的时间复杂度为 。当特征的维度比较高时，计算负担很大。2.4.1 2.4.1 线性回归的求解线性回归的求解2021-12-613 - MedInc median income in blockn - MedInc median income in blockn

5、 - HouseAge median house age in blockn - HouseAge median house age in blockn - AveRooms average number of roomsn - AveRooms average number of roomsn - AveBedrms average number of bedroomsn - AveBedrms average number of bedroomsn - Population block populationn - Population block populationn - AveOccu

6、p average house occupancyn - AveOccup average house occupancyn - Latitude house block latituden - Latitude house block latituden - Longitude house block longituden - Longitude house block longituden2.4.2 2.4.2 线性回归举例线性回归举例california_housing predictcalifornia_housing predict2021-12-6142.4.2 2.4.2 线性回

7、归举例线性回归举例2021-12-6152.4.3 2.4.3 线性回归评价指标线性回归评价指标均方误差均方误差MSE（Mean Squared Error）平均绝对误差平均绝对误差MAER2_score2021-12-6162.4 2.4 线性回归线性回归线性回归线性回归能采用梯度下降的方法吗？能采用梯度下降的方法吗？2021-12-6172.5 2.5 多项式回归多项式回归 训练集：训练集： 线性模型：线性模型： 损失函数：损失函数： 优化目标：优化目标：2021-12-6182.5 2.5 多项式回归多项式回归1、sklearn.preprocessing.PolynomialFeatu

8、res来 进行特征构造。2、PolynomialFeatures的三个参数degree：控制多项式的度interaction_only：控制特征自己结合的项include_bias：控制是否需要偏置。2021-12-6192.5 2.5 多项式回归多项式回归2021-12-6202.5 2.5 多项式回归多项式回归2021-12-6212.6 2.6 过拟合过拟合o 过拟合&模型选择训练数据集模型损失函数目标函数22 随着多项式次数（模型复杂度）的增加，训练误差逐渐减小，但是测试误差先减小而后增大。 而最终的目的是使测试误差达到最小。这样，在多项式函数拟合中，就要选择合适的多项式次数。

9、o 过拟合&模型选择2.6 2.6 过拟合过拟合2021-12-623o 过拟合&模型选择过拟合是一种现象。当提高模型在训练数据上的表现时，在测试数据上反而下降，这就被称为过拟合。2.6 2.6 过拟合过拟合2021-12-624过拟合发生的本质原因，是由于监督学习问题的不适定：在高中数学我们知道，从n个（线性无关）方程可以解n个变量，解 n+1个变量就会解不出。在监督学习中，往往数据（方程）远远少于模型空间（变量）。o 过拟合&模型选择正则化正则化(regularization)(regularization)就是控制模型空间的一种办法就是控制模型空间的一种办法如何解

10、决过拟合？如何解决过拟合？2.6 2.6 过拟合过拟合2021-12-625L1/L2约束、数据增强权重衰减、随机梯度下降、提前停止2.6.1 2.6.1 正则化方法正则化方法2021-12-626正则化优化模型复杂度最小经验风险最小2.6.1 2.6.1 正则化方法正则化方法2021-12-627o 正则化&交叉验证正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项（regularizer term ）或罚项（ penalty term) 。协调系数 经验风险正则化项要求正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。正则化项如何实现呢？正则化项如何实

11、现呢？2.6.1 2.6.1 正则化方法正则化方法2021-12-628正则化项可以是模型参数向量的范数。比如：L0、L1、L2范数。o 正则化&交叉验证L0范数正则化表示零参数的个数。L1范数正则化表示各个参数绝对值之和。L2范数正则化表示各个参数的平方的和的开方值。正则化项对模型参数添加了先验正则化项对模型参数添加了先验最小化,why？2.6.1 2.6.1 正则化方法正则化方法2021-12-629o 正则化&交叉验证 L0范数正则化可以实现参数的稀疏化； L1和L2范数正则化可以让参数变的很小；2.6.1 2.6.1 正则化方法正则化方法2021-12-630o 正则化

12、&交叉验证L0正则化：NP-hard问题L1正则化：坐标轴下降法L2正则化：总结：L1会趋向于产生少量的特征，而其他的特征都是0；L2会选择更多的特征，这些特征都会接近于0。2.6.1 2.6.1 正则化方法正则化方法2021-12-631o 正则化&交叉验证K-折交叉验证（K-fold Cross Validation）2.6.1 2.6.1 正则化方法正则化方法2021-12-6322.6.2 2.6.2 岭回归岭回归特征个数过多与训练数据不足通常线性回归过度拟合的两大原因。特别是当特征维度大于训练样本个数时。 不可逆时，均方误差目标函数呈现山岭状。非严格的凸函数常称为岭函

13、数。线性回归的L2正则化o 岭回归称为岭回归，其中 为正则化系数。 2021-12-633 是一个严格的凸函数 设 是一个 元实函数。如果对任意的 以及任意的 ，有 则称 是一个严格的凸函数。2.6.2 2.6.2 岭回归岭回归2021-12-634当均方误差为岭函数时，通常采用岭回归进行线性模型训练。岭回归是 ridge regression中译，其中 ridge的意思即为山岭，这就是岭回归名字的由来。 2.6.2 2.6.2 岭回归岭回归2021-12-635通常情况下，正则化算法都具有如上所示的趋势。绘制算法的趋势图，并选择能使测试数据上误差最小的正则化系数，是设计正则化算法可采用的一般

14、策略。2.6.2 2.6.2 岭回归岭回归2021-12-6362.6.2 2.6.2 岭回归岭回归2021-12-6372.6.3 2.6.3 岭回归岭回归2021-12-6382.6.3 Lasso2.6.3 Lasso回归回归线性回归的L1正则化称为Lasso，其中 为正则化系数。 Lasso 是英文 Least Absolute Shrinkage and Selection Operator 的首字母缩写。随着Lasso正则化强度的增大，回归引导算法将参数分量逐个降为0，从而进行特征选择。o Lasso回归坐标轴下降法2021-12-639Degree=40Degree=402.6.

15、3 Lasso2.6.3 Lasso回归回归2021-12-640o 弹性网回归其中 ， 为正则化系数。 弹性网回归算法正则化部分是参数的L1范数与 L2 范数的凸组合。当弹性系数选择得恰当时，弹性网回归可以同时具有岭回归与 Lasso 回归的优势，是一个非常实用的线性回归正则化方法。2.6.3 Lasso2.6.3 Lasso回归回归2021-12-641梯度下降算法要求目标函数可微。当目标函数不可微时，需要将梯度的概念推广到次梯度。2.6.4 Lasso2.6.4 Lasso回归的求解回归的求解2021-12-642设 是一个 元实函数。如果对任意的 ，有： o 次梯度则称 是 在 处的一