《机器学习-Python实战（微课版）》课件 第六章 Logistic回归

第六章Logistic回归本章主要讲述Logistic回归算法的基础知识、模型优化、多项式逻辑回归以及具体实现。学习目标通过本章学习可以：Logistic回归概述Logistic回归原理Logistic回归模型的训练和优化多项式Logistic回归Logistic回归概述分类问题Logistic回归原理Logistic回归模型Logistic训练和优化多项式Logistic回归Logistic回归概述LogisticRegression虽然被称为回归，但其实际上是分类模型，并常用于二分类。LogisticRegression因其简单、可并行化、可解释强深受工业界喜爱。Logistic回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。Logistic回归是机器学习从统计学领域借鉴过来的另一种技术。它是二分类问题的首选方法。像线性回归一样，Logistic回归的目的也是找到每个输入变量的权重系数值。但不同的是，Logistic回归的输出预测结果是通过一个叫作「logistic函数」的非线性函数变换而来的。分类问题监督学习的最主要类型——分类(Classification)定义：所谓分类，就是根据数据的特征或属性，划分到已有的类别中。从功能上看，分类问题就是预测数据所属的类别分类的输入变量可以是离散的也可以是连续的，标签是离散的。已知某个人存款金额是10000元，这个人没有结婚，并且有一辆车，没有固定住房，估计判断这个人是否会涉嫌信用欺诈问题。根据肿瘤的体积、患者的年龄来判断良性或恶性。分类问题二分类用蓝色圆形数据定义为类别1，其余三角形数据为类型2；只需要分类一次就可以步骤：①->②分类问题多分类先定义其中一类为类型1(正类)，其余数据为负类(rest)；接下来去掉类型1数据，剩余部分再次进行二分类，分成类型2和负类；如果有n类，则需要分类n-1次步骤：①->②->③->…..Logistic回归概述分类问题Logistic回归原理Logistic回归模型Logistic训练和优化多项式Logistic回归Logistic回归原理Logistic回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。Logistic分布是一种连续型的概率分布，其分布函数和密度函数分别为：逻辑分布深度学习中的常用到的Sigmoid函数就是Logistic的分布函数在的特殊形式Sigmoid函数

Logistic回归学习策略模型中的参数常常使用极大似然估计法来求解，即找到一组参数，使得在这组参数下，使得数据的似然度（概率）最大。设：似然函数：

等式两边取对数：

平均对数似然损失：Logistic回归概述分类问题Logistic回归原理Logistic回归模型Logistic训练和优化多项式Logistic回归Logistic回归优化算法

Logistic回归优化算法正则化目的是为了防止过拟合。没有正则化，过拟合正则化过度，欠拟合适当的正则化Logistic回归优化算法L1正则化LASSO回归，相当于为模型添加先验知识：w服从零均值拉普拉斯分布。拉普拉斯分布：引入正则项后，似然函数改写为：Logistic回归优化算法L1正则化对似然函数取log再取负，得到目标函数：等价于原始损失函数后面加上L1正则化。本质上L1正则本质其实是为模型增加了模型参数服从零均值拉普拉斯分布的先验知识。Logistic回归优化算法L2正则化Ridge回归，相当于为模型添加先验知识：w服从零均值正态分布。正态分布：引入正则项后，似然函数改写为：Logistic回归优化算法L2正则化对似然函数取ln再取负，得到目标函数：等价于原始损失函数后面加上L2正则化。本质上L2正则本质其实是为模型增加了模型参数服从零均值正态分布的先验知识。右图为L1和L2正则化对比目标函数-平方误差项的等值线和L1、L2范数等值线（左边是L1），我们正则化后的代价函数需要求解的目标就是在经验风险和模型复杂度之间的平衡取舍，在图中形象地表示就是黑色线与彩色线的交叉点。Logistic回归优化算法Logistic回归概述分类问题Logistic回归原理Logistic回归模型Logistic训练和优化多项式Logistic回归多项式Logistic回归当Y只有两个选项时，可使用二分类Logistic，当Y有三项或更多时，则应该使用多分类Logistic回归。二元逻辑回归和多分类逻辑回归的对比多项式Logistic回归解决多分类问题，可把Sigmoid函数换成Softmax函数。Softmax回归是直接对逻辑回归在多分类的推广。Softmax函数为：整体目标函数1.（单选）Logistic回归适用于因变量为（

）？A.二分类变量

B.多分类有序变量

C.