《机器学习-Python实战（微课版）》课件 第三章 线性回归

第三章线性回归本章主要讲述机器学习中回归概念，并展开介绍线性回归。通过本节学习可以：熟悉机器学习中线性回归熟悉一元线性回归掌握梯度下降方法熟悉多元线性回归及非线性回归学习目标一元线性回归代价函数梯度下降法标准方程法多元线性回归非线性回归介绍利用该数据集，我们可以训练一个线性方程，无限逼近所有数据点，然后利用该方程与给定的某一自变量（本例中为面积），可以预测因变量。（本例中为房价）回归分析案例

预测二手车价格的系统。该系统的输入是我们认为会影响车价的属性信息：品牌、年龄、发动机性能、里程以及其他信息。输出是车的价格。这种输出为数值的问题是回归问题。回归预测线性回归是种通过拟合自变量与因变量之间最佳线性关系，来预测目标变量的方法。回归过程是给出一个样本集，用函数拟合这个样本集，使样本集与拟合函数间的误差最小。回归分析包括以下内容：确定输入变量与目标变量间的回归模型，即变量间相关关系的数学表达式。根据样本估计并检验回归模型及未知参数。从众多的输入变量中，判断哪些变量对目标变量的影响是显著的。根据输入变量的已知值来估计目标变量的平均值并给出预测精度。线性回归概念线性回归的类型包括简单线性回归和多元线性回归。简单线性回归使用一个自变量，通过拟合最佳线性关系来预测因变量。多元线性回归使用多个独立变量，通过拟合最佳线性关系来预测因变量。线性回归分类汽车卖家通过电视广告数量来预测卖出的汽车数量，如下图所示，可以预测广告数量为“6”时，卖出的汽车数量是多少。一元线性回归案例一元线性回归包含一个自变量(X)和一个因变量(Y)。一元线性回归方程：这个方程对应的图像是一条直线，称作回归线，其中

是回归线的截距，是回归线的斜率，E(y)是在一个给定x值下y的期望值（均值）。一元线性回归一元线性回归代价函数梯度下降法标准方程法多元线性回归非线性回归介绍法国数学家，阿德里安-马里·勒让德（1752－1833）提出让总的误差的平方最小的y就是真值，这是基于如果误差是随机的，应该围绕真值上下波动。最小二乘法图1中各个点沿y轴到那条直线的距离更远，而图2中各个点到线的距离更近。损失函数定义在单个样本上的，计算一个样本的误差。代价函数是定义在整个训练集上的，是所有样本误差的平均。公式如下：代价函数（损失函数）一元线性回归代价函数梯度下降法标准方程法多元线性回归非线性回归介绍梯度下降法是一个最优化算法，通常也称为最速下降法。最速下降法是求解无约束优化问题最简单和最古老的方法之一，虽然现在已经不具有实用性，但是许多有效算法都是以它为基础进行改进和修正而得到的。最速下降法是用负梯度方向为搜索方向的，最速下降法越接近目标值，步长越小，前进越慢。可以用于求解非线性方程组。梯度下降假设一个场景：一个人需要从山的某处开始下山，尽快到达山底。在下山之前他需要确认两件事：下山的方向下山的距离梯度下降步长（Learningrate）特征（feature）假设函数（hypothesisfunction）损失函数（lossfunction）梯度下降相关概念批量梯度下降法（BGD）随机梯度下降法（SGD）小批量梯度下降法（MBGD）常用梯度下降方法一元线性回归代价函数梯度下降法标准方程法多元线性回归非线性回归介绍假设我们有一个n*n的矩阵，这个矩阵代表着每个因子具体的值，比如有一个关于身高预测的模型，其中一个人的身高的影响因素有：父亲升高，母亲升高，以及自己年龄的大小。标准方程法每一行代表一组数据，跟我们真实数据很像，每一行第一个是father身高，第二列是mother身高，第三列是孩子现在年龄。得到矩阵：标准方程法一元线性回归代价函数梯度下降法标准方程法多元线性回归非线性回归介绍在线性回归中，我们通过建立自变量x的一次方程来拟合数据。而非线性回归中，则需要建立因变量和自变量之间的非线性关系。多元回归导入线性拟合

非线性拟合机器学习中一种常见的模式，是使用线性模型训练数据的非线性函数。这种方法保持了一般快速的线性方法的性能，同时允许它们适应更广泛的数据范围。在标准线性回归的情况下，你可能有一个类似于二维数据的模型:

多元回归介绍如果我们想把抛物面拟合成数据而不是平面，我们可以结合二阶多项式的特征，使模型看起来像这样：仔细观察这两个模型会发现，我们可以想象创造一个新的变量：多元回归有了这些重新标记的数据，我们可以将原多项式问题写成：因此我们可以将原始数据转换后再使用线性回归训练构成多项式回归模型，其中PolynomialFeatures方法将数据进行转换。多元回归介绍

多元线性回归案例年份人均耐用消费品支出

y人均全年可支配收入x1耐用消费品价格指数x21988137.161181.4115.961989124.561375.7133.351990107.911510.2128.211991102.961700.6124.851992125.242026.6122.491993162.452577.4129.861994217.433496.2139.521995253.424283.0140.441996251.074838.9139.121997285.855160.3133.351998327.265425.1126.39多元线性回归案例估计的回归方程

线性回归检验

议程一元线性回归代价函数梯度下降法标准方程法多元线性回归非线性回归介绍在统计学中，非线性回归是回归分析的一种形式，非线性模型是由一个或多个自变量非线性组合。一些常见非线性模型：阶跃函数分段函数样条曲线广义加性模型非线性回归非线性回归是指在因变量与一系列自变量之间建立非线性模型。线性与非线性并不是说因变量与自变量间是直线或曲线关系，而是说因变量是否能用自变量的线性组合来表示。如果经过变量转换，两个变量可以用线性来表达去关系，那么可以用之前章节中介绍的方法进行拟合回归方程。但经过变量变化后，两个变量关系仍然不能用线