(4.3.1)-第4章作业-多元线性回归方法原理详解

多元线性回归目录CONTENTS1回归定义2算法流程3超参数4解题思路定义1PARTONE回归分析回归分类线性回归回归预测回归分析

回归分析：确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。也就是根据数据集D，拟合出近似的曲线，所以回归也常称为拟合（Fit）。

回归分析后将得到回归方程，与具体数据结合后可得到对应的预测结果。回归预测回归分类一元回归分析

回归分析因变量和自变量的个数因变量和自变量的函数表达式多元回归分析线性回归分析非线性回归分析线性回归一元线性回归因变量和自变量的个数多元线性回归定义：仅用一个特征进行的线性回归定义:通过n个特征进行的线性回归公式：y=wx+b

例子：学分绩点=（综合成绩-60）/10+1.5

算法流程2数据预处理算法模型模型评估PARTTWO模型预测算法流程算法流程打个形象的比喻：

训练集——学生的课本；学生根据课本里的内容来掌握知识。

验证集——作业，通过作业可以知道不同学生学习情况、进步的速度快慢。

测试集——考试，考的题是平常都没有见过，考察学生举一反三的能力。说明：一般三者切分的比例是6：2：2，验证集并不是必须的。数据预处理

数据预处理（datapreprocessing）是指对所收集数据进行分类或分组前所做的审核、筛选、排序等必要的处理。常用的数据预处理方式有数据归一化、数据增强、缺失值处理、异常点/离群点检测等。最大最小值归一化方法：将不同量纲的数据统一归一化为[0,1]之间的数据。缺点：这种方法有个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。最大最小值归一化方法：将不同量纲的数据统一归一化为[0,1]之间的数据。模型训练—多元线性回归公式

损失函数

损失函数（lossfunction）又称代价函数（costfunction），是预测结果和实际结果之间的差别，如平方损失函数。模型训练-损失函数

由于该函数为凸函数，只有一个全局最优解，因此使用此函数作为损失函数有利于使用梯度下降法进行模型训练时取得全局最优解。凸函数（下凸）

设f(x)在区间D上连续，如果对D上任意两点a、b恒有：f((a+b)/2)<(f(a)+f(b))/2

则f(x)在D上的图形是（向下）凸的（或凸弧）。

凸函数:只有一个局部最低点。

非凸函数：有多个局部最低点，一个全局最低点。优化器

优化器能指引损失函数的各个参数往正确的方向更新合适的大小，使得更新后的各个参数能让损失函数值不断逼近全局最小。优化器梯度下降法动量优化法自适应学习率优化算法标准梯度下降法（GradientDescent，GD）MomentunAdagrad算法NAGRMSprop算法AdaDleta算法Adam算法批量梯度下降法（(BatchGradientDescent，BGD）随机梯度下降法（StochasticGradientDescent）标准梯度下降梯度下降法的计算过程就是沿梯度下降的方向求解极小值的过程（也可以沿梯度上升方向求解极大值），公式如下：

学习率

学习率大学习率小超参数

超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。参数与超参数的区别：

模型参数：根据数据自动估算的，由数据来驱动调整，如线性回归中的系数w。

模型超参数：手动设置的，并且在过程中用于帮助估计模型参数，如模型的训练次数、学习率、损失函数。模型训练-梯度下降

代入

代入

将（2）式代入（1）式可得：

模型评估性能评估指标回归准确率（Accuracy）错误率（Errorrate）灵敏度（sensitive）特异度（specificity）精确率、精度（Precision）召回率（recall）综合评价指标（F-Measure）平均绝对误差（MeanAbsoluteError，MAE）均方误差（MeanSquaredError，MSE）均方根误差（RootMeanSquareError,RMSE）分类模型评估解题思路4数据预处理模型训练模型评估PARTFOUR数据集划分数据预处理-分析数据集数据预处理-皮尔逊相关系数

皮尔逊相关系数(Pearsoncorrelationcoefficient），又称皮尔逊积矩相关系数（Pearsonproduct-momentcorrelationcoefficient，简称PPMCC或PCCs），是用于度量两个变量X和Y之间的相关性（线性相关），可用于特征挑选。其值介于-1与1之间，两个变量之间的皮尔逊相关系数定义为两个变量之间的协方差和标准差的商，公式如下：

例子：求解平时分预测问题。现有一数据集共有四条数据，记录了课堂回答次数、作业上交次数和平时分。通过多元线性回归方法对该数据集构建一个平时分预测模型，求该数据集课堂回答次数和作业上交次数与平时分的相关系数。1487259501733394

根据数据集可知：数据预处理-皮尔逊相关系数数据预处理-归一化

归一化公式如下：特征值=（特征值-特征最小值）/（特征最大值-特征最小值）

如果缺少归一化步骤，由于不同特征值的不同取值范围，可能会导致利用梯度下降法训练的结果异常，出现缺失值。例子：求解平时分预测问题。现有一数据集共有四条数据，记录了课堂回答次数、作业上交次数和平时分。通过多元线性回归方法对该数据集构建一个平时分预测模型，求问该数据集归一化后的结果。14872595017333941/33/47/112/31100011/221/22归一化数据集划分将数据集D划分成两个互斥集合，常用的是将训练集和测试集比例选取为7:3。1/33/47/112/31100011/221/22模型训练-多元线性回归公式例子：求解平时分预测问题。现有一数据集共有四条数据，记录了课堂回答次数、作业上交次数和平时分。通过多元线性回归方法对该数据集构建一个平时分预测模型，求问该模型的回归方程形式。根据数据集可知，自变量应为课堂回答次数、作业上交次数与偏置，因变量为平时分，因此多元线性回归方程如下：

模型训练-梯度下降例子：求解平时分预测问题。现有一数据集共有四条数据，记录了课堂回答次数、作业上交次数和平时分。通过多元线性回归方法对该数据集构建一个平时分预测模型，优化器使用学习率为0.04的标准梯度下降，求问训练1000次后的系数。系数变化公式：训练结果：10.9434090.9686110.96475420.8905030.9393420.93186430.8410380.9120520.901176···10000.0006950.6788910.547003系数训练次数模型评估例子：求解平时分预测问题。现有一数据集共有四条数据，记录了课堂回答次数、作业上交次数和平时分。通过多元线性回归方法对该数据集构建一个平时分预测模型，优化器使用学习率为0.04的标准梯度下降，求问训练1000次后的RMSE。3485.98087584.0