《线性回归基本假设》课件

线性回归基本假设线性回归的基本模型线性回归的基本模型建立在自变量和因变量之间线性关系的假设之上。模型可表示为：Y=β0+β1X+ε其中：Y表示因变量，X表示自变量，β0表示截距，β1表示斜率，ε表示误差项。基本假设1：线性关系1线性关系定义线性回归模型假设因变量与自变量之间存在线性关系，即自变量每增加一个单位，因变量的变化量保持一致。2关系可视化可以通过散点图来观察因变量和自变量之间的关系是否为线性。3线性关系的重要性线性关系是线性回归模型的基础，如果不满足线性关系，模型将无法准确地预测因变量的值。线性关系的示例例如，假设我们想要研究房屋面积与价格之间的关系，可以收集一定数量的房屋数据，并绘制面积与价格的散点图。如果散点图呈现出明显的线性趋势，即面积增加，价格也随之增加，则说明房屋面积与价格之间存在线性关系。基本假设2：随机性随机误差每个观测值都包含一个随机误差项，它反映了未被模型解释的因素的影响。不可预测性随机误差项是不可预测的，它可能呈现出正值或负值，且其分布通常是随机的。随机性的理解1误差项线性回归模型中，误差项表示实际值与预测值之间的差异2随机性误差项被假设为随机变量，遵循一定的概率分布3独立性每个误差项之间相互独立，不互相影响基本假设3：同方差性同方差性所有自变量取值下，因变量的方差都相等。异方差性不同自变量取值下，因变量的方差不同。同方差性的含义同方差性是指在不同的自变量取值下，误差项的方差保持一致。直观地理解，就是数据点在回归直线周围的散布程度相同。基本假设4：独立性残差之间相互独立。任何一个残差的值不影响其他残差的值。确保数据样本之间不存在相关性。独立性的解释1无关联性每个数据点都是独立的，不受其他数据点的影响。2随机误差误差项之间相互独立，没有系统性偏差。基本假设5：正态分布误差项线性回归模型中，每个样本的真实值与预测值之间存在的差异称为误差项，这些误差项服从正态分布.对称分布正态分布以均值为中心，向左右两侧对称展开，这意味着误差项偏离均值的可能性在正负方向上是相同的.统计分析正态分布假设为我们提供了许多统计工具，例如t检验和F检验，以便进行假设检验和模型评价.正态分布的特点对称性正态分布曲线关于其均值对称，左右两侧形状完全相同。标准差标准差决定曲线形状的宽度，标准差越大，曲线越平缓。均值均值代表分布的中心位置，大多数数据集中在均值附近。假设检验检验线性回归模型的基本假设是否成立。确保模型的可靠性和有效性。通过统计检验方法评估假设的合理性。t检验和F检验t检验用于比较两个样本的均值是否相同。F检验用于比较两个样本的方差是否相同。检验线性关系1散点图观察数据点分布趋势2相关系数衡量变量间线性关系强度3显著性检验检验线性关系是否显著检验方差同质性方差分析检验不同样本的方差是否相等Levene检验比较样本方差的差异Bartlett检验对数据进行正态分布假设检验残差独立性1杜宾-沃森检验检测残差序列是否存在自相关性2偏自相关函数观察残差序列的偏自相关系数3时序图观察残差序列是否存在明显的趋势或周期性检验正态性1直方图观察残差的直方图是否接近正态分布的钟形曲线。2Q-Q图将残差与标准正态分布的理论分位数进行比较。3Shapiro-Wilk检验检验残差是否来自正态分布。诊断线性回归模型模型评估评估模型的性能和准确性。异常值识别识别可能影响模型拟合的数据点。共线性诊断检查自变量之间是否存在多重共线性问题。残差分析的意义残差分析是线性回归模型诊断的重要工具，通过观察残差的分布和趋势，可以帮助我们判断模型是否满足基本假设，以及是否存在其他问题。如果残差符合预期，说明模型拟合良好，反之则说明模型可能存在问题，需要进一步改进。异常点识别定义异常点是指数据集中与其他数据点显著不同的观测值。影响异常点会对线性回归模型的估计造成负面影响，导致模型偏差和误差增大。识别方法可以通过可视化方法，如残差图，或统计方法，如箱线图，来识别异常点。共线性诊断多重共线性当两个或多个自变量之间存在高度相关性时，会导致模型不稳定，系数估计值不准确。识别共线性可以通过相关系数矩阵、方差膨胀因子（VIF）和特征值分析来识别共线性。解决共线性可以选择删除相关性高的自变量，或使用岭回归、Lasso回归等方法来减少共线性。模型诊断总结诊断的重要性模型诊断可以帮助我们了解模型的优劣，并找到改进的方向。诊断方法常用的模型诊断方法包括残差分析、共线性诊断等。解决问题通过模型诊断，我们可以找到模型中的问题并进行修正，提高模型的预测准确性。推导最小二乘估计量1最小二乘法寻找最佳拟合直线，使得所有数据点到直线的距离平方和最小。2目标函数定义残差平方和(RSS)为目标函数，表示数据点与拟合直线之间的距离平方和。3求导对目标函数分别求关于截距和斜率的偏导数，并令其等于零，得到两个方程。4解方程求解上述两个方程，得到截距和斜率的估计值，即最小二乘估计量。最小二乘法原理误差最小化最小二乘法通过最小化预测值与实际值之间的误差平方和来找到最佳拟合线。平方和误差平方和用于惩罚较大的误差，确保模型对异常值不太敏感。最佳拟合该方法找到一条直线，使所有数据点到这条直线的距离平方和最小。最小二乘法性质1无偏性在满足基本假设的情况下，最小二乘估计量是无偏的，即估计量的期望值等于真实值。2有效性最小二乘估计量是所有线性无偏估计量中方差最小的，即最有效的估计量。3一致性当样本量足够大时，最小二乘估计量会趋近于真实值，即具有一致性。最小二乘法应用预测和趋势分析利用历史数据预测未来趋势，例如股票价格或产品销量。机器学习作为许多机器学习算法的基础，用于构建预测模型。数据分析分析数据之间的关系，识别关键因素和影响因素。最小二乘法示例例如，假设我们要预测房价。我们收集了房屋面积和价格数据，并使用最小二乘法拟合一个线性回归模型。我们可以根据模型预测特定面积房屋的价格。最小二乘法通过找到最佳拟合线，最小化预测值和实际值之间的误差平方和，从而找到最优的模型参数。本章小结线性回归模型线性回归模型假设自变量和因变量之间存在线性关系，并利用最小二