《部分：线性回归》课件

部分：线性回归线性回归是一种统计学方法，用于研究两个变量之间的线性关系。它可以用来预测一个变量的值，基于另一个变量的值。课程大纲11.线性回归概述介绍线性回归的概念、应用场景和基本原理。22.线性回归模型讲解简单线性回归和多元线性回归模型的构建和解释。33.模型评估与诊断介绍模型评估指标和诊断方法，帮助判断模型的优劣和可靠性。44.模型改进与优化探讨模型改进策略，包括处理异常值、共线性、缺失值等问题。55.实战案例与练习通过实际案例演示线性回归模型的应用，并提供练习题帮助巩固学习成果。线性回归是什么？数据关系线性回归用于识别两个或多个变量之间的线性关系，通过建立一个最佳拟合直线来描述这种关系。预测与解释线性回归能够使用已知变量的值来预测未知变量的值，并解释变量之间的关系，例如，价格与销量之间的关系。统计模型线性回归是一种统计模型，通过最小化误差来找到最佳拟合直线，它使用数学公式来描述变量之间的线性关系。何时使用线性回归？预测连续型变量线性回归可以预测连续型变量的值，例如房屋价格、销售额、温度等。分析变量之间的关系它可以帮助理解两个或多个变量之间线性关系的强度和方向。数据分析线性回归可以识别数据中的趋势和模式，并解释变量对目标变量的影响。解释简单模型线性回归模型简单易懂，易于解释结果，使其成为解释变量关系的有力工具。线性回归的常见假设线性关系自变量和因变量之间存在线性关系。直线关系，可以用线性方程表示独立性残差彼此独立，不相关，确保每个数据点不影响其他数据点正态性残差服从正态分布，确保数据点随机分布在回归直线周围同方差性残差的方差在所有自变量值下保持一致，确保预测误差在不同自变量值下相同最小二乘法目标函数最小二乘法是一种常用的方法，用于找到最佳拟合线性模型。目标函数旨在最小化实际值与预测值之间的平方误差之和。最小化误差通过调整模型参数，最小化目标函数的值，从而找到最佳的拟合线。计算系数最小二乘法计算出的模型系数可以用于预测新的数据点。简单线性回归模型简单线性回归模型是最基本的线性回归模型。该模型假设因变量与自变量之间存在线性关系。该模型可以表示为一个方程，其中因变量y等于一个常数项加自变量x的系数乘以x。该模型可以用于预测和理解两个变量之间的关系。多元线性回归模型多元线性回归模型是线性回归模型的一种扩展形式，它将多个自变量纳入模型中，以预测因变量的值。这种模型允许我们分析自变量之间的相互关系，以及它们对因变量的影响程度。R-squared和调整后的R-squaredR-squared用于衡量线性回归模型对数据的拟合程度，取值范围为0到1，数值越高，拟合程度越好。调整后的R-squared则考虑了模型中自变量的数量，更适用于比较具有不同自变量数量的模型。当模型中增加自变量时，R-squared通常会增加，即使增加的自变量与因变量无关。调整后的R-squared对模型复杂度进行惩罚，避免过度拟合，更能反映模型的真实预测能力。0.8R-squared表示模型解释了数据中80%的方差。0.75调整后考虑自变量数量，反映真实预测能力。模型评估模型评估指标评估模型性能，确定最佳模型，评估结果的可靠性。均方误差(MSE)均方根误差(RMSE)平均绝对误差(MAE)交叉验证将数据集分成训练集和测试集，分别训练模型，再用测试集评估模型性能。k折交叉验证留一交叉验证模型诊断11.残差分析检查残差的分布和模式，以确保满足线性回归模型的假设。22.影响点分析识别对模型拟合影响较大的异常数据点，并进行进一步分析。33.自相关性检验检测残差之间是否存在自相关性，影响模型的准确性。44.多重共线性检验检查自变量之间是否存在高度相关性，影响系数估计的稳定性。异常值检测识别异常数据点异常值是指与其他数据点明显不同的数据点，可能会扭曲回归模型的结果。箱线图箱线图是一种可视化工具，可帮助识别数据中的异常值。数据清理识别异常值后，可以通过删除或替换这些异常值来清理数据。机器学习方法可以使用一些机器学习算法来识别数据中的异常值，例如孤立森林算法。共线性检测定义共线性是指两个或多个自变量之间存在高度相关性。影响共线性会导致回归系数估计不稳定，降低模型的预测能力。检测方法可以使用相关系数矩阵、方差膨胀因子（VIF）等方法来检测共线性。解决方法删除相关性高的自变量，或者使用正则化方法来缓解共线性问题。缺失值处理缺失值类型缺失值可能随机出现或具有特定模式，例如特定特征的值缺失更多。了解缺失值类型有助于选择处理方法。处理方法常见的处理方法包括删除、插补和忽略。选择方法取决于缺失值的比例、模式和数据结构。分类变量的处理分类变量分类变量是指不能直接用于回归分析的变量。虚拟变量需要将其转换为数值型变量才能进行回归分析。独热编码将分类变量转换为多个虚拟变量。参考水平每个分类变量需要指定一个参考水平，其他水平相对于该水平进行比较。非线性关系的处理多项式回归使用多项式函数来拟合非线性关系，增加变量的幂次项来提高模型的拟合能力。样条回归通过分段多项式函数来近似非线性关系，在不同区间使用不同的多项式函数。非线性回归使用非线性函数来拟合非线性关系，如指数函数、对数函数、S型函数等。交互项的引入1交互项定义交互项是指两个或多个自变量的乘积，它可以捕获自变量之间相互作用的影响。2交互项的意义当自变量之间存在交互作用时，引入交互项可以提高模型的解释能力和预测能力。3交互项的应用交互项可以用于分析自变量之间相互作用的程度和方向，并改善模型的拟合效果。4交互项的判断可以通过散点图或交互作用图来判断自变量之间是否存在交互作用。预测与推断预测使用线性回归模型预测未来结果推断解释模型系数，了解变量对结果的影响预测区间与置信区间预测区间用于估计单个数据点的预测范围，而置信区间用于估计整个模型的预测范围。预测区间考虑了模型的不确定性，而置信区间则仅考虑了模型参数的不确定性。模型选择模型选择的重要意义选择合适的模型可以提高预测准确率、解释力、泛化能力和稳定性。模型选择通常需要结合业务需求、数据特征、模型复杂度、计算资源等因素进行综合考量。模型选择方法信息准则法正则化方法交叉验证法步骤法和全序法1步骤法逐步添加变量，查看模型效果，选择最佳模型。2全序法将所有变量组合起来，逐个移除变量，选择最佳模型。3对比分析步骤法更直观，但容易陷入局部最优。全序法更精确，但计算量更大。信息准则法AIC赤池信息量准则，平衡模型复杂度和拟合优度。BIC贝叶斯信息量准则，惩罚模型复杂度，更适合复杂模型。选择模型信息准则值越低，模型越好。信息准则法帮助选择最佳模型。正则化方法11.概述正则化是通过在损失函数中添加惩罚项来降低模型复杂度，防止过拟合。22.常见方法L1正则化和L2正则化是最常用的两种方法，分别对应于对参数的绝对值和平方进行惩罚。33.优势正则化可以提高模型泛化能力，减少对训练数据的过度依赖。44.应用场景在高维数据、少量数据的情况下，正则化方法尤其有效。LASSO回归简介LASSO回归是一种正则化线性回归方法。它通过在模型参数上添加L1正则化项来实现特征选择，并减少过拟合。LASSO回归可以自动筛选出对模型预测最有效的变量，并将其系数设置为零，从而简化模型结构。优势LASSO回归对于高维数据具有良好的表现，可以有效地处理多重共线性问题。此外，它还可以提高模型的可解释性，使人们更容易理解模型的预测机制。岭回归正则化技术岭回归是线性回归的一种正则化技术，通过在损失函数中添加一个L2正则化项来惩罚模型的复杂性。收缩系数岭回归通过收缩系数来降低模型的方差，从而提高模型的泛化能力。防止过拟合岭回归可以有效防止过拟合，特别适用于存在高度共线性的数据。弹性网络结合岭回归和LASSO弹性网络结合了岭回归和LASSO的优点，同时进行特征选择和正则化。灵活控制正则化强度通过调整参数，可以平衡L1和L2正则化项的权重，实现不同的特征选择和收缩效果。应用于高维数据弹性网络在高维数据分析中特别有效，可以有效处理多重共线性问题。案例分析通过真实的案例，展示线性回归模型在实际问题中的应用。例如，分析房价与房屋面积、房龄、地理位置等因素之间的关系。通过案例演示，可以更直观地理解线性回归模型的建模流程、模型评估和模型解释等关键步骤。实战演练现在，我们将通过一个具体的案例来实践线性回归模型的应用。该案例来自真实数据，涉及到房价预测。我们将利用所学知识，完成数据预处理、模型构建、模型评估和预测等步骤，并对结果进行深入分析和解读。1数据预处理数据清洗、特征提取和转换2模型构建选择模型类型、设定模型参数3模型评估评估模型性能、选择最佳模型4模型预测对新数据进行预测5结果分析分析预测结果，得出结论总结与展望预测股票价格线性回归可以用来预测股票价格。通过分析股票历史数据，建立模型，预