《－多元线性回归》课件

多元线性回归欢迎来到多元线性回归的深入探讨。本课程将带您了解这一强大的统计工具的原理、应用和局限性。什么是多元线性回归？定义多元线性回归是一种统计分析方法，用于研究多个自变量与一个因变量之间的线性关系。应用广泛应用于经济、金融、医学等领域，用于预测和解释复杂现象。优势可以同时考虑多个因素的影响，提供更全面的分析视角。多元线性回归模型模型形式Y=β₀+β₁X₁+β₂X₂+...+βₖXₖ+ε参数解释Y为因变量，X为自变量，β为回归系数，ε为误差项目标估计回归系数，建立最佳拟合模型模型假设线性关系自变量与因变量之间存在线性关系独立性观测值之间相互独立同方差性误差项具有恒定方差正态分布误差项服从正态分布参数估计1数据收集获取足够的样本数据2模型设定确定自变量和因变量3估计方法选择通常采用最小二乘法4计算与解释得到回归系数并解释其含义参数估计方法最小二乘法最常用的方法，minimizes误差平方和极大似然估计基于概率模型，适用于非线性情况贝叶斯估计结合先验信息，适用于小样本最小二乘法原理最小化残差平方和，找到最佳拟合直线。优点计算简单，结果易解释，适用于大多数线性回归问题。局限性对异常值敏感，可能导致过拟合。最小二乘法求解构建目标函数Q(β)=Σ(Yᵢ-Ŷᵢ)²求偏导数∂Q/∂β=0解方程组得到β的估计值验证检查结果的合理性模型的评估1模型拟合优度2统计显著性检验3预测能力评估4残差分析全面评估模型性能，确保其可靠性和有效性。R-squared决定系数定义R²衡量模型解释因变量变异的程度计算R²=1-(残差平方和/总平方和)解释R²值越接近1，模型拟合越好F-检验目的检验整个回归模型的显著性原理比较回归均方与残差均方判断标准p值小于显著性水平时，模型显著t-检验1目的检验单个回归系数的显著性2计算t=(β-0)/SE(β)3判断|t|>t临界值时，系数显著多重共线性诊断相关系数矩阵检查自变量间的相关性方差膨胀因子(VIF)衡量自变量间的相关程度条件数评估自变量间的整体相关性多重共线性问题处理删除变量移除高度相关的自变量主成分分析降维处理，减少变量数量岭回归引入偏差，减少方差LASSO回归自动选择重要变量回归模型诊断残差分析检查模型假设是否满足影响点分析识别对模型影响较大的观测值预测能力评估测试模型在新数据上的表现残差分析残差图检查残差的分布情况Q-Q图验证残差的正态性杠杆值图识别高影响力的观测值Cook's距离评估单个观测值的影响异方差诊断1残差图分析观察残差是否呈扇形分布2Park检验使用回归方法检验异方差3White检验基于辅助回归的异方差检验4Breusch-Pagan检验检验残差方差与自变量的关系异方差问题处理变量转换对变量进行对数或开方转换加权最小二乘法给予不同观测值不同权重稳健标准误使用White或HAC标准误自相关诊断1Durbin-Watson检验检测一阶自相关2Breusch-Godfrey检验检测高阶自相关3自相关函数(ACF)图观察不同滞后期的自相关程度4偏自相关函数(PACF)图识别直接自相关关系自相关问题处理差分法消除时间趋势广义最小二乘法考虑误差项的相关性Cochrane-Orcutt法迭代估计自相关系数ARIMA模型结合自回归和移动平均模型预测1点预测2区间预测3预测误差评估4预测能力验证利用建立的模型进行未来值预测，并评估预测的可靠性。预测区间定义包含未来观测值的可能范围计算基于模型参数和预测误差解释提供预测的不确定性度量置信区间定义包含真实参数值的可能范围计算基于估计值和标准误应用评估参数估计的精确度假设检验零假设通常假设参数为零或无效应备择假设与零假设相反的陈述显著性水平通常选择5%或1%p值反映证据强度的概率值独立变量选择向前选择法逐步添加显著变量向后消除法逐步删除不显著变量逐步回归法结合向前和向后方法模型比较1AIC赤池信息准则，平衡拟合度和复杂度2BIC贝叶斯信息准则，惩罚更重3调整R²考虑变量数量的R²修正版4交叉验证评估模型在新数据上的表现模型应用实例房价预测考虑面积、位置、年份等因素销售额分析研究广告支出、季节等对销售的影响医学研究分析多种因素对患病风险的影响应用实例结果分析系数解释分析各因素的影响程度和方向模型评估检查R²、F统计量等指标预测能力在测试集上验证模型准确性结果可视化使用图表直观展示分析结果多元线性回归的优缺点优点可处理多个自变量结果易于解释广泛