第九章2 多元回归分析

第九章

回归问题第一节一元线性回归第二节多元线性回归第三节可化为多元线性回归的问题第四节曲线回归§2多元回归分析一元线性回归只是回归分析中的一种特例。若某公司管理人员要预测来年该公司的销售额y时，研究认为影响销售额的因素不只是广告宣传费x1,还有消费人群个人可支配收入x2,价格x3,研究与发展费用x4,各种投资x5,销售费用x6.————多元回归问题。Yi=b0+b1x1i+b2x2i+…+bpxpi+ξiY1=b0+b1x11+b2x21+…+bpxp1+ξ1Y2=b0+b1x12+b2x22+…+bpxp2+

ξ2…Yn=b0+b1x1n+b2x2n+…+bpxpn+

ξn

令

y11x11x21…xp1Y=y2x=1x12x22…xp2yn1x1nx2n…xpnb0ξ

1b1ξ

2B=…e=…bpξ

n则Y=XB+e一、多元线性回归模型的基本假定解释变量x1,x2,…,xp是确定性变量，不是随机变量，而且解释变量之间互不相关随机误差项具有零均值和同方差

E（ξ

i）=0var(ξ

i)=E(ξ

i-E(ξ

i))2=E(ξ

i)2=σ2随机误差项在不同样本点之间是相互独立的，不存在序列相关

cov(ξ

i,ξ

j)=0i≠ji,j=1,2,…ncov(ξ

i,ξ

j)=E((ξ

i-E(ξ

i)(ξ

j-E(ξj))=E(ξ

iξ

j)=E(ξ

i)E(ξ

j)=0

随机误差项与解释变量之间不相关

cov(xi,ξ

i)=0随机误差项服从零均值，同方差的正态分布

ξ

i～N(0，σ2)二、建立回归方程设令即（最小二乘法）矩阵表示三、多元线性回归模型的建模方法1.打开文件或新建文件2.Analyzeregressionlinear3.建模方法（1）enter:强迫进入法—如果因子数不多且符合多项回归条件（2）stepwise:逐步选择法（3）remove:强迫消除法（4）backward:向后剔除法（5）forward:向前引入法

回归统计量（1）estimates:显示回归系数及相关的指标（2）confidenceintervals:显示未标准化回归系数的置信区间（3）covariancematrix:未标准化回归系数的方差—协方差矩阵（4）modelfit:模型检验

回归统计量（5）Rsquaredchange：每引进一个x引起的回归

（6）descriptive:显示变量的均值、标准差等（7）Partandpartialcorrelations:偏相关

（8）collinearitydiagnostics:共线性诊断（9）Durbon_waston:D.w.检验统计量Y=0.488+0.576x1+4.769x2-2.145x3(4.245)(2.404)(-2.111)Y=-13534.1+0.209x1-0.06x2+0.763x3+0.141x4-0.855x5+0.227x6(3.292)(-0.416)(2.341)(2.703)(-2.932)(2.595)五、回归方程的效果的检验方程显著性检验参数显著性检验拟合优度检验（复相关系数、偏相关系数）对假设理论的检验链接例2中，方差分析表为：Residual-残差：预测值与实测值的差y1.方程显著性检验(F检验)F检验是以方差分析为基础,对回归总体线性关系是否显著的一种假设检验,是解释模型中被解释变量与所有解释变量之间的线性关系在总体上是否显著的方法利用F统计量进行总体线性显著性检验的步骤如下:(1)提出关于P个总体参数的假设

H0:b0=b1=b2=…=bp=0(2)构造统计量

(3)检验给定显著性水平α,查F分布表若F>Fα,拒绝H0,表明回归总体有显著性关系.

若F<Fα,接受原假设,表明不存在线性关系2.参数显著性检验参数显著性检验,是对每个解释变量进行检验.如果解释变量对被解释变量的影响不显著,应从模型中删除,如果解释变量对被解释变量的影响显著,应保留在模型中.利用t统计量进行参数显著性检验的步骤如下:(1)假设:H0:bi=0(2)构造统计量:(3)检验对给定α,若︱t︱>tα/2,说明拒绝原假设若︱t︱<tα/2,则接受原假设.如果一次t检验后,模型中存在多个不重要变量,一般是将t值最小的变量删除掉,再重新进行检验,每次只剔除1个变量.aii是(X`X)-1主对角线上第i+1个元素六、复相关系数和偏相关系数复相关系数R是由ESS和TSS构造的统计量，用来表示回归方程对原有数据拟合程度的好坏，衡量作为一个整体的x1,x2,…,xp与y的线性关系的大小。回归方程的拟合优度检验就是要检验样本数据点聚集在回归直线周围的密集程度，从而评价回归方程对样本数据的代表程度。由决定系数R2（有称复相关系数）来实现。实际中，随着自变量个数的不断增加，必然会使得R2不断变化，于是出现的问题是，R2变化是由于数学习性决定的，还是确实是由于引入了好的变量进入方程而造成的。因此在作拟合优度检验的判定时，一般采用调整的R2，以消除自变量的个数以及样本量的大小对R2的影响。调整的R2其它变量被固定后，计算任意两个变量之间的相关系数，这种相关系数称为偏相关系数。简单相关系数只是一种表面上的数量的相关系数，而并非本质的东西。偏相关系数才真正反映两个变量的本质联系。Zero-order:零阶相关系数，计算所有自变量与因变量间的简单相关系数。--零阶相关,表相关Partcorrelation:部分相关，在排除了其他自变量对xi的影响后，当一个自变量进入模型后，复相关系数（回归模型的决定系数）的平方增加量。回归方程的残差分析残差序列的正态性分析残差序列的随机性分析残差序列的独立性分析奇异值诊断异方差诊断回归分析的假设条件是否满足？

返回残差对每个个案，预测值与实测值的差标准化残差：均值为0，标准差为1学生化残差：残差除以残差的标准差的点估计值。若随自变量（因变量）变化，则认为方差不齐残差序列的正态性分析：通过绘制标准化残差序列的带正态曲线的直方图或累计概率图来分析，确定残差是否接近正态Analyze->regression->linearPlot子对话框中选Histogram或p-p图返回残差序列的随机性分析：可以绘制残差序列和对应的预测值序列的散点图。如果残差序列是随机的，那么残差序列应与预测值序列无关，残差序列点将随机地分布在经过零的一条直线上下（均值为0）。在线性回归Plots对话框中的源变量表中，选择SRESID（学生氏残差—（学生化残差:残差与标准误之比）做Y轴，选ZPRED（标准化预测值）做X轴残差序列的独立性分析：分析残差序列是否存在后期值与前期值相关的现象。D.W检验样本奇异值的诊断：样本奇异值是样本数据中那些远离均值的样本数据点。它们会对回归方程的拟合产生较大偏差影响。一般认为，如果某样本点对应的标准化残差的值超出了-3—+3的范围，就可以判定该样本数据为奇异值。Analyze->regression->statistics->casediagnostics异方差诊断：线性回归模型要求残差序列服从等方差的正态分布一般通过绘制SRESID与因变量预测值的散点图或计算SRESID和因变量预测值间的相关系数。如果残差序列和预测值的平方根成正比例变化，可以对因变量作开方处理；如果残差序列与预测值成比例变化，可以对因变量取对数；如果残差序列与预测值的平方成比例的变化，可以对因变量求倒数。还可以用WLS法消除异方差。七、预测和控制所谓预测就是给定解释变量x样本外的某一特征值x0=(1，x10,x20,…,xp0),对因变量的值y0以及E(y0)进行估计。1、y0的点预测：2、y0的（1-α）的预测区间：返回第四节逐步回归多元线性回归中，如何选择自变量如果自变量选的太少，则自变量对Y的决定系数太小，导致过大的偏差；一般来讲，选的自变量愈多，ESS愈大。把与Y有关的自变量都选入是不可能的多个自变量中若对Y影响不显著，反而会因自由度的减少而增大了误差。自变量间的相关给回归方程的实际解释上造成麻烦，即多重共线性的影响。最优方程的概念：要求进入回归方程的自变量都是显著的，未进入回归方程的自变量都是不显著的。回归方程的决定系数：一、“最优”回归方程的选择目标：1.回归方程中包含尽量多的信息2.回归方程中包含尽量少的变量方法：逐步剔除的回归分析方法逐步引入的回归分析方法“有进有出”的回归分析方法(逐步回归分析方法)逐步剔除法（backward）1、用全部变量建立一个回归方程2、对每个变量进行检验，剔除偏回归平方和最小的变量。3、对剩余变量再作回归，再检验……直至方程中没有可剔除的变量为止。逐步引入法（forward）1、将所有自变量分别与因变量建立一元线性回归方程，比较各自的回归平方和，将回归平方和最大的变量引入回归方程。2、再分别将剩余变量与因变量y、及已引入的变量建立二元线性回归方程，再比较回归平方和，选择回归平方和最大的变量引入方程。直至方程检验不显著为止。“逐步剔除”法与“逐步引入”法都有明显的不足之处:(1)“逐步剔除”法计算量大,且一旦某个自变量被剔除,没有机会重新进入方程.(2)“逐步引入”法一旦引入某个变量,