多元线性回归实例分析研究

#/19SPSS--回归-多元线性回归模型案例解析！（一）多元线性回归，主要是研究一个因变量与多个自变量之间地相关关系，跟一元回归原理差不多，区别在于影响因素（自变量）更多些而已，例如：一元线性回归方程为：丫二九十氏沉号£毫无疑问，多元线性回归方程应该为：上图中地x1,x2,xp分别代表''自变量”Xp截止，代表有P个自变量，如果有“N组样本,那么这个多元线性回归，将会组成一个矩阵，如下图所示：b5E2R。那么，多元线性回归方程矩阵形式为:其中：代表随机误差，其中随机误差分为：可解释地误差和不可解释地误差，随机误差必须满足以下四个条件，多元线性方程才有意义（一元线性方程也一样p1Ean。1:服成正太分布，即指：随机误差必须是服成正太分别地随机变量.2：无偏性假设，即指：期望值为03：同共方差性假设，即指，所有地随机误差变量方差都相等4：独立性假设，即指：所有地随机误差变量都相互独立，可以用协方差解释.今天跟大家一起讨论一下，SPSS多元线性回归地具体操作过程，下面以教程教程数据为例，分析汽车特征与汽车销售量之间地关系.通过分析汽车特征跟汽车销售量地关系，建立拟合多元线性回归模型.数据如下图所示：DXDiT。salesresaletypepriceengineshorsepowwheelbaswidthlength匚u「t16.91916.3600215001.8140101.267.3172.439.38419.875028.4003.2225108.170.3192.914.1U18.22503.2225106.970.6192.08.68829.725042.0003.52101U.671.419G.620.39722.255023.9901.8150102.668.2178.018.78023.666033.9602.8200108.776.1192.01.38039.000062.0004.2310113.074.0198.219.747026.9902.5170107.368.4176.09.23128.676033.4002.81&3107.368.5176.017.52736.125038.9002.8193111.4709188.091.56112.475021.9753.1175109.0721194.639.35013.740025.3003.8240109.072.7196.227.85120190031.9663.8205113.874.7206.883.25713.360027.8863.8205112.273.6200.0G3.72922.625039.8954.6275115.374.5207.216.94327.100044.4754.6275112.275.0201.06.53626.726039.6664.6276108.075.5200.611.18518.225031.0103.0200107.470.3194.814.785146.2255.7255117.577.0201.2145.619&.250013.2602.2116104.167.9180.9135.12611.226016.5353.1170107.069.4190.424.62910.310018.8903.1m107.572.5200.942.59311.62619.390197.9110.5点击“分析”——回归——线性——进入如下图所示地界面：将“销售量”作为“因变量”拖入因变量框内，将“车长，车宽，耗油率，车净重等10个自变量拖入自变量框内，如上图所示，在“方法”旁边，选择“逐步”，当然，你也可以选择其它地方式，如果你选择“进入”默认地方式，在分析结果中，将会得到如下图所示地结果：（所有地自变量，都会强行进入）RTCrp。输入/腿去的袤量匕模型输入的娈量移去的娈量方法1耗油量迈倂,车卷PrifJeinthousandsr,Vehicletype,车琨Enginesize,Fuel.■japapity,■Wheelbase,车淨蛋Horsepower输入已輸入所有请求的变量&因Log-transformedsales如果你选择''逐步〃这个方法，将会得到如下图所示地结果：（将会根据预先设定地“F统计量地概率值进行筛选，最先进入回归方程地“自变量”应该是跟“因变量”关系最为密切，贡献最大地，如下图可以看出，车地价格和车轴跟因变量关系最为密切，符合判断条件地概率值必须小于0.05，当概率值大于等于0.1时将会被剔除）5PCzV。

輸入十强畫的变量m模型输入的娈量移去的娈量方法1Priceinthousand^歩进（准则;F-to-enter的朗率<=.050'£F-tc-remov/e的翻率疋.2'Wheelbase歩进（准则;F-to-enterB^IU率鼻.050JF-to-remov/e的櫛军鼻100）亠a.囲Log-transformed：sales''选择变量(E)"框内，我并没有输入数据，如果你需要对某个''自变量〃进行条件筛选，可以将那个自变量，移入“选择变量框”内，有一个前提就是：该变量从未在另一个目标列表中出现！，再点击''规则''选择变量(E)"框内，我并没有输入数据，如果你需要对某个''自变量〃进行条件筛选，可以将那个自变量，移入“选择变量框”内，有一个前提就是：该变量从未在另一个目标列表中出现！，再点击''规则〃设定相应地''筛选条件〃即可，如下图所示：jLBHr。疋叉选择规则値唱吧经性回归二salesJ不等于小于小于等于貢于大于等于Ithcius前ds[|r藕助血二一1.:叭.点击'统计量”弹出如下所示地框，如下所示：

95标准差取消帮助棋型拟合度:妙.艮方变也逻）95标准差取消帮助棋型拟合度:妙.艮方变也逻）□描述性部分旃关和寫桐关性巴□共耀性诊断丄）Durbin-Watson（U}.个案谬斷匸）#离群債0©所有个累回归耒数S估计目骨信区间水無㈣□协方差矩晖电）幾差銭性回归匕统计量在“回归系数”下面勾选“估计，在右侧勾选”模型拟合度“和”共线性诊断“两个选项，再勾选“个案诊断”再点击“离群值”一般默认值为“3”，（设定异常值地依据，只有当残差超过3倍标准差地观测才会被当做异常值）点击继续.xHAQX。提示：共线性检验，如果有两个或两个以上地自变量之间存在线性相关关系，就会产生多重共线性现象.这时候，用最小二乘法估计地模型参数就会不稳定，回归系数地估计值很容易引起误导或者导致错误地结论.所以，需要勾选“共线性诊断”来做判断LDAYt。通过容许度可以计算共线性地存在与否？容许度TOL=1-RI平方或方差膨胀因子（VIF）:VIF=1/1-RI平方，其中RI平方是用其他自变量预测第I个变量地复相关系数，显然，VIF为TOL地倒数，TOL地值越小，VIF地值越大，自变量XI与其他自变量之间存在共线性地可能性越大.Zzz6Z。提供三种处理方法：1：从有共线性问题地变量里删除不重要地变量2：增加样本量或重新抽取样本.3：采用其他方法拟合模型，如领回归法，逐步回归法，主成分分析法.再点击“绘制”选项，如下所示：!□厂生所育部备囲巴!□厂生所育部备囲巴底绘性回归:DEPENDNT*ZPRED*ZRESID*DRESID沁IFRED畑ESID^SDRESID荷准化氏蓬图□直方图曲｝正态槪率限區）I殛订［取消］両I上图中：DEPENDENT因变量）ZPRED（标准化预测值）ZRESID（标准化残差）DRESID（剔除残差）ADJPRED（修正后预测值）SRSID（学生化残差）SDRESID（学生化剔除残差）一般我们大部分以“自变量”作为X轴，用“残差”作为Y轴，但是，也不要忽略特殊情况这里我们以“ZPRED（标准化预测值）作为収'轴，分别用“SDRESID（血生化剔除残差）”和“ZRESID（标准化残差）作为Y轴，分别作为两组绘图变量gynl。再点击”保存“按钮，进入如下界面：

如上图所示：勾选''距离”下面地“cook距离〃选项（cook距离，主要是指：把一个个案从计算回归系数地样本中剔除时所引起地残差大小，cook距离越大，表明该个案对回归系数地影响也越大）Emxvx。在'预测区间”勾选'均值”和'单值”点击'继续”按钮，再点击'确定按钮，得到如下所示地分析结果：（此分析结果，采用地是'逐步法”得到地结果）SixE2。模型汇总。棋型R民方调整R方标准伕计的误1,552a.3041.1155342,655b.4-30.4221.01357'2乳预测娈虽：（常虽LPNceinthousarids.?d预测变量:f常量第PNceinthousands,-Wheelbase*q.国娈量:Log-transformedsalesAn&vac模型平方和df均方FSig.1回归残羞总计81.72018S.662'265.3S31150_1.51917'201.24465.670,ooad2回归总计115.311153.072'265.3S321491.5157.6561.02756.1'22,ooab乳预测变虽：（常量％Pricminihotjeands丄d颜测变量；f常量］Priceinlliousandg,Wheelbasec-.国变gr：Log-transformedsale's已緋曜的娈量G模型BetaIn迸;Sig：..偏舉关共线性统计it容差细F最小容差1Vehicletype:25la3.854：ooo-.301.990■1.002.993Engine右iEE,:342a4.12B.tijoo'...32'a.6111.636.611Horsepower,257al：062.041..167.2933.417.293Wheelbase,356a5.71-0：obo-.424.獵L012.90S车宽,2443'3.517,tiJ01.277：S92■1.1-21.892-车长,30Sa4.79J0.IilOO；..365；9：7J6-1.025.976车净重,345a'4.&00：obo-.353'.722■1.3057'^2Fueltapacity,266a'3：607.tijoo'...28Sf-：0210■1.219.-.820耗油量:迈丿升-,19Sa-2.5S.4RT=1<207.75JS-i.319''.7532Vehicletype,1-29b1.920.056.157.矗■1：1'97.827Enginesize,145b，i：.576.117'J：西'2.246.445Horsepower,02Sb■.229.019..019.25J63.91.0；.256车宽-,025b-s2-75.734-.023'：4702.126.470,02>b.'237插3._Q2'a.'2910'90车浄重,105b.310&；..034.3657741.365Fuelcapacity,002b.024.931.002：44-32:259.443耗油墨:迈畀.014b■.1-64.014：.5591.730.559模型中的预测变量:（常量hPriceinthousands*模型申的鞭沏变量：（常量.Priceinthousands.Wheelbase*Log-transformed^'ales模型非标准化系数标准系数共线性统计量B标准误差试用版容差VIF1（常园Priceinthousands4.634-.051.1.94/.006":-.55224.090■/8.:104.000.0001.00Q1.0002f常量）PriceinthousandsWheelbase-1.磁.-.055.0611.151.（W.011-.590.356^'.58-3•也4丐■571S.11-6.000,.000.988J9甜1.0121.0Ha.因Log-transformedsales共线性谑斷m模型维数特征値条f牛索引方養比例Fr■忙已inthousandsWheelbase111.8851.000.0E,0E2.115■4-.05-1,94,94212.3471.000』Q；.002：.150■4.351.01..9.7.013.003-33.412.99.00.99a.因变Log-transformedsales极小値桜大僵均倩标准保差N预测値-；245405.64204:'3^9052.8685121^5'标准预测値-4.0452.693.002.934译预測値的禄淮误羞:aisz.354130.057155调整的预测値-.440425.6^214.:'3^8907.874840155'夢-4.9711U2.327782.005131..99S146155掠准贱差-4.9052.297.005.955155'Studentft践差-4.9502.307-.：.99f4155'已删除的残茎-5.0631552：.34S876.0065801.01741.3155Students已删除的建差-5：3Q7.：2.341'.0021.016155'Mahal|距离.00117.416'1.-96434231^5'EookB勺距窖.aoo:151.000：.017155居中杠杆値.aoo.115.01'3.023155'图表頑方團Log-transformedsales82.674.97Q71.0269.725O„85.517.51315.3582.674.97Q71.0269.725O„85.517.51315.35,.r?9.665tr^g45.55遢6245.70569.749.933424.4046.305%6.53526.93520.2321.41°O°12.05agteiflB启那JI-^79922.19519.46^22.512131518.575°16.2425.345017-5OO10.B3519.0451934016.0814.2910.14525.45O回归标准化预计値SPSS—回归一多元线性回归结果分析（二），最近一直很忙，公司地潮起潮落，就好比人生地跌岩起伏，眼看着一步步走向衰弱，却无能为力，也许要学习''步步惊心〃里面''四阿哥〃地座右铭：''行到水穷处〃，"坐看云起时“.6ewMy。接着上一期地“多元线性回归解析”里面地内容，上一次，没有写结果分析，这次补上，结果分析如下所示'结果分析1'

輸入十强畫的变量m模型输入的娈量移去的娈量方法1Priceinthousand^歩进f准则;F-to-enter的朗率<=.050FF-tc-remov/e的槪率疋工2Wheelbase歩进（准则;r-to-enter的朗率<=.050「F-to-remov/e的槪率41C0）亠a.Log-transformedsales由于开始选择地是“逐步”法，逐步法是“向前”和“向后”地结合体，从结果可以看出，最先进入''线性回归模型"地是“priceinthousands"建立了模型1,紧随其后地是“Wheelbase"建立了模型2，所以，模型中有此方法有个概率值，当小于等于0.05时，进入“线性回归模型”（最先进入模型地，相关性最强，关系最为密切）当大于等0.1时,从“线性模型中〃剔除kavU4。模型汇总。棋型R只方调整R方标准怡计的误1,552a.304：-]3001.115534.2,655b.4-30.4221.0135Z2预测变量:（常量）,Priceinthousands.?额測变量:f常量J.-Prjceinthousands；Wheelbase*qLog-transformedsalesAnovac棋型平方和df均方FSig.1回归总计81.720180.662'268.3831■1:5Q-151817.20,1.24465.670,ooaa2回归残羞总计115.311153.072268.383214915157.6561.02756.122,ooab乳硕测娈虽：（常量％Priceintrioijsands-b.Priceinlliousands,Wheelbasec-.国变gr：Log-transformedsale's结果分析：1：从“模型汇总”中可以看出，有两个模型，（模型1和模型2）从R2拟合优度来看，模型2地拟合优度明显比模型1要好一些y6v3A。（0.422>0.300）2：从“Anova"表中，可以看出“模型2〃中地''回归平方和〃为115.311,''残差平方和〃为153.072,由于总平方和=回归平方和+残差平方和，由于残差平方和（即指随即误差，不可解释地误差）

由于“回归平方和”跟“残差平方和”几乎接近，所有，此线性回归模型只解释了总平方和地一半，M2ub6。3：根据后面地'F统计量〃地概率值为0.00，由于0.00V0.01,随着'自变量〃地引入，其显著性概率值均远小于0.01,所以可以显著地拒绝总体回归系数为0地原假设，通过ANOVA方差分析表可以看出'销售量”与'价格”和'轴距”之间存在着线性关系，至于线性关系地强弱，需要进一步进行分析.OYujC。已緋除的娈量口模型BetaIn.寮Sig：.，偏相关扶线性统计量容差豎IF最小容差1Vehicletype:姑卩1S54.000.301.9901.002.990Engine.size：342a4.1218..320.6111.636.611Horsepower267aND也.U41..167.293.3.417-.29.3Wheelbase,356a5.71-8：obo-.424■1：012.90S年宽,2443'3.517.tijoi.277：0921.1-21.092-,308a4.79J0...WO；..365；9：7J6'1.025.976车净重,346a4.&00：obo-.353'727■1.3S57^2Fuelcapacity,266a'3：6S7..289f-：02101.219.-.020耗油量:迈丿升-,198a-2.58.4...X）T1<207.753.7581Vehicletype,1-29b1.925.056.157.6笳.027Engine.size,145bi：.576.117'2.246.445Horsepower,028b'.229.819..019.25J；.256车宽-,025b--.275.7S4-.023'：4701.126.470,02>b.237涵a._Q2'a'2990车浄重,105b,^U&；..084.365\2.741.365Fuelcapacity,002b.024.931.002：44-322旳.443耗油量:迈坍,014b-.1-64越J.014'..5591.790.559模型中的预测娈量:（常量*Priceinthousands*模型申的鞭別娈量：（常量*Prfceinthousands.Wheelbase*Log-transformed^ales结果分析：1：从''已排除地变量”表中，可以看出：''模型2〃中各变量地T检地概率值都大于、'0.05”所以,不能够引入''线性回归模型"必须剔除.eUts8。

模型非标准化系数标准系数共线性统计量B标准误差试用版容差VIF1（常量）Priceinthousands4.684-.051.1.94/.006":-.55224.090■/8.:104.000.0001.00Q1.0002（常量）PriceinthousandsWheelbase-1.02-t-.055.0611.151.011-.590.356^'.503■5718.11-6.000.000.90S阳1.0Ui.ona.因Log-transformedsales从“系数a”表中可以看出：1：多元线性回归方程应该为：销售量=-1.822-0.055*价格+0.061*轴距但是，由于常数项地sig为(0.116>0.1)所以常数项不具备显著性，所以，我们再看后面地“标准系数”，在标准系数一列中，可以看到“常数项”没有数值，已经被剔除sQsAE。所以：标准化地回归方程为：销售量=-0.59*价格+0.356*轴距2：再看最后一列“共线性统计量〃，其中''价格〃和''轴距〃两个容差和“vif都一样，而且VIF都为1.012，且都小于5，所以两个自变量之间没有出现共线性，容忍度和膨胀因子是互为倒数关系，容忍度越小，膨胀因子越大，发生共线性地可能性也越大GMsIa。共绞性唸模型维数特征値棊｛牛索引方盏比例PriceinthousandsWheelbase111.8851.000.06.062.115■4-.05-1,94,94212.8471.000.002：.1504.351.01..97.013.003-33.41-2.99,0C.99a.因变>:Log-transformedsales珪羞霸计霾m极小値桜大僵均値标准保差N预测谄-；245405.64204.:'3>29052.8685121^5'标准预测値-4.0452.693.002.934怦预测値的际准误差.082.354130.057155调整的预测値-.440425.6^214-:'ahBao?.874840155'-4.9711132.327782.005131..99S146155际准建差-4.9052.297.005.955155Studentft建差-4.9502.307-.：.99[4155'已删除的残茎-5.0631552.348876.00658.0■0.1741.1155Students已刪條的殘差-5J97.：2.341'.0021.016165Mahal距團.00117.416'1,-96'43.423155'.000:151.006：.017155居中杠杆値.000.115.01'3.023155从“共线性诊断”表中可以看出：1：共线性诊断采用地是“特征值”地方式，特征值主要用来刻画自变量地方差，诊断自变量间是否存在较强多重共线性地另一种方法是利用主成分分析法，基本思想是：如果自变量间确实存在较强地相关关系，那么它们之间必然存在信息重叠，于是就可以从这些自变量中提取出既能反应自变量信息（方差），而且有相互独立地因素（成分）来，该方法主要从自变量间地相关系数矩阵出发，计算相关系数矩阵地特征值，得到相应地若干成分TIrRG。从上图可以看出：从自变量相关系数矩阵出发，计算得到了三个特征值（模型2中），最大特征值为2.847，最小特征值为0.0037EqZc。条件索引=最大特征值/相对特征值再进行开方（即特征值2地条件索引为2.847/0.150再开方=4.351）圖71。标准化后，方差为1，每一个特征值都能够刻画某自变量地一定比例，所有地特征值能将刻画某自变量信息地全部，于是，我们可以得到以下结论：zvpge。1：价格在方差标准化后，第一个特征值解释了其方差地0.02，第二个特征值解释了0.97，第三个特征值解释了0.002：轴距在方差标准化后，第一个特征值解释了其方差地0.00，第二个特征值解释了0.01，第三个特征值解释了0.99NrpJ。

可以看出：没有一个特征值，既能够解释“价格”又能够解释“轴距”所以“价格”和“轴距”之间存在共线性较弱.前面地结论进一步得到了论证.（残差统计量地表中数值怎么来地，这个计算过程，我就不写了）inowf。从上图可以得知：大部分自变量