用最小二乘法求解线性模型及对模型的分析

1、用最小二乘法求解线性模型及对模型的分析用最小二乘法求解线性模型及对模型的分析作者：邓春亮1、研究30名儿童体重为因变量与身高为自变量的关系，儿童体重与身高的记录如下表编P体重Y (kg)身高X(cm)122、60119、80221、50121、 70319、10121、40421、80124、40521、50120、00620、10117、00718、80118、00822、00118、80921、30124、201024、00124、801123、30124、701222、50123、101322、90125、301419、50124、201522、90127、401622、30128、20

2、1722、70126、101823、50128、601921、50129、402025、50126、902125、00126、502226、10128、202327、90131、402426、80130、802527、20133、902624、40130、402724、40131、302823、00130、202926、30136、003028、80138、00试用计算机完成下面统计分析(1)应用最小二乘法求经验回归方程；用最小二乘法求解线性模型及对模型的分析30.00 一28.0026.0024.00 一22.00 20.0018.00115.00120.00125.00130.00135.

3、00140.00身高X从图1可以瞧出没有明显不一致的点。也可以通过SPSS软件at算COOK统计量，瞧下表表1 1编P残差？学生化残差ricenter %COOK 统fhM Di11、 883781、 27241、05491、078352、03312、02204、02770、000023-2、 24835-1、49944、03138、077784-、73361-、48247、00489、004635、70477、47518、05161、010486、49003、34183、11182、009927-1、20506-、82971、08920、0480781、 678871、 14538、0729

4、4、078009-1、15460-、75974、00594、01180101、 30835、85964、00310、0139711、64786、42576、00351、003472用最小二乘法求解线性模型及对模型的分析12、48000、31710、01355、0024713、01081、00710、00143、0000014-2、 95460-1、94417、00594、0772615-、81887-、53756、00139、0052016-1、73494-1、14067、00434、0254717-、50526-、33146、00008、0019018-、69298-、45611、00643

5、、0043119-3、 00905-1、98610、01183、09329201、 978671、 29824、00038、02940211、 636701、 07368、00003、01989222、 065061、 35771、00434、03608232、 600781、 73550、03249、10611241、 737831、 15517、02522、0415025、91306、62283、07268、0230026-、50413-、33434、02088、0032027-、85971-、57329、03121、0113428-1、82512-1、20912、01887、040262

6、9-、81662-、57199、11878、0293530、89321、64671、17316、05442、从上面数据瞧残差值与中心化的杠杆率center%的值没有异常大的,数据，这里(= center%+1/n), COOK统计量Di值也没有异常大的数据，一般来说，残差值与杠杆率越大，COOK统计量就越大，残差值与杠杆率越小，COOK统计量就越小。可见这些数据就是比较一致的。接下来对这些数据求解经验回归方程。然后利用最小二乘法，在SPSS中Analyze菜单下依次选择 Regress:2-Stage Least Square选择因变量与自变量执 行可输出结果如下表：表1 2MODEL: MO

7、D_3Equation number: 1Dependent variable 、 体重 YListwise Deletion of Missing DataMultiple R、80301R Square、64483Adjusted R Square、63215Standard Error1、55047Analysis of Variance:Mean SquareDFSum of SquaresRegression1122、20765122、20765ResidualsF =502867、31102、83587 Signif F =、20000、40396Variables in the

8、EquationVariableBSE BBetaT Sig T身高X、395087、055412、8030147、130、0000(Constant) -26、6151547 、007449-3、798、0007Correlation Matrix of Parameter Estimates用最小二乘法求解线性模型及对模型的分析 身高X身高 X 1 、0000000这里可以瞧出所求经验回归方程的常数项(Constant) 为-26、615154，身高X的系数为0、395087。故经验回D3方程为：y=-26、615154+0、395087为(2)通过SPSS,可得拟合值与残差如下表表1 3

9、:拟合值与残差表体重Y身高X拟合值夕残差？22、60119、 8020、716221、 8837821、50121、 7021、 46688、0331219、10121、 4021、 34835-2、 2483521、80124、 4022、 53361-、7336121、50120、 0020、 79523、7047720、10117、 0019、60997、4900318、80118、 0020、 00506-1、2050622、00118、 8020、321131、 6788721、30124、 2022、 45460-1、1546024、00124、 8022、 691651、 308

10、3523、30124、 7022、 65214、6478622、50123、 1022、 02000、4800022、90125、 3022、 88919、0108119、50124、 2022、 45460-2、 9546022、90127、 4023、71887-、8188722、30128、 2024、 03494-1、7349422、70126、 1023、 20526-、5052623、50128、 6024、 19298-、6929821、50129、 4024、 50905-3、 0090525、50126、 9023、521331、 9786725、00126、 5023、 3

11、63301、 6367026、10128、 2024、 034942、 0650627、90131、 4025、 299222、 6007826、80130、 8025、062171、 7378327、20133、 9026、 28694、9130624、40130、 4024、 90413-、5041324、40131、 3025、25971-、8597123、00130、 2024、 82512-1、8251226、30136、 0027、11662-、8166228、80138、 0027、 90679、89321以拟合值？为横坐标，残差？为纵标 得残差图aurtrseR detaraa

12、nprsnu用最小二乘法求解线性模型及对模型的分析残差图3.00000 -2.000001.00000 -0.00000 _-1.00000 一-2.00000 一-3.00000 -4.00000 IIIII(I18.0000020.0000022.0000024.0000026.0000028.00000Un sta ndardized Pre dicted Va lu e图1 2从图中可以瞧出，残差图没有明显的不一致的征兆，则可以认为 Gauss-Markou假设e: N 0, 2I对本例基本上就 是合理的。1(3)作变换U Y2,这时用同样的方法可求得经验回归方程为：5=-0、3144

13、71+0 040641 Xi其预测值与残差如下表U拟合值残差4、754、 554264、 554264、644、 631484、 631484、374、 619294、 619294、674、 741214、 741214、644、 562394、 562394、484、 440474、 440474、344、 481114、 481114、694、 513624、 513624、624、 733084、 733085用最小二乘法求解线性模型及对模型的分析4、904、 757474、 757474、834、 753404、 753404、744、 688384、 688384、794、 777

14、794、 777794、424、 733084、 733084、794、 863134、 863134、724、 895654、 895654、764、 810304、 810304、854、 911904、 911904、644、 944414、 944415、054、 842814、 842815、004、 826564、 826565、114、 895654、 895655、285、 025705、 025705、185、 001315、 001315、225、 127305、 127304、944、 985054、 985054、945、 021635、 021634、804、 976

15、934、 976935、135、 212645、 212645、375、 293925、 29392、以拟合值？为横坐标，残差？为纵坐标，作残差图得用最小二乘法求解线性模型及对模型的分析U=YA0.5的残差图-a uwseR deF.dpaanavsnu0.300000.20000 0.10000 _0.00000 一-0.10000 一-0.20000 一-0.30000 -0.40000 一4.400004.600004.800005.000005.200005.40000图3，认为Gauss-Markou假设e： N 0, 2I对本例基本上就是合理Y 1 ,lnY,Yi 02 ，L ,y

16、Un sta ndardized Predicted Va lu e从图3瞧此时的残差图也没有明显的不一致的趋势的。(4)将因变量Y进彳T Box-Cox变换，Y变换后原来的因变量 Yyi,y2,L , yn变为Y计算不同 值对应的残差平方与 RSS ,z用最小二乘法求解线性模型及对模型的分析y1 ,n -Vzi 11n 7In y V ,i 1这里分别取i，i 1,2,L 7值为-1、5,-1,-0、5,0,0、5,1,1、5,计算分别计算z，然后计算对应的残差平方与RSS ,z，这里 n=30,计算彳#到z如表所示，这里乙表示41。表1 5编力UZ1Z2Z3Z4Z5Z6Z714、75170

17、7、 19513、 21176、 1772、2536、1421、6014、7424、641705、 94511、 99174、 9871、0935、0120、5013、6734、371702、 58508、 85172、 0568、3532、4518、1011、4244、671706、 30512、 34175、 3171、4235、3220、8013、9654、641705、 94511、 99174、 9871、0935、0120、5013、6764、481704、 11510、 25173、 3369、5333、5419、1012、3474、341702、 09508、 40171、 6

18、467、9832、1217、8011、1584、691706、 53512、 56175、 5371、6335、5321、0014、1594、621705、 70511、 76174、 7670、8834、8120、3013、48104、901708、 57514、 59177、 5673、6437、5423、0016、14114、831707、 91513、 92176、 8872、9636、8422、3015、44124、741707、 08513、10176、 0672、1536、0421、5014、64134、791707、 50513、 52176、 4872、5636、4421、9

19、015、04144、421703、 22509、 43172、 5768、8332、8918、5011、79154、791707、 50513、 52176、 4872、5636、4421、9015、04164、721706、 86512、 89175、 8571、9435、8421、3014、45174、761707、 30513、 31176、 2772、3536、2421、7014、84184、851708、 10514、 12177、 0773、1637、0422、5015、64194、641705、 94511、 99174、 9871、0935、0120、5013、67205、05

20、1709、 85515、 91178、 9275、0538、9924、5017、69215、001709、 44515、 49178、 4874、5938、5124、0017、17225、111710、 30516、 39179、 4375、5939、5625、1018、33235、281711、 54517、 72180、 8677、1341、2326、9020、27245、181710、 81516、 93180、 0076、2040、2125、8019、08255、221711、 08517、 23180、 3276、5440、5826、2019、51264、941708、 93514、

21、 96177、 9374、0337、9323、4016、55274、941708、 93514、 96177、 9374、0337、9323、4016、55284、801707、 61513、 62176、 5872、6636、5422、0015、14295、131710、 45516、 55179、 5975、7639、7525、3018、54305、37、1712、 08、518、 32、181、 52、77、87、42、04、27、80、21、27、8用最小二乘法求解线性模型及对模型的分析通过SPSS软件运行得到的方差分析表，可知道相应的残差平方与，具体数据如下表所示表1 6-1、5-1

22、-0、500、511、5RSS73、 14370、 51468、 63867、 49267、 05167、 31168、 277通过表6的简单比较可以瞧出当0.5时，残差平方与RSS ,z达到最小，因此我们可以近似地认为 0、5就就是变换参数的最优选择、2、研究儿童的体重 Y与身高Xi与胸围X2之间的关系就是具有一定现实意义的，因为这种关系使我们能够用简单的方法从Xi与X2的值去估计一个儿童的体重，下表就是一组观测数据编号Y身局X1胸围X2122、60119、 8060、50221、50121、 7055、50319、10121、 4056、50421、80124、 4060、50521、50

23、120、 0057、70620、10117、 0057、00718、80118、 0057、10822、00118、 8061、70921、30124、 2058、401024、00124、 8060、801123、30124、 7060、001222、50123、 1060、001322、90125、 3065、201419、50124、 2053、701522、90127、 4059、501622、30128、 2060、101722、70126、 1057、401823、50128、 6060、401921、50129、 4052、002025、50126、 9061、502125、00

24、126、 5063、902226、10128、 2063、002327、90131、 4063、102426、80130、 8061、502527、20133、 9065、802624、40130、 4062、602724、40131、 3059、502823、00130、 2062、502926、30136、 0060、003028、80138、 0063、70试用计算机完成下面的统计分析用最小二乘法求解线性模型及对模型的分析(1) 先假设Y与Xi与X2有如下线性关系：Y 1X12X2 e,做最小二乘分析，并做相应的残差图。试计算Box-Cox变换参数的 值、(2) X(1)中计算出的变换参

25、数1,做相应的Box-Cox变换，并对变换后的因变量做对X1与X2的最小二乘回归,并做残差图。解:先计算中心化杠杆率 center%与COOK统计量D,的值表2-1编P拟合值居残差？学生化残差rcenter %COOK 统#< Di121、 517031、 08297、99976、07509、04052220、 275301、 224701、 12888、07238、05021320、 54753-1、44753-1、31902、05156、05380422、 89020-1、09020-、97103、00889、01386520、 56375、93625、85394、05330、023

26、05619、41496、68504、64630、11302、02387719、 74965-、94965-、88474、09125、03713821、 65266、34734、33076、12873、00705922、 07076-、77076-、68711、01058、007231023、 11814、88186、78544、00882、009051122、 79886、50114、44527、00418、002581222、 32124、17876、15985、01640、000451324、 85923-1、95923-1、85996、12356、214591420、 37038-、87

27、038-、83580、14264、049731523、 42396-、52396-、46553、00413、002811623、 87984-1、57984-1、40437、00510、026271722、 27615、42385、38119、02725、003121824、 10778-、60778-、54071、00666、004061921、 30763、19237、21088、33436、008622023、 998271、 501731、 33663、00754、025382124、 74713、25287、23152、06029、001852224、 929011、 170991、

28、 05440、02950、024842325、 920431、 979571、 79703、04463、091022425、 162471、 637531、 47137、02553、045142527、 64352-、44352-、42282、13059、011682625、 44102-1、04102-、93760、02995、019802724、 58817-、18817-、17089、04540、000832825、 34514-2、 34514-2、 10925、02738、095852926、 17207、12793、12316、14686、001113028、 10769、6923

29、1、67800、17443、04018从表中2-1的计算结果可以瞧出，第19个观测的杠杆率最高为 0、33436、。因此，第19个样本点最有可能对模型拟 合造成较大的影响。然后求解经验回归方程，从运行结果的方差分析表2-2(ANOVA(b)可以瞧出F统计量的P-值(Sig、)为0、000，这表明模型在总体中就是显著的。10用最小二乘法求解线性模型及对模型的分析表 2-2 ANOVA(b)AN OVAModelSum of SquaresdfMean SquareFSig.1Regression153.984276.99258.501_ _ _ a.000Residual35.534271.31

30、6Total189.51929a. Predictors: (C onstant)，胸围 X2,身高 X1 b. Dependen t Variabl e:体重 丫表2-3Coe fficientsModelUnstandardizedCoef f icientsStandardizedCoef f icientstSig.BStd. E rrorBeta1(Cons tant)身高X1胸围X2-36.133.299.3625.535.045.074.607.454-6.5286.5654.914.000.000.000a. Depe nden t Vari a ble :体重丫从回归系数计算

31、分析表2-3(Coefficients(a)，可知道回归方程的常数项为-36、133，自变量身高与胸围相对应的未标准化的回归系数(Unstandardized Coefficients)分别为0、299、0、362，因而回归方程为yi 36.133 0.299x1i 0.362x2i且从表中可知3个系数的t统计量的P值均为0、000,这表明模型在总体中就是显著的。 以拟合值 ?为横坐标，残差？为纵坐标，作残差图：图2-1残差图11用最小二乘法求解线性模型及对模型的分析2.000001.000000.00000-1.00000-2.00000-3.0000015.0000018.0000021.

32、0000024.0000027.0000030.00000Un sta ndard iz ed P re dic te d Va lu e从图2-1可以瞧出，残差图从左至右逐渐散开呈漏斗状，这就是误差方差不相等的征兆。考虑将因变量 Y进行Box-Cox变换，跟第一题的（4）问同样。这里同样分别取i,i 1,2,L 7值为-1、5,-1,-0、5,0,0、5,1,1、5,计算分别计算zi ，然后计算对应的残差平方与RSS ,z ，这里n=30，计算得到Z如表1-5所示,然后计算对应自变量 X1与X2的残差平方与RSS ,z 。得Z3Z2L Z7方差分析表如下ANOVA bModelSum of

33、SquaresdfMean SquareFSig.1Regression151.509275.75453.967.000aResidual37.900271.404Total189.40929a. Predictors: (Constant)，胸围 X2,身高 X1b. Dependent Variable: Z112用最小二乘法求解线性模型及对模型的分析ANOVAbModelSum of SquaresdfMean SquareFSig.1Regression150.580275.29056.081.000aResidual36.248271.343Total186.82829a- Redi

34、ctors: (Constant)，胸围 X2,身高 X1 b. Dependent Variable: Z2ANOVAbModelSum of SquaresdfMean SquareFSig.1Regression150.361275.18057.657.000aResidual35.206271.304Total185.56729a. Redictors: (Constant)，胸围 X2,身高 X1b. Dependent Variable: Z3ANOVAbModelSum of SquaresdfMean SquareFSig.1Regression150.852275.42658

35、.610.000aResidual34.747271.287Total185.59829a. Redictors: (Constant)，胸围 X2,身高 X1b. Dependent Variable: Z4ANOVAbModelSum of SquaresdfMean SquareFSig.1Regression152.051276.02658.889.000aResidual34.857271.291Total186.90929a. Redictors: (Constant)，胸围 X2,身高 X1b. Dependent Variable: Z5ANOVAbModelSum of Sq

36、uaresdfMean SquareFSig.1Regression153.984276.99258.501.000aResidual35.534271.316Total189.51929a. Redictors: (Constant)，胸围 X2,身高 X1b. Dependent Variable: Z613用最小二乘法求解线性模型及对模型的分析ANOVAbModelSum of SquaresdfMean SquareFSig.1Regression156.674278.33757.496.000aResidual36.787271.362Total193.46129a- Redicto

37、rs: (Constant)，胸围 X2,身高 X1 b. Dependent Variable: Z7从上面的方差分析表中可以得到i,i 1,2,L ,7对应的残差平方与 RSS i,z表2-4-1、5-1-0、500、511、5RSS37、 90036、 24835、 20634、 74734、 85735、 53436、787从这个表中可的简单比较可以瞧出当0时，残差平方与RSS ,z 34.747达到最小，而0.5对应的残差平方与次之为34、857,且从的方差分析表可知它们对应的P值都为0、000,都具有显著性。现在再瞧0与0.5时,对应因变量Z4与Z5对应的回归系数分析表。Coe f

38、ficients aModelUnstandardized CoefficientsStandardized CoefficientstSig.BStd. ErrorBeta1(Constant)14.0925.4732.575.016身高X1.290.045.5966.458.000胸围X2.367.073.4665.044.000a. Dependent Variable: Z4Coe fficients aModelUnstandardizedCoefficientsStandardized CoefficientstSig.BStd. ErrorBeta1(Constant)-22.2

39、355.482-4.056.000身高X1.294.045.6026.530.000胸围X2.364.073.4604.994.000a. Dependent Variable: Z5从上面两个表可知，因变量为Z4,即0时的回归系数常数项（Constant）值为14、092,对应的回归方程为zi14.092 0.2904 0.367x2i,但其常数项对应的P值（Sig）为0、016，还就是比较大的，当取0.005时,则方程常数项就不具有显著性了；因变量为Z5,即 0.5时的回归系数常数项（Constant）值为-22、235,对应的回归方程为Zi22.235 0.294* 0.364x2i ,其所有系数的P值都就是0、000,这个值就是很小的，都具有显著性。这说明14用最小二乘法求解线性模型及对