最小二乘法原理

1、小二乘法最小二乘法是根据最小二乘准则，利用样本数据估计回归方程的i种方法。(-)残差设耳是被解释变量的第次样本观测值，必是相应的第f次样本估计值。将耳与之间的偏差记作勺話話-久-屛址-层/観耳Q2)称勺为第次样本观测值的残差。最小二乘准则使全部样本观测值的残差平方和达到最小，即min詔=皿乞口来确定未知参数阳队仇估计量的准则，称为最小二乘准则。最小二乘估计量未知参数皿，处/汀的最小二乘估计量差尬仏Ar的计算公式为B=ixxyx徭(8.23)最小二乘估计量的推导设残差平方和=ypB%雯一yxB+其中=Y-Y=Y-Xfi=Y-Y=Y-Xfi它是杠1阶残差列向量。为了得到最小二乘估计量事，我们对上式

2、进行极小化写=(FV-2fiTY十怦阳dfi学=_2+2産丽=0移项后，得正规方程组XXfi=XY根据基本假定5.,(岌尸存在，用岌尸左乘正规方程组两边，得0的最小二乘估计量3劭式的无偏估计量024)(8-25)随机误差项”的方差肿的无偏估计量为朋电工云024)(8-25)称作回归估计的均方误差，而&=Sg=称作回归估计的标准误差。P的方差(8.26)Var()=尸二cr叱(8.26)其中，CER-】，于是每个A的方差为Mart；A)=/(XX)九+1=乜+i层1,而Ci+1.i+1是矩阵C=(JV%尸对角线上对应的第1个元素，。直方差的估计量$方差的估计量为炉(方)=龙玄尸=(8.27)则每

3、个点方差的估计量为炉(A)=丘乃%+i=丘乜+1.斑1,/=0?1?2?，k(8.2S)点标准差的估计量为s(代)=jy(X衣其二5=Gjqi+i,j=o,l,(8.29)四、拟合优度检验拟合优度检验是样本回归方程匚仇十3莎严禺花十十爲耳对样本观测值(耳，西，耳;即(心1，2町拟合程度的检验。总离差平方和的分解公式丁塗=般七EES(S-30)其中磁吃(_巧=总离差平方和,换吃（九回归平方和,峻=乞（汀=乞諾残差平方和。于是，可以将平方和的分解公式写成离差形式另屛=另弗+另諾（8.31）（二）多元样本决定系数1.多元样本决定系数所谓多元样本决定系数应，也称多元样本判定系数或多元样本可决系数，是指

4、被解释变量尸中的变杲性能被样本回归方程解释的比例，即一贡一.预（S2修正的样本决定系数护e陶m网1）（8.33）克与走有如下关系:tt-1n一址一1在样本容量一定的情形下，可以看出克有性质:（1）若烂L,则有即（2）妄可能出现负值。例如,=10,2,用=Q1时，S2=-0.1570显然负的拟合优度没有任何意义，在这种情形时，我们取王。（三）三个平方和的计算公式TST=E（gP）2=乞用-厂=$了_疗2席0=郵-喊=（FV-胪（FF-銚丫）=加于是有7翊族T-沪lsry-tt?2Q4）因为w顾兰磁，所以aio应作为度量回归值对样本观测值匕拟合优度的指标，显然应的数值越人越好。应的数值越接近于1,

5、表示$中的变异性能被估计的回归方程解释的部分越多，估计的回归方程对样本观测值就拟合的越好;反之，应的数值越接近于0,表示p中的变杲性能被估计的回归方程解释的部分越少，估计的回归方程对样本观测值就拟合的越差。五、尸检验F检验是对回归方程总体显著性的检验，就是从总体上检验解释变量屋，兀，,瓦对被解释变量丫是否有显著影响的一种统计检验方法。血:A=A=-A=a；至少有一个A不等于零。检验的统计量(8-35)否定规则如果检验的统计量月町（上山-1）,则否定町，即认为在显著性水平卜，被解释变量F与解释变量爼入，兀之间存在显著的线性关系；否则，不否定巧。这里凡S-T是w水平的分了自由度为J分母自由度为”从

6、-1的尸分布的上侧分位数。六、才检验f检验是对线性回归模型的系数进行显著性检验，也就是说是检验模型的每个解释变量兀（心1,2,是否对被解释变量F有影响显著的一种统计检验方法。血：A=oH0严0（=1,2.山检验的统计量Ct=-k-1）风A）（8-36）其中，汎A）*応而是A标准差的估计量，而是矩阵（玄尸对角线上对应的第卄1个元素，JJ否定规则如果）或者”如（1）,则否定禺，即认为在啟显著性水平下，第个解释变量兀对被解释变量卩存在显著的影响；否则，不否定禺。这里S-Z）是。水平的自由度为”从-1的T分布的双侧分位数。七、预测多元线性回归分析的一个重要应用是利用样本回归方程进行预测。预测分为点预测

7、和区间预测两种情形。（-）点预测点预测就是对于给定的解释变量尽，兀，,叽的一组特定值血=（1如化，乱、估计对应的被解释变量的值。假设利用最小二乘法建立的样本回归方程为=仇十屛址十玄耳十十爲耳二X怡其中孩=(1,兀，耳，耳)，心1,2，差(和眞，Ar将血=(1,也,*2，X如)代入样本回归方程中，得%押。十叽+叽十十玄鬲=X.B(8-37)蓝就是被解释变量吒的点预测值或点估计值。(-)区间预测在实际应用中，人们不仅关心被解释变量的估计值，而且希望得到一个以相当人的概率包含真值的区间。这个区间就是数理统计中的置信区间，我们称为预测区间或估计区间。匕的置信度为(1一卩预测区间为(A-匚护小.S(%)

8、,聘+妇/2小卫00)(8.38)其中，心I聞冈是预测误差勺洛弋标准差的估计量,阪斗是回归估计标准误差，是自由度为水平为長的分布的双侧分位数。血的置信度为(-町预测区间的推导对于给定的解释变量咼，兀，血的一组特定值血=(1,观，兀0,，鬲)根据多元线性回归模型，有菇=炕十0闪0十02无0十十仇尤询十坯二血“十坯其中，055，0打。根据估计的样本回归模型，有菇=炕十01*10十炖*20十十仇龙肋=其中，=（AAAy若将蓝看作是F的个别值的点估计值时，它们的预测误差记为因为e（勺）=e（托-Are（龙諮十呦-竝弟=血0+E（t）_血E（dR0所以，蓝是卩的个别值的无偏估计量。接着我们考察色的方差。

9、因为与旳5叫有关，而吒只与坯有关，所以根据随机误差项彼此之间不相关的基本假定3.，蓝与托也不相关。于是有Var（e0）=伽同-）=轴（坨）十畑（热）因为论化）二论（勺）=人，屜（蓝）=/龙。（嵐矿婕&,所以Wr（%）=/十血（刖T尸竝=/11血（龙眩尸坯于是，色方差的估计量为炉（勺）=刊十血（龙岌尸彫因为和蓝都服从正态分布，因此切二坨-热也服从正态分布，即兔机0,Var氯）所以有、t,1）JVara）-2疋Se?a-_cr=由于肿是未知的，我们用它的无偏估计量一（上“）代替，则由概率统计知识有畑r畑r”一左一1）对于预先给定的显著性水平長，可从分布表中查出自由度为卩+-上“，水平为仪的双侧分位

10、数S,使plf于是有p%-S（Go）V%0+J/2.V贝旬）=1一m最后，得的置信度为（2预测区间（8-38）（A-匚护小卫）,g|+妇/2小卫00）即（%-加列1+血*%）-】再蓝+S.”讨1+血（嵐）-1竝）八、案例分析例8.12我国1988-1998年的城镇居民人均全年耐用消费品支出、人均全年可支配收入和耐用消费品价格指数的统计资料如下表所示。试建立城镇居民人均全年耐用消费品支出F关于可支配收入兀和耐用消费品价格指数兀的回归模型，并进行回归分析。表88我国1988-1998年间城镇居民人均全年耐用消费品支出、人均全年可支配收入和耐用消费品价格指数的统计资料年份人均耐用消费品支出$（元）人

11、均全年可支配收入/（元）耐用消费品价格指血（1987年=100）1988137.161181.4115.961989124.561375.7133.351990107.911510.2128.211991102.961700.6124.851992125.242026.6122.491993162.452577.4129.861994217.433496.2139.521995253.424283.0140.441996251.074838.9139.121997285.855160.3133.351998327.265425.1126.39资料来源：中国统计年鉴解根据经济理论和对实际情况的分

12、析可以知道，城镇居民人均全年耐用消费品支岀卩依赖于可支配收入兀和耐用消费品价格指数兀的变化，因此我们设定回归模型为巧二仇十01扯十炖抵十埃1.估计模型未知参数由原始数据，计算得乞血=335陋4,=1433.54,乞=2095.31X1=3051.4909,Zj=130.3218,7=190.4827乞盔=129226359.3,乞/纟=1421.9434,乞血圧=4444459.4050乞呼=461991.4253,乞扯岭=7653965.5230,乞兀击=275976737。将上述计算结果代入公式（&石），得1133566.41433.54-12095.31$=（jrrv）】xv=33566

13、.4129226859.34444459.4057653965.5281433.544444459.405187421.9434275976.7371X1.230558X10114.46673xl01280230414.5-3.606737xlO4.46673xl01280230414.5-3.606737xlO1080230414.56604.4458-770276.399-3.6O6737X1O10-770276.399294792243.32095.317653965.528275976.737158.5442=0.0494-0.9117即為=1585442,=0.0494=-0.9117即為=1585442,=0.0494=-0.9117最后，得估计的回归方程g=158.5442十0.0494血-0.9117接着，计算残差平方和EE=YT-Y=乞呼一尻乙人仏乞屁K-爲乞圣出=461991.4253-158.5442x2095.31-0.0494x7653965.528-（-0.9117）x275976.737=3294.2716=3294.2716所以亦的无偏估计量为2=S=3294.2716=4117840n-k-l11-2-1从而得到回归估计标准误差为C?=411.7840=20.29252.经济意义检验A=00494,