lwy chp多元回归分析估计stud

夫定理（Gauss-MarkovTheorem）实证研究希望在其它条件不变的情况下(ceterisparibus)，Cons=0+1inc+2inc2y01x12x2kxk随机样本：(xiyii12,yi01xi12xi2kxikxi1xi1,xik01,k)，则yixi 2k,y1 2k,记Y

y2

x2

u2n(k y x un n n nk n则多元回归模型的矩阵形式为：YXE(u|x0,x=(x1,x2,xkE(ui|xi0,xi=(xi1,xi2E(u|x)= E(y|x)=0+1x1+2x2+...+E(u|x)=yi01xi1kxikuiˆiˆˆx ˆx iyiˆ Q ˆ2 残差平方和：Q (y ˆx x(yˆˆ ˆx)minQ x( i1

ˆx) y y1 x2k 1，Y n(k

1

ˆ y n nk k n ˆx ˆ x(yˆˆ ˆx) xˆ 即i1 xx

ˆx)

...ˆix(

其中：ˆi yiˆˆ ˆ

yi01xi1kxikx x 2 2kn(k x n n xnkY(y1,y2,,yn),u(u1,u2,,unYXQ(YXˆ)(YXE(u|x1,x2,,xk)0E(u)E(u|x1,x2,,xk)0E[E(u|x1,x2,,xk)|xj]E(u|xj)0cov(u,xj)0E(xju)0(j1,,k n1 ˆx

1 n1 x(1

)

x(y

x) ˆ 点(x1x2,xky位于OLSuˆ ˆ1

0,

xˆ0(j1,,ki

n

(xij

)(ˆiˆ)ji

xj

ˆiiˆ ˆ (i1,, yˆˆˆxˆx，(yˆˆ :高中绩点 pcolGPA1.290.453hsGPA+0.0094ACTpcolGPA=2.4y01x12x2kxky1x12x2kxkuˆˆˆxˆx...ˆx, 1 xx不变意味着：yˆˆx eachhasaceterisparibusinterpretation(partialeffect)HoldingotherfactorsfixedhsGPA但ACT分的个人样本，那我们就能进行个colGPA对ACT的简单回归分析。Multipleregressioneffectivelyallowsustomimicthissituationwithoutrestrictingthevaluesofanyindependentvariables ˆ i ˆ i 再用y对1进行简单回归可得ˆ ˆ 若0 在样本中x1和x21ˆ.~ ~

i yiyˆ x)ˆ x) i (xi1x1)(yiy (x x 112(xi1x)[ˆ(xi1x1)ˆ(xi2x2)i112(xi11ˆˆ(xi11

x2 (x x

ˆ仍然可以写成ˆ ˆy)/ ˆ2，但残 i1 i11来自x1对x2xkˆxx （2）x1与x2xkInthecasewithkindependentvariables,thesimpleregressionofyonx1andthemultipleregressionofyonx1,x2,...,xkproduceanidenticalestimateofx1onlyif(1)theOLScoefficientsonx2throughxkareallzeroor(2)x1isuncorrelatedwitheachofx2,....,xk.Neitheroftheseisverylikelyinpractice.Butifthecoefficientsonx2throughxkaresmall,orthesamplecorrelationsbetweenx1andtheotherindependentvariablesareinsubstantial,thenthesimpleandmultipleregressionestimatesoftheeffectofx1onycanbesimilar. ˆ 若 0 证明：yˆˆ ˆ

yˆˆxˆ1 yˆ x)ˆ (xi1x1)(yiy (xi1

111kki(xi1111kki

x)ˆ(xik

)ˆ(xi1

ˆˆ(xi1

x)ˆ(xi1

xk i k2

2

x

x 假定MLR.11,2…,k为所关心的未{(xi1,xi2…,xik;yi):i=1,…,n}是容量为n的随机样本，其中i代表第i个观察值，j=1,…,k代表第j在样本中，没有一个自变量是常数，自变量之间当一个自变量是其它解释变量的严格线性组合时，如果回归模型中的某些解释变量之间存在一定程度的线性关系，则称此模型存在多重共线性（multicollinearity）y=0+1log(inc)+2log(inc2)+uy=0+1x1+2x2+3x3+4x4+u,x1+x2+x3+x4当y=01x12x23x3+un<(k+1也发生完全E(ui|xi1xi2…xik)=0E(ui|当该假定成立时，称所有解释变量均为外生的(exogenous)；否则，称解释变量为内生的E(ui|xi)0,xi(1,xi1,,xikE(ui|X)0E(u|X)jj

|X)

j j0,1,2,...,YX(XX)1XE(ˆ|X)E((XX)1Xu|X(XX)1XE(u|XE(ˆ)E[E(ˆ|X)]E() y01x12x2u,Eu|x1,x20,Ey|x1,x201x12x2y01x12x23x3u其中3Ey|x1,x2,x3Ey|x1,x201x12x2Eu|x1,x2,x3Eu|x1,x2真实模型为：y01x12x2u，ˆ xxi1xi2x11E|X

Corr(x1,x2)>Corr(x1,x2)<2>2<当重要变量x2缺省时，通常不能得到2（x2法准确知道Corr(x1,x2)的符号。 并且ability和educationyears正相关，所以Var(u|x1,x2,…,xk)=Var(u|x)=2.Var(ui|xi1,xi2,…,xik)=Var(ui|xi)=2.Var(u|X)=2In（Heteroskedastic）Var(ui|xi1,xi2,…,xik)=Var(ui|xi)=i2Var(u|X)=diag(12,22,…,Var(y|x)=夫假定（Gauss-Markovassumptions）.y01x1kxku(MLR.4(零条件均值)：E(u|x1,xkMLR.（给定高斯－马尔科夫假定MLR.1jVarj

|X

jj其中，SSTx x R2为x对所有其它x回归所得到的 2XX1Varˆj|X

jjy01x12x2+u

1|X)

y

x

当

和

Var~Var(ˆ否 R1=0(x1,x2220，一些计量经济学家建议，将因漏掉x2而我们更喜欢包含x2

能够观测到的是残差i，可以用残差构造误差方iˆ2(uˆ2)nk1SSRi术语：2正的平方根称为标准差(SD)(standarddeviationoftheerrorterm)，ˆ2 归标准误(SE)(standarderroroftheregression(SER),standarderroroftheestimateortherootmeansquarederror)。 sd(ˆ)/[SST(1R2j的标准差 j j 观察值yi可被分解为ˆi和iyi 其中，ˆi是可解释部分:ˆi ˆˆ ˆ iSST

y2,总离差平方和(totalsumofsquaresiSSEˆy2,解释平方和(explainedsumofi

y

ˆi SSRuˆ2yˆ2残差平方和(residualsumi 则有：SSTSSER2=SSE/SST=1–R2实际上等于yi与ˆiyy(ˆR2