计量经济学中相关证明

课本中相关章节的证明过程

第2章有关的证明过程

2.1一元线性回归模型

有一元线性回归模型为：y,=?o+?\xt+u,

上式表示变量y,和为之间的真实关系。其中)，,称被解释变量(因变量)，为称解释变量(自变量)，〃，称

随机误差项，％称常数项，4称回归系数(通常未知)。上模型可以分为两部分。(1)回归函数部分，

E(j/)=?o+?iX/,

(2)随机部分，〃…

图2.8真实的回归直线

这种模型可以赋予各种实际意义，收入与支出的关系；如脉搏与血压的关系；商品价格与供给量的关

系：文件容量与保存时间的关系；林区木材采伐量与木材剩余物的关系：身高与体重的关系等。

以收入与支出的关系为例。

假设固定对一个家庭进行观察，随着收入水平的不同，与支出呈线性函数关系。但实际上数据来自各

个家庭，来自各个不同收入水平，使其他条件不变成为不可能，所以由数据得到的散点图不在一条直线上

(不呈函数关系)，而是散在直线周围，服从统计关系。随机误差项〃，中可能包括家庭人口数不同，消费

习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。所以，在经济问题上“控制其他

因素不变”实际是不可能的。

回归模型的随机误差项中一股包括如下几项内容，(1)非重要解释变量的省略，(2)人的随机行为,

(3)数学模型形式欠妥，(4)归并误差(粮食的归并)(5)测量误差等。

回归模型存在两个特点。(1)建立在某些假定条件不变前提下抽象出来的回归函数不能百分之百地

再现所研究的经济过程。(2)也正是由于这些假定与抽象，才使我们能够透过复杂的经济现象，深刻认

识到该经济过程的本质。

通常，线性回归函数E(y,)=%+4M是观察不到的，利用样本得到的只是对E(yf)=%+4%的估计，

即对街和4的估计。

在对回归函数进行估计之前应该对随机误差项，〃做出如下假定。

(1)如是一个随机变量，4的取值服从概率分布。

(2)E(uf)=0。

(3)D(M,)=E[u,-EQ,)F=E3)2=?2。称u,具有同方差性。

(4)%为正态分布(根据中心极限定理)。以上四个假定可作如下表达：s?N(0.？？)。

(5)Cov(«„iij)=E[(w,-E(w,j)(Uj-E(M;))]=E(M„W；)=0,(i?J)。含义是不同观测值所对应的18机项相

互独立。称为4的非自相关性。

(6)为是非随机的。

(7)COV(M；,Xi)=E[(w；-EQ』))i,Xi-E(x,))]=E[w,(xt-E(H)]=E[w,-xt-mE(x,j]=E(w,M)=0.

见与即相互独立。否则，分不清是谁对H的贡献。

(8)对于多元线性回归模型，解释变量之间不能完全相关或高度相关(非多重共线性)。

在假定(1),(2)成立条件下有E(y)=E(%+?]%+%)=.%+?|即。

2.2最小二乘估计(0LS)

对于所研究的经济问题，通常真实的回归直线是观测不到的,收集样本的目的就是要对这条真实的回

归直线做出估计。

图2.9

怎样估计这条直线呢？显然综合起来看，这条直线处于样本数据的中心位置最合理。怎样用数学语言

描述“处于样本数据的中心位置”？设估计的直线用

yt=8o+x,

表示。其中力称必的拟合值（fittedvalue）,瓦和自分别是％和2的估计量。观测值到这条直线的纵

向距离用力表示，称为残差。

y'=%+%=/（）+自必+力

称为估计的模型。假定样本容量为兀（1）用“残差和最小”确定直线位置是一个途径。但很快发现计算

“残差和”存在相互抵消的问题。（2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值

的计算比较麻烦。（3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计

算比较方便外，得到的估计量还具有优良特性（这种方法对异常值非常敏感）。设残差平方和用0表示，

Q=EG7T尸二

j=l1=1J=1

则通过。最小确定这条直线,即确定瓦和总的估计值。以瓦和A为变量,把。看作是瓦和A的函数，

这是一个求极值的问题。求。对方0和A的偏导数并令其为零，得正规力程，

T

C7^~二2g（yr-A）-自巧）（T）=0（2.7）

明0/=!

L"2=2g（%-瓦-自修）（-X）=0（2.8）

瞅1=1

下面用代数和矩阵两种形式推导计算结果。

首先用代数形式推导。由（2.7）、（2.8）式得，

T-,

（£（））一瓦一自/）=0⑵9）

T

IZ（X-瓦e）M=0（2.10）

/=1

（2.9）式两侧用除T,并整理得.

Bo=A而⑵ID

把（2.11）式代入（2.10）式并整理，得，

T-

一田一65一初*"°⑵⑵

i=i

TT

Z（）',一力为一自一工）为二0（2.13）

f«l1=1

(2.14)

Z区7M

因为2双月-田=°，（苍-£）=0,［采用离差和为零的结论：^（xz-x）=0,Z（K—y）=0］。

所以，通过配方法，分别在（2.14）式的分子和分母上减2工（），,-田和-X）得,

B=一刃

即有结果：

Bo=y-Pxx这是观测值形式。如果以离差形式表示，就更加简洁好记。

瓦=/一厢

矩阵形式推导计算结果:

由正规方程,

_x

2(.v;-AP\i)1)=。

常2空「犷布……

瓦7+A（缶芍）=£>,

BofX]+B\(£巧2)=^x,y,

«=1i=]i=l

-TE^]poi_rx>q

A=T

力」A/2”

‘DXN~E"

72/2-（1＞，）2

丁»/一（»，）2［一2＞，丁

7ZaZB

、72?/一（2＞，）2

T。

注意：关键是求逆矩阵£十。它等于其伴随阵除以其行列式，伴随阵是其行列式对应的代数

余子式构成的方阵的转置。

写成观测值形式。

,Z（巧一4）（力一刃

广一亦工厂

l-瓦=y-^x

如果，以离式形式表示更为简洁:

Jro.M

瓦=y-P^

2.3一元线性回归模型的特性

1.线性特性（将结果离差转化为观测值表现形式）

2.无偏性

为_Za_Z（x,-x）

2%=z=o

其中:

02=02包5叫

故有:

3.有效性

首先讨论参数估计量的方差。

。2

Var（M=

即：2#

同理有：

显然各自的标准误差为:

阳庆）=I；2阳A）=。

£2

标准差的作用：衡量估计值的精度。

由于。为总体方差，也需要用样本进行估计。

证明过程如下：

因此有：Y=仇+02叉+正

那么：（匕一丫）=g=（4+尸2X,+%）-3+%x+万）

根据定义：ei=%一瓦片,

（实际观测值与样本回归线的差值）

则有:

两边平方，再求和：

对上式两边取期望有：

X君

其中:

故有:也,=（〃-1）。2

关于的计算:

关于R?<R?的证明:

铲=1一

当Z=l=a=l

当左>1=a>1,当04R2<1时，有:

关于R2可能小于0的证明。

YX+u

设:t=^2tt

则有:

=0

S2

那么

〜”=。

但：EG0°,因为没有明存在。

同时，还有：

其中:

N（,-a）=一碇=>一〃;'=0

xe0

和Sft=

则：

考虑到:

若定义

可能小于Oo

参考书：

DennisJ.AignerBasicEconometrics,Prentice-Hall,EnglewoodCliffs,N.J.1971,pp85-88

第二章

2.1简单线性回归最小二乘估计最小方差性质的证明

AA

对于OLS估计式4和尸2,已知其方差为

这里只证明Vag）最小，Vari氏）最小的证明可以类似得出。

设A的另一个线性无偏估计为,即

叫*kj,kj=~~7

其中z%

因为凡也是A的无偏估计，即4区）二人，必须有

Z叱=0,Z叫吊=1

同时W〃O；）=Wz«Z喇）

=［因为丫〃（匕）=4］

=

Z吗耳-y2-（yx2）2

上式最后一项中乙七（乙X）

=0（因为Z叱=°,Z叱Xj=l）

（吗一4）29力/苫?"

所以（乙七）

而b2N0,因为%*4,则有（叫一为此

只有叱=4时，%"£；）=V。武夕2）,由于£；是任意设定的夕2的线性无偏估计式，这表明夕2的OLS估

计式具有最小方差性。

2.2n-2最小二乘估计的证明

用离差形式表示模型时

而且

AA

RI此令=x-y=（%一斤）一（四一AX

2＞；=£［（/一万）一（4一4）巾2

则有

取的期望

a2(〃，一词2]二a2〃；一〃(万)2]

式中(D

E*E电一而==4

⑵

一2£[(尾一尾)2(/_2)为J=_2)])?(Z菁场一万Z%)】

⑶一乙琴——

反2片)=(〃-1)/+cr2-2b2=(n-2)cr2

所以

如果定义n-2.

七")=h1<7

其期望值为

2

这说明〃-2是。的无偏估计。

第二章

3.1多元线性回归最小二乘估计无偏性的证明

因为P=(XfX)1XY=(X'X尸X(XP+U)

对两边取期望，或)=0+(XWX'[E(U)]

=P[由假定1：E(U)=O]

A

即P是。的无偏估计。

3.2多元线性回归最小二乘估计最小方差性的证明

设修为0的另一个关于Y的线性无偏估计式，可知

P=AY(A为常数矩阵)

由无偏性可得七底)=七(AY)=E1A(X0+U)J

所以必须有AX=I

A

要证明最小二乘法估计式的方差"小于其他线性去偏估计式的方差UoN"),只要证明协方差矩阵

之差

A

为半正定矩阵，则称最小二乘估计P是P的最小方差线性无偏估计式。

因为p#-p=AY-p=A(Xp+U)-p

所以仇(5-P)(P*邛)1=£I(AU)(AU)']=®AUU'A')

A

由于p=(X,X)1XY=p+(XX)“XU

所以E[(r-P)(P*-P/]-£[(P-P)(P-P)1=AA%2-(X'X)」『

由于

由线性代数知，对任一非奇异矩阵C,CC为半正定矩阵。如果令[A-(X'X)"X']=C

则CC=[A.(X%)“X][A.(X'X)"XT=AA<(X，X)“

由于半正定矩阵对角线元素非负，因此有AA'・(X'X)”之°

即(J=l,2,•.勺

A

这证明了乩的最小二乘估计从在用的所有无偏估计中是方差最小的估计式。

3.3残差平方和Zd的均值为(〃一公°，的证明

由残差向量的定义及参数的最小二乘估计式，有

可以记P=I・X（X'X）」X',则

容易验证，P为对称等舞矩阵，即

残差向量的协方差矩阵为

利用矩阵迹的性质，有

两边取期望得

第五章

5.1在异方差性条件下参数估计统计性质的证明

1、参数估计的无偏性仍然成立

设模型为匕=4+BX,+匕，i=l,2,…,〃（1）

用离差形式表示y.=Pixi+ui（其中/二匕一”）（2）

A

参数为的估计量42为

在证明中仅用到了假定£（%%）=0.

2、参数估计的有效性不成立

假设（1）式存在异方差，且var（〃J=6=bX；则参数色的估计外的方差为

，驹2）落b0X；

一（Z百一百，①百WX"⑸

在上述推导中用了假定E（'M二°"*/。

下面对（2）式运用加权最小二乘法（WLS）。设权数为Z,,对（2）式变换为

上短上+生

z

»4（6）

A

可求得参数的估计夕2,根据本章第四节变量变换法的讨论，这时新的随机误差项均为同方差，即

var(—)=a2-

入,而△的方差为

八(y2

vaKAL=——-r

AA

为了便于区别，用（人）心表示加权最小二乘法估计的小，用（四）山表示OLS法估计的A。

比较（5）式与（7）式，即在异方差下用OLS法得到参数估计的方差与用WLS法得到参数估计的方差相比

较为

b9b,

—

var(A)gX

EE(X,.Y/y22\

(8)

%.火）［«］

」=生,2科="

4Zj，由初等数学知识有,因此（］0）式右端有

"I2

49⑨汨)

\Zj,(9)

从而，有

这就证明了在异方差下，仍然用普通最小二乘法所得到的参数估计值的方差不再最小。

5.2对数变换后残差为相对误差的证明

事实上，设样本回归函数为

尸卢%

YA+BzX(10)

其中6二工一丫为残差，取对数后的样本回归函数为

lny=d,+d2InX+e"

其中残差为/=h】y-ln）\因此

*-YY+Y-YY-Y

e=\nY-\nY=ln(4)=ln(--J-)=ln(l+-

YYY(12)

对（12）式的右端，依据泰勒展式

y2V3y4\7n

ln(l+X)=X-+—-—+•••+(-If-'—+

234n(13)

A

y-y

将（13）式中的X用Y替换，则e”可近似地表示为

A

*Y-Y