计量经济学讲义第一讲(共十讲)

第一讲普通最小二乘法的代数

一、问题

假定y与X具有近似的线性关系：y=△）+/%+£,其

中£是随机误差项。我们对片、回这两个参数的值一无所

知。我们的任务是利用样本数据去猜测夕0、4的取值。现

在，我们手中就有一个样本容量为N的样本，其观测值

是：（%,%］）,（%,马），•・”（川，%N）。问题是，如何利用该样本

来猜测自、笈的取值？

为了回答上述问题，我们可以首先画出这些观察值的

散点图（横轴x,纵轴y）。既然y与x具有近似的线性关

系，那么我们就在图中拟合一条直线：g=A+6%。该直

线是对y与x的真实关系的近似，而A，4分别是对用，片的

猜测（估计）。问题是，如何确定氐与囚，以使我们的猜

测看起来是合理的呢？

1、为什么要假定y与x的关系是丁二4+/X+£呢？一种合理的解

释是，某一经济学理论认为乂与丫共有线性的因果关系。该理论在讨论

x与y的关系时认为影响y的其他因素是不重要的，这些因素对y的影

响即为模型中的误差项。

2、y=4+/%+6•被称为总体回归模型。由该模型有：

E（y\x）=尸0+^x+E（e|x）。既然e代表其他不重要因素对y的影

响，因此标准假定是：E（E|X）=0G故进而有：

E（y|x）=4）+以x,这被称为总体回归方程（函数），而§=B（）+B、x

相应地被称为样本回归方程。由样本回归方程确定的『与y是有差异

AA

的，y-勺被称为残差£。进而有：y=Qo+P|X+£,这被称为样本

回归模型。

二、两种思考方法

法一：

（如当，…,%）'与（%，％，…JN）'是N维空间的两点，A）

与独的选择应该是这两点的距离最短。这可以归结为求解

一个数学问题：

由于y-力是残差我的定义，因此上述获得瓦与6的方法

即是瓦与A的值应该使残差平方和最小。

法二：

给定餐,看起来%与少越近越好（最近距离是0）。然

而，当你选择拟合直线使得必与力是相当近的时候，刀与

力的距离也许变远了，因此存在一个权衡。一种简单的权

衡方式是，给定%],%2，“，”心拟合直线的选择应该使必与

%、%与%...均与村的距离的平均值是最小的。距离

是一个绝对值，数学处理较为麻烦，因此，我们把第二种

思考方法转化求解数学问题：

由于N为常数，因此法一与法二对于求解瓦与£的值是无

差异的。

三、求解

N

定义。=£（%-6）-/丙y，利用一阶条件，有：

/=1

由（1）也有：

1N1N

在这里六门尸、钎及J

笔记：

人人

这表明：1、样本回归函数5=/?（）+//过点（无，9），即穿过数据

---A人

集的中心位置；2、y=y（你能证明吗？），这急味着，尽管。（）、

八/X

的取值不能保证y.=y,但0（）、伙的取值能够保证y的平均值与y的

平均值相等；3、虽然不能保证每一个残差都为0,但我们可以保证残

/\/\

差的平均值为0。从直觉上看，00、4作为对广0、川的一个良好的猜

测，它们应该满足这样的性质。

笔记：

对于蔺单线性回归模型：y=BNB\X+£,在0LS法下，由正规

方程（1）可知，残差之和为零【注意：只有拟合直线带有截距时才存

在正规方程（1）】。由正规方程（2）,并结合正规方程（1）有：

__-见练习⑴提示「一

工2=0nZ（&一£）七=£（我—£）（七—制=。无论

=>Cov（c.x）=0

用何种估计方法，我们都希望残差所包含的信息价值很小，如果残妾

还含有大量的信息价值，那么该估计方法是需要改进的！对模型

y=4+gx+£利用OLS,我们能保证（1）:残差均值为零；（2）

残差与解释变量X不相关【一个变量与另一个变量相关是一个重要的信

息】O

方程(1)与(2)被称为正规方程，把A=9-攻亍带入(2),

有：

上述获得反)、4的方法就是普通最小二乘法(OLS)。

练习：

(1)验证：

_N

提示：定义Z,•的离差为Z,=Zj-Z,则离差之和£4=0必为筌。

i=l

利用这个简单的代数性质，不难得到：

笔记：

定义y与x的样本协方差、x的样本方差分别为：

Cov{x,y)=Z(N-无)(y-刃/N

2

Var(x)=^j(xi-x)/N'

则成=包3。

Var(x)

上述定义的样本协方差及其样本方差分别是对总体协方差3及其总体

方差"2的有偏估计。相应的无偏估计是：

基于前述对VZzr(x)与Cbu(x,y)的定义，可以验证：

其中a,b是常数。值得指出的是，在本讲义中，在没有引起混淆的情

况下，我们有时也用V^r(x)、Cov(x,y)来表示总体方差与协方差，

不过上述公式同样成立。

(2)假定y=/7x+e,用OLS法拟合一个过原点的直线:

$=Bx,求证在OLS法下有：

并验证：

笔记：

1、现在只有一个正规方程，该正规方程同样表明2g七二0。

然而，由于模型无截距，因此在0LS法下我们不能保证=0恒成

文。所以，尽管2/七二0成立，但现在该式并不意味着

Cbu(£,x)=0成立。

2、无截显巨回归公式的一个应用：

»二4+四西+与

U>=>(y-5)二41(玉一君+(忆一刀

定义耳=丫一1、口=Xj―天、ei-81-8,则4二42+令。按

照0LS无截距回归公式，有：

(3)假定)=分+£,用OLS法拟合一水平直线，即：

'=B,求证/

笔记：

证明上式有两种思路，一种思路是求解一个最优化问迪，我们所

获得的一个正规方程同样是£我=0；另外一种思路是，模型

y='+2是模型y=/?x+e的特例，利用Z$%=0的结论，注意

到此时七二1,因此同样有2弓=0o

(4)对模型y二4+4工+£进OLS估计，证明残差与夕样

本不相关，即Cou(£J)=0。

四、拟合程度的判断

(一)方差分解及其R2的定义

可以证明，Vkzr(y)=Var(y)+Var(s)»

证明：

方差表示一个变量波动的信息。方差分解亦是信息分解。

建立样本回归函数9=A+区］时，从直觉上看，我们当然

希望关于y的波动信息能够最大程度地体现关于y的波动

信息。因此，我们定义判定系数改=也3,显然，

Wzr(y)

0<7?2<1O如果R2大，则y的波动信息就越能够被亍的波

动信息所体现。R2也被称为拟合优度。当心=1时，

匕/厂(£)=0,而残差均值又为零，因此着各残差必都为零，

故样本回归直线与样本数据完全拟合。

(二)总平方和、解释平方和与残差平方和

定义：

其中TSS、ESS、RSS分别被称为总平方和、解释平方和与

残差平方和。根据方差分解，必有：TSS=ESS+RSS。因

此，R2=ESS/TSS=1-RSS/TSS

(三)关于R2的基本结论

1、R2也是y与亍的样本相关系数r的平方。

证明：

2、对于简单线性回归模型：广4+公:+£,R2是y与X

的样本相关系数的平方。

证明：

R2=Co廿(yj)=CovYy,Ro+Kx)=鬲。卅⑶,%)

Var(y)Var(y)Var(y)Var(^0+^x)^Var(y)Var(x)

=[Cov(乍)J=r2

dVar(y)]Var(x)0'

练习：

(1)对于模型：y=/3+c,证明在OLS法下R2=0。

(2)对于模型：)，=4+/?I%+£,证明在OLS法

警告！

软件包通常是利用公式R2=I_RJS/NS,其中

RSS=Z因来计算R?。应该注意到，我们在得到结论

£(X-»=X(y,-歹了+时利用了+=。的性质,而

该性质只有在拟合直线带有截距时才成立，因此，如果拟

合直线无截距，则上述结论并不一定成立，因此，此时我

们不能保证R2为一非负值。总而言之，在利用R2时，我们

的模型一定要带有截距。当然，还有一个大前提，即我们

所采用的估计方法是OLS。

五、自由度与调整的R2

如果在模型中增加解释变量，那么总的平方和不变，

但残差平方和至少不会增加，一般是减少的。为什么呢？

举一个例子。假如我们用OLS法得到的模型估计结果是：

力=尺++A%]，此时，OLS法估计等价于求解最小

化问题：

令最后所获得的目标函数值（也就是残差平方和）为

RSSk现在考虑对该优化问题施加约束：月=0并求解，

则得到目标函数值RSS2O

比较上述两种情况，相对于RSS1,RSS2是局部最

小。因此，RSS1小于或等于RSS2。应该注意到，原优化

问题施加约束后对应于模型估计结果：义=a+

因此，如果单纯依据R2标准，我们应该增加解释变量

以使模型拟合得更好。增加解释变量将增加待估计的参

数，在样本容量有限的情况下，这并不一定是明智之举。

这涉及到自由度问题。

什么叫自由度？假设变量x可以自由地取N个值

（%],%2，...,痂），那么X的自由度就是N。然而，如果施加一

个约束，2玉=。，。为常数，那么x的自由度就减少了，

新的自由度就是N-1。

考虑在样本回归直线2=凤+能“+Aw,下残差e的自

由度问题。对残差有多少约束？根据正规方程（1）（2）,

有：X我=°；»e=0,因此存在两个约束。故残差的自

由度是N-2。如果当样本回归函数是：

9=6)+£]X+Az,则残差的自由度为N-3。显然，待估计

的参数越多，则残差的自由度越小。

自由度过少会带来什么问题？简单来说，自由度过少

会使估计精度很低。例如，我们从总体中随机抽取

西,々，…,八来计算亍以作总体均值的估计，现在X的自由度

是N,显然N越大则以亍作为总体均值的估计越精确。

根据正规方程，我们是通过残差来获得对参数的估

计，因此，残差自由度过少意味着我们对参数的估计也是

不精确的。

笔记：

举一个极端的例子，对简单线性回归模型，假定我们只有两次观测

(y，X1)、(％，々)。显然，我们可以保证R2=1,即完全拟合。但我们得

到的这个拟合直线很可能与y与x的真实关系相去甚远，毕竟我们只有

两次观测。事实上，此时残差的自由度为0!

我们经常需要对估计方法进行自由度调整。例如，当

利用公式左〃(%)=Z(%•-君2/N来估计总体方差时:我们

实际上是对变量(％-君2求样本均值。然而应该注意到，约

束条件Z(巧-初=0恒成立，这意味着变量(％-X)2的自由

度是N-1而不是N。现在对估计方法进行自由度调整，利

用火制2作为对总体方差的估计。上述两种

估计具有什么不同的后果呢？可以证明，V”(x)是有偏估

计而S；是无偏估计。

笔记：

什么叫有偏估计？如果我们无限次重复抽取样本容量为N的样本，

针对每一个样本都可以依据公式论―（X）=Z（七-x）2/N计算总体

方差的一个估计值。然后，对这些方差的估计值计算平均值，如果该

平均值不等于总体方差，那么我们就称VZz«x）是对总体方差的一个有

偏估计。抽象一点，即仇忆〃。）］W发。

人

R2忽视了自由度调整，这由下面的推导可以看出：

在这里，与都是对相应总体方差的有偏估

计。现在我们对自由度作调整，重新定义一个指标，即所

谓的调整的R2（店）：

应该注意到，如果是针对多元线性回归模型，待估计的

斜率参数有k个，另外还有1个截距（即总的待估计系数参

数的个数为k+1个），那么上述公式就是：

产WR2,且可能为负数。

思考题：

如果用增加解释变量的方法来提高R2,这一定会提高

R2吗?

笔记：

/X/XA

假设甲同学的回归结果是y=/3（）+脏\+J32X2+£,而乙同学的

回归结果是丁=氏+4'否+£’。甲同学足够幸运，他获得的确实

比乙同学所获得的高，但这是否就意味着，依据已有的样本，甲同学

所选取的模型就一定优于乙同学所选取的呢？答案是“不一定！”

对模型的选取不能仅仅依靠R?这个指标，其他的因素应该被考虑，例

如，模型是否符合经济学理论，估计参数是否有符合预期的符号，这

些因素在模型选择时都十分重要。另外一点也特别要引起重视，即被

解释变量不同的模型（例如一个模型的被解释变量是logy,而另一个

模型其被解释变量是），）其R2（或者R2）是不可比的。总而言之，初

学者要坚决抵制仅仅依靠R2来进行模型选择的诱惑！

六、简单线性回归模型的拓展：多元线性回归

模型

考虑%+A/，各系数的估计按照OLS是求

解数学问题：

因此，存在三个正规方程：

第一个方程意味着残差之和为零，也意味着手=歹及其

笔记：

第一个正规方程=。可以被改写为=0,%=1。

第二个方程结合第一个正规方程意味着残差与XI样本不相

关；

第三个方程结合第一个正规方程意味着残差与X2样本不相

关。

根据上述三个方程，可以获得氐、£、A，在此不给

出具体公式。

笔记：

人人人人A

对于估计结果$=/?（）+吃、+J32X2,是不是B?的数值大于仅就一

定意味着在解释变量）时工2比X］更加重要呢？答案是“不一定！”o

这是因为，通过对乙与不取不同的测量单位，那么X,与X1前面的估计

系数值将发生改变。有一种办法可以使估计系数不随解释变量的测度

单位变1七而变化，其基本原理吱口下：

在这里s表示变量的样本标准差。定义：

八八*

则有：z=b,z+b,z+£o

yv（1xvi\2xYii1

在新模型中，解释变量是原变量的标准化，它是无量纲的。保持其

他因素不变，当Az,=1时，Az、，=610注怠到Az,.=A（―——）,

出yx\i„

不

当样本容量很大时用1与sA|分别和总体均值以Aj.及其总体标准差瓦Aj近

似，因此Az、,xMJsA类似，AzAv../5oAz=1意味着

x\i11l>1/，”>v1x\iVv

A

以］,土与，因此对々的一个翻译是，保持其他因素不变，当X1变化一

/X/X

十标准密时，y约将变化々个标准妾。类似可以对打进行翻译。

八

/7被称为标准化系数或者，系数。在实践中，我们可以先利用标准

化变量进行无截距回归得到标准化系数，然后反推出非标准化变量回

归模型中的各个斜率系数的估计值。

七、OLS的矩阵代数

（一）矩阵表示

总体多元回归模型是：

如果用矩阵来描述，首先定义下列向量与矩阵：

模型的矩阵表示：

(二)如何得到OLS估计量?

求解一个最小化问题：MinQ—XB)S—XB),有:

B

而根据矩阵微分的知识(见下面的笔记)，有：

d(YfY)

d/3=°…y

KXfYS(”x£)=xx£+(/，xxy=2XX6

d/3d/3

故，x，y=xx£,则/=(XX)T(XY)

建记：

fr

1、d{ab)/db=dQyd)ldb=ad(bAb)/db=2Abo在这里，

玛M是向量，4冈〃是对称矩阵，a矽与"A匕都是标量。重要规则是：

一个标量关于一个列向量的导数仍是列向量，弁且维数保持不变。

2、矩阵微分规则与标准的微积分学中的微分规则具有一定的对应

性。假定/(X,y)-邓*)/心)，则