计量经济学第6章-多元模型的矩阵运算

第6章计量经济学的矩阵运算§6.1多元模型及其参数

(6.1.1关于多元模型；6.1.2关于U的基本假定；6.1.3参数的最小平方估计)

§6.2最小平方估计式的性质

(6.2.1线性特性；6.2.2无偏性；6.2.3最小方差性)

§6.3拟合优度及预测

(6.3.1拟合优度；6.32区间预测；6.3.3随机扰动项方差的估计)

§6.4广义最小平方方法

(6.4.1关于随机扰动项U的方差—协方差矩阵；6.4.2广义最小平方方法；6.4.3异方差和序列相关的处理)2024年9月27日制作人：熊义杰1§6.1

多元模型及其参数6.1.1关于多元模型设有K个自变量的线性模型为：对于以后各章的矩阵运算而言，规定用小写字母表示观测值，用大写字母表示矩阵。假定总体中的每一个观测点均服从由该模型所确定的线性趋势，则对于n个观测点必然有：2024年9月27日制作人：熊义杰2

将这几个方程写成矩阵形式，得：或6.1.2关于U的基本假定：假定I（零均值假定）：(6－2)2024年9月27日制作人：熊义杰3

假定II和假定III（常方差和无序列相关性）：就相当于：2024年9月27日制作人：熊义杰4假定IV（正态性假定）：U的每一个元素均服从正态分布，亦即：假定Ⅴ（不完全共线性假定）：解释变量之间的不完全共线性假定就等价于：如果该假定成立，则矩阵X中至少有k+1阶子行列式不为零，这时解释变量之间不存在线性相关关系。可以证明，这时矩阵也是满秩的，即有：于是有行列式即必然存在

2024年9月27日制作人：熊义杰56.1.3参数的最小平方估计

根据总体方程式，对于一个给定的样本，显然有2024年9月27日制作人：熊义杰6写成矩阵形式，即：2024年9月27日制作人：熊义杰7§6.2最小平方估计式的性质：

6.2.1线性特性：不仅是Y的线性函数，也是U的线性函数。证明如下：

在上式中，(X’X)-1是一个k＋1阶方阵，X’是一个(k＋1)×n的矩阵，所以(X‘X)-1X’也是一个(k+1)×n的矩阵，与Y相乘后应为一有k＋1个元素的列向量。2024年9月27日制作人：熊义杰86.2.2无偏性：

6.2.3最小方差性：为证明最小方差性，需要先求出的方差-协方差矩阵。令方差-协方差矩阵为于是有：2024年9月27日制作人：熊义杰9

这是一个对称矩阵，主对角线上给出了各参数估计值的方差，其余元素则给出了不同参数估计值间的协方差，故称作的方差-协方差矩阵。同时，根据线性特征，应有：2024年9月27日制作人：熊义杰102024年9月27日制作人：熊义杰11下面证明的最佳性。为此，令β

的另一具有线性特征的估计量为：其中P为与同阶的不为零的非随机矩阵，当P=0时，。要比较与的优劣，首先也应是无偏的，即应有：2024年9月27日制作人：熊义杰12半正定矩阵：即主对角线上元素不小于0的实对称矩阵。正定矩阵：即主对角线上元素均大于0的实对称矩阵。2024年9月27日制作人：熊义杰13§6.3

拟合优度及预测6.3.1拟合优度因为：2024年9月27日制作人：熊义杰14而2024年9月27日制作人：熊义杰15（6－10）式即总平方和的分解公式。于是，得到：6.3.2区间预测

假定模型在预测期间仍然有效，令表示未来的一个预测值，xf为一(k+1)个元素的行向量，现确定E(yf)的置信区间，为此，必须计算的方差。

因此，应有：所以：2024年9月27日制作人：熊义杰16所以，应有：于是，E(yf)置信概率为1－α的置信区间为：相应的，可得到的方差为：据此，即可估计出yf

的预测区间。6.3.3随机扰动项方差的估计由于在现实中u是不可观察的，因此只能通过样本残差平方和估计得到。2024年9月27日制作人：熊义杰17由于：记：

在此，M称作基本幂等矩阵，幂等矩阵通常具有两个重要性质：

另一方面根据矩阵求迹的性质，我们知道，残差平方和∑e2（一个标量）除了用e/e表示外，还可以用矩阵(ee/)的迹即主对角线上元素的代数和来表示，于是采用矩阵求迹的方式，可以得到：2024年9月27日制作人：熊义杰18

因为矩阵的迹有性质：于是对残差平方取期望，得到：根据上述得到的结果，不难得到：所以，应有：2024年9月27日制作人：熊义杰19

所以：记：根据(6－14)式，很显然是的无偏估计量。2024年9月27日制作人：熊义杰20§6.4

广义最小平方方法

序列相关和异方差是经济计量分析中经常会遇到的问题，而广义最小平方方法则是统一处理异方差和序列相关问题的常用方法。6.4.1关于随机扰动项U的方差—协方差矩阵

U的方差—协方差矩阵即：按照假定II和假定III应有：2024年9月27日制作人：熊义杰21现令：其中：阶实对称矩阵，为常数。显然，如果，则表明：（1）各随机项的方差相同且等于；（2）各随机项无自相关。如果，则同样有两种可能：（1）随机项存在异方差，的主对角线元素不全为1，此时随机项的方差不完全相同，（2）随机项存在自相关，的非主对角线元素不全为零，此时随机项的协方差2024年9月27日制作人：熊义杰22其中：一阶自相关系数。可证明如下：设一阶自回归形式为：其中，vt满足所有关于随机扰动项的基本假定。2024年9月27日制作人：熊义杰23于是，有：

(其中，s<t)将各次滞后值依次回代，可得到：2024年9月27日制作人：熊义杰24此时，有：而也就是：即是ρ的函数。2024年9月27日制作人：熊义杰25同理，可求得：于是，可得到：2024年9月27日制作人：熊义杰266.4.2广义最小平方方法

显然，当时，就违背了线性回归关于随机扰动项的常方差假定和无序列相关假定。这时，可以将时的参数估计问题统一进行处理，这就是所谓的广义最小平方方法。其基本思路是，先对原模型进行适当的线性变换，使变换后的新模型满足线性回归的基本假定，即，然后再应用OLS方法，对模型进行估计。其基本步骤是：第一步：先寻找适当的变换矩阵P

根据线性代数知识，由于是N阶实对称正定矩阵，

2024年9月27日制作人：熊义杰27故必然存在n×n阶非奇异矩阵（即行列式不等于零的矩阵，亦即满秩矩阵）P，使下式成立：同时，由此不难得到：

第二步：进行模型变换：2024年9月27日制作人：熊义杰28

显然，变换后的模型满足同方差和无自相关假定。由于是线性变换，其它假定无疑也满足。2024年9月27日制作人：熊义杰29于是对变换后的模型应用OLS法，可得到参数估计量向量为：2024年9月27日制作人：熊义杰306.4.3异方差和序列相关的处理一、关于异方差

当为对角矩阵时，模型存在异方差。

2024年9月27日制作人：熊义杰312024年9月27日制作人：熊义杰32

这时，可以选n×n阶矩阵P为：(依)2024年9月27日制作人：熊义杰33

2024年9月27日制作人：熊义杰34二、关于序列相关：当矩阵具有如下形式时，模型存在一阶自相关。2024年9月27日制作人：熊义杰352024年9月27日制作人：熊义杰36(依)2024年9月27日制作人：熊义杰372024年9月27日制作人：熊义杰38§6.5主成分分析法

主成分分析是一种分析多重共线性的特殊技巧，是一种以统一的观点诊断和处理多重共线性的矩阵方法。6.5.1标准化变量和正交变量为便于讨论，特定义与变量的一组观测值相对应的标准化变量为：其中：不难看出，标准化变量的样本均值为0。此外，标准化变量的观测值不受坐标原点位置和标度大小的影响，这一点为以相关系数为基础多重共线性分析带来了很大方便。设以观测值陈述的k元线性模型为：取均值后得到：二式相减，得到：再进一步做变换，得到：或者：其中：

显然，由于变换过程为恒等变换，所以式(6－15)和(6－16)是等价的。如果一组变量之间不存在线性相关关系，通常就说这组变量是正交的，或者说这是一组正交变量。主成分分析正是基于这样一个事实，即任何一个线性回归模型都可以用一组正交变量来重新陈述。这组新的变量是原自变量的线性组合，称作原自变量的主成分。需要明确的是，原自变量都是一些具有特定意义的变量，而作为原自变量线性组合的新自变量即主成分一般说来却不再有任何意义。但是，这些新自变量却为分析多重共线性提供了一种统一的分析方法。6.5.2正交模型设有以矩阵形式表示的标准化回归模型如：假定E(U)=0,且变量X和Y均已标准化。其中：

由于变量X和Y均已标准化，所以都是由相关系数构成的矩阵。即有：不难看出，如果能找到一种方法，使得成为单位阵，就可以使原来的变量转化成为正交变量。由于是一个k阶实对称阵，根据矩阵知识，必存在一个正交矩阵

C，满足：其中：对角元λ1，λ2，…，λk是的全部特征根且λ1>λ2>…>λk

；正交矩阵C的各列分别为与特征根λ1，

λ2，…，λk相对应的特征向量，即应有：根据7－5式，现定义：显然，应有：不难看出，新的自变量zi即为一组正交变量。同时，根据6－20式，式6－19可改写为：这就是用正交自变量陈述的模型，亦即用主成分陈述的模型。其中，矩阵和为相似矩阵，其特征值相同。

在这里，变量Z也就是我们所说的主成分。所以，所谓主成分，即能够使原变量用一组正交自变量重新陈述的另一组变量。作为主成分的变量显然具有如下重要性质：（1）各主成分的均值为0。（2）各主成分的方差等于计算该主成分时所依据的原始变量的相关矩阵的对应特征根。（3）各主成分之间互不相关，主成分俩俩之间的协方差为0。（4）主成分与原始变量之间的协方差等于特征根与特征向量的乘积。（5）全部主成分的方差之和等于全部原始变量的方差之和。6.5.3系数向量的估计

对模型7－6应用最小平方方法，得到：同时，根据7－7式和7—5式，显然应有：为了对模型进行检验，必须知道的方差协方差矩阵。由于是最小平方估计值，因而应具有线性特性，即应有：

同时，根据式7－7和7－8，应有：所以，应有：其中：6.5.4多重共线性的诊断和处理

首先需要指出的是，如果直接对正交模型6－21

应用最小平方方法，所得出的结果将与对模型6－25

应用最小平方方法所得出的结果完全相同，因为这两个模型是等价的。这种做法实际不能解决任何问题。

主成分分析的目的，首先在于对多重共线性进行判断。判断的依据或标准就是看特征根λj的大小。理由有二：

一、λj实际上就是正交变量zj的平方和，除以样本容量n就是zj的方差。因此，如果λj比较接近于0，根据统计知识，相应的主成分zj实际上就接近于常数(常数的方差为0)。显然，常数不宜作为变量考虑。亦即，当λi≈0时，应有：二、根据关系式Z＝XC，λi≈0等价于：这就是说，根据线性相关的概念，由于c1j，c2j，…，ckj不全为0，所以在这里由k个标准化自变量的线性组合构成的向量zj实际是线性相关的，因而是应该予以处理的。

主成分分析的另一重要目的，就是要设法减轻多重共线性的影响。其方法就是将模型7－6中与较小特征根相对应的一个或几个主成分摒弃，然后将因变量对余下的主成分进行回归，估计出相应的系数α，然后再通过逆变换求出模型中的β估计值。只是需要注意，在逆变换中必须将C中的相应列、α的相应估计值及其方差均以0看待。在第四章中我们已经知道，遗漏重要的解释变量，会产生估计偏吴，所以主成分分析方法是一种有偏估计法。6.5.5案例分析

下表是我国1984一1991年三种宏观数据的统计数据(引自《中国统计年鉴1992》)，试估计社会商品零售总额的二元回归模型。表7-1我国1984一1991年三种宏观数据的统计数据EView10的输出结果LS//DependentVariableisYSample:19841991Includedobservations:8Variable Coefficient Std.Error T-Statistic Prob.C 544.4771 1399.072 0.389170 0.7132X1 1.794231 0.733709 2.445424 0.0583X2 11.59356 11.94230 0.970798 0.3762R-squared 0.981594Meandependentvar6462.750AdjustedR-squared 0.974231S.D.dependentvar2157.581S.E.ofregression 346.3474Akaikeinfocriterion 11.97488Sumsquaredresid 599782.7Schwartzcriterion 12.00467Loglikelihood -56.25103 F-statistic 133.3246Durbin-Watsonstat 0.805191 Prob(F-statistic) 0.000046

不难看出，不仅常参数和Z的系数不显著，而且Z的系数符号跟一般的需求理论也不相一致，这主要是由于两个解释变量之间的高度相关即共线性引起的。所以必须寻找另外一的估计方法。对实际问题进行主成分回归，主要可按照如下六个步骤进行：第一步，计算解释变量相关系数矩阵的特征值和相应的特征向量。在上述案例中，解释变量的相关系数矩阵为：相应的特征值分别为：1.9781和0.022，相应地特征向量组成的正交矩阵是：

这一步，利用EViews5.0很容易完成。先将变量所有解释变量作为一个数组打开（利用Show命令），在数组窗口菜单上点击：View\PrincipalComponents