小样本最小二乘法PPT演示文稿

1、1第二章 小样本最小二乘法2一、古典线性回归模型的假定ordinary least squareols最小二乘法（ ，）是线性回归模型最基本的估计方法。古典线性回归模型的假定如下：i1i12i2kikipopulationyxxxin假定2.1 线性假定 总体（）模型为： （ 1， ， ） （2.1）1kinik regression coefficients为样本容量，表示观察值序号， 表示解释变量个数。， 为未知参数，即总体回归系数（）为扰动项，表示除了模型中的解释变量以外，影响被解释变量的其余因素。若有常数项，则令第一个变量恒为13data generating process dgp

2、总体模型也称“数据生成过程”（ ，）一般小写字母表示列向量，大写字母表示矩阵。iiiyxin（2.1）简写成 （ 1， ， ） （2.2）12n12n12nyyyyxxxxyx定义，数据矩阵，则（2.2）简写成 （2.3）假定2.2 严格外生性i1nexx0i1n， ， ， ， （2.4）iiiijkxcov(x )0jk这意味着扰动项 均值独立于解释变量的所有观察值，而不仅仅是同一期或同一个观察值 ，由均值独立，得出 与所有解释变量不相关，即， ，4 i e00定理 ，即扰动项的无条件期望为 ixixee exe00证明：根据迭代期望定理，xye xy0xyx y 定义：若随机变量 ， 满足

3、 ，则称 ， 正交。（注意，而向量正交指的是向量的内积为0，0）定理：解释变量与扰动项正交 jkijkijkijkicov xe xe xee x证明：0， 2.3rank xk假定 不存在严格多重共线性，即数据矩阵列满秩， 1r xr xxxxkxx由公式 ，可得的秩为 ，即满秩矩阵，故存在。xx x或由前面练习可知， 为列满秩可得为正定矩阵，而正定矩阵可逆5假定2.4 球型扰动项 即扰动项满足同方差、无自相关。22n2varxexi00 （2.5）211222x0 xxx0何谓“球型”，看二次型可知conditional heteroskedasticity若对角线元素不相等，是为条件异方

4、差（ ）0autocorrelation若非对角线元素不为 ，是为自相关（）即扰动项之间有相关关系6ols二、的推导iiiiresidualeyx为未知总体参数，而 为其某个估计值，记第个数据的拟合误差（即残差，）为 iiiiiiiyxyyxe有两种表达方式，12neeeeyx残差用向量表示， n2ii=1sum of squared residualsssre所谓最小二乘法是寻找能使残差平方和（ ，）达到最小的那个7 n2ii=1ssree eyxyxyxyxyyyxx yx xyyyxx x 因此残差平方和是 的二次函数，2 ssr为寻找的极值点，需要对 求导，为此先介绍向量求导法则k12

5、kiii=1aaaaaa设有列向量 ，则12k12kaaaaaaaa 就有 （2.6）812kaaaaa同理可验证 2 （2.7）对列向量求导，结果还是列向量，称为梯度向量。ssr2x y2x x0函数求极值的必要条件是 （2.8）x xx y 可得正规方程组：（2.9）1ols x xx y 解出 的估计量（2.10）9olsxyxx0由的条件（2.8）可得x yx0x e0 exols表示残差向量 与解释变量 正交，这是的特征之一多元函数存在极小值的充分条件是函数对自变量列向量求二阶导数所得的矩阵（海赛矩阵）为正定矩阵。2ssrx x 海赛矩阵为2前面已证其为正定矩阵。olsyxeye y

6、xfitted values估计量 求出后，被解释变量分解为 称为被解释变量的拟合值（ ）10yeyexex e00 而 也与 正交，因为故被解释变量是被分解成相互正交的两个部分。 2i2n22ii=1vare1sen-k关于扰动项的方差，由于扰动项 不可观测，故残差 视为 的实现值（相当于变量的抽样实现值）故使用如下统计量作为方差的无偏估计 （2.11） 2212ne sn-knn-kneeekxe 0n-k可以证明为什么除以而非 ，称为自由度，因为 个残差须满足 个正规方程，所以自由度减少为112ssstandard error of the regression称 为回归方程的标准误差（

7、 ）ols三、的几何解释xye yxxy yxe12所谓做回归分析，是指将被解释变量分解成两部分，其一是由解释变量来解释的部分（即拟合值或模型值），其二是由众多次要因素决定的残差部分。yxeye yxxxxx若模型设定为线性模型，则可表为 于是模型拟合值 是 之列向量的线性组合，也即属于由 的列向量所生成的空间（ 列空间）yye做回归分析自然希望模型的解释力度越大越好，也即中的 部分尽量大，从而残差 尽量小。向量的大小由长度或模来衡量。1312nn2ii=1aaaaanormaa aa定义：设向量 ，定义 的模（）或长度为 （2.12）aba bcosab定理（余弦法则）：两个向量 、 之间的

8、夹角 满足 （2.13）夹角 反映两向量的相关程度eyx目标是残差向量尽量小，也即 尽量小yyexe向量间满足头尾相连的加法准则（如图所示）即 14e那么在什么情况下最小呢？ex几何知识告诉我们这将在 与 列空间正交（垂直）的情形下实现exx则 与 列空间中的一切向量（包括）正交a bcos2ab由向量正交定义或余弦法则（0）xe0x yx0 x yx x00x yx x0假定， x xx y1x xx yxyxprojection因此，线性组合被称为 在 的列空间的正交投影（）15yxyxols可见 到 的投影就是 对 回归的拟合值111px x xx yxxx xx yx x xxypy先

9、设 1pyxpx x xx可见可以将 视作一个算子或函数，作用于 （左乘）后生成投影，故称矩阵 为投影矩阵111mix x xxeyxyx x xxyix x xxymy先设 而残差 16myemresidual maker可见将作用于（左乘） 后即可生成残差向量 ，故称为残差制造者（ ）myyx也是投影矩阵，左乘 相当于把 投影到与列空间正交的补空间中去22ppppmmmm请验证 ， ，投影矩阵必有两个性质：幂等、对称对称性将保证投影是正交的，而幂等性使二次投影保持不变2p yp pyp xxpym，也一样mppm请验证0xey上式表明 列空间与残差 所在空间是正交的，输入 可知17ypym

10、y显然有 投影残差 yyyppyymmyyyee 运用上式，勾股定理也成立222yye即下面的表达式很有用e eym myymyyee y残差平方和e ee yyxyyyx yyyyx mx0pe0故有 与emym xmxmmmx0可以把残差表为总体扰动项 的函数 因为18ssre emmm mm也可把残差平方和表为 的函数ny nyny r有 个观测值，相当于独立抽样，故均为自由的，故 属于 维空间，。xxxk而 在列满秩的基础上由 的列向量生成的列空间的维数就是列向量的个数，故 的列空间的维数几 何 知 识 ： 线 性 空 间 的 维 数 等 于 相 互 正 交 的 子 空 间 的 维 数

11、 之 和nknk即， ，enk即残差向量 所在空间的维数 2e enksnk故的自由度为 ， 除以 19四、拟合优度nnnnn22222iiiiiii=1i=1i=1i=1i1nii1yyyyyyyyeolseye 若模型包含常数项，则被解释变量的离差平方和可分解为（的结果有0，0）n2ii=1n2ii1 yye为回归平方和，是可由模型解释的部分为残差平方和，是不能由模型解释的部分nn22ii2i=1i1nn22iii=1i=1 yyer1yyyy定义：拟合优度20coefficient of determination也称判定系数（ ）22rr越大，则说明拟合程度越好。若增加解释变量则必然只

12、增不减，但却会损失自由度，为此可通过对自由度相对平均化来对解释变量过多进行惩罚。n2i2i1n2ii=1en-kr1yyn-1故定义校正拟合优度 2r缺点是有可能为负若回归模型中不包含常数项，则离差形式的平方和分解公式不成立（为什么？）nii1e0因为21 n2ii1nn22iii1i1 yyyyeyeyy2yee e yye eyeye0若回归模型中不包含常数项，则有被解释变量平方和的分解公式 因为2222uc2runcentered r y yye er1yyyyy可定义非中心 （ ）12ucyx x xx yryy可证 （练习）lm此结果在第四章在推导检验时会用到22ols五、最小二乘法

13、（）的小样本性质11olsx xx yy、线性估计量：估计量 是 的线性组合1exex xx y x2、无偏性：先看条件期望11exxx xxexxxx1xxxexex0 由于有严格外生性严格外生性是必要条件 xxee exe然后得出无条件期望1ax xx为推导简便计，记 23111x xx yx xx xx xxa 123varxx x、 的方差矩阵varxvarxvar a xavarx a111222nai ax xxx xxx x证明的关键是球型扰动项假定，否则将使用稳健标准差4olsbest linear unbiased estimatorblue、高斯马尔可夫定理：估计量是最佳线

14、性无偏估计量（ ，）最佳是指方差最小24naa预备定理：若 阶对称矩阵 是半正定的，则 的主对角线元素均为非负 （练习）（使用反证法）olsvarxvarx证明：已证估计量 是线性无偏估计量，设 是任意一个线性无偏估计量，需要证明varxvarxvarxvarx即证为半正定矩阵，也即的主对角线元素小于等于的主对角线元素。k n1ccyayax xxdca因为 是线性估计量，故存在常数矩阵使得 。而，其中 。令 ，cyda yd xdxd则有 25exe dxdxdxdexexdx利用 的无偏性，有 dx0dx0比较两边，得 ，由于 不确定，故必有dxdd故 ddada 2122varxvarx

15、vardaxda varxdadadadx0ad0da0ddaaddx x注：由 得 和2611222varxvarxddx xx xdddd 由于为半正定矩阵故高斯马尔可夫定理成立olsblueols注意，若没有球型扰动项假定，则估计量不是有其他更优的线性无偏估计，参见第五章广义225e sx、方差的无偏估计：22e eme sxexexn-kn-k1emxemxn-kn-k证明：，故只要证明即可 atrace a证明中需要“迹”运算，定义方阵 的迹为主对角线元素之和，记做27 trace abtrace atrace btrace abtrace batrace kak trace a可以

16、证明以及，emxe tracemxe tracemx（）（）22trace e mxtrace mitrace m注：球型扰动项1n11nktrace mtrace ix x xxtrace itrace x x xxntrace x x x xntrace in-k 回代即得2812varxsx xvariance-covariance matrix estimated因此， 的方差协方差矩阵的无偏估计为，t六、对单个系数的 检验2nxxxn 0i假定2.5：在 给定的情况下，的条件发布为正态分布即，扰动项实际上是众多次要影响因素和测量误差之和，根据中心极限定理可知扰动项应近似服从正态分布，

17、这是上面假定的理论基础。0iiiinull hypothesish0对单个回归系数进行假设检验，原假设（ ）： ，其中 为给定常数，通常 291iialternative hypothesish备择假设（ ）：iiiwald test直观上来说， 的估计值 距离 较远，则应拒绝原假设，否则就接受原假设，这类检验称为“沃尔德检验”（ ）112nx xxaxn 0ix xxaxex0 由于，而 为 的线性函数，故 服从正态分布。且有1122varxxxxn 0xx及，故，0ii1112iiiiii12iiihixn 0x xx xx xiix x在原假设： 成立下，第 个分量，其中为的（ ， ）元

18、素，为 的方差。302iii12iizn 01x x若已知，则检验统计量，22st而若未知，则需以 代替，于是引出 统计量 n22n1xn 0ixax axrank aaix xn预备定理 ：若，这意味着 的各分量相互独立 ，且 为幂等矩阵，则二次型服从自由度为的分布。若 ，则，此特殊情形是熟知的 0iiiiiiiii12iiithttt n-ksesesx xestimated standard error定理（ 统计量的分布）：在假定2.12.5均满足，且原假设“： ”也成立的情况下， 统计量。其中是 的估计标准误差 31 2zn 01ykzyzt kky k证明：上章学过，若，而且 与相

19、互独立，则，其中 为自由度。这是总体思路iii212iie ezqx x令，2iizn 01qn-kzq已知，下面将证明：（1） （2） 与 相互独立iztt n-kqn-k于是根据 分布定义，就有ii12iit n-ksx x也即3222e emqm（1） （二次型）2nnn 0in 0i因为，故有，m10已知为幂等矩阵，而幂等矩阵的特征值或 或 ，1x mxrank mtrace mn-k（ ）故非零特征值的个数即为秩。故有21mqn-k由预备定理 可得，1n11nn12n2nxxk xk xxxxn预备定理 ：对于 个随机变量， ，若任意线性组合都服从一维正态分布，则 服从维正态分布。3

20、312n1m12n1mx xxnyyx xxyy预备定理3：若 服从 维正态分布，设 ， ，分别是 的线性函数，则也服从多维正态分布。 iii12iii2 zqex xzqe是 的函数，而 是 的函数。因此，为了证明 与 相互独立，只要证明 与 相互独立即可。aeme由于 ， 均是多元状态扰动项 的线性函数，故根据预备定理3可得，的联合分布也是多元正态分布ecove0因此为了证明 与 相互独立，只要证明， 即可34covecovamcov am， 2e ame ae maemam 1122xxxmxxmxmx 00 （）f七、对假设检验的 检验 0hrrrmrmkrank rmrr对回归方程的

21、所有参数的检验，可以统一表为：其中 为 维列向量， 为矩阵， ，即行满秩，表示 中没有多余的方程02k102khh比如最常见的假设检验“：0”为常数项。再比如格兰杰因果检验，再比如面板分析中的变系数检验“：”等350hrr0直观上看，由于 是 的估计量，因此若成立，则应该比较接近于 向量，因此可以使用如下的沃尔德检验 0112fhrrfrrr xxrrrmff mn-ks定理（ 统计量的分布） 在假定2.12.5均满足，且原假设： 也成立的情况下，则 统计量， 2.1421122112se en-kfrrr x xrrrmw mfqn-ke en-kwrrr x xrrr证明：由于 ，可将 写

22、成其中，36 221 wm2 qn-k3 wq下面将证明： 已在前面证明 与 相互独立w mff mn-kqn-k则根据 分布的定义有， 124mxnxxm预备定理 ：若 维随机向量 服从正态分布，其中为非退化矩阵（满秩），则二次型 01vrr hvrrrrr3vme v0令 在成立的情况下， 。由于 为正态分布，故根据预备定理 ， 为 维正态分布，且37 12var vvar rrvarrr x xr其方差为 1121214wrrr x xrrrvvar vvmrr x xr根据预备定理 ， 注：由于 行满秩，故可逆 3 wqeewq是 的函数，而 是 的函数，由于 与 相互独立，故 与 相互独立38f八、 统计量的似然比原理表达式restricted olsrlsf使用约束条件下最小二乘法（ ，简记）可以得到 统计量的另一方便表达式。 min ssrmin yxyxs.t. rrrmrmkr rm考虑有约束的最小二乘问题： 其中 为 维列向量， 为矩阵，行满秩 lyx