多元线性回归分析(6)ppt课件

1、第二章第二章 多元线性回归分析多元线性回归分析第一节第一节 模型的假定模型的假定预备知识：预备知识：v矩阵的矩阵的k k阶子式阶子式v在在mmn n矩阵矩阵A A中中 任取任取k k行与行与k k列列(k(kmm k kn)n) 位于这些行列交叉处的位于这些行列交叉处的k2k2个元素个元素 不改动它们在不改动它们在A A中所处的位置次序而得的中所处的位置次序而得的k k阶行列式阶行列式 称为矩阵称为矩阵A A的的k k阶子式阶子式 1 1 2 1 42 1 1 1 22 3 1 1 23 6 9 7 9A 1 13 1D 是A的一个二阶子式 1 1 2 1 42 1 1 1 22 3 1 1

2、23 6 9 7 9A 矩阵的秩矩阵的秩设在矩阵A中有一个不等于0的r阶子式D 且一切r1阶子式(假设存在的话)全等于0 那么D 称为矩阵A的最高阶非零子式 数r 称为矩阵A的秩 记作R(A) 并规定零矩阵的秩等于0 (1)假设矩阵A中有某个s阶子式不为0 那么R(A)s 假设A中一切t阶子式全为0 那么R(A)t (2)假设A为mn矩阵 那么0R(A)minm n (3)R(AT)R(A) (4)对于n阶矩阵A 当|A|0时 R(A)n 当|A|0时 R(A)n 可逆矩阵又称为满秩矩阵 不可逆矩阵(奇特矩阵)又称为降秩矩阵 矩阵经过初等变换，其秩不变。等等被称为偏回归系数等被称为偏回归系数

3、讨论多重共线性例子：补充：设补充：设A和和B都为都为n阶方阵，那么阶方阵，那么|AB|=|A|B|第二节第二节 参数的最小二乘估计参数的最小二乘估计矩阵的相关预备知识：矩阵的相关预备知识：1.1.矩阵乘法性质矩阵乘法性质 (1) (AB)C=A(BC) (1) (AB)C=A(BC) (2) (A+B)C=AC+BC (2) (A+B)C=AC+BC (3) C(A+B)=CA+CB (3) C(A+B)=CA+CB (4) k(AB)=(kA)B=A(kB) (4) k(AB)=(kA)B=A(kB) (5) (5) 设设A A和和B B都为都为n n阶方阵，那么阶方阵，那么|AB|=|A|

4、B| |AB|=|A|B| 不满足交换律：不满足交换律：AB BAAB BA也不满足消去律：也不满足消去律：AB=ACAB=AC不能推出不能推出B=CB=C ).11()5(;)(4(;,)(3(;)(2(;)(1(2121矩矩阵阵矩矩阵阵的的转转置置为为律律：矩矩阵阵的的转转置置满满足足以以下下规规 nnaaaaaaABABPkkAkABABAAAnTnTTTTTTTTTT矩阵的迹矩阵的迹迹的轮换性迹的轮换性第四节第四节 多元回归的检验多元回归的检验一、参数估计式的分布一、参数估计式的分布二、拟合优度检验二、拟合优度检验 决议系数或复相关系数：在多元回归模型中，由各个解释决议系数或复相关系数

5、：在多元回归模型中，由各个解释变量结合解释了的变量结合解释了的 Y Y 的变差，在的变差，在 Y Y 的总变差中占的比的总变差中占的比重，用重，用 表示表示多元线性回归中多元线性回归中决议系数可表示为决议系数可表示为 22313iiikikY= + X+ X+ .+ X22222( -)ESSTSS-RSS1-TSS(-)TSSiiiiY YeRYYy2R 假设模型中添加一个解释变量，决议系数往往是增大的。主要是由于残差平方和RSS会随着解释变量个数的添加而减少。 解释变量 RSS所以就会给人一种错觉：要使模型拟合的好，只需添加解释变量即可。 然而现实中，假设引入不重要的解释变量， 增大，但增

6、大，会影响置信区间、t检验和预测。 所以，在多元回归模型之间比较拟合优度，决议系数就不是一个适宜的目的。决议系数的特点决议系数的特点2R2R思绪：决议系数只涉及变差，没有思索自在度。假设用思绪：决议系数只涉及变差，没有思索自在度。假设用自在度去校正所计算的变差，可纠正解释变量个数不同自在度去校正所计算的变差，可纠正解释变量个数不同引起的对比困难。引起的对比困难。自在度：统计量的自在度指可自在变化的样本观测值个自在度：统计量的自在度指可自在变化的样本观测值个数，它等于所用样本观测值的个数减去对观测值的约束数，它等于所用样本观测值的个数减去对观测值的约束个数。个数。修正的决议系数修正的决议系数决议

7、系数的修正方法：决议系数的修正方法：总变差平方和：，自在度总变差平方和：，自在度n-1n-1解释的变差平方和：，自在度解释的变差平方和：，自在度k-1k-1残差平方和：残差平方和： ，自在度，自在度n-kn-k修正的可决系数为修正的可决系数为NoImage22)(iiyYYTSS22)(iiyYYESS22)(iiieYYRSS22222( - )-11-1-( -1)-iiiien kenRynn ky特点：特点：1 1修正的决议系数修正的决议系数 与决议系数与决议系数 的关系：的关系：2R2R 2 2决议系数决议系数 必定非负，但修正的决议系数必定非负，但修正的决议系数 能够为负值，这时规

8、定能够为负值，这时规定 。 2R2R20R三、回归方程的显著性检验三、回归方程的显著性检验F F检验检验 根本思想根本思想 在多元回归中有多个解释变量，需求阐明一切解释变量结合起来对在多元回归中有多个解释变量，需求阐明一切解释变量结合起来对被解释变量影响的总显著性被解释变量影响的总显著性,或整个方程总的结合显著性。对方程总或整个方程总的结合显著性。对方程总显著性检验需求在方差分析的根底上进展显著性检验需求在方差分析的根底上进展F检验。检验。方差分析表从回归的观念将方差分析表从回归的观念将TSSTSS的构成部分进的构成部分进展研讨称为方差分析，展研讨称为方差分析，ANALYSIS OF ANAL

9、YSIS OF VARIANCEVARIANCE总变差总变差 自在度自在度n-1 n-1 模型可解释的变差模型可解释的变差 自在度自在度k-1 k-1 剩余变差剩余变差 自在度自在度n-kn-k22)(iiyYYTSS22)(iiyYYESS22)(iiieYYRSS变差来源变差来源平方和平方和自在度自在度均方和均方和归于回归模型归于剩余总变差ESSRSSTSSk-1n-kn-1ESS/(k-1)RSS/(n-k)TSS/(n-1) 原假设原假设 备择假设备择假设 不全为不全为0 0 建立统计量建立统计量( (可以证明可以证明):): 给定显著性程度给定显著性程度 ，查，查F F分布表得临界值

10、分布表得临界值 并经过样本观测值计算并经过样本观测值计算 值值F检验检验FESS ( -1) F( -1,)RSS ( - )kFkn-kn k( -1, - )F kn k1H :(12)j j= , ,.,k023H :0k = =.= =假设假设 ( (小概率事件发生了小概率事件发生了) ) 那么回绝那么回绝 ，阐明回归模型有显著意，阐明回归模型有显著意义，即一切解释变量结合起来对义，即一切解释变量结合起来对Y Y有显著影有显著影响。响。假设假设 ( (大约率事件发生了大约率事件发生了) ) 那么接受那么接受 ，阐明回归模型没有显，阐明回归模型没有显著意义，即一切解释变量结合起来对著意义

11、，即一切解释变量结合起来对Y Y没有没有显著影响。显著影响。( -1, - )F F kn k( -1, - )FF kn k023H :0k = =.= =023H :0k = =.= =决议系数与决议系数与F检验检验由方差分析可以看出，由方差分析可以看出，F检验与决议系数有亲密联络，二者检验与决议系数有亲密联络，二者都建立在对应变量变差分解的根底上。都建立在对应变量变差分解的根底上。F统计量也可经过决统计量也可经过决定系数计算：定系数计算：可看出：当可看出：当 时，时， 越大，越大， 值也越大值也越大 当当 时，时， 结论：对方程结合显著性检验的结论：对方程结合显著性检验的F检验，实践上也

12、是对检验，实践上也是对 的的显著性检验。显著性检验。 22( -1)(1-) ( - )RkFRn k20R2R21R F 0F =F2R四、单个回归系数的显著性检验四、单个回归系数的显著性检验t t检验检验 在多元回归中，分别检验当其他解释变量坚持不变时，各在多元回归中，分别检验当其他解释变量坚持不变时，各个解释变量个解释变量X X对被解释变量对被解释变量Y Y能否有显著影响。能否有显著影响。 方法：方法： 原假设原假设 备择假设备择假设 统计量为：统计量为： 其中其中 是矩阵是矩阵 主对角线上第主对角线上第j j个元素。个元素。0H :0=1 2jj,.,k ,1H :0j t检验的方法检

13、验的方法 给定显著性程度给定显著性程度 ，查自在度为，查自在度为 时时t t分布表的临界分布表的临界值为值为 假设假设 就接受就接受 即以为即以为 所对应的解释变量所对应的解释变量 对因变量对因变量Y Y的影响不显的影响不显著。著。 *22-( - )( - )tn kttn k0H :0j 2( - )tn kjXjn-k 假设 就回绝 即以为 所对应的解释变量 对因变量Y的影响是显著的。 在多元回归中，可分别对每个回归系数逐个地进展t检验。 留意:在一元回归中F检验与t检验等价, 且 但在多元回归中F检验与t检验作用不同。0H*22-( - )( - )ttn kttn k或jXj2Ft完

14、全的多重共线性：矩阵X中某些列向量是其他列向量的线性组合。完全无多重共线性：解释变量之间完全独立。多重共线性高度多重共线性：某些解释变量之间高度相关。一、多重共线性产生的缘由1经济变量之间往往存在同方向的变化趋势2经济变量之间往往存在着亲密的关联度3在模型中引入滞后变量也容易产生多重共线性4在建模过程中由于解释变量选择不当，引起了变量之间的多重共线性二、多重共线性呵斥的影响二、多重共线性呵斥的影响1增大了参数估计量的方差，使其预测精度下降。2.变量的显著性检验t检验失去意义，易发生弃真错误。3.3.相关的解释变量对被解释变量的影响相互替代，甚至会出现符号错相关的解释变量对被解释变量的影响相互替代，甚至会出现符号错误的情况。误的情况。4.4.回归模型缺乏稳定性。回归模型缺乏稳定性。5.变换模型的方式1变换模型的函数方式；2变换模型的变量方式，如用相对数变量替代绝对数变量；3改动变量的统计目的