多元回归分析的解题策略

1、一、一般形式 二、基本假设 第一节第一节 多元线性回归模型多元线性回归模型 第三章 多元回归分析 三、多元线性回归方程的解释 1、随机变量 y与一般变量x1 xp的线性回归模型： 一、一般形式 2 )( 0)( Var E 假设 pp xxxy 22110 理论回归方程： pp xxxyE 22110 )( 2、对于一个实际问题，获得 n 组观测数据： ,)( 21iipii yxxx；， nnppnnn pp pp xxxy xxxy xxxy 22110 2222221102 1112211101 模型可表示为： 写成矩阵形式 Xy n y y y y 2 1 npnn p p xxx x

2、xx xxx X 21 22221 11211 1 1 1 p 1 0 n 2 1 2 )( i Var niE i , 1, 0)( 1、解释变量 xi 是确定变量，不是随机变量。 二、基本假定 且 rank( X )=p+1n. 2、随机误差项 0),( ji Cov 3、正态分布假设条件 ), 0( 2 N i 4、矩阵形式： n IyVar XyE 2 )( )( ),( 2 n IXNy ),( n IN 2 0 三、多元线性回归方程的解释 1、考察空调机销售量 y 与价格 x1 和消费者可 支配收入 x2之间的关系： 22110 2 22110 )( ), 0( xxyE N xx

3、y 0 )( 1 1 x yE 0 )( 2 2 x yE 收入x2不变时，空调价格 x1 变 化对机销售量 y 的影响。 价格 x1不变时，消费者收入 x2 变化对机销售量 y 的影响。 y x2 x1 3、空间散点图与回归平面 y x2 x1 3、空间散点图与回归平面 一、回归参数的最小二乘估计 二、回归值与残值 第二节第二节 回归参数的估计回归参数的估计 第二章 一元回归分析 1、离差平方和),( 10p Q 一、回归参数的最小二乘估计 n i ippii xxy 1 2 110 )( 最小的 , , , 10p ) , , ( 10p Q使离差平方和 的值称为 p , 10 的最小二乘

4、估计。 0) (2 0) (2 1 10 11 1 1 10 00 0 n i iii n i ii xxy Q xy Q 经整理后,得正规方程组 n i n i n i iiii n i i n i i yxxx yxn 111 1 2 0 1 1 1 0 )( )( )( 2、回忆：确定一元回归参数的具体方法 2 1 1 1 10 )( )( n i i i n i i xx yyxx xy 最小二乘估计： n i n i iixx xnxxxL 11 222 )()( n i ii n i iixy yxnyxyyxxL 11 )( xx xy L L xy 1 10 记： y LL 1

5、111 xyxx LL 1 n i ipippipii p n i iippiii n i iippiii n i ippiii xxxxy Q xxxxy Q xxxxy Q xxxy Q p 1 2110 1 222110 2 1 122110 1 1 22110 0 0) (2 0) (2 0) (2 0) (2 2 1 0 3、多元回归模型 整理方程得 oXyX )( yXXX 如果 存在，那么 1 )( X X yXXX 1 )( 回归方程就是 pp xxxy 2 21 1 0 0 0 0 2211 2222121 1212111 ppppp pp pp LLL LLL LLL n

6、k kikiiy n k jkjikijiij yyxxL xxxxLL 1 1 )( )( n k n k kjki n k kjki xx n xx 111 )( 1 n k n k kki n k kki yx n yx 111 )( 1 0 22110 pp xxxy 二、回归值与残差 1、观测值的 yi 的回归值为 i y 因变量 y n y y y 2 1 y n y y y 2 1 的回归值为向量 HyyXXXXXy 1 )( 2、残差 iii yye 残差向量 n e e e e 2 1 yHIyy)( 协方差矩阵 )(),()(HIeeCoveD n 2 nnnn n n n

7、 n e e e eeeD 21 22221 11211 2 1 21 nn yy yy yy 22 11 残差满足关系式： 0 0 0 1 ipi ii i xe xe e 0 e X 矩阵形式为： niheVar iiiii ,)()(11 2 n i i e pn SSE pn 1 22 1 1 1 1 其中 一、参数估计量的性质 第三节第三节 参数估计量的性质参数估计量的性质 第三章 多元回归分析 一、参数估计量的性质 是随机变量 y 的一个线性变换。 、1 yXXX 1 )( 是 的无偏估计， 、2 .) ( E 12 3 )() , () (XXCovD 、 12 3 )() ,

8、() (XXCovD 、 当 p=1时，即为一元线性回归的情况。 n x x x X 2 1 1 1 1 n xxx X 111 21 2 ii i xx xn XX nx xx XX XX i ii 2 1 | 1 )( nx xx nL i ii xx 2 1 nx xx XX XX i ii 2 1 | 1 )( xxxx xx i xx LL x L x x nL 1 1 2 12 110 100 )( ) () , ( ) , () ( ) (XX VarCov CovVar D xxxx xx i xx LL x L x x nL 1 1 2 12 110 100 )( ) ()

9、, ( ) , () ( ) (XX VarCov CovVar D 1 ) (XX n i i xxi x nLxx x n Var 1 22 2 2 0 1 )( 1 ) ( xxi Lxx Var 2 2 2 1 )( ) ( 2 10 ) , ( xx L x Cov 一般不是对角中中，在在 12 )() ( XXD 的推广，反映了估计量的波动大小。 ) , () ( CovD的的协协方方差差阵阵是回归系数 1 1 )( X X 矩阵，所以各分量 p 210 ，之间有一定 的联系波动情况、相关程度。 回归系数向量状况的影响因素类似一元情况， . 2 X， 为了分析回归系数各分量之间的相

10、关程度， ) ( R 1 ) () ( ) , ( ) () ( ) , ( 1 10 10 10 10 VarVar ovC VarVar ovC 1 0 以一元线性回归为例，的相关阵为： 1 1 1 1 2 2 i i x n x x n x 高斯-马尔科夫定理 (1)取常数向量 c , 0 1 0 c 0 0 010 2 2 1 p (2)在正态分布假设下 c 0 0 010 2 2 1 p )(ccE 最小。最小。)( cVar 0), (5 eCov 、 则则、若若),(6 2I XNy ) 1() 2( );)(,( ) 1 ( 2 2 12 pn SSE XXN 一、F 检验 第

11、四节第四节 回归方程的显著性检验回归方程的显著性检验 第三章 多元回归分析 二、回归系数的显著性检验 三、回归系数的置信区间 四、拟合优度 一、F 检验 平方和分解式: SST = SSR + SSE 2 2 2 )()()( yyyyyy iii SST ：总平方和 SSR ：回归平方和 SSE ：残差平方和 2 )( yy i 2 )( yy i 2 )( ii yy 由 x 的变化引起 随机变化引起 ) 1/( / pnSSE pSSR 原假设 对立假设 0: 210 p H ), 2 , 1( , 0: 1 piH i 至少有一个成立。 ），（1 ) 1/( / pnpF pnSSE

12、pSSR F a 构造F 统计量 假设 H0 方差来源方差来源平方和平方和自由度自由度均方均方F 值值 回归回归 SSRpSSR 残差残差 SSEn-p-1SSE 总和总和 SSTn-1 方差分析： 方差来源方差来源平方和平方和自由度自由度均方均方F 值值 SSR1430.602715.30 F = 87.88 F0.01(2,10)=7.36 SSE81.3992108.1399 SST151212 方差分析表 在=0.01的水平下，以上回归方程是显著的。 ,)(, 12 X XN (1)由于： 二、回归系数的显著性检验 原假设 对立假设 ), 2 , 1(0: 0 pjH jj ), 2

13、, 1( , 0: 1 pjH jj 则 xj 是显著的。 2 ) (,) ( jjjjj cVarE ppij pppp p p c ccc ccc ccc XX )()( 21 22221 11211 1 ., , 2 jjjj cN所以 统计量)1( 2/ pnt c t jj j j 2 11 22 )( 1 1 1 1 i n i i n i i yy pn e pn 其中： 【例3.1(续)】对回归系数进行显著性检验。 假设)2 , 1(0: 0 jH jj 检验统计量 jj j j c t 其中 jjpjiji jj jj Lc ,)(, ,1, jj 是中划去 j 行 j 列后

14、的子行列式。 2221 1211 LL LL 8112. 4,1361.12 8531. 20009722. 0 0683. 1 21 tt 查表取临界值 0850. 0,0009722. 0 22 22 11 11 cc .9231.2078,0769.23 ,265.2448 0769.233846.153 3846.1539231.2078 2211 8531.2 10 3992.81 1 1 SSE pn 169. 3)10( 005. 0 t 说明 x1与 x2均对 y 有显著影响。 二、回归系数的显著性检验(2) 残差平方和为SSE，回归平方和为SSR。 从F-检验的角度考察自变量

15、xj 的显著性： y 对自变量 x1 ，x2 ， xp 线性回归的 剔除 xj 后，y 对剩余n-1个自变量作线性回归 残差平方和为SSE(j)，回归平方和为SSR(j) 。那么 自变量 xj 对回归的贡献为： SSR(j) =SSR-SSR(j) ( xj 的偏回归平方和) 二、回归系数的显著性检验(2) 从F-检验的角度考察自变量xj 的显著性： SSR(j) =SSR-SSR(j) ( xj 的偏回归平方和) 构造偏 F 统计量： )( )( 1 1 pn SSE SSR F j j ),( / 11 2 pnF tj2 三、回归系数的置信区间 则j 的置信度为1-的置信区间为 由于 )

16、 1( 2/ pnt c t jj jj j , 2/2/jjjjjj ctct 【例3.1(续)】对回归系数进行显著性检验。 198057. 0851. 2000972. 0228. 2 112/05. 0 ct 851918. 1851. 2085. 0228. 2 222/05. 0 ct 则1 的置信度为0.95的置信区间为1.06830.19806 则2 的置信度为0.95的置信区间为4.00221.85192. 四、拟合优度 SST SSE SST SSR R1 2 1、决定系数 【例 3.1(续)】 2、复相关系数 SST SSR RR 2 9727.0 1512 60.1430

17、 2 SST SSR RR SSR SSE SST SSR R 1 1 2 pF pn1 1 1 另外 说明R是F的单调增函数。 一、中心化 第五节第五节 中心化和标准化中心化和标准化 第三章 多元回归分析 二、标准化回归系数 一、中心化 1、多元回归模型及其经验方程为： pp xxxy 22110 pp xxxy 22110 pp xxxy 2211 此经验方程经过样本中心： 作坐标变换： );,( 21 yxxx p pjnixxx jijij , 1;, 1, 经验方程转变为： ) ( 22110pp xxxy 【例 3.1(续)】 此经验方程经过样本中心： 作坐标变换： )10;38.

18、3 ,08.16();,( 21 yxx ,08.16 1111 iii xxxx 经验方程转变为： ,38. 3 2222 iii xxxx .10 iii yyyy 21 0022. 40683. 1xxy 21 0022. 40683. 17068.22xxy x1x2y 1 2 3 4 5 6 7 8 9 10 11 12 13 2 33 21 15 8 11 -1 8 20 3 14 40 35 5 2 2 3 3 5 6 5 4 5.5 4 4 2 0 21 4 6 -3 5 3 5 12 3 12 35 27 x1x2y 1 2 3 4 5 6 7 8 9 10 11 12 13

19、 -14.08 16.92 4.92 -1.08 -8.08 -5.08 -17.08 -8.08 3.92 -13.08 -2.08 23.92 18.92 1.12 -1.88 -1.88 -0.88 -0.88 1.12 2.12 1.12 0.12 1.62 0.12 0.12 -1.88 -10 11 -6 -4 -13 -5 -7 -5 2 -7 2 25 17 【例 3.1(续)】 经验方程转变为： 21 0022. 40683. 1xxy 二、标准化回归系数 当自变量的单位不同时普通最小二乘估计的回归 系数不具有可比性，例如有一回归方程为: 其中x1的单位是吨, x2的单位是公

20、斤。 21 22000200 xxy 2 )()(YEYEYVar 2 )()(XEXEXVar )()(),(YEYXEXEYXCov ， )( )( XE XVar kx 方 差： 协方差： 变异系数： )( )( YE YVar ky )()( ),( YVarXVar YXCov r 相关系数： n i i n i i n i ii yyxx yyxx 1 2 1 2 1 )()( )( （标准差率） 标准化 寻求相对的可比性。 二、标准化回归系数 pjni L xx x jj jij ij , 1;, 1, * ., 1, * ni L yy y yy j j n i jijjj x

21、xL 1 2 )( 1、样本数据的标准化公式： 其中： 是自变量xj的离差平方和。 【例 3.1(续)】 x1*x2*y* 1 2 3 4 5 6 7 8 9 10 11 12 13 -0.309 0.3711 0.1079 -0.024 -0.177 -0.111 -0.375 -0.177 0.086 -0.287 -0.046 0.5246 0.4149 0.232 -0.392 -0.392 -0.184 -0.184 0.232 0.440 0.232 0.024 0.336 0.024 0.024 -0.392 -0.22 0.241 -0.13 -0.09 -0.29 -0.11

22、 -0.15 -0.11 0.044 -0.15 0.044 0.548 0.373 x1x2y 1 2 3 4 5 6 7 8 9 10 11 12 13 -14.08 16.92 4.92 -1.08 -8.08 -5.08 -17.08 -8.08 3.92 -13.08 -2.08 23.92 18.92 1.12 -1.88 -1.88 -0.88 -0.88 1.12 2.12 1.12 0.12 1.62 0.12 0.12 -1.88 -10 11 -6 -4 -13 -5 -7 -5 2 -7 2 25 17 * 2 * 2 * 1 * 1 * pp xxxy ., 1, * pj L L j yy jj j 用最小二乘法，求出标准化的样本数据 的经验回归方程： );,( * iipii yxxx 21 标准化回归系数与最小二乘回归系数的关系： 【例 3.1(续)】 * 2 * 1 * 4944.02527.1xxy 一、样本相关阵 第六节第六节 相关阵和偏相关系数相关阵和偏相关系数 第三章 多元回归分析 二、偏决定系数 三、偏相关系数 一、样本相关阵 1 1 1 121 221 112 rr rr rr r p p p * )(XXr p xxx 21 p x x x 2 1 其中： )()( ),( ji ji ij