ch3-多元线性回归模型(一)

1、2n 多元线性回归模型的一般形式多元线性回归模型的一般形式 n 参数估计（参数估计（ OLS估计）估计）n 假设检验假设检验n 预测预测3n 问题的提出问题的提出n 解析形式解析形式n 矩阵形式矩阵形式4n 现实生活中引起被解释变量变化的因素并非仅只一个现实生活中引起被解释变量变化的因素并非仅只一个解释变量，可能有很多个解释变量。解释变量，可能有很多个解释变量。n 例如，产出往往受各种投入要素例如，产出往往受各种投入要素资本、劳动、技资本、劳动、技术等的影响；销售额往往受价格和公司对广告费的投术等的影响；销售额往往受价格和公司对广告费的投入的影响等。入的影响等。n 所以在一元线性模型的基础上，

2、提出多元线性模型所以在一元线性模型的基础上，提出多元线性模型解释变量个数解释变量个数 25n 解释变量解释变量 Xi 是确定性变量，不是随机变量；解释变量之间互不是确定性变量，不是随机变量；解释变量之间互不相关相关n 随机误差项具有随机误差项具有0均值和同方差均值和同方差n 随机误差项不存在序列相关关系随机误差项不存在序列相关关系n 随机误差项与解释变量之间不相关随机误差项与解释变量之间不相关n 随机误差项服从随机误差项服从0均值、同方差的正态分布均值、同方差的正态分布uXbXbXbbYkk221106ikikiiikiiiikkuXbXbXbbYniXXXYnuXbXbXbbY2211021

3、22110, 2 , 1),(得：个样本观测值nknknnnkkkkuXbXbXbbYuXbXbXbbYuXbXbXbbY22110222221210211212111017uuubbbbXXXXXXXXXYYYnkknkknnn2121021222211121121111UXBY8uuubbbbXXXXXXXXXYYYnkknkknnnUBXYUXBY21210212222111211211119n 参数值估计参数值估计n 参数估计量的性质参数估计量的性质n 偏回归系数的含义偏回归系数的含义n 正规方程正规方程n 样本容量问题样本容量问题10nininiiXbXbbYyyQkikiiiie1

4、212121100000210kbQbQbQbQ1100001102110211101110XXbXbbXYXXbXbbXYXXbXbbXYXbXbbYkikikikiiikikiiiikikiiikikii得到下列方程组求参数估计值的实质是求一个求参数估计值的实质是求一个k+1元方程组元方程组12正规方程正规方程变成矩阵形式ikikikkiikiikiiiikikiiiiikikiiYXXbXXbXXbXbYXXXbXXbXbXbYXbXbXbbn222110111222111022110ikiiiikkikiikiikiikiiiiikiiiYXYXYbbbbXXXXXXXXXXXXXXX

5、n12102211122112113正规方程正规方程矩阵形式YXXXBYXBXX1)(22111221121kikiikiikiikiiiiikiiiXXXXXXXXXXXXXXXnXXkbbbbB210ikiiiiYXYXYYX1142122112(0,)() ()()()()200iinniiiYXBYXBUUNQYYYXByye eYXBYXBQYB XYXBY YY XBB X YB X XBY XBB X YY YB X YB X XBQX YX XBBe eBX XX Ynkee为什么？115n 线性（估计量都是被解释变量观测值的线性组合）线性（估计量都是被解释变量观测值的线性组合

6、）n 无偏性（估计量的数学期望无偏性（估计量的数学期望=被估计的真值）被估计的真值）n 有效性（估计量的方差是所有线性无偏估计中最小的）有效性（估计量的方差是所有线性无偏估计中最小的）16YXXXB)(1其中,C=(XX)-1 X 为一仅与固定的X有关的行向量 17BUXEXXBUXXXXBXXXEUXBXXXEYXXXEBE)()()()()()()()(11111这里利用了假设: E(XU)=01821111111(1)(1)( )( )( )( )( ) ()() ()() )()() )()()()kkCov xE xE xCov BE BE B BE BE BB BBEX XX YB

7、X XX YBEX XXXBUBX XXXBUBEX XX UU X X XX XX E UUX X X回忆：11112)()()()E UUX XX X X XX X19n 多元回归模型中的回归系数称为偏回归系数多元回归模型中的回归系数称为偏回归系数n 某解释变量前回归系数的含义是，在其他解释变量保某解释变量前回归系数的含义是，在其他解释变量保持不变的条件下，该变量变化一个单位，被解释变量持不变的条件下，该变量变化一个单位，被解释变量将平均发生偏回归系数大小的变动将平均发生偏回归系数大小的变动n 偏回归系数是有单位的偏回归系数是有单位的20n 由最小二乘法得到的用以估计回归系数的线性方程组，

8、称为正规由最小二乘法得到的用以估计回归系数的线性方程组，称为正规方程方程ikikikkiikiikiiiikikiiiiikikiiYXXbXXbXXbXbYXXXbXXbXbXbYXbXbXbbn222110111222111022110YXBXX21n Y 被解释变量观测值被解释变量观测值 n x 1n X 解释变量观测值（含虚拟变量解释变量观测值（含虚拟变量n x (k+1) ）n XX 设计矩阵（实对称设计矩阵（实对称(k+1) x (k+1)矩阵矩阵 ）n XY 正规方程右端正规方程右端 (k+1) x 1n 回归系数矩阵（回归系数矩阵（ (k+1) x 1 ）n 高斯乘数矩阵，高斯

9、乘数矩阵， 设计矩阵的逆设计矩阵的逆n 残差向量（残差向量（ n x 1 ）n 被解释变量的拟合（预测）向量被解释变量的拟合（预测）向量 n x 1B1)(XXUY22n 样本是一个重要的实际问题，模型依赖于实际样本。样本是一个重要的实际问题，模型依赖于实际样本。n 获取样本需要成本，企图通过样本容量的确定减轻收获取样本需要成本，企图通过样本容量的确定减轻收集数据的困难。集数据的困难。n 最小样本容量：满足基本要求的样本容量最小样本容量：满足基本要求的样本容量23n (XX)-1存在存在| XX | 0 XX 为为k+1阶的满秩阵阶的满秩阵n R(AB) min(R(A),R(B)n R(X)

10、 k+1n 因此，必须有因此，必须有nk+1YXXXB1)(24n 一般经验认为：一般经验认为：n 30或者或者n 3(k+1)才能满足模型估计的基本要求。才能满足模型估计的基本要求。n 3(k+1)时，时，t分布才稳定，检验才较为有效分布才稳定，检验才较为有效25n 拟合优度检验拟合优度检验n 方程显著性检验（方程显著性检验（F检验）检验）n 变量显著性检验（变量显著性检验（t检验）检验）262ie可决系数（Determinants of coefficient）R2残差的标准差（或随机项的方差2)的最小二乘估计量2iy2iyR2 =n - k-12=27n R2 拟合优度（判定系数、决定系

11、数）拟合优度（判定系数、决定系数）n 调整了的拟合优度调整了的拟合优度111112222nTSSknESSTSSESSTSSRSSssRRYe122kneSie1)(22nYYSiY2R28HHknkFknkFknESSkRSSknyykyyFkyyRSSknyyESSuxxxyFyyHHiiiiiiikkiiiiiAki002222222210) 1,() 1,() 1/(/) 1()() 1(0:0, 0, 0:22110，否则，不拒绝拒绝若分布，有一组样本的平方和服从服从正态分布，由于至少其中一个不为29n TSS(离差平方和离差平方和): n-1n ESS(残差平方和残差平方和):n-

12、k-1n RSS(回归平方和回归平方和):k= n-130HHtcHccpptttkneetkntkneetkneeknyykneeNXXcccXXccBVarXXBCoviiiiiiiiiuiiuiiuuuuiikkkk00022222222,0|10)1(1)1(11),()()(111001001拒绝若分布表的概率查或者根据有显著的差异与认为拒绝若成立下，：就是对应系数的方差高斯乘数，乘上主对角线上的元素称为主对角线临31n 查看拟合优度，进行查看拟合优度，进行F检验，从整体上判断回归方程是否成立，检验，从整体上判断回归方程是否成立，如果如果F检验通不过，无须进行下一步；否则进行下一步检验通不过，无须进行下一步；否则进行下一步n 查看各个变量的查看各个变量的t值及其相应的概率，进行值及其相应的概率，进行t检验，如果相应的检验，如果相应的概率小于给定的显著水平，该自变量的系数显著地不为概率小于给定的显著水平，该自变量的系数显著地不为0，该，该自变量对因变量作用显著；否则系数与自变量对因变量作用显著；否则系数与0无显著差异（本质上无显著差异（本质上=0），该自变量对因变量无显著的作用，应从方程中删去，重），该自变量对因变量无显著的作用，应从方程中删去，重新估计方程。新估计方程。n 但是，一次只能将最不显著（相应概率最大）的删除。每次删但是，一次只能将最不显