推荐多元线性回归模型

1、1多元线性回归模型多元线性回归模型2主要内容n多元线性回归模型的一般形式 n参数估计（ ols估计）n假设检验n预测3一一. 多元线性回归模型多元线性回归模型n问题的提出n解析形式n矩阵形式4问题的提出问题的提出n现实生活中引起被解释变量变化的因素并非仅只一个解释变量，可能有很多个解释变量。n例如，产出往往受各种投入要素资本、劳动、技术等的影响；销售额往往受价格和公司对广告费的投入的影响等。n所以在一元线性模型的基础上，提出多元线性模型解释变量个数 25 对人均国民生产总值（y）的 影响因素（因素（x）有： 人口变动因素人口变动因素、固定资产数、货币供给量、固定资产数、货币供给量、 物价指数、

2、国内国际市场供求关系物价指数、国内国际市场供求关系等 对汽车需求量（y）的 影响因素（因素（x）有： 收入水平收入水平、汽车价格、汽车价格、 汽油价格汽油价格等 社会经济现象的复杂性社会经济现象的复杂性 ！6多元线性回归模型表示方法多元线性回归模型表示方法n 多元回归模型多元回归模型:含两个以上解释变量的回归模型n 多元线性回归模型多元线性回归模型:一个应变量与多个解释变量之间设定的是线性关系n 多元线性回归模型一般形式一般形式为： uxbxbxbbykk221107多元线性回归模型的假设多元线性回归模型的假设n解释变量 xi 是确定性变量，不是随机变量；解释变量之间互不相关，即无多重共线性。

3、n随机误差项具有0均值和同方差n随机误差项不存在序列相关关系n随机误差项与解释变量之间不相关n随机误差项服从0均值、同方差的正态分布uxbxbxbbykk221108多元模型的解析表达式多元模型的解析表达式ikikiiikiiiikkuxbxbxbbynixxxynuxbxbxbby221102122110, 2 , 1),(得：个样本观测值nknknnnkkkkuxbxbxbbyuxbxbxbbyuxbxbxbby22110222221210211212111019uuubbbbxxxxxxxxxyyynkknkknnn2121021222211121121111多元模型的矩阵表达式多元模型

4、的矩阵表达式uxby10uuubbbbxxxxxxxxxyyynkknkknnnubxyuxby2121021222211121121111矩阵形式矩阵形式11二二. 参数估计参数估计(ols)n参数值估计n参数估计量的性质n偏回归系数的含义n正规方程n样本容量问题122.1参数值估计参数值估计(ols)nininiixbxbbyyyqkikiiiie1212121100000210kbqbqbqbq1300001102110211101110xxbxbbxyxxbxbbxyxxbxbbxyxbxbbykikikikiiikikiiiikikiiikikii得到下列方程组得到下列方程组求参数估

5、计值的实质是求一个k+1元方程组14正规方程正规方程变成矩阵形式ikikikkiikiikiiiikikiiiiikikiiyxxbxxbxxbxbyxxxbxxbxbxbyxbxbxbbn222110111222111022110ikiiiikkikiikiikiikiiiiikiiiyxyxybbbbxxxxxxxxxxxxxxxn12102211122112115正规方程正规方程矩阵形式矩阵形式yxxxbyxbxx1)(22111221121kikiikiikiikiiiiikiiixxxxxxxxxxxxxxxnxxkbbbbb210ikiiiiyxyxyyx116最小二乘法的矩阵表示

6、最小二乘法的矩阵表示1002)()()()(), 0(2112122kneeyxxxbbxxyxbqbxxbyxbyyyxbbxybxxbyxbbxyyybxyxbyqbxybxyeebxyyyeyyqnuuxbybxyniiiniie？为什么172.2最小二乘估计量的性质最小二乘估计量的性质n（1）线性（估计量都是被解释变量观测值的线性组合）n（2）无偏性（估计量的数学期望=被估计的真值）n（3）有效性（估计量的方差是所有线性无偏估计中最小的）无偏估计（是最佳线性估计式结论：在古典假定下，blueols18ols估计量的性质（续）估计量的性质（续）正态）的线性函数是正态，又的线性函数是正态（

7、个元素。中对角线上第）是（其中，在古典假定下，jjiijjjjjjjjyuyujccvarkjvarny, xx,)(,.,2 , 1),(,()4(1219线性线性yxxxb)(120无偏性无偏性bnxexxbnxxxxbxxxenxbxxxeyxxxebe)()()()()()()()(1111121有效性有效性)()()()()()()()()()()()()()()() )()()() )()(121111111111)1()1(2xxxxxxxxnnexxxnnexxxxxxnnxxxebnxbxxxbnxbxxxebyxxxbyxxxebbbbebebbebebcovxexexco

8、vkk回忆：222.2 ols回归线的性质回归线的性质n完全同一元情形：不相关与残差）解释变量（不相关；与残差）应变量估计值（的均值为剩余项（残差）的均值的均值等于实际观测值估计值）回归线过样本均值（iiiiiiikikiiexeyeyyxxxy540)3()2(.13322123注解：注解：k与与k+1n凡是按解释变量的个数为k的，那么共有k+1个参数要估计。而按参数个数为k的，则实际有k-1个解释变量。总之两者相差1而已！要小心所用的k是什么意思！n所以如果本来是用解释变量个数的k表示的要转换成参数个数的k则用k-1代换原来的k就可以了！242.3偏回归系数的意义偏回归系数的意义n多元回归

9、模型中的回归系数称为偏回归系数n某解释变量前回归系数的含义是，在其他解释变量保持不变的条件下，该变量变化一个单位，被解释变量将平均发生偏回归系数大小的变动252.4多元回归模型参数估计中的样本容量问多元回归模型参数估计中的样本容量问题题n样本是一个重要的实际问题，模型依赖于实际样本。n获取样本需要成本，企图通过样本容量的确定减轻收集数据的困难。n最小样本容量：满足基本要求的样本容量26最小样本容量最小样本容量 n k+1n(xx)-1存在| xx | 0 xx 为k+1阶的满秩阵nr(ab) min(r(a),r(b)nr(x) k+1n因此，必须有nk+1yxxxb1)(27满足基本要求的样

10、本容量满足基本要求的样本容量n一般经验认为：n 30或者n 3(k+1)才能满足模型估计的基本要求。n 3(k+1)时，t分布才稳定，检验才较为有效28三三 多元线性回归模型的多元线性回归模型的检验检验n本节主要介绍：n3.1 拟合优度检验（判定系数及其校正）n3.2 回归参数的显著性检验（t检验）n3.3 回归方程的显著性检验（f检验）n3.4 拟合优度、t检验、f检验的关系293.1.1 拟合优度检验拟合优度检验 总平方和、自由度的分解总平方和、自由度的分解n目的：构造一个不含单位，可以相互比较，而且能直观判断拟合优劣的指标。n类似于一元情形，先将多元线性回归作如下平方和分解：222()

11、()() n-1 k-1 n-k iiiiyyyyyytssrssess总离差平方和 回归平方和 残差平方和自由度：30对以上自由度的分解的说明对以上自由度的分解的说明1)() 1(,0,.,0,.,2211,12121222).(kknnrsstssessknnkeekikirssnynytssdfdfyxxyyydfyyerikiikiitii知再由：所以，约束个对个方程方程求出，共有由而所以一个方程的约束受313.1.2 判定系数判定系数n判定系数的定义：n意义：判定系数越大，自变量对因变量的解释程度越高，自变量引起的变动占总变动的百分比高。观察点在回归直线附近越密集。n取值范围：0-1

12、211rssesstssrssesstsstssrssesstsstssr 2r323.1.3 校正判定系数n为什么要校正？n判定系数随解释变量个数的增加而增大。易造成错觉：要模型拟合得越好，就应增加解释变量。然而增加解释变量会降低自由度，减少可用的样本数。并且有时增加解释变量是不必要的。n导致解释变量个数不同模型之间对比困难。n判定系数只涉及平方和，没有考虑自由度。n校正思路： 引进自由度校正所计算的平方和。2r33校正判定系数 （续）22222222/()1/(1)1(1) 11(2) k1,.(3) 0,1 ;0essnkrtssnnrrnkrrrrr 校正判定系数和未校正的判定系数的关

13、系：（）时，且随着解释变量的增加两者的差距将越来越大也就是说校正的比未校正的判定系数增加得慢些！判定系数非负（取值在）但是，取值可能为负，这时规定2r343.2 回归方程的显著性检验回归方程的显著性检验353.2 回归方程的显著性检验回归方程的显著性检验 检验的目的：检验检验的目的：检验y y与解释变量与解释变量x x1 1，x x2 2，xxk k之之间的线性关系是否显著。间的线性关系是否显著。 检验的目的检验的目的363.2 回归方程的显著性检验回归方程的显著性检验检验的步骤检验的步骤第一步，提出假设：第一步，提出假设：原假设：原假设：h h0 0：b b1 1=b=b2 2=b=bk k

14、=0=0备择假设：备择假设：h h1 1：b bi i不全为不全为0 0 （i=1i=1，k k）373.2 回归方程的显著性检验回归方程的显著性检验检验的步骤检验的步骤1,1knkfknesskrssf第二步，计算统计量：第二步，计算统计量：1122knrkrf或：或： （10-810-8） 383.2 回归方程的显著性检验回归方程的显著性检验第三步，查表，得：第三步，查表，得：,1ffk nk检验的步骤检验的步骤393.2 回归方程的显著性检验回归方程的显著性检验检验的步骤检验的步骤第四步，做检验：第四步，做检验：ff 拒绝拒绝h h0 0，回归方程显著回归方程显著接受接受h h0 0，回

15、归方程不显著回归方程不显著ff检验检验法则法则403.3 回归系数的显著性检验回归系数的显著性检验 回归方程显著，并不意味着每个解释变量对因回归方程显著，并不意味着每个解释变量对因变量变量y y的影响都重要的影响都重要, ,因此需要进行检验：因此需要进行检验：回归系数检验的必要性回归系数检验的必要性回归方程显著回归方程显著每个回归系数每个回归系数都显著都显著413.3 回归系数的显著性检验回归系数的显著性检验 回归系数检验的步骤回归系数检验的步骤第一步，提出假设：第一步，提出假设：原假设：原假设：h h0 0： b bi i=0 (i=1=0 (i=1，2 2，k)k)备择假设：备择假设：h

16、h1 1：b bi i0 (i=10 (i=1，2 2，k)k)423.3 回归系数的显著性检验回归系数的显著性检验 回归系数检验的步骤回归系数检验的步骤第二步，构造并计算统计量第二步，构造并计算统计量 ： ;(1,2,., )(10-9)iiibtiks b433.3 回归系数的显著性检验回归系数的显著性检验 回归系数检验的步骤回归系数检验的步骤第三步，查表得第三步，查表得 ：221ttnk443.3 回归系数的显著性检验回归系数的显著性检验 回归系数检验的步骤回归系数检验的步骤第四步，做检验：第四步，做检验：接受接受h h0 0 检验检验法则法则2tti2itt拒绝拒绝h0h0 453.3

17、 回归系数的显著性检验回归系数的显著性检验 关于模型的异方差、自相关、多重共线性问题关于模型的异方差、自相关、多重共线性问题的检验，请参考计量经济学有关教材。的检验，请参考计量经济学有关教材。 463.4 多元线性回归模型的预测多元线性回归模型的预测点预测：11ffkkffxxxy区间预测：中心： fy半径：)()(2/1kntxxxxff47 四四 逐步回归分析逐步回归分析多元线性回归建立的回归方程包含了所有的自变量，多元线性回归建立的回归方程包含了所有的自变量，但在实际问题中，可能有这样的情况：参加回归方但在实际问题中，可能有这样的情况：参加回归方程的程的p个自变量中，有些自变量单独看对因

18、变量个自变量中，有些自变量单独看对因变量y有有作用（相关程度密切），但作用（相关程度密切），但p个自变量又可能是相个自变量又可能是相互影响的，在作回归时，它们对因变量所起的作用互影响的，在作回归时，它们对因变量所起的作用有可能被其他自变量代替，而使得这些自变量在回有可能被其他自变量代替，而使得这些自变量在回归方程中变得无足轻重。这时把这些自变量留在回归方程中变得无足轻重。这时把这些自变量留在回归方程中，不但增加计算上的麻烦，而且不能保证归方程中，不但增加计算上的麻烦，而且不能保证有好的回归效果。为了克服这些缺点，提出了多元有好的回归效果。为了克服这些缺点，提出了多元逐步回。逐步回。48 多元逐

19、步回归要求回归方程多元逐步回归要求回归方程中包含所有对因变量作用显著的自中包含所有对因变量作用显著的自变量，而不包含作用不显著的自变变量，而不包含作用不显著的自变量，从而建立最优回归方程。量，从而建立最优回归方程。49501、强行进入法（、强行进入法（enter）: 预先选定的自变量全部进入回归模预先选定的自变量全部进入回归模型，这是系统默认方式。型，这是系统默认方式。2、消去法（、消去法（remove）: 根据设定的条件剔除部分自变量。根据设定的条件剔除部分自变量。逐步筛选变量的方法：逐步筛选变量的方法：513、向前引入法（、向前引入法（forward）:自变量由少到多一个一个引入回归方程，

20、自变量由少到多一个一个引入回归方程，将与因变量的相关系数最大的第一个自将与因变量的相关系数最大的第一个自变量选入方程并进行检验，如果变量选入方程并进行检验，如果f值值fa ，拒绝，拒绝h0 ；将其余的变量中与因；将其余的变量中与因变量的相关系数最大的第二个自变量选变量的相关系数最大的第二个自变量选入方程，当入方程，当f值值fa ，拒绝，拒绝h0 ；如此下；如此下去，不断引入新的自变量，直到不能拒去，不断引入新的自变量，直到不能拒绝绝h0，再没有变量被引入为止。，再没有变量被引入为止。524、向后剔除法（、向后剔除法（backward）: 自变量由多到少一个一个从回归自变量由多到少一个一个从回归

21、方程中剔除，首先，对方程中剔除，首先，对预先选定自变预先选定自变量全部进行回归，然后把对因变量影量全部进行回归，然后把对因变量影响不显著的自变量从方程中剔除并进响不显著的自变量从方程中剔除并进行检验，如果行检验，如果f值值fa ，接受，接受h0 ，一，一个一个剔除对因变量不显著的自变量，个一个剔除对因变量不显著的自变量，直到再不能剔除为止。直到再不能剔除为止。535、逐步引入、逐步引入剔除法剔除法（stepwise）: 向前引入法与向后剔除法的结合。向前引入法与向后剔除法的结合。54操作（一）操作（一）1255spss软件包逐步回归操作（二）软件包逐步回归操作（二）点击逐步回归点击逐步回归56

22、操作（三）操作（三）结果变量结果变量y多个自变量多个自变量点击逐步回归点击逐步回归57操作（四）操作（四）回归系数估计回归系数估计回归系数可信区间回归系数可信区间模型拟合模型拟合58操作（五）操作（五）正态概率图正态概率图直方图直方图59操作（六）操作（六）60（一）（一） spss软件包逐步回归筛选自变量软件包逐步回归筛选自变量v va ar ri ia ab bl le es s e en nt te er re ed d/ /r re em mo ov ve ed da a铁 （ fe).stepwise(criteria:probability-of-f-to-enter = .100

23、).model1variablesenteredvariablesremovedmethoddependent variable: 血 红 蛋 白 （ hemoglobin,g)a. 61（二）（二） spss软件包逐步回归相关系数及检验软件包逐步回归相关系数及检验m mo od de el l s su um mm ma ar ry yb b.863a.746.7361.11991.74679.096127.000model1rr squareadjusted rsquarestd. errorof theestimater squarechangef changedf1df2sig. fc

24、hangechange statisticspredictors: (constant), 铁 （ fe)a. dependent variable: 血 红 蛋 白 （ hemoglobin,g)b. 62（三）（三） spss软件包逐步回归残差分软件包逐步回归残差分析析a an no ov va ab b99.201199.20179.096.000a33.863271.254133.06428regressionresidualtotalmodel1sum ofsquaresdfmean squarefsig.predictors: (constant), 铁 （ fe)a. depen

25、dent variable: 血 红 蛋 白 （ hemoglobin,g)b. 63（四）（四） spss软件包逐步回归回归系数及检验软件包逐步回归回归系数及检验c co oe ef ff fi ic ci ie en nt ts sa a-.6571.276-.515.6112.938e-02.003.8638.894.000.863.863.863(constant)铁（fe)model1bstd. errorunstandardizedcoefficientsbetastandardizedcoefficientstsig. zero-orderpartialpartcorrelationsdependent variable: 血 红 蛋 白 （ hemoglobin,g)a. )(038.0657.0铁xy64（五）（五） spss软件包逐步回归残差直方图软件包逐步回归残差直方图regression standardized residual1.751.501.251.00.75.50.250.00-.25-.50-.75-1.00-1.25-1.50-1.75histogramdependent variable: 血红蛋白（h e m o g lobin,g)frequency543210std. dev = .98 mean = 0.0