第二章-经典多元线性回归模型说课材料

1第二章经典多元(duōyuán)线性回归模型第一页，共53页。2第一节、多元(duōyuán)线性回归模型1、回归(huíguī)的含义“回归(huíguī)”的本意：向“均值”回复的趋势回归的现代意义(RegressionAnalysis)：估计和预测被解释变量的均值，是研究被解释变量对于解释变量依赖关系的计算方法和理论。第二页，共53页。3设系统(xìtǒng)因素无信息(xìnxī)时对随机变量的预测：均值有信息时对随机变量的预测(yùcè)：条件均值2、多元线性回归模型的统计学解释随机因素(随机扰动项)第三页，共53页。4此即为多元线性总体(zǒngtǐ)回归模型。若设：则得：称为多元(duōyuán)线性总体回归函数。第四页，共53页。5计量经济学模型(móxíng)引入随机扰动项的原因：反映(fǎnyìng)影响被解释变量的未知因素；代表数据观测误差；反映(fǎnyìng)影响被解释变量的个体因素；第五页，共53页。6用上述(shàngshù)样本得总体回归函数得多元线性样本(yàngběn)回归函数：中的参数(cānshù)的估计：定义残差：称为多元线性样本回归模型。3、总体与样本（PopulationandSample）样本第六页，共53页。7第二节、多元线性回归(huíguī)模型的估计一、普通(pǔtōng)最小二乘法（OLS）第七页，共53页。8若得到样本(yàngběn)回归函数,记最小二乘原理(yuánlǐ)：第八页，共53页。9称此方程组为为正规(zhèngguī)方程组第九页，共53页。10记：则多元线性总体回归(huíguī)模型可表示(biǎoshì)为：第十页，共53页。11则多元线性样本(yàngběn)回归函数：可表示(biǎoshì)为：记：第十一页，共53页。12可以(kěyǐ)表示为残差：此时，多元(duōyuán)线性样本回归模型：可以(kěyǐ)表示为：记残差向量为第十二页，共53页。13由上述(shàngshù)正规方程组变形(biànxíng)得：第十三页，共53页。14第十四页，共53页。15正规(zhèngguī)方程组的矩阵形式:利用(lìyòng)前述引入的记号X,得第十五页，共53页。16多元线性回归模型参数(cānshù)普通最小二乘估计与参数(cānshù)的关系：残差向量(xiàngliàng)：第十六页，共53页。17普通(pǔtōng)最小二乘估计的残差平方和：M为对称(duìchèn)幂等矩阵记：第十七页，共53页。18由正规方程组得，多元线性回归(huíguī)模型参数普通最小二乘估计残差的性质：第十八页，共53页。19二、经典多元线性回归(huíguī)模型的基本假定假设1，所有解释变量之间互不相关（无多重共线性）。假设2，随机扰动项具有零期望(qīwàng)、同方差序列不相关。第十九页，共53页。20假设3，解释(jiěshì)变量与随机项不相关假设(jiǎshè)4，随机扰动项满足正态分布假设(jiǎshè)5，线性模型设定是正确的。第二十页，共53页。21用矩阵(jǔzhèn)表示上述假设假设(jiǎshè)1相当于矩阵X的秩R=k+1，即X满秩，

假设(jiǎshè)2：零期望相当于U的方差协方差矩阵定义：可逆同方差、不相关相当于U的方差协方差矩阵V-COV（U）第二十一页，共53页。22假设(jiǎshè)4，向量U服从多维联合正态分布，即假设(jiǎshè)3相当于，E(X’U)=0第二十二页，共53页。23若多元线性回归(huíguī)模型经典假定成立，则第二十三页，共53页。24若多元线性回归模型经典假定成立，普通最小二乘估计(gūjì)的分布（1）参数(cānshù)普通最小二乘估计的方差与分布第二十四页，共53页。25此时(cǐshí)，为矩阵(jǔzhèn)第j+1列第j+1行元素(yuánsù)。第二十五页，共53页。26（2）随机扰动(rǎodòng)项方差估计的分布第二十六页，共53页。三、多元线性回归模型的极大(jídà)似然估计。若前述经典假设(jiǎshè)成立，则可得：其中(qízhōng)：第二十七页，共53页。似然函数(hánshù)为极大(jídà)似然估计的结果与OLS估计相同。第二十八页，共53页。29在满足基本假设的情况下，多元线性模型参数的普通最小二乘估计具有线性性、无偏性、有效性。同时(tóngshí)，随着样本容量增加，参数估计量具有一致性。四、参数估计量的性质(xìngzhì)第二十九页，共53页。301、线性性

其中(qízhōng),C=(X’X)-1X’为一仅与X有关的矩阵。2、无偏性

第三十页，共53页。313、证明(zhèngmíng)有效性，设是的任一线性无偏(wúpiān)估计，则存在某矩阵C*,使第三十一页，共53页。32可得：第三十二页，共53页。33的方差(fānɡchà)协方差(fānɡchà)矩阵为：证毕第三十三页，共53页。34同时，当线性回归模型经典假定成立时，参数的普通(pǔtōng)最小二乘估计量是一致估计。第三十四页，共53页。351、最小样本容量所谓“最小样本容量”，即从最小二乘原理和最大似然原理出发，欲得到(dédào)参数估计量，不管其质量如何，所要求的样本容量的下限。样本最小容量必须不少于模型中解释变量(biànliàng)的数目（包括截距项）,即nk+1五、样本容量问题(wèntí)第三十五页，共53页。362、满足基本(jīběn)要求的样本容量从统计检验的角度：n30时，Z检验才能应用；n-k8时,t分布较为(jiàowéi)稳定一般经验认为:当n30或者至少n3(k+1)时，才能说满足模型估计的基本(jīběn)要求。

当样本容量较大时，模型普通最小二乘估计的性质才比较好。第三十六页，共53页。37第三节、多元(duōyuán)线性回归模型的统计检验

StatisticalTestofMultipleLinearRegressionModel第三十七页，共53页。38一、拟合(nǐhé)优度1、可决系数(xìshù)与调整的可决系数(xìshù)记总离差平方和（TotalSumofSquares）回归(huíguī)平方和（ExplainedSumofSquares）残差平方和（ResidualSumofSquares）总离差平方和的分解第三十八页，共53页。39TSS=ESS+RSS可证明(zhèngmíng)：第三十九页，共53页。40可决系数(xìshù)（CoefficientofDetermination）：复相关系数(xìshù)。该统计量越接近(jiējìn)于1，模型的拟合优度越高。可决系数的缺点(quēdiǎn)与调整第四十页，共53页。41调整(tiáozhěng)的可决系数（adjustedcoefficientofdetermination）其中(qízhōng)：n-k-1为残差平方和的自由度，n-1为总体平方和的自由度。问题：调整的可决系数(xìshù)多大才是合适的？第四十一页，共53页。422、赤池信息(xìnxī)准则和施瓦茨准则为了比较所含解释变量个数不同(bùtónɡ)的多元回归模型的拟合优度，常用的标准还有:赤池信息准则（Akaikeinformationcriterion,AIC）施瓦茨准则(zhǔnzé)（Schwarzcriterion，SC）

这两准则均要求仅当所增加的解释变量能够减少AIC值或SC值时才在原模型中增加该解释变量。

似然函数第四十二页，共53页。43二、模型(móxíng)的统计学检验

TestingtheOverallSignificanceofaMultipleRegression(theFtest)第四十三页，共53页。44模型（或方程）的显著性检验(jiǎnyàn)，旨在对模型中被解释变量与所有解释变量之间的线性关系是否显著成立作出推断。对方程(fāngchéng)的检验假设：联合检验1、多元线性回归(huíguī)模型是否显著的检验第四十四页，共53页。45方程显著性检验(jiǎnyàn)的想法：如果这个比值(bǐzhí)较大，方程具有显著性。否则，方程没有显著性。TSS=ESS+RSS第四十五页，共53页。46若H0成立，则F应该(yīnggāi)比较小；反之，若F比较大，则拒绝原假设。给定显著性水平，可得到临界值F(k,n-k-1)，由样本求出统计量F的数值，若FF(k,n-k-1)，则拒绝原假设H0，方程总体上显著成立；否则，若F<=F(k,n-k-1)则没有证据(zhèngjù)表明方程显著成立。统计(tǒngjì)量第四十六页，共53页。47可决系数与方程显著性检验F统计(tǒngjì)量的关系１、Ｆ与可决系数(xìshù)同方向变化。２、Ｆ＝０与可决系数(xìshù)为０等价。第四十七页，共53页。48注意(zhùyì)：不能仅考虑拟合优度的大小，只要经检验，方程具有显著性，则一般情况下，拟合优度就是合适的。问题：可决系数(xìshù)多大才是合适的？检验(jiǎnyàn)可决系数为０与检验(jiǎnyàn)方程的显著性等价第四十八页，共53页。492、多元线性回归模型变量的显著性检验：检验某个解释(jiěshì)变量对被解释(jiěshì)变量是否有显著的影响。原假设(jiǎshè)与备择假设(jiǎshè)：H1：j0

H0：j=0

（j=1,2…k）

检验(jiǎnyàn)统计量：若|Tj|t/2

(n-k-1)，则拒绝原假设H0，即第j个解释变量对被解释变量有显著的影响。第四十九页，共53页。50第四节受约束回归(huíguī)

RestrictedRegression问题(wèntí)：考察参数之间的某个关系是否(shìfǒu)成立如：上述模型中考察是否成立第五十页，共53页。