多元线性回归模型课件

第三章多元线性回归模型§3-1多元线性回归模型及其基本假定一、多元回归模型及其表示二、多元回归模型的基本假定§3-3多元线性回归模型的统计检验§3-2

多元线性回归模型的参数估计二、OLS估计量的统计性质及其分布三、随机误差项方差2的估计一、拟合优度检验二、回归参数的显著性检验（t检验）三、回归方程的显著性检验（F检验）§3-4多元线性回归模型的置信区间一、参数的最小二乘估计一、参数估计量的置信区间二、应变量预测值的置信区间第三章多元线性回归模型§3-1多元线性回归模型及其基本§3-1多元线性回归模型及其基本假定一、多元回归模型及其表示第三章多元线性回归模型含有两个及以上解释变量的回归模型称为多元回归模型。多元线性回归模型的一般式为：k为解释变量的个数，如果将常数项看成取值始终为1的虚变量，则解释变量的数目为(k+1)。模型中的回归系数j(j=1,2,,k)表示：当其它解释变量保持不变时，第j个解释变量变动一个单位对应变量的影响。多元线性回归模型中的回归系数称为偏回归系数。§3-1多元线性回归模型及其基本假定一、多元回归模型及其表§3-1多元线性回归模型及其基本假定一、多元回归模型及其表示第三章多元线性回归模型含有两个及以上解释变量的回归模型称为多元回归模型。多元线性回归模型的一般式为：多元线性样本回归模型多元线性样本回归方程多元线性总体回归方程多元线性总体回归模型§3-1多元线性回归模型及其基本假定一、多元回归模型及其表§3-1多元线性回归模型及其基本假定一、多元回归模型及其表示第三章多元线性回归模型多元线性回归模型的矩阵表示形式：将n组观测样本值代入模型一般式，得：多元线性总体回归模型的矩阵表示多元线性样本回归模型的矩阵表示§3-1多元线性回归模型及其基本假定一、多元回归模型及其表§3-1多元线性回归模型及其基本假定二、多元回归模型的基本假定第三章多元线性回归模型E(i)=01、随机误差项具有零均值表明：平均地看，随机误差项有互相抵消的趋势。2、随机误差项具有同方差Var(i)=2表明：对每个Xi，随机误差项i的方差等于一个常数2。即解释变量取不同值时，i相对各自均值（零均值）的分散程度是相同的。应变量Yi具有与i相同的方差。应变量Yi可能取值的分散程度也是相同的。§3-1多元线性回归模型及其基本假定二、多元回归模型的基本§3-1多元线性回归模型及其基本假定二、多元回归模型的基本假定第三章多元线性回归模型Cov(i,j)=0i≠j3、随机误差项在不同样本点之间是独立的，不存在序列相关无自相关假定表明：产生误差（干扰）的因素是完全随机的，此次干扰与彼次干扰互不相关，互相独立。由此应变量Yi的序列值之间也互不相关。因为i与j相互独立，有：§3-1多元线性回归模型及其基本假定二、多元回归模型的基本§3-1多元线性回归模型及其基本假定二、多元回归模型的基本假定第三章多元线性回归模型Cov(Xji,i)=04、随机误差项与解释变量之间不相关Xji与i相互独立，互不相关，即随机误差项i和解释变量Xji是各自独立对应变量Yi产生影响。事实上，在回归分析中，Xji在重复抽样（观测）中固定取值，是确定性变量，该假定自动满足。5、随机误差项服从正态分布(结合假定1、2)i～N(0,2)随机误差项i正态分布的假定对模型的统计检验是很重要的。§3-1多元线性回归模型及其基本假定二、多元回归模型的基本§3-1多元线性回归模型及其基本假定二、多元回归模型的基本假定第三章多元线性回归模型6、各解释变量之间互不相关，即不存在线性关系在此条件下，解释变量观测值矩阵X满秩，Rank(X)=k+1，方阵X’X也满秩，Rank(X’X)=k+1，行列式|X’X|≠0，方阵X’X可逆，(X’X)-1存在。§3-1多元线性回归模型及其基本假定二、多元回归模型的基本§3-2多元线性回归模型的参数估计一、参数的最小二乘估计第三章多元线性回归模型§3-2多元线性回归模型的参数估计一、参数的最小二乘估计第§3-2多元线性回归模型的参数估计一、参数的最小二乘估计第三章多元线性回归模型多元线性样本回归模型的矩阵表示（极值条件）§3-2多元线性回归模型的参数估计一、参数的最小二乘估计第§3-2多元线性回归模型的参数估计一、参数的最小二乘估计第三章多元线性回归模型二、OLS估计量的统计性质及其分布1、线性：指参数估计量是观测值Yi的线性函数。2、无偏性：指参数估计量的期望等于模型参数值。3、有效性（最小方差性）：指在所有线性、无偏估计量中，OLS参数估计量的方差最小。4、服从正态分布，即：其中，，2是随机误差项的方差，Cjj是矩阵(X’X)-1中第j行第j列位置上的元素。§3-2多元线性回归模型的参数估计一、参数的最小二乘估计第§3-2多元线性回归模型的参数估计一、参数的最小二乘估计第三章多元线性回归模型二、OLS估计量的统计性质及其分布三、随机误差项方差2的估计参数估计的另一项任务是：求随机误差项i的分布参数i～N(0,2)随机误差项i的方差的估计量为：可以证明：称作回归标准差（standarderrorofregression），常作为对所估计回归线的拟合优度的简单度量。说明是2的无偏估计量。§3-2多元线性回归模型的参数估计一、参数的最小二乘估计第§3-2多元线性回归模型的参数估计第三章多元线性回归模型四、样本容量问题1、最小样本容量——从OLS原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。欲使存在，必须使得(X’X)-1存在。欲使(X’X)-1存在，必须满足|X’X|≠0，即(X’X)为（k+1）阶满秩矩阵。矩阵乘积的秩不超过各个因子矩阵的秩。即：R(X’X)≤min(R(X’),R(X))。只有当R(X)≥k+1时，矩阵(X’X)才为（k+1）阶满秩矩阵。X为n×(k+1)阶矩阵，其秩最大为（k+1），此时必须有n≥k+1，即样本容量必须不少于模型中解释变量的数目（包括常数项）。§3-2多元线性回归模型的参数估计第三章多元线性回归模§3-2多元线性回归模型的参数估计第三章多元线性回归模型四、样本容量问题1、最小样本容量——从OLS原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。2、满足基本要求的样本容量n≥k+1虽然当n≥k+1时可以得到参数估计量，但除了参数估计量质量不好以外，一些建立模型所必须的后续工作也无法进行。例如，参数的统计检验要求样本容量必须足够大，Z检验在n<30时不能应用；t检验为检验变量显著性的最常用方法,当n-k≥8时t分布较为稳定，检验才较为有效。所以，一般经验认为，当n≥30或者至少n≥3(k+1)时，才能满足模型估计的基本要求。§3-2多元线性回归模型的参数估计第三章多元线性回归模DependentVariable:YMethod:LeastSquaresDate:01/13/05Time:20:23Sample:118Includedobservations:18

VariableCoefficientStd.Errort-Statistic

Prob.

C-50.0163849.46026-1.0112440.3279

X0.0864500.0293632.9441860.0101

T52.370315.20216710.067020.0000R-squared0.951235Meandependentvar755.1222AdjustedR-squared0.944732S.D.dependentvar258.7206S.E.ofregression60.82273Akaikeinfocriterion11.20482Sumsquaredresid55491.07Schwarzcriterion11.35321Loglikelihood-97.84334F-statistic146.2974Durbin-Watsonstat2.605783Prob(F-statistic)0.000000例：建立家庭书刊消费水平(Y)关于家庭收入(X)和户主受教育年限(T)的线性回归模型。DependentVariable:Y例：建立家庭书刊消DependentVariable:YMethod:LeastSquaresDate:01/14/05Time:17:31Sample(adjusted):19811996Includedobservations:16afteradjustingendpointsVariableCoefficientStd.Errort-StatisticProb.C540.528684.301536.4118480.0000

X

0.480948

0.021861

22.00035

0.0000

Y(-1)

0.198545

0.047409

4.187969

0.0011R-squared

0.999773Meandependentvar13618.94AdjustedR-squared0.999739S.D.dependentvar11360.47S.E.ofregression183.6831Akaikeinfocriterion13.43166Sumsquaredresid438613.2Schwarzcriterion13.57652Loglikelihood-104.4533F-statistic28682.51Durbin-Watsonstat1.450101Prob(F-statistic)0.000000例：建立中国消费模型。Y代表消费总额，X代表国内生产总值。Y(-1)代表前一年消费总额。DependentVariable:Y例：建立中国消费模§3-3多元线性回归模型的统计检验一、拟合优度检验第三章多元线性回归模型总离差平方和TSS(TotalSumofSquares)

回归平方和ESS(ExplainedSumofSquares)

残差平方和RSS(ResidualSumofSquares)

反映样本观测值总体离差的大小。也称总平方和。反映由模型中解释变量所解释的那部分离差的大小反映样本观测值与估计值偏离的大小，是模型中解释变量未解释的那部分离差的大小。也称剩余平方和。1、总离差平方和的分解检验模型对样本观测值的拟合程度。用在总离差分解基础上确定的可决系数R2（调整的可决系数）度量。§3-3多元线性回归模型的统计检验一、拟合优度检验第三章§3-3多元线性回归模型的统计检验一、拟合优度检验第三章多元线性回归模型总离差平方和TSS回归平方和ESS残差平方和RSS1、总离差平方和的分解可决系数R2度量了回归模型对Y的变动解释的比例。R2越大，说明在Y的总变动中由模型作出了解释的部分占的比重越大，模型拟合优度越高，模型的解释功能越强。检验模型对样本观测值的拟合程度。用在总离差分解基础上确定的可决系数R2（调整的可决系数）度量。n-1kn-k-1=+自由度2、可决系数R2§3-3多元线性回归模型的统计检验一、拟合优度检验第三章§3-3多元线性回归模型的统计检验一、拟合优度检验第三章多元线性回归模型总离差平方和TSS回归平方和ESS残差平方和RSS1、总离差平方和的分解2、可决系数R23、调整的可决系数检验模型对样本观测值的拟合程度。用在总离差分解基础上确定的可决系数R2（调整的可决系数）度量。n-1kn-k-1=+自由度§3-3多元线性回归模型的统计检验一、拟合优度检验第三章§3-3多元线性回归模型的统计检验一、拟合优度检验第三章多元线性回归模型在应用过程中发现，如果在模型中增加一个解释变量，可决系数R2往往增大，这是因为残差平方和RSS往往随着解释变量个数的增加而减少，至少不会增加。这就给人一个错觉：要使模型拟合得好，就必须增加解释变量个数。但在样本容量一定的情况下，增加解释变量个数必定使得待估参数的个数增加，从而损失自由度；且有时所增加的解释变量并非必要。R2的计算公式并未考虑不同模型自由度的不同；故调整的思路是将残差平方和RSS和总离差平方和TSS分别除以各自的自由度，以剔除变量个数对拟合优度的影响。因此，在比较应变量相同而解释变量个数不同的两个模型的拟合程度时，宜用调整的可决系数。若k>0，则即：随着模型中解释变量个数的增加，调整的可决系数越来越小于可决系数，这似乎是对增加解释变量的“惩罚”。总为正，但可能为负。§3-3多元线性回归模型的统计检验一、拟合优度检验第三章§3-3多元线性回归模型的统计检验第三章多元线性回归模型二、回归参数的显著性检验（t检验）检验步骤：（1）对总体参数提出假设：H0：j=0，H1：j0(j=0,1,···,k)（2）以原假设H0构造t统计量，并由观测值计算其值；若|t|t/2(n-2)，则拒绝H0，接受H1，即j与0有显著差异；说明在其它解释变量不变的情况下，j对应的解释变量对应变量的影响是显著的；(此时犯“弃真”错误的概率不超过)若|t|t/2(n-2)，则接受H0，即j与0的差异不显著；说明在其它解释变量不变的情况下，j对应的解释变量对应变量没有显著影响。（3）给定显著性水平(一般取0.01，0.05，0.1)

，查自由度为（n-2）的t分布表,得临界值t/2(n-2)；§3-3多元线性回归模型的统计检验第三章多元线性回归模§3-3多元线性回归模型的统计检验第三章多元线性回归模型二、回归参数的显著性检验（t检验）检验步骤：（1）对总体参数提出假设：H0：j=0，H1：j0(j=0,1,···,k)（2）以原假设H0构造t统计量，并由观测值计算其值；（3）给定显著性水平(一般取0.01，0.05，0.1)

，查自由度为（n-2）的t分布表,得临界值t/2(n-2)；f(t)t0拒绝域拒绝域接受域双侧检验H0：j=0H1：j0若|t|t/2(n-2)，则拒绝H0，接受H1，即j与0有显著差异；说明在其它解释变量不变的情况下，j对应的解释变量对应变量的影响是显著的；(此时犯“弃真”错误的概率不超过)若|t|t/2(n-2)，则接受H0，即j与0的差异不显著；说明在其它解释变量不变的情况下，j对应的解释变量对应变量没有显著影响。§3-3多元线性回归模型的统计检验第三章多元线性回归模§3-3多元线性回归模型的统计检验第三章多元线性回归模型三、回归方程的显著性检验（F检验）F检验是以方差分析为基础，旨在检验模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立。拟合优度检验（R2检验）中，拟合优度高，则解释变量对被解释变量的解释程度越高，可以推测模型总体线性关系成立，反之就不成立。但这只是一个模糊的推测，不能给出一个统计上严格的结论，这就需要进行方程的显著性检验。§3-3多元线性回归模型的统计检验第三章多元线性回归模§3-3多元线性回归模型的统计检验第三章多元线性回归模型三、回归方程的显著性检验（F检验）（1）提出假设：H0：1=2=···=k=0(等价于H0：R2=0)H1：j不全为零(j=1,2,···,k)（2）在H0成立条件下，构造F统计量，并由观测值计算其值；检验步骤（F随着解释变量对应变量变动的解释比例的增大而逐渐增大）设随机变量X～2(n)，Y～2(m)，且X与Y相互独立，则随机变量F=(X/n)/(Y/m)的分布称为自由度为（n,m）的F分布。方差分析表变差来源平方和自由度方差来自回归来自残差总变差kESS/kn-k-1RSS/(n-k-1)n-1§3-3多元线性回归模型的统计检验第三章多元线性回归模§3-3多元线性回归模型的统计检验第三章多元线性回归模型三、回归方程的显著性检验（F检验）（1）提出假设：H0：1=2=···=k=0(等价于H0：R2=0)H1：j不全为零(j=1,2,···,k)（2）在H0成立条件下，构造F统计量，并由观测值计算其值；（3）给定显著性水平，查F分布表,得临界值F(k,n-k-1)；若F＞F(k,n-k-1)，则拒绝原假设H0，接受H1；说明模型的线性关系显著成立，模型通过方程显著性检验；也即回归方程显著。若F≤F(k,n-k-1)，则接受原假设H0，说明模型的线性关系显著不成立，模型未通过方程显著性检验；也即回归方程不显著。检验步骤（F随着解释变量对应变量变动的解释比例的增大而逐渐增大）一元模型t检验和F检验等价方差分析表变差来源平方和自由度方差来自回归来自残差总变差kESS/kn-k-1RSS/(n-k-1)n-1Ff(F)F§3-3多元线性回归模型的统计检验第三章多元线性回归模§3-3多元线性回归模型的统计检验第三章多元线性回归模型三、回归方程的显著性检验（F检验）拟合优度检验（R2检验）和回归方程显著性检验（F检验）的关系:是两类检验：R2检验是检验模型对样本观测值的拟合程度；F检验是检验模型总体线性关系的显著性，并有精确的分布。两者的关联：模型对样本观测值的拟合程度高，模型总体线性关系的显著性就强，即R2越大，F值越大。判定系数R2与F值：调整的判定系数与F值：§3-3多元线性回归模型的统计检验第三章多元线性回归模DependentVariable:YMethod:LeastSquaresDate:01/13/05Time:20:23Sample:118Includedobservations:18

VariableCoefficientStd.Errort-Statistic

Prob.

C-50.0163849.46026-1.0112440.3279

X0.0864500.0293632.9441860.0101

T52.370315.20216710.067020.0000R-squared0.951235Meandependentvar755.1222AdjustedR-squared0.944732S.D.dependentvar258.7206S.E.ofregression60.82273Akaikeinfocriterion11.20482Sumsquaredresid55491.07Schwarzcriterion11.35321Loglikelihood-97.84334F-statistic146.2974Durbin-Watsonstat2.605783Prob(F-statistic)0.000000例：建立家庭书刊消费水平(Y)关于家庭收入(X)和户主受教育年限(T)的线性回归模型。DependentVariable:Y例：建立家庭书刊消DependentVariable:YMethod:LeastSquaresDate:01/14/05Time:17:31Sample(adjusted):19811996Includedobservations:16afteradjustingendpointsVariableCoefficientStd.Errort-StatisticProb.C540.528684.301536.4118480.0000

X

0.480948

0.021861

22.00035

0.0000

Y(-1)

0.198545

0.047409

4.187969

0.0011R-squared

0.999773Meandependentvar13618.94AdjustedR-squared0.999739S.D.dependentvar11360.47S.E.ofregression183.6831Akaikeinfocriterion13.43166Sumsquaredresid438613.2Schwarzcriterion13.57652Loglikelihood-104.4533F-statistic28682.51Durbin-Watsonstat1.450101Prob(F-statistic)0.000000例：建立中国消费模型。Y代表消费总额，X代表国内生产总值。Y(-1)代表前一年消费总额。DependentVariable:Y例：建立中国消费模DependentVariable:YMethod:LeastSquaresDate:01/13/05Time:20:32Sample:19851996Includedobservations:12VariableCoefficientStd.Errort-StatisticProb.C6.45293529.858110.2161200.8337X0.8286790.1148597.2147390.0001S0.1768410.2099180.8424290.4214R-squared0.998417Meandependentvar773.8333AdjustedR-squared0.998065S.D.dependentvar447.6266S.E.ofregression19.68865Akaikeinfocriterion9.010280Sumsquaredresid3488.787Schwarzcriterion9.131507Loglikelihood-51.06168F-statistic2838.406Durbin-Watsonstat1.608149Prob(F-statistic)0.000000例：根据我国农村居民人均年消费额Y(元)，人均年纯收入X(元)、年底人均储蓄额S(元)数据，建立线性回归模型。DependentVariable:Y例：根据我国农村居§3-4

多元线性回归模型的置信区间线性回归模型的置信区间问题包括两个方面：参数估计量的置信区间和应变量预测值的置信区间。点估计是用一个样本的具体指标去估计总体的未知参数，优点是能给出一个明确的值，缺点是没有指出这种判断的把握有多大。区间估计则是估计未知参数所在的可能区间，并能以一定的置信度(概率)来保证估计的正确性，因此区间估计也称为置信区间。第三章多元线性回归模型§3-4多元线性回归模型的置信区间线性回归模型的置信区间问§3-4

多元线性回归模型的置信区间第三章多元线性回归模型一、参数估计量的置信区间f(j)j即该随机区间以(1-)的概率包含参数真值。在(1-)的置信水平下j的置信区间为：（Cjj是矩阵(X’X)-1中第j行第j列位置上的元素）缩小置信区间:（1）增加样本容量n，n越大，临界值t/2越小；且越小。（2）提高模型的拟合程度，以减小残差平方和ei2，以及。（3）提高样本观测值的分散程度，一般观测值越分散，Cjj越小。§3-4多元线性回归模型的置信区间第三章多元线性回归模§3-4

多元线性回归模型的置信区间第三章多元线性回归模型二、应变量预测值的置信区间在模型和解释变量预测值XF=(1,X1F,X2F,···,XkF)确定的情况下，对应变量Y的预测分为：点预测应变量Y平均值应变量Y个别值区间预测应变量Y个别值应变量Y平均值缩小置信区间:（1）增加样本容量n。（2）提高模型的拟合程度。（3）提高样本观测值的分散程度，一般观测值越分散，作为(X’X)-1的分母的|X’X|的值越大，致使区间缩小。§3-4多元线性回归模型的置信区间第三章多元线性回归模§3-4

多元线性回归模型的置信区间第三章多元线性回归模型二、应变量预测值的置信区间提高置信水平与缩小置信区间是矛盾的：置信水平越高，1-越大，越小，在其它情况不变时，临界值t/2越大，置信区间越大。如果置信区间为一精确值，则其置信水平为0；而若置信水平为100%，则置信区间为。f(j)j§3-4多元线性回归模型的置信区间第三章多元线性回归模谢谢观看！2020

谢谢观看！第三章多元线性回归模型§3-1多元线性回归模型及其基本假定一、多元回归模型及其表示二、多元回归模型的基本假定§3-3多元线性回归模型的统计检验§3-2

多元线性回归模型的参数估计二、OLS估计量的统计性质及其分布三、随机误差项方差2的估计一、拟合优度检验二、回归参数的显著性检验（t检验）三、回归方程的显著性检验（F检验）§3-4多元线性回归模型的置信区间一、参数的最小二乘估计一、参数估计量的置信区间二、应变量预测值的置信区间第三章多元线性回归模型§3-1多元线性回归模型及其基本§3-1多元线性回归模型及其基本假定一、多元回归模型及其表示第三章多元线性回归模型含有两个及以上解释变量的回归模型称为多元回归模型。多元线性回归模型的一般式为：k为解释变量的个数，如果将常数项看成取值始终为1的虚变量，则解释变量的数目为(k+1)。模型中的回归系数j(j=1,2,,k)表示：当其它解释变量保持不变时，第j个解释变量变动一个单位对应变量的影响。多元线性回归模型中的回归系数称为偏回归系数。§3-1多元线性回归模型及其基本假定一、多元回归模型及其表§3-1多元线性回归模型及其基本假定一、多元回归模型及其表示第三章多元线性回归模型含有两个及以上解释变量的回归模型称为多元回归模型。多元线性回归模型的一般式为：多元线性样本回归模型多元线性样本回归方程多元线性总体回归方程多元线性总体回归模型§3-1多元线性回归模型及其基本假定一、多元回归模型及其表§3-1多元线性回归模型及其基本假定一、多元回归模型及其表示第三章多元线性回归模型多元线性回归模型的矩阵表示形式：将n组观测样本值代入模型一般式，得：多元线性总体回归模型的矩阵表示多元线性样本回归模型的矩阵表示§3-1多元线性回归模型及其基本假定一、多元回归模型及其表§3-1多元线性回归模型及其基本假定二、多元回归模型的基本假定第三章多元线性回归模型E(i)=01、随机误差项具有零均值表明：平均地看，随机误差项有互相抵消的趋势。2、随机误差项具有同方差Var(i)=2表明：对每个Xi，随机误差项i的方差等于一个常数2。即解释变量取不同值时，i相对各自均值（零均值）的分散程度是相同的。应变量Yi具有与i相同的方差。应变量Yi可能取值的分散程度也是相同的。§3-1多元线性回归模型及其基本假定二、多元回归模型的基本§3-1多元线性回归模型及其基本假定二、多元回归模型的基本假定第三章多元线性回归模型Cov(i,j)=0i≠j3、随机误差项在不同样本点之间是独立的，不存在序列相关无自相关假定表明：产生误差（干扰）的因素是完全随机的，此次干扰与彼次干扰互不相关，互相独立。由此应变量Yi的序列值之间也互不相关。因为i与j相互独立，有：§3-1多元线性回归模型及其基本假定二、多元回归模型的基本§3-1多元线性回归模型及其基本假定二、多元回归模型的基本假定第三章多元线性回归模型Cov(Xji,i)=04、随机误差项与解释变量之间不相关Xji与i相互独立，互不相关，即随机误差项i和解释变量Xji是各自独立对应变量Yi产生影响。事实上，在回归分析中，Xji在重复抽样（观测）中固定取值，是确定性变量，该假定自动满足。5、随机误差项服从正态分布(结合假定1、2)i～N(0,2)随机误差项i正态分布的假定对模型的统计检验是很重要的。§3-1多元线性回归模型及其基本假定二、多元回归模型的基本§3-1多元线性回归模型及其基本假定二、多元回归模型的基本假定第三章多元线性回归模型6、各解释变量之间互不相关，即不存在线性关系在此条件下，解释变量观测值矩阵X满秩，Rank(X)=k+1，方阵X’X也满秩，Rank(X’X)=k+1，行列式|X’X|≠0，方阵X’X可逆，(X’X)-1存在。§3-1多元线性回归模型及其基本假定二、多元回归模型的基本§3-2多元线性回归模型的参数估计一、参数的最小二乘估计第三章多元线性回归模型§3-2多元线性回归模型的参数估计一、参数的最小二乘估计第§3-2多元线性回归模型的参数估计一、参数的最小二乘估计第三章多元线性回归模型多元线性样本回归模型的矩阵表示（极值条件）§3-2多元线性回归模型的参数估计一、参数的最小二乘估计第§3-2多元线性回归模型的参数估计一、参数的最小二乘估计第三章多元线性回归模型二、OLS估计量的统计性质及其分布1、线性：指参数估计量是观测值Yi的线性函数。2、无偏性：指参数估计量的期望等于模型参数值。3、有效性（最小方差性）：指在所有线性、无偏估计量中，OLS参数估计量的方差最小。4、服从正态分布，即：其中，，2是随机误差项的方差，Cjj是矩阵(X’X)-1中第j行第j列位置上的元素。§3-2多元线性回归模型的参数估计一、参数的最小二乘估计第§3-2多元线性回归模型的参数估计一、参数的最小二乘估计第三章多元线性回归模型二、OLS估计量的统计性质及其分布三、随机误差项方差2的估计参数估计的另一项任务是：求随机误差项i的分布参数i～N(0,2)随机误差项i的方差的估计量为：可以证明：称作回归标准差（standarderrorofregression），常作为对所估计回归线的拟合优度的简单度量。说明是2的无偏估计量。§3-2多元线性回归模型的参数估计一、参数的最小二乘估计第§3-2多元线性回归模型的参数估计第三章多元线性回归模型四、样本容量问题1、最小样本容量——从OLS原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。欲使存在，必须使得(X’X)-1存在。欲使(X’X)-1存在，必须满足|X’X|≠0，即(X’X)为（k+1）阶满秩矩阵。矩阵乘积的秩不超过各个因子矩阵的秩。即：R(X’X)≤min(R(X’),R(X))。只有当R(X)≥k+1时，矩阵(X’X)才为（k+1）阶满秩矩阵。X为n×(k+1)阶矩阵，其秩最大为（k+1），此时必须有n≥k+1，即样本容量必须不少于模型中解释变量的数目（包括常数项）。§3-2多元线性回归模型的参数估计第三章多元线性回归模§3-2多元线性回归模型的参数估计第三章多元线性回归模型四、样本容量问题1、最小样本容量——从OLS原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。2、满足基本要求的样本容量n≥k+1虽然当n≥k+1时可以得到参数估计量，但除了参数估计量质量不好以外，一些建立模型所必须的后续工作也无法进行。例如，参数的统计检验要求样本容量必须足够大，Z检验在n<30时不能应用；t检验为检验变量显著性的最常用方法,当n-k≥8时t分布较为稳定，检验才较为有效。所以，一般经验认为，当n≥30或者至少n≥3(k+1)时，才能满足模型估计的基本要求。§3-2多元线性回归模型的参数估计第三章多元线性回归模DependentVariable:YMethod:LeastSquaresDate:01/13/05Time:20:23Sample:118Includedobservations:18

VariableCoefficientStd.Errort-Statistic

Prob.

C-50.0163849.46026-1.0112440.3279

X0.0864500.0293632.9441860.0101

T52.370315.20216710.067020.0000R-squared0.951235Meandependentvar755.1222AdjustedR-squared0.944732S.D.dependentvar258.7206S.E.ofregression60.82273Akaikeinfocriterion11.20482Sumsquaredresid55491.07Schwarzcriterion11.35321Loglikelihood-97.84334F-statistic146.2974Durbin-Watsonstat2.605783Prob(F-statistic)0.000000例：建立家庭书刊消费水平(Y)关于家庭收入(X)和户主受教育年限(T)的线性回归模型。DependentVariable:Y例：建立家庭书刊消DependentVariable:YMethod:LeastSquaresDate:01/14/05Time:17:31Sample(adjusted):19811996Includedobservations:16afteradjustingendpointsVariableCoefficientStd.Errort-StatisticProb.C540.528684.301536.4118480.0000

X

0.480948

0.021861

22.00035

0.0000

Y(-1)

0.198545

0.047409

4.187969

0.0011R-squared

0.999773Meandependentvar13618.94AdjustedR-squared0.999739S.D.dependentvar11360.47S.E.ofregression183.6831Akaikeinfocriterion13.43166Sumsquaredresid438613.2Schwarzcriterion13.57652Loglikelihood-104.4533F-statistic28682.51Durbin-Watsonstat1.450101Prob(F-statistic)0.000000例：建立中国消费模型。Y代表消费总额，X代表国内生产总值。Y(-1)代表前一年消费总额。DependentVariable:Y例：建立中国消费模§3-3多元线性回归模型的统计检验一、拟合优度检验第三章多元线性回归模型总离差平方和TSS(TotalSumofSquares)

回归平方和ESS(ExplainedSumofSquares)

残差平方和RSS(ResidualSumofSquares)

反映样本观测值总体离差的大小。也称总平方和。反映由模型中解释变量所解释的那部分离差的大小反映样本观测值与估计值偏离的大小，是模型中解释变量未解释的那部分离差的大小。也称剩余平方和。1、总离差平方和的分解检验模型对样本观测值的拟合程度。用在总离差分解基础上确定的可决系数R2（调整的可决系数）度量。§3-3多元线性回归模型的统计检验一、拟合优度检验第三章§3-3多元线性回归模型的统计检验一、拟合优度检验第三章多元线性回归模型总离差平方和TSS回归平方和ESS残差平方和RSS1、总离差平方和的分解可决系数R2度量了回归模型对Y的变动解释的比例。R2越大，说明在Y的总变动中由模型作出了解释的部分占的比重越大，模型拟合优度越高，模型的解释功能越强。检验模型对样本观测值的拟合程度。用在总离差分解基础上确定的可决系数R2（调整的可决系数）度量。n-1kn-k-1=+自由度2、可决系数R2§3-3多元线性回归模型的统计检验一、拟合优度检验第三章§3-3多元线性回归模型的统计检验一、拟合优度检验第三章多元线性回归模型总离差平方和TSS回归平方和ESS残差平方和RSS1、总离差平方和的分解2、可决系数R23、调整的可决系数检验模型对样本观测值的拟合程度。用在总离差分解基础上确定的可决系数R2（调整的可决系数）度量。n-1kn-k-1=+自由度§3-3多元线性回归模型的统计检验一、拟合优度检验第三章§3-3多元线性回归模型的统计检验一、拟合优度检验第三章多元线性回归模型在应用过程中发现，如果在模型中增加一个解释变量，可决系数R2往往增大，这是因为残差平方和RSS往往随着解释变量个数的增加而减少，至少不会增加。这就给人一个错觉：要使模型拟合得好，就必须增加解释变量个数。但在样本容量一定的情况下，增加解释变量个数必定使得待估参数的个数增加，从而损失自由度；且有时所增加的解释变量并非必要。R2的计算公式并未考虑不同模型自由度的不同；故调整的思路是将残差平方和RSS和总离差平方和TSS分别除以各自的自由度，以剔除变量个数对拟合优度的影响。因此，在比较应变量相同而解释变量个数不同的两个模型的拟合程度时，宜用调整的可决系数。若k>0，则即：随着模型中解释变量个数的增加，调整的可决系数越来越小于可决系数，这似乎是对增加解释变量的“惩罚”。总为正，但可能为负。§3-3多元线性回归模型的统计检验一、拟合优度检验第三章§3-3多元线性回归模型的统计检验第三章多元线性回归模型二、回归参数的显著性检验（t检验）检验步骤：（1）对总体参数提出假设：H0：j=0，H1：j0(j=0,1,···,k)（2）以原假设H0构造t统计量，并由观测值计算其值；若|t|t/2(n-2)，则拒绝H0，接受H1，即j与0有显著差异；说明在其它解释变量不变的情况下，j对应的解释变量对应变量的影响是显著的；(此时犯“弃真”错误的概率不超过)若|t|t/2(n-2)，则接受H0，即j与0的差异不显著；说明在其它解释变量不变的情况下，j对应的解释变量对应变量没有显著影响。（3）给定显著性水平(一般取0.01，0.05，0.1)

，查自由度为（n-2）的t分布表,得临界值t/2(n-2)；§3-3多元线性回归模型的统计检验第三章多元线性回归模§3-3多元线性回归模型的统计检验第三章多元线性回归模型二、回归参数的显著性检验（t检验）检验步骤：（1）对总体参数提出假设：H0：j=0，H1：j0(j=0,1,···,k)（2）以原假设H0构造t统计量，并由观测值计算其值；（3）给定显著性水平(一般取0.01，0.05，0.1)

，查自由度为（n-2）的t分布表,得临界值t/2(n-2)；f(t)t0拒绝域拒绝域接受域双侧检验H0：j=0H1：j0若|t|t/2(n-2)，则拒绝H0，接受H1，即j与0有显著差异；说明在其它解释变量不变的情况下，j对应的解释变量对应变量的影响是显著的；(此时犯“弃真”错误的概率不超过)若|t|t/2(n-2)，则接受H0，即j与0的差异不显著；说明在其它解释变量不变的情况下，j对应的解释变量对应变量没有显著影响。§3-3多元线性回归模型的统计检验第三章多元线性回归模§3-3多元线性回归模型的统计检验第三章多元线性回归模型三、回归方程的显著性检验（F检验）F检验是以方差分析为基础，旨在检验模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立。拟合优度检验（R2检验）中，拟合优度高，则解释变量对被解释变量的解释程度越高，可以推测模型总体线性关系成立，反之就不成立。但这只是一个模糊的推测，不能给出一个统计上严格的结论，这就需要进行方程的显著性检验。§3-3多元线性回归模型的统计检验第三章多元线性回归模§3-3多元线性回归模型的统计检验第三章多元线性回归模型三、回归方程的显著性检验（F检验）（1）提出假设：H0：1=2=···=k=0(等价于H0：R2=0)H1：j不全为零(j=1,2,···,k)（2）在H0成立条件下，构造F统计量，并由观测值计算其值；检验步骤（F随着解释变量对应变量变动的解释比例的增大而逐渐增大）设随机变量X～2(n)，Y～2(m)，且X与Y相互独立，则随机变量F=(X/n)/(Y/m)的分布称为自由度为（n,m）的F分布。方差分析表变差来源平方和自由度方差来自回归来自残差总变差kESS/kn-k-1RSS/(n-k-1)n-1§3-3多元线性回归模型的统计检验第三章多元线性回归模§3-3多元线性回归模型的统计检验第三章多元线性回归模型三、回归方程的显著性检验（F检验）（1）提出假设：H0：1=2=···=k=0(等价于H0：R2=0)H1：j不全为零(j=1,2,···,k)（2）在H0成立条件下，构造F统计量，并由观测值计算其值；（3）给定显著性水平，查F分布表,得临界值F(k,n-k-1)；若F＞F(k,n-k-1)，则拒绝原假设H0，接受H1；说明模型的线性关系显著成立，模型通过方程显著性检验；也即回归方程显著。若F≤F(k,n-k-1)，则接受原假设H0，说明模型的线性关系显著不成立，模型未通过方程显著性检验；也即回归方程不显著。检验步骤（F随着解释变量对应变量变动的解释比例的增大而逐渐增大）一元模型t检验和F检验等价方差分析表变差来源平方和自由度方差来自回归来自残差总变差kESS/kn-k-1RSS/(n-k-1)n-1Ff(F)F§3-3多元线性回归模型的统计检验第三章多元线性回归模§3-3多元线性回归模型的统计检验第三章多元线性回归模型三、回归方程的显著性检验（F检验）拟合优度检验（R2检验）和回归方程显著性检验（F检验）的关系:是两类检验：R2检验是检验模型对样本观测值的拟合程度；F检验是检验模型总体线性关系的显著性，并有精确的分布。两者的关联：模型对样本观测值的拟合程度高，模型总体线性关系的显著性就强，即R2越大，F值越大。判定系数R2与F值：调整的判定系数与F值：§3-3多元线性回归模型的统计检验第三章多元线性回归模DependentVariable:YMethod:LeastSquaresDate:01/13/05Time:20:23Sample:118Includedobservations:18

VariableCoefficientStd.Errort-Statistic

Prob.

C-50.0163849.46026-1.0112440.3279

X0.0864500.0293632.9441860.0101

T52.370315.20216710.067020.0000R-squared0.951235Meandependentvar755.1222AdjustedR-squared0.944732S.D.dependentvar258.7206S.E.ofregression60.82273Akaikeinfocriterion11.20482Sumsquaredresid55491.07Schwarzcriterion11.35321Loglikelihood-97.84334F-statistic146.2974Durbin-Watsonstat2.605783Prob(F-statistic)0.000000例：建立家庭书刊消费水平(Y)关于家庭收入(X)和户主受教育年限(T)的线性回归模型。DependentVariable:Y例：建立家庭书刊消DependentVariable:YMethod:LeastSquaresDate:01/14/05Time:17:31Sample(adjusted):19811996Includedobservations:16afteradjustingendpointsVariableCoefficientStd.Errort-StatisticProb.C540.528684.301536.4118480.0000

X

0.480948

0.021861

22.00035

0.0000

Y(-1)

0.198545

0.047409

4.187969

0.0011R-squared

0.999773Meandependentvar13618.94A