多元线性回归

多元线性回归第1页，共54页，2023年，2月20日，星期四第三章多元线性回归模型

3.1多元线性回归模型及古典假定3.2多元线性回归模型的估计3.3多元线性回归模型的检验3.4多元线性回归模型的预测3.5案例分析第2页，共54页，2023年，2月20日，星期四3.1多元线性回归模型及古典假定3.1.1多元线性回归模型的基本形式3.1.2多元线性回归模型的古典假定第3页，共54页，2023年，2月20日，星期四3.1多元线性回归模型及古典假定3.1.1多元线性回归模型的基本形式一种社会经济现象和许多现象相联系，比如描述产出量与资本投入、劳动投入之间的关系的Cobb-Douglas生产函数：转化为线性的：为非线性模型lnY为被解释变量，lnK,lnL为解释变量,lnμ为随机误差项,lnA,α,β为参数。再如：西部地区各省区电力消费的变化与各地区国民生产总值及电力价格水平变动等因素的关系。建立模型如下Y为西部地区各省区电力消费量；X2为各地区国民生产总值；X3为各地区电力价格变动。μ为随机误差项。第4页，共54页，2023年，2月20日，星期四3.1多元线性回归模型及古典假定

多元线性回归模型:表现在线性回归模型中的解释变量有多个。线性是指对各个参数而言是线性的。3.1.1多元线性回归模型的基本形式i=1,2…,n其中:k为参数的数目，j称为偏回归参数（regressioncoefficient），k-1为解释变量的个数。表示当控制其他解释变量不变的条件下，Xj每变化1个单位时，Y的均值E(Y)的变化.一般表现形式：第5页，共54页，2023年，2月20日，星期四3.1多元线性回归模型及古典假定3.1.1多元线性回归模型的基本形式对被解释变量Y及多个解释变量做n次观测，所得的n组观测值则有：第6页，共54页，2023年，2月20日，星期四3.1多元线性回归模型及古典假定3.1.1多元线性回归模型的基本形式对被解释变量Y及多个解释变量做n次观测，所得的n组观测值样本回归模型：样本回归函数：多元线性回归分析要解决的主要问题，仍然是如何根据变量的样本观测值去估计回归模型中的各个参数。第7页，共54页，2023年，2月20日，星期四3.1多元线性回归模型及古典假定3.1.1多元线性回归模型的基本形式即为以下线性方程组：将以上方程组写成矩阵的形式：第8页，共54页，2023年，2月20日，星期四3.1多元线性回归模型及古典假定3.1.1多元线性回归模型的基本形式=+第9页，共54页，2023年，2月20日，星期四3.1多元线性回归模型及古典假定3.1.1多元线性回归模型的基本形式Y：被解释变量观测列向量X：数据矩阵或设计矩阵，为解释变量观测值矩阵B：参数列向量U:随机误差项列向量即：即：令：第10页，共54页，2023年，2月20日，星期四3.1多元线性回归模型及古典假定3.1.1多元线性回归模型的基本形式类似地，多元样本线性回归函数的矩阵表示为：或其中：第11页，共54页，2023年，2月20日，星期四3.1多元线性回归模型及古典假定3.1.2多元线性回归模型的古典假定假设1:零均值假定：用矩阵表示为：假设2:同方差和无自相关假定：第12页，共54页，2023年，2月20日，星期四3.1多元线性回归模型及古典假定3.1.2多元线性回归模型的古典假定随机误差项的方差-协方差矩阵)为：第13页，共54页，2023年，2月20日，星期四3.1多元线性回归模型及古典假定3.1.2多元线性回归模型的古典假定假设3:随机误差项与解释变量不相关假定：用矩阵表示为：E(X’U)=第14页，共54页，2023年，2月20日，星期四3.1多元线性回归模型及古典假定3.1.2多元线性回归模型的古典假定用矩阵表示为：假设4:无多重共线性假定：即解释变量之间不存在线性相关关系，即矩阵X列满秩。假设5:正态性假定：i~N(0,2)

i=1,2,…,n则：，可逆，存在上述假定条件称为多元线性回归模型的古典假定。第15页，共54页，2023年，2月20日，星期四3.2多元线性回归模型的估计一：多元线性回归参数的最小二乘估计二：参数最小二乘估计的性质三：OLS估计的分布性质四：随机扰动项方差的估计第16页，共54页，2023年，2月20日，星期四一：多元线性回归模型的最小二乘法如果样本函数的参数估计值已经得到，则有：

i=1,2，…，n根据最小二乘原理，参数估计值应该是下列方程组的解

其中3.2多元线性回归模型的估计第17页，共54页，2023年，2月20日，星期四于是得到关于待估参数估计值的正规方程组：

3.2多元线性回归模型的估计一：多元线性回归模型的最小二乘法解该k个方程组成的线性代数方程组，即可得到k个待估参数的估计值第18页，共54页，2023年，2月20日，星期四由极值条件得由于X’X满秩，故有

3.2多元线性回归模型的估计一：多元线性回归模型的最小二乘法对样本回归函数两边同乘以样本观测值矩阵X的转置矩阵，得到极值条件第19页，共54页，2023年，2月20日，星期四3.2多元线性回归模型的估计一：多元线性回归模型的最小二乘法对于二元线性回归模型：参数最小二乘估计式为：其中：第20页，共54页，2023年，2月20日，星期四3.2多元线性回归模型的估计一：多元线性回归模型的最小二乘法例3.1研究2002年西部地区各省区电力消费的变化与各地区国民生产总值及电力价格水平变动等因素的关系。建立模型如下Y：电力消费量；X2：国民生产总值；X3：电力价格变动（以水电燃料价格指数来代表）。原始数据见课本78页表3.1。被解释变量观测值矩阵和解释变量观测值矩阵分别为：第21页，共54页，2023年，2月20日，星期四3.2多元线性回归模型的估计一：多元线性回归模型的最小二乘法例3.1研究2002年西部地区各省区电力消费的变化与各地区国民生产总值及电力价格水平变动等因素的关系。所估计的样本回归函数为：第22页，共54页，2023年，2月20日，星期四3.2多元线性回归模型的估计二：参数最小二乘法估计的性质1．线性性

2．无偏性

由可知，最小二乘参数估计的参数估计量是被解释变量Yi的线性函数。第23页，共54页，2023年，2月20日，星期四3.2多元线性回归模型的估计二：参数最小二乘法估计的性质3、有效性（最小方差性）

UU’UU’UU’和由第24页，共54页，2023年，2月20日，星期四3.2多元线性回归模型的估计三：OLS估计的分布性质由OLS估计量的性质可知：以cjj表示矩阵(X’X)-1主对角线上的第j个元素，标准差：第25页，共54页，2023年，2月20日，星期四3.2多元线性回归模型的估计四：随机扰动项方差的估计如果记则就是随机误差项方差的无偏估计量的方差估计量为：第26页，共54页，2023年，2月20日，星期四3.2多元线性回归模型的估计四：随机扰动项方差的估计例3.1续：可以计算出：同理：第27页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.1拟合优度检验3.3.2回归方程的显著性检验（F检验）3.3.3回归参数的显著性检验（t检验）第28页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.1拟合优度检验一.多重可决系数（1）变差：TSS=RSS+ESS总离差平方和TSS反映了被解释变量观测值总变量的大小，回归平方和ESS反映了被解释变量回归估计值总变差的大小，它是被解释变量观测值总变差中由多个解释变量做出解释的那部分变差，残差平方和RSS反映了被解释变量观测值与估计值之间的变差，是被解释变量观测值总离差中未被列入模型的解释变量解释的那部分变差。第29页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.1拟合优度检验一.多重可决系数（1）变差：

显然，ESS越大，RSS越小，从而被解释变量观测值总变差中能由解释变量解释的那部分变差就越大，模型对观测数据的拟合程度就越高，因此定义多重可决系数为或者因为：可得：第30页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.1拟合优度检验一.多重可决系数

作为检验回归方程与样本值拟合优度的指标：越大，表示回归方程拟合样本的的效果越好；反之，回归方程拟合样本值较差。第31页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.1拟合优度检验二.修正的可决系数

还可表示为第32页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.1拟合优度检验引入自由度来校正可决系数1）当k>1时，<2）可能为负值，这时规定=0，但是必定非负TSS自由度为：n-1ESS自由度为：k-1（回归模型中解释变量的个数）RSS自由度为：n-k第33页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.1拟合优度检验例3.1续：已知：可计算得：第34页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.1拟合优度检验注意：1.用样本估计的回归模型计算的可决系数和修正的可决系数，也是随抽样而变动的随机变量。2.可决系数只是对模型拟合优度的度量，只说明列入模型中的解释变量对被解释变量的联合影响程度。并不能说明模型中各个解释变量对被解释变量的影响程度。第35页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.1拟合优度检验注意：3.在回归分析中，不仅要模型的拟合程度高，而且还要得到总体回归系数的可靠估计量。因此，在选择模型时，不能单纯的靠可决系数的高低来断定模型的优劣，有时为了整体考虑模型的可靠度及其经济意义，可以适当降低对可决系数的要求。4.可决系数和修正的可决系数只能提供对拟合优度的度量，它们的值究竟要达到多大才算模型通过检验？并没有给出确定的界限。第36页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.2回归方程的显著性检验

方程的显著性检验，是对模型中被解释变量与所有解释变量之间的线性关系在总体上是否显著作出推断。该检验是在方差分析的基础上，利用F检验进行的。第37页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.2回归方程的显著性检验第38页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.2回归方程的显著性检验二、检验步骤1.提出原假设H0和备择假设H1不全为零2.构造统计量：3.给定显著性水平α，查F分布表，得到临界值：4.比较判断：若，则拒绝原假设，说明回归方程显著。若，则接受原假设，说明回归方程不显著。第39页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.2回归方程的显著性检验F(k-1,n-k)1-Ff(F)拒绝域显著水平α的单侧F检验拒绝域第40页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.2回归方程的显著性检验F检验与可决系数的关系：一般来讲，模型对观测值的拟合程度越高，模型总体线性关系的显著性就越强。可决系数越大，F统计量的值越大，R2=0时，F=0；R2=1时，F趋于∞。第41页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.2回归方程的显著性检验注意：一元线性回归中，由于解释变量只有一个，不存在解释变量的联合影响的整体检验问题。因此，不需要进行F检验。换种说法，对参数的显著性检验（t检验）与对回归总体的显著性检验（F检验）是一致的，说明如下：给定显著性水平α,查临界值，发现：第42页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.3回归参数的显著性检验总体线性关系显著（方程显著性检验通过）只能表明所有解释变量共同对Y影响是显著的，但不能表明每个解释变量影响都是显著的。所以必须对每个解释变量作显著性检验。其目的是将影响不大的解释变量删除。利用t检验来检验解释变量对被解释变量的影响程度。

第43页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.3回归参数的显著性检验

t检验是一种回归系数的显著性检验。如果某个解释变量Xj对被解释变量Y的作用显著，那么它的参数βj应不等于零。因此，提出检验原假设H0：βj

=0备择假设H1:βj

≠0显然，若拒绝原假设，则表明解释变量Xj对被解释变量Y的影响显著。第44页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.3回归参数的显著性检验由最小二乘估计量的性质可知:标准化得：由于未知，可用代替，可得第45页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.2回归方程的显著性检验二、检验步骤1.提出原假设H0和备择假设H12.构造统计量：3.给定显著性水平α，查t分布表，得到临界值：4.比较判断：若，接受原假设，说明在其他解释变量不变的情况下，解释变量对被解释变量没有显著的影响。若，拒绝原假设，说明在其他解释变量不变的情况下，解释变量对被解释变量的影响是显著的。第46页，共54页，2023年，2月20日，星期四3.3多元线性回归模型的检验3.3.3回归参数的显著性检验tf(t)接受域接受域））))第47页，共54页，2023年，2月20日，星期四3.4.1点预测3.4.2E(Y0)的置信区间3.4.3Y0的置信区间3.4多元线性回归模型的预测第48页，共54页，2023年，2月20日，星期四3.4多元线性回归模型的预测对于模型

给定样本以外的解释变量的观测值X0=(1,X10,X2