第5讲 (一元线性回归)

1、将回归均方(MSR)同残差均方(MSE)加以比较，应用F 检验来分析二者之间的差别是否显著回归均方：回归平方和SSR除以相应的自由度(自变量的个数) 残差均方(MSE) ：残差平方和SSE除以相应的自由度(n-2).线性关系的检验的步骤线性关系的检验的步骤 提出假设nH0：1=0 线性关系不显著)2,1 (21nFMSEMSRnSSESSRF(以前面资料以前面资料)提出假设nH0： 1=0 不良贷款与贷款余额之间的线性关系不显著计算检验统计量F753844.56225164421.90148598.22221nSSESSRFExcel 输出的方差分析表输出的方差分析表 在一元线性回归中，等价于

2、线性关系的在一元线性回归中，等价于线性关系的显著性检验显著性检验 检验检验 x 与与 y 之间是否具有线性关系，或之间是否具有线性关系，或者说，检验自变量者说，检验自变量 x 对因变量对因变量 y 的影响的影响是否显著是否显著 理论基础是回归系数理论基础是回归系数 的抽样分布的抽样分布1样本统计量样本统计量 的分布的分布 是根据最小二乘法求出的样本统计量，它有自是根据最小二乘法求出的样本统计量，它有自己的分布己的分布 的的分布具有如下性质分布具有如下性质( (线性、无偏、最小方差线性、无偏、最小方差) )分布形式：正态分布分布形式：正态分布数学期望：数学期望：标准差：标准差：由于由于 未知，需

3、用其估计量未知，需用其估计量s sy y来来代替得到代替得到 的估计的标准差的估计的标准差11111)(E21xxi121xxssie11)(E21xxssie回归系数的检验检验步骤回归系数的检验检验步骤 提出假设nH0: 1 = 0 (没有线性关系) nH1: 1 0 (有线性关系) 计算检验的统计量) 2(11ntstw对例题的回归系数进行显著性检验(0.05)提出假设nH0：1 = 0 nH1：1 0 计算检验的统计量533515. 7005030. 0037895. 0twP 值的应用值的应用在一元线性回归分析中，回归系数显著在一元线性回归分析中，回归系数显著性的性的t检验、回归方程显

4、著性的检验、回归方程显著性的F检验，检验，相关系数显著性相关系数显著性 t检验，三者等价的，检验，三者等价的，检验结果是完全一致的。检验结果是完全一致的。对一元线性回归，只做其中对一元线性回归，只做其中 的一种检验即可。的一种检验即可。l建立的模型是否合适？或者说，这个拟合的模型有多建立的模型是否合适？或者说，这个拟合的模型有多“好好”？要回答这些问题，可以从以下几个方面入手？要回答这些问题，可以从以下几个方面入手所估计的回归系数所估计的回归系数 的符号是否与理论或事先预期相的符号是否与理论或事先预期相一致一致n在不良贷款与贷款余额的回归中，可以预期贷款余额越多在不良贷款与贷款余额的回归中，可

5、以预期贷款余额越多不良贷款也可能会越多，也就是说，回归系数的值应该是不良贷款也可能会越多，也就是说，回归系数的值应该是正的，在上面建立的回归方程中，我们得到的回归系数正的，在上面建立的回归方程中，我们得到的回归系数 为正值为正值如果理论上认为如果理论上认为x与与y之间的关系不仅是正的，而且是之间的关系不仅是正的，而且是统计上显著的，那么所建立的回归方程也应该如此统计上显著的，那么所建立的回归方程也应该如此n在不良贷款与贷款余额的回归中，二者之间为正的线性关在不良贷款与贷款余额的回归中，二者之间为正的线性关系，而且，对回归系数的系，而且，对回归系数的t检验结果表明二者之间的线性关检验结果表明二者

6、之间的线性关系是统计上显著的系是统计上显著的1037895. 01回归模型在多大程度上解释了因变量回归模型在多大程度上解释了因变量y y取值的差取值的差异？可以用判定系数异？可以用判定系数R R2 2来回答这一问题来回答这一问题n在不良贷款与贷款余额的回归中，得到的在不良贷款与贷款余额的回归中，得到的R R2 2=71.16%=71.16%，解释了不良贷款变差的解释了不良贷款变差的2/32/3以上，以上，说明拟合的效果还算不错说明拟合的效果还算不错考察关于误差项考察关于误差项 的正态性假定是否成立。因为的正态性假定是否成立。因为我们在对线性关系进行我们在对线性关系进行 检验和回归系数进行检验和

7、回归系数进行时，都要求误差项时，都要求误差项 服从正态分布，否则，我服从正态分布，否则，我们所用的检验程序将是无效的。们所用的检验程序将是无效的。 正态性的简单正态性的简单方法是画出残差的直方图或正态概率图方法是画出残差的直方图或正态概率图计量单位的讨论，因果模型的特征计量单位的讨论，因果模型的特征Excel输出的部分回归结果输出的部分回归结果R2） 残差分析残差分析1 用残差证实模型的假定用残差证实模型的假定2 用残差检测异常值和有影响的观测用残差检测异常值和有影响的观测值值残差图残差图(residual plot)表示残差的图形表示残差的图形n关于关于x的残差图的残差图n关于关于y的残差图

8、的残差图n标准化残差图标准化残差图用于判断误差用于判断误差 的假定是否成立的假定是否成立 检测有影响的观测值检测有影响的观测值残差图残差图(形态及判别形态及判别)残差图残差图(例题分析例题分析)不良贷款对贷款余额回归的残差图不良贷款对贷款余额回归的残差图-4-2024680100200300400贷款余额(x)残差标准化残差标准化残差(standardized residual)w 残差除以它的标准差后得到的数值。计算公式为n sei是第i个残差的标准差，其计算公式为 iiieiieiesyysez22)()(111xxxxnshssiiyiyei标准化残差图标准化残差图w 用以直观地判断误差

9、项服从正态分布用以直观地判断误差项服从正态分布这一假定是否成立这一假定是否成立 n若假定成立，标准化残差的分布也应服从若假定成立，标准化残差的分布也应服从正态分布正态分布n在标准化残差图中，大约有在标准化残差图中，大约有95%的标准的标准化残差在化残差在-2到到+2之间之间 标准化残差图标准化残差图(例题分析例题分析)不良贷款对贷款余额回归的不良贷款对贷款余额回归的标准化残差图标准化残差图-2-1012340100200300400贷款余额标准化残差异常值异常值如果某一个点与其他点所呈现的趋势不相吻合，这个点就有可能是异常点，或称为野点.n如果异常值是一个错误的数据，比如记录错误造成如果异常值

10、是一个错误的数据，比如记录错误造成的，应该修正该数据，以便改善回归的效果的，应该修正该数据，以便改善回归的效果n如果是由于模型的假定不合理，使得标准化残差偏如果是由于模型的假定不合理，使得标准化残差偏大，应该考虑采用其他形式的模型，比如非线性模大，应该考虑采用其他形式的模型，比如非线性模型型n如果完全是由于随机因素而造成的异常值，则应该如果完全是由于随机因素而造成的异常值，则应该保留该数据保留该数据在处理异常值时，若一个异常值是一个有效的观测值，不应轻易地将其从数据集中予以剔除. 异常值异常值识别识别异常值也可以通过标准化残差来识别如果某一个观测值所对应的标准化残差较大，就可以识别为异常值一般

11、情况下，当一个观测值所对应的标准化残差小于-2或大于+2时，就可以将其视为异常值有影响的观测值有影响的观测值如果某一个或某一些观测值对回归的结果有强烈的影响，那么该观测值或这些观测值就是有影响的观测值 一个有影响的观测值可能是n一个异常值，即有一个值远远偏离了散点一个异常值，即有一个值远远偏离了散点图中的趋势线图中的趋势线n对应一个远离自变量平均值的观测值对应一个远离自变量平均值的观测值n或者是这二者组合而形成的观测值或者是这二者组合而形成的观测值 有影响的观测值图示有影响的观测值图示存在一个有影响观测值的散点图存在一个有影响观测值的散点图024681012010203040 xy不存在影响值

12、的趋势有影响的观测值存在影响值的趋势一、变量间关系的种类一、变量间关系的种类二、相关系数的计算、评价及检验二、相关系数的计算、评价及检验三、回归模型、回归方程、估计回归方程的概三、回归模型、回归方程、估计回归方程的概念，回归方程参数的最小二乘估计念，回归方程参数的最小二乘估计四、判定系数、估计标准误差的四、判定系数、估计标准误差的 计算，及线性关系检验及计算，及线性关系检验及 回归系数的检验回归系数的检验五、回归分析结果的评价五、回归分析结果的评价26利用回归方程进行估计和预测根据自变量 x 的取值估计或预测因变量 y的取值估计或预测的类型n点估计wy 的平均值的点估计wy 的个别值的点估计n

13、区间估计wy 的平均值的置信区间估计wy 的个别值的预测区间估计27利用回归方程进行估计和预测（点估计）0 y28 y 的平均值的点估计的平均值的点估计n利用估计的回归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的平均值的一个估计值E(y0) ，就是平均值的点估计n在前面的例子中，假如我们要估计人均国民收入为2000元时，所有年份人均消费金额的的平均值，就是平均值的点估计。根据估计的回归方程得)(98.1160200052638. 022286.540元y29 y 的个别值的点估计的个别值的点估计0 y)(57.7127 .125052638. 022286.540元y30点估

14、计不能给出估计的精度，点估计值与实际值之间是有误差的，因此需要进行区间估计对于自变量 x 的一个给定值 x0，根据回归方程得到因变量 y 的一个估计区间区间估计有两种类型n置信区间估计n预测区间估计31参数最小二乘估计量的协方差分析均是无偏估计均是正态分布协方差32 y 的平均值的置信区间估计的平均值的置信区间估计 n利用估计的回归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的平均值E(y0)的估计区间 ，这一估计区间称为置信区间置信区间1. E(y0) 在1-置信水平下的置信区间为niiyxxxxnSnty1220201)2(33827.341603473077.9867 .

15、125013195.14201. 257.7122【例】【例】根据前例，求出人均国民收入为1250.7元时，人均消费金额95%的置信区间 解：根据前面的计算结果 712.57，Sy=14.95， t(13-2)2.201，n=13置信区间为:0 y0 y34 y 的个别值的预测区间估计的个别值的预测区间估计 n利用估计的回归方程，对于自变量 x 的一个给定值 x0 ，求出因变量 y 的一个个别值的估计区间，这一区间称为预测区间预测区间 1. y0在1-置信水平下的预测区间为niiyxxxxnSnty12202011)2(35827.341603473077.9867 .1250131195.1

16、4201. 257.7122 【例】【例】根据前例，求出1990年人均国民收入为1250.7元时，人均消费金额的95%的预测区间 解：根据前面的计算结果有 712.57，Sy=14.95，t(13-2)2.201，n=13 置信区间为0 y0 y36影响区间宽度的因素1. 置信水平 (1 - )n区间宽度随置信水平的增大而增大2. 数据的离散程度 (s)n区间宽度随离散程度的增大而增大3. 样本容量n区间宽度随样本容量的增大而减小4. 用于预测的 xp与x的差异程度n区间宽度随 xp与x 的差异程度的增大而增大37置信区间、预测区间、回归方程xy1038多元线性回归1 多元线性回归模型多元线性

17、回归模型 2 回归方程的拟合优度回归方程的拟合优度3 显著性检验显著性检验39学习目标1.回归模型、回归方程、估计的回归方程回归模型、回归方程、估计的回归方程2.回归方程的拟合优度回归方程的拟合优度3.回归方程的显著性检验回归方程的显著性检验 4.用用 Excel 进行回归分析进行回归分析40 目的要求 :1.掌握多元线性回归模型的概念掌握多元线性回归模型的概念 2. 掌握多元线性回归模型的最小二乘估计掌握多元线性回归模型的最小二乘估计 3.掌握多元线性回归模型的最小二乘估计量掌握多元线性回归模型的最小二乘估计量的统计性质的统计性质 4.掌握多元线性回归模型的统计检验掌握多元线性回归模型的统计

18、检验 5.会用多元线性回归模型分析简单经济问题会用多元线性回归模型分析简单经济问题41多元回归分析模型多元回归分析模型y = 0 + 1x1 + 2x2 + . . . kxk + u01 12211110111,1iiik ikiknnnkknyxxxyxxyxyxxy x 42与简单回归的相似点与简单回归的相似点 0 仍然是截距 1 到 k 都成为斜率参数 u 仍然是误差项（或称扰动项）仍然需要做一个条件期望为0的假设，现在假设：E(u|x1，x2， ，xk) = 0 仍然最小化残差的平方和43 现实经济问题是复杂的，用一个解释变量去说明往往是不够的。随着解释变量数目的增多，由一元线性回归

19、模型可以引申出多元线性回归模型。我们可以将多元线性回归模型用如下方式表述： 假定因变量Y与解释变量X1，X2 ，Xk具有线性关系，它们之间的线性模型可表示为：Yi= 0+ 1X1+ 2X2+k Xk +uiX X经济学看：44例：例：商品的需求量商品的需求量Q Q，不仅取决价格，不仅取决价格P P，还取决收入，还取决收入Y Y、其它商品的价格其它商品的价格P P1 1等因素。如果用线性回归模型表示等因素。如果用线性回归模型表示：uYPQP13210这就是一个多元（三元）线性回归模型为了简化起见，以下将考察多元线性回归模型的特例，即二元线性回归模型。451 多元线性回归模型多元回归模型与回归方程

20、多元回归模型与回归方程估计的多元回归方程估计的多元回归方程参数的最小二乘估计参数的最小二乘估计46多元回归模型与回归方程47多元回归模型 (multiple regression model)一个因变量与两个及两个以上自变量的回归描述因变量 y 如何依赖于自变量 x1 ， x2 ， xp 和误差项 的方程，称为多元回归模型涉及 p 个自变量的多元回归模型可表示为ipipiixxxy2211048多元回归模型(基本假定) 误差项是一个期望值为0的随机变量，即E()=0对于自变量x1，x2，xp的所有值，的方差2都相同误差项是一个服从正态分布的随机变量，即N(0, 2)，且相互独立49多元回归方程

21、 (multiple regression equation)描述因变量 y 的平均值或期望值如何依赖于自变量 x1， x2 ，xp的方程多元线性回归方程的形式为 E( y ) = 0+ 1 x1 + 2 x2 + p xp50二元回归方程的直观解释22110 xxy22110)(xxyE51估计的多元回归方程52估计的多元回归的方程(estimated multiple regression equation)p,210p,210ppxxxy22110p,210p,210y 用样本统计量 估计回归方程中的 参数 时得到的方程由最小二乘法求得一般形式为53参数的最小二乘估计54参数的最小二乘法最小niiniipeyyQ1212210) (),(), 2 , 1(00000piQQiiip,21055参数的最小二乘法(例题分析)56 二元线性回归模型 一、 模型的估计 Y= 0+ 1X1+ 2X2+u 1.四种关系式: (1) Yi= 0+ 1X1i+ 2X2i+ui (真实或总体关系式) (2) E(Yi)