统计学课件相关与回归分析PPT学习教案

1、会计学1 统计学课件相关与回归分析统计学课件相关与回归分析 2021-8-122 第八章 相关与回归分析 第一节 相关与回归分析的基本概念 第三节 一元线性回归分析 第四节 多元线性回归分析 【学习目标】通过对本章的学习，重点掌握回归分析的估 计和检验方法；掌握相关分析的种类及三种相关系数的计算方 法；在此基础上能够运用相关分析和回归分析的基本方法解释 实际社会经济问题。重点与难点：相关系数的计算及其检验； 多元线性回归分析。 第五节 非线性回归分析 第二节 相关分析 第1页/共92页 2021-8-123 第一节 相关与回归分析的基本概念 （一）函数关系 一、相关关系与函数关系 第八章 相关

2、与回归分析 函数关系是指现象之间存在着严格的依存关系 ，亦即当其它条件不变时，对于某一自变量或几个 自变量的每一数值，都有因变量的一个的确定值与 之相对应，并且这种关系可以用一个确定的数学表 达式反映出来。 第2页/共92页 2021-8-124 第一节 相关与回归分析的基本概念 （二）统计关系 一、相关关系与函数关系 第八章 相关与回归分析 统计关系不同于函数关系，当重复观测时，观测点 不是完全落在统计关系曲线上，而是围绕统计关系 曲线散布。统计关系可以表示为确定部分和随机性 部分二者之和，这是回归分析的基础。 相关关系 因果关系 第3页/共92页 2021-8-125 案例分析 相关关系与

3、因果关系 一家研究机构有一项惊 人的发现：统计数据显 示，脚长的儿童拼写能 力比脚短的儿童强。 原来他们调查的是 一群年龄不同的儿 童，脚长的儿童比 脚短的儿童年龄大 ！ 赶快回去量一下儿子的脚长 我要把脚拉长一点！ 第4页/共92页 2021-8-126 按涉及变量的多少分为 按照表现形式不同分为 按照变化方向不同分为 直线相关 曲线相关 负相关 正相关 复相关 单相关 偏相关 第八章 相关与回归分析 第5页/共92页 2021-8-127 4. 按相关的程度分为 5.按变量之间因果 关系的方向分为 完全相关 不完全相关 不相关 双向因果相关 单向因果相关 虚假相关 第八章 相关与回归分析

4、第6页/共92页 2021-8-128 第一节 相关与回归分析的基本概念 第八章 相关与回归分析 三、相关分析与回归分析 回归分析是关于研究一个叫做因变量的变量对另一个或多个叫做解释变量的依赖关系。 相关分析是测度两个变量之间的线性关联度的，并用一些指数(相关系数)表示相关程度。 第7页/共92页 2021-8-129 第一节 相关与回归分析的基本概念 第八章 相关与回归分析 三、相关分析与回归分析 q相关分析中x与y对等，回归分析中x与y要 确定自变量和因变量； q相关分析中x、y均为随机变量，回归分析 中只有y为随机变量； q相关分析测定相关程度和方向，回归分析 用回归模型进行预测和控制。

5、 区别： 第8页/共92页 2021-8-1210 第一节 相关与回归分析的基本概念 第八章 相关与回归分析 三、相关分析与回归分析 联系： q 相关分析是回归分析的基础和前提。 q 回归分析是相关分析的深入和继续。 第9页/共92页 2021-8-1211 第一节 相关与回归分析的基本概念 第八章 相关与回归分析 四、相关表与相关图 (一) 简单相关表 将某一变量按其取值的大小排列，然后再将与其相关的另一变量的对应值平行排列，便得到简单的相关表。 第10页/共92页 2021-8-1212 第一节 相关与回归分析的基本概念 第八章 相关与回归分析 企业编号企业编号月产量（千吨）月产量（千吨）

6、X生产费用生产费用(万元万元)Y 1 2 3 4 5 6 7 8 1.2 2.0 3.1 3.8 5.0 6.1 7.2 8.0 62 86 80 110 115 132 135 160 八个同类工业企业的月产量与生产费用 第11页/共92页 2021-8-1213 第一节 相关与回归分析的基本概念 第八章 相关与回归分析 四、相关表与相关图 (二) 分组相关表 单变量分组表 双变量分组表 三变量分组表。 第12页/共92页 2021-8-1214 第一节 相关与回归分析的基本概念 第八章 相关与回归分析 1. 单变量分组表 表 某纺织厂工人看管织机台数和时劳动生产率相关表 第13页/共92页

7、 2021-8-1215 第一节 相关与回归分析的基本概念 第八章 相关与回归分析 2. 双变量分组表 表居住时间与对百货商场的熟悉程度的双变量分组表 第14页/共92页 2021-8-1216 第一节 相关与回归分析的基本概念 第八章 相关与回归分析 3. 三变量分组表 假定对于某项私家车购买意向的调查，最初以教育水平和私家车拥有情况进行分析，对1000人调查的结果用二维列联表表示如： 第15页/共92页 2021-8-1217 第一节 相关与回归分析的基本概念 第八章 相关与回归分析 3. 三变量分组表 表教育程度和私家车拥有状况的双变量分析 第16页/共92页 2021-8-1218 第

8、八章 相关与回归分析 从上表中可以看出，文化程度越高的人拥有私家车的比例越 高，这和实际情况不太相符，于是我们引入收入变量，作三变 量的交叉列表分析： 教育程度、收入与私家车拥有状况的三变量分析 私家车拥有状私家车拥有状 况况 收入水平收入水平 低收入低收入高收入高收入 教育程度教育程度教育程度教育程度 本科及以上本科及以上本科以下本科以下本科及以上本科及以上本科以下本科以下 有有 没有没有 20% （20） 80% （80） 20% （140） 80% （560） 40% （60） 60% （90） 40% （20） 60% （30） 列合计列合计100%100%100%100% 被调查者人

9、数被调查者人数10070015050 第17页/共92页 2021-8-1219 正 相 关 负 相 关 曲线相关 不 相 关 x y x y x y x y 第八章 相关与回归分析 （三）相关图 第18页/共92页 2021-8-1220 第八章 相关与回归分析 第二节 相关分析 一、简单相关系数及其检验 (一) 简单相关系数的定义 简单相关系数简称相关系数，是测量两个变量之间线性 相关的方向和程度的指标。 总体相关系数的表达式为： YDXD YXCov, 式中： YXCov, 为变量X与变量Y的协方差 XD YD 为变量Y的方差 为变量X的方差 第19页/共92页 2021-8-1221

10、第八章 相关与回归分析 第五节 相关分析 一、简单相关系数及其检验 (一) 简单相关系数的定义 r 样本相关系数 是总体相关系数的估计值。 2 2 yyxx yyxx r 简单相关系数通常采用下面的计算公式： 22 2 2 )()(yynxxn yxxyn r 第20页/共92页 2021-8-1222 相关系数r的取值范围： r0 为正相关，r 0 为负相关； |r|=0 表示不存在关系； |r|1 表示完全相关； |r| 0.4 为低度线性相关； 0.4 |r| 0.7为显著性线性相关； 0.7|r| 1.0为高度显著性线性相关。 第八章 相关与回归分析 第21页/共92页 2021-8-

11、1223 第八章 相关与回归分析 第五节 相关分析 一、简单相关系数及其检验 (二)简单相关系数的检验 样本相关系数的检验有两种方法： 直接检验法， 检验法。 t 第22页/共92页 2021-8-1224 提出假设：0:0: 10 HH 目的检验两变量间线性相关性是否显著 步 骤 构造检验统计量： )2(12 2 ntrnrt 第八章 相关与回归分析 第23页/共92页 2021-8-1225 根据给定的显著性水平，确定临界值 ；2 t 计算检验统计量并做出决策。 2 2 ntt 确定原假设的拒绝规则: 2 2 ntt 步 骤 第八章 相关与回归分析 第24页/共92页 2021-8-122

12、6 第八章 相关与回归分析 2 0.025 2 0 0.97 8210.9710.29 10.29262.447 t ttnt H 有： 拒绝，表示总体的两变量间线性相关性显著。 0 0 ：H 0:0: ,05.0,97.0, 8 10 HH rn 提出假设： 则解：已知 当 成立时，则统计量 )2(12 2 ntrnrt 第25页/共92页 2021-8-1227 第八章 相关与回归分析 第五节 相关分析 二、复相关系数 复相关系数是测量一个变量与其它多个变量之间线性相关 程度的指标。 为了测定一个变量y与其它多个变量 之 间的相关系数，可以考虑构造一个关于的线性组合，通过计 算该线性组合与

13、之间的简单相关系数作为变量与之间的复相 关系数。具体计算过程如下： k xxx, 21 k xxx, 21 第一步，用 y 对作回归，得 kk xxy 110 第26页/共92页 2021-8-1228 第八章 相关与回归分析 第五节 相关分析 ； y 第二步，计算 y 和 的简单相关系数，此简单相关系数即为y与 之间的复相关系数。 k xxx, 21 22 yyyy yyyy R 2 2 2 yy yy R 复相关系数的计算公式为： 第27页/共92页 2021-8-1229 第八章 相关与回归分析 第五节 相关分析 二、复相关系数 ； 复相关系数与简单相关系数的区别是简单相关系数的 取值范

14、围是-1,1，而复相关系数的取值范围是0,1。这 是因为，在两个变量的情况下，回归系数有正负之分， 所以在研究相关时，也有正相关和负相关之分；但在多 个变量时，偏回归系数有两个或两个以上，其符号有正 有负，不能按正负来区别，所以复相关系数也就只取正 值。 第28页/共92页 2021-8-1230 第八章 相关与回归分析 当两个变量同时受其它变量影响时，有必要研究当控 制其它变量不变时，该两个变量之间的相关关系。这种相 关关系被称为偏相关关系。 第五节 相关分析 三、偏相关系数 ； 计算偏相关系数的原因在于任何两个变量这间的相关 关系都可能受其余变量的影响。要考察两个变量之间的纯 相关关系，必

15、须排除其余变量的影响，或者说必须使其余 变量保持不变。 第29页/共92页 2021-8-1231 第八章 相关与回归分析 第五节 相关分析 三、偏相关系数 偏相关系数的计算是以回归分析为基础的。以三个变量的 情形为例，此种情况下，的偏相关系数有三个，分别记作 3 .12 r 2 .13 r 1 .23 r 1 x 3 .12 r 3 x 2 x为与之间的相关系数； 保持不变时， 、 和 之间的相关系数； 1 x 2 .13 r 2 x与为保持不变时，之间的相关系数； 3 x 为 1 .23 r 2 x 3 x 1 x与 保持不变时，之间的相关系数； 第30页/共92页 2021-8-1232

16、 第八章 相关与回归分析 第五节 相关分析 uxx 3101 计算残差 3101 xxu u 3 x 1 x此时中不再含有对的影响。 2 x 3 x 第二步，求对的回归估计式 vxx 3102 计算残差 3102 xxv v 3 x 2 x 此时中不再含有 对的影响。 第一步，求对的回归估计式 1 x 3 x 第31页/共92页 2021-8-1233 第八章 相关与回归分析 第五节 相关分析 u v 第三步，计算和 的简单相关系数 u 3 x u v 3 x 1 x 2 x 由于 和中都不再包含的影响，因此和 的简单相关系数就是保持不变时，与之间的相关系数。 v 22 3 .12 vu vu

17、 r 所以偏相关系数 第32页/共92页 2021-8-1234 第八章 相关与回归分析 第五节 相关分析 三、偏相关系数 可以证明， 231312 2 22 2 11 rrrxxxxvu 2 13 2 11 2 1rxxu 2 23 2 22 2 1rxxv 2 23 2 13 231312 3 .12 11rr rrr r 第33页/共92页 2021-8-1235 第八章 相关与回归分析 第五节 相关分析 三、偏相关系数 类似的 2 23 2 12 231213 2 .13 11rr rrr r 2 21 2 13 211323 1 .23 11rr rrr r 当变量个数多于3个时，求

18、偏相关系数的原则不变，即 应先排除其余变量对所考察两个变量的影响，然后求这两 个变量之间的简单相关系数。只是变量越多，数学处理以 及偏相关系数的表达式就越复杂。 第34页/共92页 2021-8-1236 第二节 一元线性回归分析 第八章 相关与回归分析 一、一元线性回归分析随机误差项的基本假定 在回归分析中，最简单最基本的单方程模型为一元线性 回归模型。 一元线性回归分析的总体回归模型为： iii uxy 10 为常数项或截距项， 为斜率系数 , 是随机误差 项,又称随机干扰项 。 第35页/共92页 2021-8-1237 第二节 一元线性回归分析 第八章 相关与回归分析 一、一元线性回归

19、分析随机误差项的基本假定 第二，模型的设定误差。 在线性回归模型中加入随机误差项是基于以下原因： 第一，模型不可能包含所有的解释变量。 第三，测量误差的影响。 第四，其他随机因素的影响。 第36页/共92页 2021-8-1238 第二节 一元线性回归分析 第八章 相关与回归分析 一、一元线性回归分析随机误差项的基本假定 线性回归模型由两部分构成，确定性部分和随机性部 分， 为确定性部分，称为对于给定值的期望值 ，可以写为： 上式被称为总体线性回归方程。 第37页/共92页 2021-8-1239 第二节 一元线性回归分析 第八章 相关与回归分析 一、一元线性回归分析随机误差项的基本假定 满足

20、以下假定的线性回归模型称为古典（或经典）线性回归模型 假定1：回归模型是正确设定的 假定2：解释变量是非随机的 假定3：随机误差项的均值为零 假定4：随机误差项的方差为一个不变的常数（等方差假定） 假定5：随机误差项的观测值互不相关（非序列相关假定） 假定6：解释变量与随机误差项不相关 假定7：随机误差项服从正态分布 假定8：没有一个解释变量是其他任何解释变量的完全线性组合 （无多重共线性假定，只适用于多元线性回归模型） 第38页/共92页 2021-8-1240 第二节 一元线性回归分析 第八章 相关与回归分析 二、一元线性回归模型的估计 最小二乘法的意义在于使 为了得到这些估计值而最为广泛

21、使用的方法就是普通最小二乘法 xy 10 为样本回归方程。 2 10 2 iiii xyyyQ 达到最小来确定 0 1 、 一般用 0 1 、 分别表 分别表示参数的估计 iii yye 称为回归残差 第39页/共92页 2021-8-1241 bxay bxay 残差(Residual): eyy 第40页/共92页 2021-8-1242 第二节 一元线性回归分析 第八章 相关与回归分析 二、一元线性回归模型的估计 0) (2 10 0 ii xy Q 0) (2 10 1 iii xxy Q 根据微积分的极值定理，对 求相应于 、 的偏 导数，并令其等于0，即可求得 ： Q 0 1 xy

22、 n x n y xxn yxxyn 110 22 1 )( 第41页/共92页 2021-8-1243 r0 r0 r=0 b0 b0 b=0 x y y x S S rb S S br; 第八章 相关与回归分析 第42页/共92页 2021-8-1244 第二节 一元线性回归分析 第八章 相关与回归分析 二、一元线性回归模型的估计 样本回归直线具有下述性质： 第一、它通过 y 和 x 的样本平均数 和 确定的那一点； 第二、 的平均值和 的平均值相等； 第三、残差的平均值是零； 第四、残差和 不相关； 第五、残差与x不相关。 y x i y i y i y 第43页/共92页 2021-8

23、-1245 9520. 0,9757. 0 2 rr ,55086,37887 ,625,916,16 2 xxy yxn由计算表知 xy 10 第八章 相关与回归分析 第44页/共92页 2021-8-1246 序号序号 能源消耗量能源消耗量 （十万吨）（十万吨）x 工业总产值工业总产值 （亿元）（亿元）y x2y2xy 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 35 38 40 42 49 52 54 59 62 64 65 68 69 71 72 76 24 25 24 28 32 31 37 40 41 40 47 50 49 51 48 58 12

24、25 1444 1600 1764 2401 2704 2916 3481 3844 4096 4225 4624 4761 5041 5184 5776 576 625 576 784 1024 961 1369 1600 1681 1600 2209 2500 2401 2601 2304 3364 840 950 960 1176 1568 1612 1998 2360 2542 2560 3055 3400 3381 3621 3456 4408 合计合计91662555086 26175 3788 7 第45页/共92页 2021-8-1247 第八章 相关与回归分析 5142. 6

25、 16 916 7961. 0 16 625 7961. 0 9165508616 6259163788716 10 22 2 1 xy xxn yxxyn xy7961.05142.6 第46页/共92页 2021-8-1248 第二节 一元线性回归分析 第八章 相关与回归分析 二、一元线性回归模型的估计 在回归分析中，不要试着对常数项进行解释，原因有两点： 首先，随机误差项部分地是由于忽略了许多边缘自 变量而生成的，这些变量的平均效应被置于常数项中。 其次，常数项是当所有自变量与误差项为0时，因变 量的值，但是自变量与随机误差项的值几乎从不等于 0，因为用作经济分析的变量通常是正的。 第4

26、7页/共92页 2021-8-1249 第二节 一元线性回归分析 第八章 相关与回归分析 二、一元线性回归模型的估计 2. 大样本性质 无偏性 (二)一元线性回归模型最小二乘估计量的性质 1. 小样本性质 线性 有效性 渐近无偏性 一致性 第48页/共92页 2021-8-1250 第二节 一元线性回归分析 第八章 相关与回归分析 三、一元线性回归模型的拟合程度分析 (一)一元线性回归模型的判定系数 iiii yyyyyy 第49页/共92页 2021-8-1251 第八章 相关与回归分析 y y yy yy yy 2 )(TyySS 2 ) (RyySS 2 ) ( EyySS 剩余离差平方

27、和 回归离差 平方和 总离差平方和 第50页/共92页 2021-8-1252 第二节 一元线性回归分析 第八章 相关与回归分析 三、一元线性回归模型的拟合程度分析 可以证明，对上式两边分别平方加总后等式仍然成立，即： (一)一元线性回归模型的判定系数 222 )()()( iii yyyyyy 可简写为： TSSESSRSS 第51页/共92页 2021-8-1253 第二节 一元线性回归分析 第八章 相关与回归分析 三、一元线性回归模型的拟合程度分析 判定系数测度了回归直线对观测数据的拟合程度,记为 (一)一元线性回归模型的判定系数 2 R 2 2 2 2 2 )( ) ( 1 )( )(

28、 yy yy yy yy R 第52页/共92页 2021-8-1254 2222 )()( yynxxn yxxyn r 判定系数与相关系数的关系 2 )(rbr的符号 )()( )( 2222 2 2 yynxxn yxxyn r 第八章 相关与回归分析 第53页/共92页 2021-8-1255 q判定系数无方向性，相关系数则有方 向，其方向与样本回归系数 b 相同； q判定系数说明变量值的总离差平方和 中可以用回归线来解释的比例，相关系 数只说明两变量间关联程度及方向； 第八章 相关与回归分析 第54页/共92页 2021-8-1256 第二节 一元线性回归分析 第八章 相关与回归分析

29、 三、一元线性回归模型的拟合程度分析 估计标准误差是指实际值与估计值的平均离差。 其定义公式如下： (二)一元线性回归模型的估计标准误 22 ) ( 22 n xybyay n yy Se 第55页/共92页 2021-8-1257 第二节 一元线性回归分析 第八章 相关与回归分析 四、一元线性回归模型的显著性检验 根据正态分布下最小二乘估计量的性质，可求出的抽样分布为： (一)回归系数的显著性检验 2 2 2 00 , xxn x N i i 2 2 11 , xx N i 回归系数的显著性检验就是要检验自变量对因变量的影响 程度是否显著的问题。若总体回归系数 ，则总体 回归线就是一条水平线

30、，说明两个变量之间 没有线性关系，即自变量的变化对因变量没 有影响。 0 1 第56页/共92页 2021-8-1258 第二节 一元线性回归分析 第八章 相关与回归分析 四、一元线性回归模型的显著性检验 （1）建立原假设 假设样本从一个没有线性关系的总体中选出，即 (一)回归系数的显著性检验 0: 10 H0: 11 H （2）计算检验统计量t值 1 1 s t 其中 ， 2 i 2 )(/xxs 2nt 2-n e 2 i 第57页/共92页 2021-8-1259 第二节 一元线性回归分析 第八章 相关与回归分析 四、一元线性回归模型的显著性检验 （4）得出检验结果 (一)回归系数的显著

31、性检验 （3）确定显著性水平(一般取0.05)，并根据自 由度 查 分布表，找出相应的临界值2nt 2/ a t ,表明自变量x对因变量y的影响是显著的。 ，拒 绝 若 2 tt 0 H ,表明自变量x对因变量y的影响是显著的。 ,拒绝若 2 tt 0 H 第58页/共92页 2021-8-1260 第二节 一元线性回归分析 第八章 相关与回归分析 四、一元线性回归模型的显著性检验 (二)回归方程总体显著性的F检验 F检验的基本步骤为： （1）建立原假设备择假设 0: 210 k H 由于备择假设和原假设是对立的，所以备择假设为： 至少有一个 i 不为0。 （2）计算F 统计量 ) 1/( )

32、 ( /)( ) 1/(R /E 2 2 knyy kyy knSS kSS F 第59页/共92页 2021-8-1261 第二节 一元线性回归分析 第八章 相关与回归分析 四、一元线性回归模型的显著性检验 在原假设成立的条件下，F 统计量服从第一个自由度为 ，第二个自由度为 的 F 分布。 k1kn 在一元回归下，F 统计量简化为： )2/( ) ( 1/)( )2/(R 1/E 2 2 nyy yy nSS SS F 第60页/共92页 2021-8-1262 第二节 一元线性回归分析 第八章 相关与回归分析 四、一元线性回归模型的显著性检验 （3）确定显著性水平a (一般取a=0.05

33、 )，并根据两个自由 度查F 分布表，得到相应的临界值 。 ，则接受原假设，说明回归方程在整体上不显著 。 F （4）得出检验结果 若 FF, 则拒绝 0 H，说明回归方程在整体上是显著的； 若 FF 第61页/共92页 2021-8-1263 第八章 相关与回归分析 多元线性回归模型的一般表示式为： 与多元线性回归模型相对应的总体回归方程为： 样本回归模型为： 第三节 多元线性回归分析 一、多元线性回归模型 (一)多元线性回归模型的矩阵表示 ikikiii uXXXY 22110 kikiii XXXYE 22110 ikikiii eXXXY 22110 样本回归方程为： kikiii X

34、XXY 22110 第62页/共92页 2021-8-1264 第八章 相关与回归分析 第三节 多元线性回归分析 假设为了得到未知参数的估计值，我们对被解释变量和解释变 量进行了n次观测，代入多元线性回归模型，可得n个随机模型 ： nknknnN kk kk uXXXY uXXXY uXXXY 22110 2222212102 1121211101 一、多元线性回归模型 (一)多元线性回归模型的矩阵表示 第63页/共92页 2021-8-1265 第八章 相关与回归分析 为了使多元线性回归分析和计算更方便、更简洁，可以用矩 阵形式表示： 第三节 多元线性回归分析 nkknnn k k n u

35、u u XXX XXX XXX Y Y Y 2 1 1 0 21 22212 12111 2 1 1 1 1 一、多元线性回归模型 (一)多元线性回归模型的矩阵表示 第64页/共92页 2021-8-1266 第八章 相关与回归分析 第三节 多元线性回归分析 定义 n Y Y Y 2 1 Y knnn k k XXX XXX XXX 21 22212 12111 1 1 1 X k 1 0 n u u u 2 1 u 依照矩阵运算法则，上式可表示为： uXY 类似的，定义 eXY XY 第65页/共92页 2021-8-1267 第八章 相关与回归分析 我们把基本假定用矩阵的形式表示出来： 第

36、三节 多元线性回归分析 一、多元线性回归模型 (二)多元线性回归模型的基本假定 1.零均值假定可以表示为 ： 0uE n uE uE uE 2 1 第66页/共92页 2021-8-1268 第八章 相关与回归分析 第三节 多元线性回归分析 2. 同方差和无序列相关可以表示为： nnn n n uuuuu uuuuu uuuuu var,cov,cov ,covvar,cov ,cov,covvar cov 21 2212 1211 u 2 21 2 2 212 121 2 1 , , , cov nnn n n uEuuEuuE uuEuEuuE uuEuuEuE u 2 2 2 00 00

37、 00 第67页/共92页 2021-8-1269 第八章 相关与回归分析 4.解释变量与随机误差项不相关假定可表示为： 或 第三节 多元线性回归分析 3. 随机误差项服从正态分布可以表示为： I0u 2 ,N 0uXE 0 11 iki ii i iki i i EuX EuX Eu uX uX u E 解释变量之间不存在多重共线性可表示为： 1 krank X X 1krankXX 0 X X 如果上成立， 至少有k+1阶子式不为零，表明解释变量之间 也就是要求系数行列式 1 krank X不存在线性相关关系。 等价于 第68页/共92页 2021-8-1270 第八章 相关与回归分析 由

38、样本回归模型 和样本回归方程 ，可 得残差向量为： 第三节 多元线性回归分析 二、多元线性回归模型的估计 (一)参数的普通最小二乘估计 eXY XY YYe XYXYee 2 i e XXXYYXYY XXYX2YY 对上式两边分别对 求一阶导数，并令一阶偏导数为零，得 0XX2YX2 ee 由假定 0 X X，可以得到参数估计量为： YXXX 1 第69页/共92页 2021-8-1271 第八章 相关与回归分析 第三节 多元线性回归分析 二、多元线性回归模型的估计 (一)参数的普通最小二乘估计 对上式两边分别对 求一阶导数，并令一阶偏导数为零，得 0XX2YX2 ee 由假定0 X X，可

39、以得到参数估计量为： YXXX 1 第70页/共92页 2021-8-1272 第八章 相关与回归分析 第三节 多元线性回归分析 二、多元线性回归模型的估计 (二)参数普通最小二乘估计量的性质和分布 在多元线性回归条件下，参数的最小二乘估计仍然具有线性 、 无偏性和最小方差性。 由于 YXXX 1 ,可以看出 具有线性特性， 稍加变换，它还是u的线性组合。 uXXX 1 EE uEXXX 1 由此可见是无偏的。 第71页/共92页 2021-8-1273 第八章 相关与回归分析 在无偏性的基础上，我们可以得到 的方差-协方差矩阵 ： 第三节 多元线性回归分析 二、多元线性回归模型的估计 (二)

40、参数普通最小二乘估计量的性质和分布 var E 11 XXXuuXXXE 11 XXXuuEXXX 1 2 1 XXXIXXX 1 2 XX 第72页/共92页 2021-8-1274 第八章 相关与回归分析 第三节 多元线性回归分析 二、多元线性回归模型的估计 (二)参数普通最小二乘估计量的性质和分布 uu 由于的线性组合，而假定是服从正态分布的，所以 也是服从正态分布的，即 1 2 , X XN u 2 由于是不可观测的，所以其方差没有办法计算出来， 1 2 kn ee 因此 的方差-协方差矩阵的估计值为： 1 2 XXrva 是 只能进行估计。可以证明： 第73页/共92页 2021-8

41、-1275 第八章 相关与回归分析 在多元线性回归模型中，总平方和仍可分解为回归平方和 和残差平方和 . 第三节 多元线性回归分析 三、多元线性回归模型的检验 (一)拟合优度检验 三个平方和的矩阵表示分别为： 2 1 2 YnYYTSS n i i YY 2 1 2 YnYYESS n i i YY n i i eRSS 1 2 YXYYee 第74页/共92页 2021-8-1276 第八章 相关与回归分析 多元线性回归判定系数仍表示为回归平方和与总平方和之比， 即 第三节 多元线性回归分析 三、多元线性回归模型的检验 (一)拟合优度检验 TSS RSS TSS ESS R1 2 调整的判定

42、系数 定义为： 2 R 1/ 1/ 1 2 nTSS knRSS R 第75页/共92页 2021-8-1277 第八章 相关与回归分析 在一元线性回归中，总体回归方程的显著性 检验和斜率参数的显著性检验是等价的，这可以 从两类检验的原假设上得到说明。但在多元线性 回归中，由于存在多个解释变量，参数的显著性 检验不再等价于总体回归方程的显著性检验。 第三节 多元线性回归分析 三、多元线性回归模型的检验 (二)总体回归方程的显著性检验 第76页/共92页 2021-8-1278 第八章 相关与回归分析 第一步，计算检验统计量 第三节 多元线性回归分析 三、多元线性回归模型的检验 (三)参数的显著

43、性检验 0 : 0 i H0 : 1 i H 具体作法是： iiii cN 2 , 将 i 进行标准化，标准化后的变量服从标准正态分布： 1 , 0 N c z ii ii i 第77页/共92页 2021-8-1279 第八章 相关与回归分析 ，则拒绝原假设，认为解释变量 若 第三节 多元线性回归分析 三、多元线性回归模型的检验 (三)参数的显著性检验 第二步，确定显著性水平，查表确定临界值 1 2 knt 1 2 kntti 对应变量的影响是显著的。 在原假设成立的情况下，该统计量服从个自由度的分布。1kn 2 由 于 未知，可用其估计 量 代替，由此可得到统计量： ii ii i c t

44、 2 第78页/共92页 2021-8-1280 第八章 相关与回归分析 第四节 非线性回归分析 一、非线性回归模型的定义 非线性回归分析模型的本质，取决于可否通过某种数量变换或数学变换化成线性回归模型，并从而可进行OLS估计。 非线性回归模型可以表示为： ttt ufY,X f t X其中是期望函数，是第t个自变量向量 第79页/共92页 2021-8-1281 第八章 相关与回归分析 4. S型曲线模型 第四节 非线性回归分析 二、可线性化的非线性回归模型的估计 1. 双曲线模型i i u xy 1 0 1 2. 二次多项式模型 iiii uxxy 2 210 3. 半对数和双对数模型 i

45、ii uxyln 10 iii uxylnln 10 i x i u e y i 10 1 5.其它非线性模型 ii ux i exey 10 第80页/共92页 2021-8-1282 第八章 相关与回归分析 对于不可线性化的非线性回归模型，可采用非线性最小 二乘法或非线性极大似然法进行估计。 第四节 非线性回归分析 三、不可线性化的非线性回归模型的估计 i ux i eey 10 如果只包含一个未知参数，则可写成下面的形式 对于 ufy ii ,X 相对应的残差平方和为 n i it XfyS 1 2 , 使上式达到最小的即为非线性最小二乘估计量， 第81页/共92页 2021-8-128

46、3 第八章 相关与回归分析 第四节 非线性回归分析 三、不可线性化的非线性回归模型的估计 应该满足以下条件： 0 , ,2 1 d Xdf Xfy d dS i n i ii 0 , , 1 d Xdf Xfy i n i ii 即 根据极值理论， 第82页/共92页 2021-8-1284 第八章 相关与回归分析 高斯-牛顿法的计算步骤如下： 第四节 非线性回归分析 取一阶近似值 , i Xf 0 第一步：将 在某个初值 处进行泰勒级数展开， 00 , , , 0 d Xdf XfXf i ii 第二步：令 , d Xdf z i i 0 , 0 d Xdf z i i 将第二步代入第一步得 000 , , iii zXfXf 2 1 000 , n i iii zXfyS 2 1 00 n i ii zy 第83页/共92页 2021-8-1285 第八章 相关与回归分析 第四节 非线性回归分析 三、不可线性化的非线性回归模型的估计 000 , iiii zXfyy iii uzy 00 1 第三步：对上面模型进行最小二乘估计，得到 的第一步估计值(第一次迭代值) 1 0 第四步：用 代替第一步中的 直到收收敛为止。 ，重复一至四步， 第84页/