第九章 回归与相关分析

1、第九章第九章 回归与相关分析回归与相关分析学习目标1. 1. 变量间的相关关系与相关系数的计算变量间的相关关系与相关系数的计算2. 2. 总体回归函数与样本回归函数总体回归函数与样本回归函数3. 3. 线性回归的基本假定线性回归的基本假定4. 4. 简单线性回归参数的估计与检验简单线性回归参数的估计与检验实例实例1: 1:中国妇女生育水平的决定因素是什么中国妇女生育水平的决定因素是什么? ?妇女生育水平除了受计划生育政策影响以外，还可能与社会、经济、文化等多种因素有关。1. 影响中国妇女生育率变动的因素有哪些？2. 各种因素对生育率的作用方向和作用程度如何？3. 哪些因素是影响妇女生育率主要的

2、决定性因素？4. 如何评价计划生育政策在生育水平变动中的作用？5. 计划生育政策与经济因素比较,什么是影响生育率的决定因素？6. 如果某些地区的计划生育政策及社会、经济、文化 等因素发生重大变化，预期对这些地区的妇女生育 水平会产生怎样的影响？ 据世界卫生组织统计，全球肥胖症患者达3亿人，其中儿童占2200万人，11亿人体重过重。肥胖症和体重超常早已不是发达国家的“专利”，已遍及五大洲。目前，全球因”吃”致病乃至死亡的人数已高于因饥饿死亡的人数。 (引自光明日报）问题: 肥胖症和体重超常与死亡人数真有显著 的数量关系吗?这些类型的问题可以运用相关分析与回归分析的这些类型的问题可以运用相关分析与

3、回归分析的方法去解决。方法去解决。实例2:全球吃死的人比饿死的人多?第一节第一节 相关与回归的基本概念相关与回归的基本概念一、变量间的相互关系变量间的相互关系二、相关关系的类型二、相关关系的类型三、相关分析与回归分析三、相关分析与回归分析 一、变量间的相互关系一、变量间的相互关系 确定性的函数关系确定性的函数关系 Y=f (X) 不确定性的统计关系相关关系相关关系 Y= f（X）+ (为随机变量) 没有关系没有关系 变量间关系的图形描述： 坐标图(散点图) 相关关系的类型相关关系的类型 从涉及的变量数量变量数量看 简单相关 多重相关（复相关） 从变量相关关系的表现形式表现形式看 线性线性相关散

4、布图接近一条直线(左图) 非线性非线性相关散布图接近一条曲线(右图)从变量相关关系变化的方向方向看正相关正相关变量同方向变化 A 同增同减 (A)(A)负相关负相关变量反方向变化 一增一减 (B)(B) B 从变量相关的程度看 完全相关 (B) 不完全相关 (A) C 不相关 (C)相关关系的类型相关关系的类型相关分析与回归分析相关分析与回归分析回归的古典意义古典意义： 高尔顿遗传学的回归概念高尔顿遗传学的回归概念 父母身高与子女身高的关系父母身高与子女身高的关系: : 无论高个子或低个子的子女无论高个子或低个子的子女 都有向人的平均身高回归的都有向人的平均身高回归的 趋势趋势回归：退回回归：

5、退回regression平均身高平均身高1877年年 弗朗西斯弗朗西斯高尔顿爵士高尔顿爵士 遗传遗传学研究学研究 回归线回归线父亲们的身高与儿子们的身高之间关系的研究n1889年年F.Gallton和他的朋友和他的朋友K.Pearson收集收集了上千个家庭的身高、臂长和腿长的记录了上千个家庭的身高、臂长和腿长的记录n企图寻找出儿子们身高与父亲们身高之间关企图寻找出儿子们身高与父亲们身高之间关系的具体表现形式系的具体表现形式n下图是根据下图是根据1078个家庭的调查所作的散点图个家庭的调查所作的散点图（略图）（略图）yx16016517017518018514015016017018019020

6、0YXxyubxay516.033.84回归的现代意义回归的现代意义一个因变量对若干解释变量依存关系的研究回归的目的目的（实质）（实质）： 由固定的自变量去估计因变量的平均值由固定的自变量去估计因变量的平均值估计因变估计因变量量平均值平均值相关分析与回归分析的联系共同的研究对象：都是对变量间相关关系的分析。只有当变量间存在相关关系时，用回归分析去寻求相关的具体数学形式才有实际意义。相关分析只表明变量间相关关系的性质和程度，要确定变量间相关的具体数学形式依赖于回归分析。相关分析中相关系数的确定建立在回归分析的基础上。第二节第二节 简单线性相关与回归分析简单线性相关与回归分析一、简单线性相关系数及

7、检验一、简单线性相关系数及检验二、总体回归函数与样本回归函数二、总体回归函数与样本回归函数三、回归系数的估计三、回归系数的估计四、简单线性回归模型的检验四、简单线性回归模型的检验 五、简单线性回归模型预测五、简单线性回归模型预测一、简单线性相关系数及检验一、简单线性相关系数及检验 总体相关系数总体相关系数 对于所研究的总体，表示两个相互联系变量相关程度 的总体相关系数为： 总体相关系数反映总体两个变量总体相关系数反映总体两个变量X X和和Y Y的线性相关程度。的线性相关程度。 特点：特点：对于特定的总体来说，X和Y的数值是既定的 总体相关系数是客观存在的特定数值。 (, )()( )Cov X

8、 YVar X Var Y 样本相关系数 通过X和Y 的样本观测值去估计样本相关系数变量X和Y的样本相关系数通常用 表示 特点：样本相关系数是根据从总体中抽取的随机样本 的观测值计算出来的，是对总体相关系数的估 计，它是个随机变量。 XYrXYrXYr_22()()()()iiXYiiXX YYrXXYY相关系数的特点： 相关系数的取值在-1与1之间。当r=0时，表明X与Y没有线性相关关系。当 时，表明X与Y存在一定的线性相关关系: 若 表明X与Y 为正相关; 若 表明X与Y 为负相关。当 时，表明X与Y完全线性相关: 若r=1，称X与Y完全正相关； 若r=-1，称X与Y完全负相关。01r0r

9、 0r 1r 使用相关系数的注意事项：X和Y 都是相互对称的随机变量，所以相关系数只反映只反映变量间的线性相关程度，不 能说明非线性相关关系。相关系数不能确定变量的因果关系，也不能 说明相关关系具体接近于哪条直线。XYYX相关系数的检验 为什么要检验？为什么要检验？ 样本相关系数是随抽样而变动的随机变量,相关系数的统计显著性还有待检验。检验的依据：检验的依据： 如果X和Y都服从正态分布，在总体相关系数 的假设下，与样本相关系数 r 有关的 t统计量服从自由度为n-2的 t 分布： 0221(2)tr nrtn相关系数的检验方法给定显著性水平 ，查自由度为 n-2 的临界值 若 ，表明相关系数

10、r 在统计上是显著的，应否定 而接受 的假设；反之，若 ，应接受 的假设。 2t2tt0002tt二、总体回归函数与样本回归函数二、总体回归函数与样本回归函数 若干基本概念 Y的条件分布条件分布: Y在X取某固定值条件下的分布。 对于X的每一个取值，都有Y的条件期望条件期望与之对应，在坐标图上 Y的条件期望的点随X而变化的轨迹所形成的直线或曲线，称为回归线回归线。 如果把Y的条件期望 表示为X的某种函数： , 这个函数称为回归函数回归函数。 如果其函数形式是只有一个自变量的线性函数,如 , 称为简单线性回归函数简单线性回归函数。 ()iE Y X()()iiE Y Xf X()iiE Y XX

11、总体回归函数（PRF） 概念：将总体因变量Y的条件均值表现为自变量X的某种函数，这个函数称为总体回归函数（简记为PRF）。表现形式：（1）条件均值表现形式（2）个别值表现形式（随机设定形式）()iiE Y XXiiiYXu样本回归函数（SRF）概念：概念： Y的样本观测值的条件均值随自变量X而变动的轨迹，称为样本回归线样本回归线。 如果把因变量Y的样本条件均值表示为自变量X的某种函数，这个函数称为样本回归函数样本回归函数 （简记为SRF）。表现形式：表现形式：线性样本回归函数可表示为 或者 iiiYXeiiYX 样本回归函数与总体回归函数的关系 相互联系 样本回归函数的函数形式应与设定的总体回

12、归函数的函数形式一致 。 和 是对总体回归函数参数的估计。 是对总体条件期望 的估计 残差 e 在概念上类似总体回归函数中的随机误差u。回归分析的目的：用样本回归函数去估计总体回归函数。 iY()iE Y X样本回归函数与总体回归函数的关系 相互区别 总体回归函数虽然未知，但它是确定的； 样本回归线随抽样波动而变化，可以有许多条。 样本回归线还不是总体回归线，至多只是未知总体 回归线的近似表现。 总体回归函数的参数虽未知，但是确定的常数； 样本回归函数的参数可估计，但是随抽样而变化的随机变量。 总体回归函数中的 是不可直接观测的； 而样本回归函数中的 是只要估计出样本回归的参数就可以计算的数值

13、。 iuie三、回归系数的估计三、回归系数的估计回归系数估计的思想：回归系数估计的思想：为什么只能对未知参数作估计为什么只能对未知参数作估计? ? 参数是未知的、不可直接观测的、不能精确计算的参数是未知的、不可直接观测的、不能精确计算的 能够得到的只是变量的样本观测值能够得到的只是变量的样本观测值结论结论: :只能通过变量样本观测值选择适当方法去近似只能通过变量样本观测值选择适当方法去近似 地估计回归系数。地估计回归系数。前提前提: : u u是随机变量其分布性质不确定，必须作某些是随机变量其分布性质不确定，必须作某些 假定，其估计才有良好性质，其检验才可进行。假定，其估计才有良好性质，其检验

14、才可进行。原则原则: : 使参数估计值使参数估计值“尽可能地接近尽可能地接近”总体参数真实值。总体参数真实值。简单线性回归的基本假定 假定假定1 1：零均值假定。 假定假定2 2：同方差假定。 假定假定3 3：无自相关假定。 假定4：随机扰动 与自变量 不相关。 假定假定5 5：正态性假定()0iiE u Xiu222()()()iiiiiiVar u XE uE u XE u ( ,)( )()( ,)0ijiijjijCov u uE uE uuE uE u uiX2(0,)iuN( ,)( )()0iiiiiiCov u XE uE uXE X回归系数的回归系数的最小二乘估计估计基本思想

15、： 希望所估计的 偏离实际观测值 的残差 越小越好。可以取残差平方和 作为衡量 与 偏离程度的标准最小二乘准则。估计式： iYiYie2ieiYiY22()iiiiiiNX YX YNXX_2()()()iiiXX YYXXYX 最小二乘估计的性质 高斯高斯马尔可夫定理马尔可夫定理 前提： 在基本假定满足时 最小二乘估计是因变量的线性函数线性函数 最小二乘估计是无偏估计无偏估计，即 在所有的线性无偏估计中，回归系数的最小二乘估计的方差最小方差最小。 结论：回归系数的最小二乘估计是最佳线性无偏估计最佳线性无偏估计()E()E最小二乘估计的概率分布性质最小二乘估计的概率分布性质 和和 都是服从正态

16、分布的随机变量，其都是服从正态分布的随机变量，其期望为期望为方差和标准误差为方差和标准误差为 结论：结论：()E()E2()iVarx2()iSEx22()iiXVarNx22()iiXSENx22(,)iNx22( ,)iiXNNx 的无偏估计 为什么要估计 ？ 确定所估计参数的方差需要 由于 不能直接观测， 也是未知的 对 的数值只能通过样本信息去估计。 怎样估计 ？ 可以证明 的无偏估计为： iu222ien2222222拟合优度的度量拟合优度的度量 基本思想：基本思想：样本回归直线是对样本数据的一种拟合，不同估计方法可拟合出不同的回归线。样本回归拟合优度的度量建立在对因变量总离差平方和

17、分解的基础上 总离差平方和总离差平方和 回归平方和回归平方和 残差平方和残差平方和 可决系数定义：可决系数定义：_222()()()iiiiYYYYYY222()()iiYYrYY222()1()iiiYYrYY 对可决系数的理解YXiXYiYYYiiiYY YYi222()()iiYYrYY 可决系数的特点 可决系数是非负的统计量；可决系数取值范围:可决系数是样本观测值的函数，可决系数是随抽样而变动的随机变量；在一元线性回归中，可决系数在数值上是简单线性相关系数的平方： ，201r2rr 2222()()()()iiiiXXYYrXXYY 回归系数显著性的回归系数显著性的 t t 检验检验目

18、的目的： 根据样本回归估计的结果对总体回归函数回归 系数的有关假设进行检验，以检验总体回归系数是 否等于某个特定的数值。思想思想： 是未知的，而且不一定能获得大样本，这时可用 的无偏估计 代替 去估计参数的标准误差：22()iSEx22( )iiXSENx222 回归系数显著性的回归系数显著性的 t t 检验检验( (续续) ) 用估计的参数标准误差对估计的参数作标准化变 换，所得的 t 统计量将不再服从正态分布，而是服从 t 分布： 可利用 t 分布作有关的假设检验。 (2)()tt nSE (2)()tt nSE 回归系数显著性回归系数显著性 t t 检验的方法检验的方法(1) 提出假设一

19、般假设:常用假设:(2) 计算统计量(3)给定显著性水平，确定临界值 (4) 检验结果判断 若 则拒绝原假设，而接受备择假设 若 则接受原假设 , 拒绝备择假设0:*H*1:H*0:0H1:0H2(2)tn*2(2)ttn*2(2)ttn*()( )ttSESE或回归系数显著性的回归系数显著性的P P值检验值检验P P值的意义值的意义P值的意义: 在既定原假设下计算回归系数的t统计量 ，可求得 统计量大于 的概率： 这里的 是 t 统计量大于 值的概率，是尚不能拒绝原假设 的最大显著水平，称为所估计的回归系数的P值。*t*0()P tt H*02:0H*t*t回归系数显著性的回归系数显著性的P

20、 P值检验值检验 检验方法检验方法回归系数显著性的P值检验方法: 将所取显著性水平与P值对比 所取的显著性水平 （例如取0.05）若比P值更大，就可在显著性水平 下拒绝 所取的 若小于P值，就应在显著性水平 下接受 02:0H02:0H五、简单线性回归模型预测五、简单线性回归模型预测对平均值的点预测值 ： Y的个别值置信度为1的预测区间： fYffYX_222()11fffiXXYYtnx因变量的区间预测的特点 （1）个别值的预测区间大于平均值的预测区间: Y平均值的预测值与真实平均值有误差，主要是受抽样波动影响; Y个别值的预测值与真实个别值的差异不仅受抽样波动影响，而且还受随机扰动项的影响（2）对 预测区间随 变化而变化: 时， =0，此时预测区间最窄， 越是远离 ， 越大，预测区间越宽。fYfX_FXX_2()FXXFX_X_2()FXX 因变量的区间预测的特点(续)（3）预测区间与样本容量有关：样本容量n越 大， 越大，预测误差的方差越小，预测区间也越窄。（4）当样本容量趋于无穷大（即n）时, 不存在抽样误差，平均值预测误差趋于0，此时个别值的预