相关与回归[课堂教学]

1、相关与回归相关与回归 1学校教课 两变量间的相关分析与回归分析两变量间的相关分析与回归分析 2学校教课 相关关系与确定性关系的比较相关关系与确定性关系的比较 两变量间的相关分析两变量间的相关分析直线相关分析直线相关分析 3学校教课 直线直线相关分析的基本概念相关分析的基本概念 相关分析是研究变量或变量集合之间数量协同变化关系密切相关分析是研究变量或变量集合之间数量协同变化关系密切 程度和方向的统计方法。程度和方向的统计方法。 当两个数值变量之间出现如下情况：当一个变量增大，另一当两个数值变量之间出现如下情况：当一个变量增大，另一 个也随之增大个也随之增大( (或减少或减少) )，我们称这种现象

2、为共变，也就是有，我们称这种现象为共变，也就是有 相关关系。相关关系。 若两个变量同时增加或减少，变化趋势是同向的，则两变量若两个变量同时增加或减少，变化趋势是同向的，则两变量 之间的关系为正相关之间的关系为正相关( (positive correlationpositive correlation) )；若一个变量；若一个变量 增加时，另一个变量减少，变化趋势是反向的，则称为负相增加时，另一个变量减少，变化趋势是反向的，则称为负相 关关( (negative correlationnegative correlation) )。 相关的方向相关的方向 两变量间的相关分析两变量间的相关分析直线

3、相关分析直线相关分析 4学校教课 两个两个相关关系的图示（散点图）相关关系的图示（散点图） y x 两变量间的相关分析两变量间的相关分析直线相关分析直线相关分析 5学校教课 直线直线相关分析的资料要求相关分析的资料要求 两变量间的相关分析两变量间的相关分析直线相关分析直线相关分析 6学校教课 相关系数（直线相关关系的测度）相关系数（直线相关关系的测度） 用以说明具有直线关系的两个变量间相关关系的密切程度和相关方向的指标用以说明具有直线关系的两个变量间相关关系的密切程度和相关方向的指标 ，称为相关系数（，称为相关系数（correlation coefficient），又称为积差相关系数），又称为

4、积差相关系数（ coefficient of product-moment correlation），），Pearson相关系数相关系数 。 两变量间的相关分析两变量间的相关分析直线相关分析直线相关分析 7学校教课 相关系数（直线相关关系的测度）相关系数（直线相关关系的测度） YYXX XY ll l YYXX YYXX r 22 ) )( )( )( ( )( 2 2 2 2 n Y Y n X X n YX XY r 两变量间的相关分析两变量间的相关分析直线相关分析直线相关分析 8学校教课 YYXX XX ll l YYXX YYXX r 22 相关系数没有量纲相关系数没有量纲, 且且-1

5、 r 1。当。当r0，且，且H0（=0）被拒绝时，认为两变量）被拒绝时，认为两变量 之间呈正相关关系；当之间呈正相关关系；当r0: 回归线与纵轴交点在原点上方。 a 0: 回归线与纵轴交点在原点下方。 a =0: 回归线通过原点。 o 统计学意义 a 表示自变量X取值为0时相应Y条件均数的估计值。 o a的单位与Y值相同 o当X可能取0时，a才有实际意义。 线性回归模型中参数的几何意义线性回归模型中参数的几何意义 截距截距a： 两变量间的回归分析两变量间的回归分析直线相关分析直线相关分析 35学校教课 0YabXb 0YabX b X Y 0YabX b 回归系数：回归系数： 线性回归模型中参

6、数的几何意义线性回归模型中参数的几何意义 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 b b表示自变量表示自变量X X变化一个单位时应变量变化一个单位时应变量Y Y的平均改变量。的平均改变量。 b越大，表示越大，表示Y随随X变化越快，直线越陡峭变化越快，直线越陡峭 36学校教课 o 等方差(equal variance)或标准差相等：标准差相等：对于任何X值，随机变量Y 的标准 差 Y|X相等；隐含着不论x取何值，y都具有相同的方差（对于 所有的自变量x，残差 的条件方差为 ，且为常数）。 o 独立独立 INDEPENDENCE 每一观察值之间彼此独立（在给定自变量x的条件下

7、，残差的条件期 望值为零，本假设又称零均值假设）；该条件实际上隐含着：各随机误 差项互不相关；随机误差项与相应的自变量x不相关。 o线性线性 LINEARITY： 反应变量均数 与X间呈直线关系 o 给定X时，Y正态分布(normal)： 对于任何给定的 X, Y 服从正态分布， 均数为 Y|X，标准差为 Y|X，该条件实际隐含着误差项服从正态分布（随机 误差，即残差服从均值为零，方差为的正态分布）。 线性回归模型的建模假设线性回归模型的建模假设 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 i 37学校教课 直线回归分析的步骤直线回归分析的步骤 例题例题1：某克山病区：某克山

8、病区10名健康儿童头发与全血中的硒含量名健康儿童头发与全血中的硒含量1000ppm（百万分（百万分 之一）如下，试建立发硒（之一）如下，试建立发硒（x）与血硒（）与血硒（y）之间的回归模型？）之间的回归模型？ 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 38学校教课 直线回归分析的步骤直线回归分析的步骤 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 1 绘制散点图：绘制散点图：同相关分析，即同相关分析，即 在直角坐标系内绘制散点图。在直角坐标系内绘制散点图。 若散点图呈直线趋势时，建立若散点图呈直线趋势时，建立 直线回归方程；直线回归方程； 若散点图呈曲线趋势

9、，进行曲若散点图呈曲线趋势，进行曲 线拟合；线拟合； 若散点图显示无任何趋势，则若散点图显示无任何趋势，则 不必进行分析。不必进行分析。 本例，散点图呈直线趋本例，散点图呈直线趋 势时，可建立直线回归势时，可建立直线回归 方程。方程。 39学校教课 直线回归分析的步骤直线回归分析的步骤 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 2 2 建立直线回归方程建立直线回归方程 实际上是求出回归方程中的回归系数实际上是求出回归方程中的回归系数b和截距和截距a： bxay 求回归系数求回归系数b b和截距和截距a a的方法有最小二乘法、高斯牛顿法、麦的方法有最小二乘法、高斯牛顿法、麦

10、夸特法、牛顿法、梯度法、正割法等等。这里重点给大家介夸特法、牛顿法、梯度法、正割法等等。这里重点给大家介 绍最小二乘法。绍最小二乘法。 40学校教课 从上图得知，要使从上图得知，要使 能够最好地能够最好地 代表代表y y和和x x在数量上的互变关系，必须使在数量上的互变关系，必须使 y x 0 bxay xi yi i y ( yi- )实际观察 值与估计值之差 i y bxay 为最小 n yyQ 1 2 ) (最小 n bxayQ 1 2 )( 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 直线回归分析的步骤直线回归分析的步骤 2 2 建立直线回归方程建立直线回归方程 最小

11、二乘法的基本原理：最小二乘法的基本原理： 41学校教课 .)( ) ( 2 2 MinbxayyyQ 分别对上式的a和b求偏导： 2 0)(2 0)(2 xbxaxy xbnay bxayx b Q bxay a Q 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 直线回归分析的步骤直线回归分析的步骤 2 2 建立直线回归方程建立直线回归方程 用最小二乘法求回归方程：用最小二乘法求回归方程： xbya Lxx Lxy xx yyxx x n x yx n xy b 2 22)( )( )( 1 )( )( 1 解方程组，得到回归系数解方程组，得到回归系数b和截距和截距a： 42学

12、校教课 直线回归分析的步骤直线回归分析的步骤 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 2 2 建立直线回归方程建立直线回归方程 本例：本例： XX XY l l nXX nYXXY b / / 2 2 XbYa 43学校教课 直线回归分析的步骤直线回归分析的步骤 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 3 3 绘制回归线绘制回归线 本例：本例： 44学校教课 XY XY / bxay 以样本统计量估计总体参数以样本统计量估计总体参数 斜率（回归系数）斜率（回归系数）截距截距 对于直线回归分析，回归系数的假设检验，也是直线回归方程的假设检验。对于直线回

13、归分析，回归系数的假设检验，也是直线回归方程的假设检验。 由于抽样误差的存在，回归系数由于抽样误差的存在，回归系数b往往不等于总体回归系数往往不等于总体回归系数 ，要判断是否来，要判断是否来 自自 0的总体，也必须进行假设检验。常用的回归系数的假设检验有方差分的总体，也必须进行假设检验。常用的回归系数的假设检验有方差分 析和析和 t 检验。检验。 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 直线回归分析的步骤直线回归分析的步骤 4 4 回归系数的假设检验回归系数的假设检验 45学校教课 总体总体 0 总体总体 0 样本样本 b0 两变量 有 直线关 系 两变量无 直线关系 ？

14、 ？ 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 直线回归分析的步骤直线回归分析的步骤 4 4 回归系数的假设检验回归系数的假设检验 XY XY / bxay 46学校教课 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 直线回归分析的步骤直线回归分析的步骤 4 4 回归系数的假设检验回归系数的假设检验方差分析法方差分析法 Y总变异的分解总变异的分解 （1）建立假设，确定）建立假设，确定 H0： =0，即两变量无直线关系，即两变量无直线关系 H1：0，即两变量有直线关系，即两变量有直线关系 =0.05 （2）求统计量）求统计量F 47学校教课 y y yy yy

15、 yy 2 )(yySST 2 ) (yySSE 2 ) ( yySSR 剩余剩余(误差误差)平方和平方和 回归回归 平方和平方和 总离差平方和总离差平方和 48学校教课 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 直线回归分析的步骤直线回归分析的步骤 4 4 回归系数的假设检验回归系数的假设检验方差分析法方差分析法 （2）求统计量）求统计量F 222 ()()() ()()() YYYYYY YYYYYY SSSSSS 总剩回 总剩回 可有数学证明得到： 即 同样有： 剩余剩余 回归回归 剩余 回归 / / SS SS MS MS F 49学校教课 两变量间的回归分析两变量

16、间的回归分析直线回归分析直线回归分析 直线回归分析的步骤直线回归分析的步骤 4 4 回归系数的假设检验回归系数的假设检验方差分析法方差分析法 （2）求统计量）求统计量F SS总总 2 )(YY，Y的的离离均均差差平平方方和和(total sum of squares)， 未未考考虑虑X与与Y的的回回归归关关系系时时Y的的总总变变异异。 1 n SS剩剩 2 ) (YY，为为剩剩余余平平方方和和(residual sum of squares)， X对对Y的的线线性性影影响响之之外外的的一一切切因因素素对对Y的的变变异异，即即总总变变异异中中， 无无法法用用X解解释释的的部部分分。SS剩剩越越小

17、小，回回归归效效果果越越好好。 2 n SS回回 2 ) (YY，为为回回归归平平方方和和(regression sum of squares)， 由由于于X与与Y的的直直线线关关系系而而使使Y变变异异减减小小的的部部分分,即即总总变变异异中中， 可可以以用用X解解释释的的部部分分。SS回回越越大大，回回归归效效果果越越好好。 1 三个平方和的意义：三个平方和的意义： 50学校教课 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 直线回归分析的步骤直线回归分析的步骤 4 4 回归系数的假设检验回归系数的假设检验方差分析法方差分析法 （2）求统计量）求统计量F 本例：本例： （3）

18、确定）确定P值，做出结论值，做出结论 51学校教课 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 直线回归分析的步骤直线回归分析的步骤 4 4 回归系数的假设检验回归系数的假设检验t t 检验法检验法 （2）求统计量）求统计量t 0 2 b b b tn s ， . 2 2 Y X b XX Y X s s l YY s n 52学校教课 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 直线回归分析的步骤直线回归分析的步骤 4 4 回归系数的假设检验回归系数的假设检验t t 检验法检验法 （2）求统计量）求统计量t 0 2 b b b tn s ， . 2 2 Y

19、 X b XX Y X s s l YY s n 本例：本例： 02. 5 0470. 0 2358. 0 4 .1360/3 2358. 0 / . 剩余 xxxxxyb b lMS b ls b s b t （3）确定）确定P值，做出结论值，做出结论查t界值表，得到P0.05 两种方法的等价性：两种方法的等价性： 53学校教课 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 直线回归分析的步骤直线回归分析的步骤 5 5 直线回归方程直线回归方程拟合效果评价拟合效果评价 本例：本例：R2=0.7595 本例：调整本例：调整R2=0.7295 54学校教课 两变量间的回归分析两变

20、量间的回归分析直线回归分析直线回归分析 直线回归分析的步骤直线回归分析的步骤 6 6 直线回归方程的区间估计直线回归方程的区间估计 ( (一一) )总体总体回归系数的区间估计回归系数的区间估计 （b-t /2(n-2)Sb ,b+t /2(n-2)Sb ）简记为）简记为 b t /2(n-2)Sb (二二) Y 的的区间区间估计估计 (三三)个体个体Y值的容许区间值的容许区间估计估计 55学校教课 两变量间的回归分析两变量间的回归分析直线回归分析直线回归分析 直线回归分析的步骤直线回归分析的步骤 6 6 直线回归方程的区间估计直线回归方程的区间估计 (1) 总体回归系数和总体截距的可信区间估计总体回归系数和总体截距的可信区间估计 本例：本例：总体回归系数的总体回归系数的95%的可信区间为（的可信区间为（0.1276, 0.3440） 本例：本例：总体截距的总体截距的95%的可信区间为（的可信区间为（-15.2341, 1.2735） 56学校教课 两变量间的回归分析两变量间的回