直线回归与相关

1、第八章直线回归与相关前面各章我们讨论的问题，都只涉及到一个变量，如体重、日增重或发病率。但是，由于客观事物在发展过程中相互联系、相互影响， 因而在畜牧、 水产等试验研究中常常要研究两个或两个以上变量间的关系。变量间的关系有两类，一类是变量间存在着完全确定性的关系，可以用精确的数学表达式来表示，如长方形的面积（S）与长（ a）和宽（ b）的关系可以表达为： S=ab 。它们之间的关系是确定性的，只要知道了其中两个变量的值就可以精确地计算出另一个变量的值，这类变量间的关系称为函数关系。另一类是变量间关系不存在完全的确定性关系，不能用精确的数学公式来表示，如人的身高与体重的关系；仔猪初生重与断奶重的

2、关系；猪瘦肉率与背膘厚度、眼肌面积、胴体长等的关系等等，这些变量间都存在着十分密切的关系，但不能由一个或几个变量的值精确地求出另一个变量的值。像这样一类关系在生物界中是大量存在的，统计学中把这些变量间的关系称为相关关系，把存在相关关系的变量称为相关变量。相关变量间的关系一般分为两种，一种是因果关系，即一个变量的变化受另一个或几个变量的影响，如仔猪的生长速度受遗传、营养、饲养管理等因素的影响，子女的身高受父母身高的影响； 另一种是平行关系，即两个以上变量之间共同受到另外因素的影响，如人的身高和体重之间的关系，兄弟身高之间的关系等都属于平行关系。变量间的关系及分析方法归纳如下：函数关系有精确的数学

3、表达式（确定性的关系）直线回归分析一元回归分析变量间的关系因果关系( 回归分析）曲线回归分析多元线性回归分析多元回归分析相关关系（非确定性的关系）平行关系简单相关分析多元非线性回归分析直线相关分析复相关分析（相关分析）多元相关分析偏相关分析统计学上采用回归分析（ regression analysis）研究呈因果关系的相关变量间的关系。表示原因的变量称为自变量，表示结果的变量称为依变量。研究“一因一果”，即一个自变量与一个依变量的回归分析称为一元回归分析；研究“多因一果”，即多个自变量与一个依变量的回归分析称为多元回归分析。一元回归分析又分为直线回归分析与曲线回归分析两种；多元回归分析又分为多

4、元线性回归分析与多元非线性回归分析两种。回归分析的任务是揭示出呈因果关系的相关变量间的联系形式，建立它们之间的回归方程，利用所建立的回归方程，由自变量（原因）来预测、控制依变量（结果）。统计学上采用相关分析( correlation analysis) 研究呈平行关系的相关变量之间的关系。对两个变量间的直线关系进行相关分析称为简单相关分析（也叫直线相关分析）；对多个变量进行相关分析时，研究一个变量与多个变量间的线性相关称为复相关分析；研究其余变量保持不变的情况下两个变量间的线性相关称为偏相关分析。在相关分析中， 变量无自变量和依变量之分。 相关分析只能研究两个变量之间相关的程度和性质或一个变量

5、与多个变量之间相关的程度， 不能用一个或多个变量去预测、控制另一个变量的变化，这是回归分析与相关分析区别的关键所在。但是二者也不能截然分开，因为由回归分析可以获得相关的一些重要信息，由相关分析也能获得回归的一些重要信息。本章先介绍直线回归与相关分析。第一节直线回归一、直线回归方程的建立对于两个相关变量，一个变量用符号x 表示，另一个变量用y 表示，如果通过试验或调查获得两个变量的成对观测值，可表示为（x1 ， y1），（ x2， y2），, ，（ xn， yn）。为了直观地看出x 和 y 间的变化趋势， 可将每一对观测值在平面直角坐标系描点，作出散点图（见图 8-1）。图 8-1 （ x， y

6、）的散点图从散点图（图8-1）可以看出：两个变量间关系的性质（是正相关还是负相关）和程度（是相关密切还是不密切）；两个变量间关系的类型，是直线型还是曲线型；是否有异常观测值的干扰。散点图直观地、 定性地表示了两个变量之间的关系。为了探讨它们之间的规律性，还必须根据观测值将其内在关系定量地表达出来。如果两个相关变量间的关系是直线关系，根据 n 对观测值所描出的散点图，如图 8 1（ c）和图 8 1（ d）。如果把变量y 与 x 内在联系的总体直线回归方程记为y= x，由于依变量的实际观测值总是带有随机误差，因而实际观测值yi 可表示为：yixixii(i=1,2,n)（8 1）其中i 为相互独

7、立，且都服从N（ 0， 2）的随机变量。这就是直线回归的数学模型。我们可以根据实际观测值对 ， 以及方差 2 做出估计。在 x, y 的直角坐标平面上可以作出无数条直线，而回归直线是指所有直线中最接近散点图中全部散点的直线。设样本直线回归方程为：?abx(8-2)y其中， a 是 的估计值， b 是 的估计值。yabx回归直线在平面坐标系中的位置取决于a、b能最好地反应的取值，为了使 ?y 和 x 两变量间的数量关系，根据最小二乘法，、ab 应使回归估计值与观测值的偏差平方和最小，即：? 2( yabx)2最小。Q( y y)根据微积分学中的极值原理，令Q 对 a、b 的一阶偏导数等于 0，即

8、：Q2( yabx)0aQ2( yabx ) x0b整理得关于 a、b 的正规方程组：anbxyax bx 2xy解正规方程组，得：bxy (x)(y) / n( x x)( yy)SPxy（8-3 ）x 2(x)2 / n(xx) 2SSxaybx（8-4 ）（ 8-3 ）式中的分子是自变量x 的离均差与依变量y 的离均差的乘积和( xx )( y y) ，简称乘积和，记作 SPxy ，分母是自变量x 的离均差平方和( xx ) 2，记作 SSx 。a叫做样本回归截距，是回归直线与y轴交点的纵坐标，当x=0时，?；b叫做样本y=a回归系数，表示 x 改变一个单位， y 平均改变的数量；b 的

9、符号反映了 x 影响 y 的性质， b的绝对值大小反映了x 影响 y 的程度。图 8-2 直线回归方程y?abx 的图象a 和 b 均可取正值，也可取负值，因具体资料而异，由图8-2 可以看出， a>0，表示回归直线在第一象限与y 轴相交； a<0 表示回归直线在第一象限与x 轴相交。 b>0，表示 y 随 x的增加而增加； b<0；表示 y 随 x 的减少而减少； b=0 或与 0 差异不显著时，表示y 的变化与 x 的取值无关， 两变量间不存在直线回归关系。这只是对 a 和 b 的统计学解释， 对于具体资料， a 和 b 往往还有专业上的实际意义。?叫做回归估计值，

10、 是当 x 在在其研究范围内取某一个值时，y 值平均数x估计值。yy研究y和 ? 间的关系，可发现回归方程的三个基本性质：性质1Q( y? 2最小；y)性质2( y?0 ；y)性质3回归直线必须通过中心点(x, y) 。如果将（ 8-3 ）式代入（ 8-2 ）式，得到回归方程的另一种形式：?ybxbx yb( x x )（8-5 ）y【例8.1 】在四川白鹅的生产性能研究中，得到如下一组关于雏鹅重（g）与 70 日龄重(g) 的数据，试建立 70 日龄重 ( y) 与雏鹅重 ( x) 的直线回归方程。表 8-1 四川白鹅重与70 日龄重测定结果（单位： g）编号123456789101112雏

11、鹅重 ( x)80869890120102958311310511010070 日龄重 ( y)23502400272025003150268026302400 30802920 296028601、作散点图以雏鹅重（ x）为横坐标， 70日龄重（ y）为纵坐标作散点图，见图 8-3 。由图形可见四川白鹅的70 日龄重与雏鹅重间存在直线关系，70 日龄重随雏鹅重的增大而增大。图 8-3四川白鹅的雏鹅重与70 日龄重散点图和回归直线图2、计算回归截距a，回归系数 b，建立直线回归方程首先根据实际观测值计算出下列数据：xx/ n1182 /1298.5yy / n32650/ 122720.833

12、3SSx 2x2/ n1181121182 2 /121685.00xSPxy(x)(y)32526101182 3265036585.00xyn12SSyy22/ n8966670032650 2 / 12831491.67y进而计算出 b、a：bSPxy3658521.7122SSx1685.00a y bx 2720.833321.7122 98.5 582.1816得到四川白鹅的70 日龄重 y 对雏鹅重 x 的直线回归方程为：?582.1816 21.7122xy从回归系数可知，雏鹅重每增加1g， 70日龄平均重增加 21.7122 g。根据直线回归方程可作出回归直线，见图 8-3

13、。从图 8-3 可看出，尽管?是该资料最恰当的回归方程， 但是并不是所有的散点都恰好落在回y 582.1816 21.7122x归直线上，这说明用?去估计 y 是有偏差的。y3、直线回归的偏离度估计以上根据使偏差平方和( yy?) 2 最小建立了直线回归方程。偏差平方和?2的大小表示了实测点与回归直线偏离的程度，因而偏差平方( y y)和又称为离回归平方和。 统计学已经证明： 在直线回归分析中离回归平方和的自由度为n-2 。于是可求得离回归均方为：(?2/(2)2 的估计值。y)。离回归均方是模型（ 8-1 ）中 yn离回归均方的平方根叫离回归标准误，记为Syx ，即S yx( y?2/( n

14、 2)（8-6 ）y )离回归标准误 S?y 与实际yx 的大小表示了回归直线与实测点偏差的程度，即回归估测值观测值 y 偏差的程度，于是我们把离回归标准误Syx 用来表示回归方程的偏离度。离回归标准误 Syx大表示回归方程偏离度大，Syx小表示回归方程偏离度小。在用（8-6）式计算离回归标准误时，需要把每一个x值的回归估计值 ?计算出来，因y而计算麻烦，且累计舍入误差大。以后我们将证明：?2SSy2（ 8-7）( y y)SPxy / SSx利用（ 8-7 ）式先计算出( yy?) 2 ，然后再代入（8-6）式求 Syx ，这样就简便多了。对于 【例 8.1】有(y?2SSy2/ SSx83

15、149167365852/ 168537152.07y)SPxy所以S yx( y?2/( n2)37152.07 /(122)60.9525（ g）y )即当利用直线回归y582 .181621.7122 x ，由四川白鹅的雏鹅重估计70 日龄重时，离回归?标准误为60.9525 g。二、直线回归的显著性检验若 x 和 y 变量间并不存在直线关系，但由 n 对观测值（ xi， yi）也可以根据上面介绍的方法求得一个回归方程 y? =a+bx。显然，这样的回归方程所反应的两个变量间的直线关系是不真实的。 这取决于如何判断直线回归方程所反应的两个变量间的直线关系的真实性呢？这取决于变量x 与 y

16、 间是否存在直线关系。我们先探讨依变量y 的变异，然后再作出统计推断。1、直线回归的变异来源图 8-4 ( y y) 的分解图从图 8-4 看到：依变量 y 的总变异( y y)由 y 与 x 间存在直线关系所引起的变异?( y y)与偏差 ( yy?) 两部分构成，即( y?y) ( y y) ( y y)上式两端平方，然后对所有的n 点求和，则有( y y)2?2( y y) ( yy)?2? 2?( y y)( y y)2 ( y y)( y y)由于 y?abx yb( xx) ，所以 y?yb( xx)于是?b(x x)( y?( yy)( y y)y)b(xx)( yy)b( x

17、x)b( xx)( yy)b( xx) b( xx)b SPb 2SSxyxSPxySPxy2SSx0SPxySSxSSx所以有( y y)2?2?2（ 8-8）( y y)(y y)( yy)2反映了 y的总变异程度，称为y 的总平方和，记为SSy ；?y)2反映了( y由于 y 与 x 间存在直线关系所引起的y 的变异程度， 称为回归平方和， 记为 SSR ； ( y y?) 2反映了除 y 与 x 存在直线关系以外的原因， 包括随机误差所引起的y 的变异程度， 称为离回归平方和或剩余平方和，记为SSr。（ 8-8 ）式又可表示为：SSy SSR SSr（8-9 ）这表明 y 的总平方和划

18、分为回归平方和与离回归平方和两部分。与此相对应，y 的总自由度 df y 也划分为回归自由度df R 与离回归自由度df r两部分，即df ydf R df r（ 8-10 ）在直线回归分析中， 回归自由度等于自变量的个数，即df R1ydf y n 1；的总自由度离回归自由度 df r n 2 。于是：离回归均方 MSrSSr / df r ，回归均方 MS RSSR / df R2、回归关系显著性检验 F 检验x 与 y 两个变量间是否存在直线关系，可用F 检验法进行检验。由（8-1 ）式可推知，若 x 与 y=0，若 x 与 y 间存在直线关系，则总体回归0。所以， 对 x 与 y 间是

19、否存在直线关系的假设检验其无效假设H 0 ：=0，备择假设 H A0 。在无效假设成立的条件下，回归均方与离回归均方的比值服从df1 1 和df 2 n2 的 F 分布，所以可以用MS RMSR / df RSSR， df =1, df=n-2（ 8-11 ）FMS rSSr/ df rSSr /( n 2)12来检验回归关系即回归方程的显著性。回归平方和还可用下面的公式计算得到：SSR?y)2 b( xx)2( yb 2(xx) 2b2 SSbSP（ 8-12 ）xxySPxySPxySPxy2(8-13)SS xSS x利用（ 8-13 ）式计算 SSR 的舍入误差最小；而（8-12 ）式

20、便于推广到多元线性回归分析的情况。根据（ 8-9 ）式。可得到离回归平方和计算公式为：SP2SSrSSySSRSSyxySSx对于 【例 8.1】资料，有SS831491.67 ，SP36585.00，SS1685.00yxyxSPxy236585.002794339.60SSR1685.00SSxSSrSSySSR831491.67794339.6037152.07而 df y n 1121 11, df R1, dfr 12210。于是可以列出方差分析表进行回归关系显著性检验。表 8-2四川白鹅 70日龄重与雏鹅重回归关系方差分析变异来源dfSSMSF 值F 0.05F 0.01回归179

21、4339.60794339.60213.81*4.9610.04离回归1037152.073715.21总变异11831491.67因为 F213.81F0.01(1,10) 10.04, P0.01，表明四川白鹅 70 日龄重与雏鹅重间存在显著的直线关系。3、回归系数的显著性检验t 检验采用回归系数的显著性检验t 检验也可检验x 与 y 间是否存在直线关系。回归系数显著性检验的无效假设和备择假设分别为H 0 ： 0， H A ： 0。t 检验的计算公式为：tbn 2（ 8-14 ）, dfSbSbSyx（ 8-15 ）SSx其中， Sb 为回归系数标准误。对于 【例 8.1 】资料，已计算得

22、SSx 1685.00, Syx60.9525，故有SbSyx /SSx 60.9525/1685 1.4849tb21.712214.62Sb1.4849当 df n 212 2 10 , 查 t 值表，得 t0.05(10) 2.228 , t0.01(10)3.169 。因 t 14 .62 t 0. 01( 10) ，P 0.01，否定H 0 ： 0，接受 H A ： 0，即四川白鹅70 日龄重（ y）与雏鹅重（ x）的直线回归系数b=21.7122 是极显著的，表明四川白鹅70 日龄重与雏鹅重间存在极显著的直线关系，可用所建立的直线回归方程来进行预测和控制。F 检验的结果与 t 检验

23、的结果一致。事实上，统计学已证明，在直线回归分析中，这二种检验方法是等价的，可任选一种进行检验。由于四川白鹅70 日龄重与雏鹅重间的直线回归关系极显著，因此，在实际生产中，可以通过四川白鹅的雏鹅重对70 日龄重作出预测或控制。特别要指出的是：利用直线回归方程进行预测或控制时，一般只适用于原来研究的范围，不能随意把范围扩大，因为在研究的范围内两变量是直线关系，这并不能保证在这研究范围之外仍然是直线关系。若需要扩大预测和控制范围， 则要有充分的理论依据或进一步的实验依据。利用直线回归方程进行预测或控制，一般只能内插，不要轻易外延。* 三、直线回归的区间估计前面已求出了总体回归截距a、回归系数和x

24、所对应的y 值总体平均数a+ x的估计值 a，b 和y? 。这仅是一种点估计。下面在一定置信度下对、 以及 +x 作出区间估计。1、总体回归截距 a 的置信区间统计学已证明a服从自由度为n-2 的 t 分布。Sa其中， Sa 叫做样本回归截距标准误，计算公式为：Sa1x2SyxSSxn容易导出 的 95%、 99%置信区间为：at0.05(n 2) Sa ,at0 .05(n2) Sa at0 .01( n2) Sa ,at 0.01(n2 ) Sa 【例 8.2 】 试计算 【例 8.1 】资料回归截距 的 95%和 99%置信区间。对于 【例 8.1】资料，因为a582.1816 ， Sy

25、x60.9525 ， n12， x 98.5， SSx 1685 .00所以，1x 260.9525198.502Sa SyxSSx147.3153n12 1685.00t 0.05( n 2) t 0.05(10)2.228， t0 .01( n 2)t 0.01(10)3.169于是总体回归截距的 95%和 99%置信区间分别为：582.1816-2.228147×.3153, 582.1816+2.228147.×3153582.1816-3.169147×.3153, 582.1816+3.169147.×3153即 253.9631, 910.

26、40 和 115.3394, 1049.0238 。这说明在研究雏鹅重与70 日龄重的关系时， 总体回归截距 在 253.9631,910.40区间内，其可靠度为95%；在 115.3394, 1049.0238区间内，其可靠度为 99%。2、总体回归系数 的置信区间统计学已证明b服从自由度为 n-2的 t 公布，Sb其中， Sb 叫做样本回归系数标准误，由（8-15）式计算。可以导出 的 95%、99%置信区间为： bt0.05(n2 ) Sb , bt 0.05( n 2 ) Sb (8-16)bt 0.01(n2 ) Sb , bt0.01( n 2 ) Sb (8-17)【例 8.3

27、】 求出【例 8.1 】资料总体回归系数 的 95%和 99%置信区间。对于 【例 8.1 】资料，因为b21.7122 ， Syx60.9525， SSx1685 .00SbSyx / SSx60.9525/16851.4849t0.05(n 2)t 0.05(10)2.228 ， t 0.01(n2 )t 0.01(10)3.169所以总体回归系数的 95%和 99%置信区间分别为：21.7122-2.2281.4849,× 21.7122+2.228 1.4849×21.7122-3.1691.4849,× 21.7122+3.169 1.4849×

28、;即 18.4038, 25.0206 和 17.0066, 26.4178 。这说明雏鹅重和70 日龄重的总体回归系数在 18.4038, 25.0206区间内，其可靠度为 95%；在 17.0066, 26.4178区间内，其可靠度为99%。3、总体平均数 +x 的置信区间统计学已证明?x) 服从自由度为 n-2y(S ?y的 t 分布。其中 Sy? 叫回归估计标准误，计算公式为：S?1( xx)2（8-18 ）SSSxyyx n于是可以导出 +x 的 95%、 99%置信区间为：?t0 .05(n2)?（8-19 ） ySy? , yt 0.05( n 2) Sy ?t0 .01( n2

29、)?t0.01(n2 ) Sy?（8-20 ） ySy?, y【例 8.4 】 求出【例 8.1 】资料当 x=98 时 y 总体平均数 +x 的 95%和 99%置信区间。对于 【例 8.1y9.9772, 而】资料，当 x=98 时， ? =582.1816+21.7122 ×98=270S ?S1( xx)21(98 98.5)2yx60.952517.6111ynSSx121685t0.05( n 2)t0 .05(10) 2.228 ， t0.01( n 2 )t0.01(10) 3.169 。所以当 x=98 时， y 总体平均数的 95%和 99%置信区间分别为：270

30、9.9772-2.22817×.6111, 2709.9772+2.228 17.6111×2709.9772-3.16917×.6111, 2709.9772+3.169 17.6111×即 2670.7397,2749.2147 和2654, 2765.7868 。这说明雏鹅重为98 克时， 70日龄总体平均重在 2670.7397,2749.2147区间内，其可靠度为 95%；在 2654, 2765.7868区间内，其可靠度为99%。4、单个 y 值的置信区间有时需要估计当x 取某一数值时，相应y 总体的一个 y值的置信区间。因为?y) / Sy

31、 服从自由度为n-2的 t 分布，其中， Sy 为单个 y 值的估计( y标准误，计算公式为：SySyx1(xx) 2（8-21 ）1SSxn当 x 取某一数值时，单个y 值的 95%、 99%置信区间为：?t?t0.05(n 2 ) Sy （ 8-22） y0.05( n 2) Sy , y?t?t0.01( n 2) Sy （ 8-23） y0.01( n 2) Sy , y【例 8.5 】 求出【例 8.1 】资料当 x=98 时单个 y 值的 95%和 99%置信区间。对于 【例 8.1 】资料，当y且x=98 时， ? =2709.9772,SySyx11( xx) 260.9525

32、11(98 98.5) 263.4457nSSx121685t0.05( n 2)t0 .05(10)2.228 ，t 0.01(n 2 )t 0.01(10)3.169 。所以当 x=98 时，某一 y 值的 95%和 99%置信区间分别为：2709.9772-2.228 63×.4457, 2709.9772+2.22863.4457×2709.9772-3.16963×.4457, 2709.9772+3.16963.4457×即 2568.6202,2851.3342 和2508.9178, 2911.0366 。这说明雏鹅重为98 克时，就一只

33、白鹅而言，70 日龄重在2568.6202,2851.3342区间内，其可靠度为95%；在2508.9178, 2911.0366区间内，其可靠度为99%。从计算而增大，随S?y 的（ 8-18）式和 Sy 的（ 8-21）式可以看出：n 和 SSx 的增大而减少。这表明，愈靠近x ，对Sy? 和 Sy 随 ( xx) 的绝对值增大y 总体平均值或单个y 的估计值就愈精确，而增大样本含量，扩大x 的取值范围亦可提高精确度。第二节直线相关进行直线相关分析的基本任务在于根据x、y 的实际观测值， 计算表示两个相关变量x、y 间线性相关程度和性质的统计量相关系数r 并进行显著性检验。一、决定系数和相

34、关系数在上一节中已经证明了等式：( y y)2?y)2?2。从这个等式不难看( y(y y)到： y 与 x 直线回归效果的好坏取决于回归平方和?2与离回归平方和(y?2的( y y)y)大小，或者说取决于回归平方和在y 的总平方和( yy)2 中所占的比例的大小。这个比例越大， y 与 x 的直线回归效果就越好，反之则差。我们把比值(?)2/2y( yy)叫做 xy对 y 的决定系数（ coefficient of determination ），记为r2，即?y)2r 2( y（8-24 ）( yy) 2决定系数的大小表示了回归方程估测可靠程度的高低，或者说表示了回归直线拟合度的高低。显然有 0 r2 1。因为?y)22SPxySPxyr 2( ySPxybxy( y y)2SSxSSySSxbyxSSy而 SPxy/SSx 是以 x 为自变量、 y 为依变量时的回归系数byx。若把 y 作为自变量、 x