12第八章(二)直线回归.ppt

1、1,生物统计 附 试验设计Biostatistics and Experimental Design,畜牧、兽医专业,2,二 直线回归,3,“回归”的来历,“回归”一词由英国统计学家F Galton首先提出,他在研究父亲的身高与儿子身高之间的关系时发现:高个子父亲(高于群体平均数)所生的儿子比他更高的概率小于比他矮的概率;同样,矮个子父亲(矮于群体平均数)所生的儿子比他更矮的概率小于比他高的概率,即儿子的身高有向群体平均身高回归的趋势.,4,回归分析： 研究一个变量对另一个变量的单向依存关系，即研究一个变量随另一个变量变化而变化的规律。 后一个变量叫自变量，前一个变量叫依变量或应变量。,5,回

2、归的现象： 生物的各性状之间以及性状与环境条件之间都有着一定的相互关系。改变某一性状，就会引起另一性状也发生变异。 例如：奶牛的产奶量越高，乳脂率反而减少。 猪、鸡的生长速度越快，肉质和风味下降。 母猪的体重越大，仔猪出生重越大。,6,一元线性回归的含义要点： 1 研究两个变量之间的回归关系。 2 当一个变量数值增大时，另一个变量 数值也随着增大或减少。这种增大或 减少以坐标的形式来表示，散点图形 呈直线的趋势。,7,自变量x,因变量y,代表散点,8,二 直线回归,回归分析：是研究呈因果关系的相关变量间的关系。 （1）通过计算回归系数和建立回归方程，表明两变量的数量变化关系 （2）并进行回归关

3、系的显著性检验，以便由一个变量对另一个变量进行估测。,9,两变量的回归分析，如果两变量关系呈直线趋势，那么需要找出一条直线，建立回归方程来代表他们的线性关系，从而能从一个变量的变化来估测另一个变量的具体变化。,直线回归,配合回归方程,由x的变化估测 y的变化,10,（一） 一元线性回归的数学模型,如果变量X和变量Y之间存在线性函数关系，可用如下方程表示：,11,在线性回归关系中，对于X的每一个取值，Y的取值是不确定的。但是，我们假定有一个Y的期望值与之对应，或者说Y的期望值与X之间存在线性函数关系：,截距,YX：下标的第一个为依变量；第二个为自变量,回归参数,12,当两个变量间存在直线回归关系

4、时，其数据的散点在坐标图上趋近于一条直线。回归直线则是在一切直线中最接近所有散点的直线。,（二） 一元线性回归方程的建立,13,或者说，这条直线来代表两个变量的关系，与实际数据的误差比任何其他直线都要小，即它是一条对各散点配合的最好直线。 为了找到这样一条直线，配合的最好方法是“最小二乘法”,14,1 “最小二乘法”配合的回归直线，要求符合下述一些条件：,即要求所配合的直线上方各点与直线的距离和，同直线下方各点与直线的距离和相等。 距离：指实际y与由直线方程所估测的 之间的距离,称为估计误差.,P1,P3,P2,P4,代表实际Yi值,（1）,代表y的估计值,15,1 “最小二乘法”配合的回归直

5、线，要求符合下述一些条件：,最好的直线是使总的估计误差达到最小的直线,由于估计误差有正负,我们不能用估计误差之和作为度量指标.,P1,P3,P2,P4,代表实际Yi值,（1）,代表y的估计值,16,（2）,即要求各点实际y值与回归直线所估测的 值之间离差的平方和最小，或者说从 估计Y值的误差平方和最小， 这种使估计误差平方和达最小的参数估计方法称为最小二乘法。,（3）直线能代表一般情况 即直线要通过 两直线的交点 。,17,如何求a和b?,任何一条直线都能用 表示，因此只要确定了a和b，就可决定直线的位置。,那么如何求a和b呢? 利用,所以称为“最小二乘方法”,18,根据数学中求极值的原理，要

6、使上面的式子为最小，必须使a、b的微分方程都等于零。 依次求Q关于 a和b的一阶偏导数，并令偏导数等于0，得如下方程：,正规方程组,19,解上述方程组得：,得直线回归方程：,由X估测Y,样本回归系数,20,(1) a为截距（constant)，即X=0 时的Y 值。 (2) b为斜率，在统计学中称为样本回归系数(regression coefficient)。 (3) b为正值，则X增大，Y也随之增大； (4) b为负值，则X增大，Y却随之减少。 (5) b=0，X与Y不存在线性关系。,21,.,2 回归系数的计算公式：,22,byx,注意下脚标,下脚标：前面字母代表依变量 后面字母代表自变量

7、,23,回归系数的性质 （1）x与y各观察值加或减一常数，回归系数不变。 （2）x与y各观察值乘或除一常数，回归系数应 校正。 x=x/k y=y/c byx =byx*c/k,24,例：根据10只绵羊的胸围（cm）和体重（kg）的资料，配合由胸围估计体重的回归方程。,25,26,27,得回归方程：,回归系数是有单位的，是依变量单位与自变量单位的比值。 上例中表示由胸围估计体重时，胸围每增加或减少1cm，则体重在-115.3768的基础上平均增加或减少2.5469kg。,28,回归方程是有一定范围的，限在自变量的最小值和最大值之间。 不能任意的扩大自变量的范围或者把回归曲线向两端任意延长。 因

8、为一旦超出这个范围，两变量之间的关系就不一定是线性的了。,29,（三） 回归关系的显著性检验,30,（三） 回归关系的显著性检验,回归方程在一定程度上揭示了两个相关变量之间的内在规律。 由样本观察值配合的回归方程，必须经过假设检验，来确定它的效果如何，方程所揭示的规律性是否强，估测的准确性如何；或者说Y是否对X确实有线性回归关系。 由样本推断总体,31,全部观察值的总变异：,1 对回归方程的 F 检验,总变异由两部分组成: 一种是由自变量的不同引起的; 另一种是由随机误差引起的。 所以，对总变异进行剖分。,32,任一点 P（Xi ,Yi）在回归直线的估计值的离均差都可以分解为：,33,A,B,

9、C,34,对上面的式子两端平方，然后对所有n点求和，得。,=0,35,回归平方和，记作SSR,SSR是估计值与依变量总均数之差的平方和； 可以看作总变异中由于自变量x的取值变化而引起依变量y变化的部分； 反映了Y总变异中由于X与Y的线性关系，而引起的Y变化部分。 这部分变异可以通过控制X值而避免。,36,离回归平方和或误差平方和，记作SSE,它是y各观察值与估计值之差的平方和； 它与自变量x的大小无关，是依据回归方程进行估计时，存在估计误差造成的； 它是除了 X对Y的线性影响之外的一切因素（包括X对Y的非线性影响以及观测误差）对Y变异的作用。,37,平方和的计算公式：,38,回归方程效果的好坏

10、取决于SSR和SSE，或者说取决于SSR在总平方和中所占的比例，这个比例越大，回归的效果越好。由 X估计Y的准确性越高。,39,Y变量的总自由度： dfT=n-1 回归自由度对应于自变量的个数，由于受一个自变量的影响，所以：dfR=1 误差自由度：dfE=n-2,40,列方差分析表：,41,例：以上题为例 根据10只绵羊的胸围（cm）和体重（kg）的资料，做回归方程的显著性检验。 1 H0:b=0，或者绵羊的胸围与体重之间不存 在线性回归关系。 HA:b0，或者绵羊的胸围与体重之间存在 线性回归关系。,42,2 求平方和和自由度,43,44,列回归关系方差分析表：,结论： 绵羊体重对胸围的回归

11、关系显著，表明两者有线性关系存在。,45,回顾相关关系检验结果,统计推断： 接受备择假设，认为r是高度显著的，即说明绵羊的胸围与体重的相关非常显著。,46,2 对回归系数和截距的t检验,47,2 对回归系数和截距的t检验,目的： 确定样本回归系数是来自无回归关系的双变量总体，还是来自有回归关系的双变量总体。 确定回归直线是否通过原点。,48,49,例：以上题为例 根据10只绵羊的胸围（cm）和体重（kg）的资料，做回归系数和截距的显著性检验。,50,1 假设： H0:=0，绵羊的胸围与体重之间不 存在线性回归关系。 =0，回归直线通过原点。 HA:0，绵羊的胸围与体重之间存 在线性回归关系。

12、0，回归直线不通过原点。,51,2、确定显著性水平=0.05和=0.01 3、确定检验统计量-t检验,52,统计推断：接受备择假设，认为b是高度显著的，回归方程的效果显著。,53,54,统计推断：接受备择假设，认为a是高度显著的，回归方程不经过原点。,55,（四）回归方程的拟合度-决定系数R2,56,（四）回归方程的拟合度-决定系数R2,配合回归方程的过程也称为拟合，原理是最小二乘原理。所以对于每一个特定的资料来说，能够满足误差平方和最小的要求。 但是对于不同的资料，回归方程的拟合程度不同。 如果资料中各个观测值的散点非常紧密，说明两个变量之间的相关程度较高，那么得到的回归方程就好。反之就差。

13、,决定系数：度量回归方程拟合程度的好坏。,57,决定系数为依变量的总变异中由自变量所造成的变异所占的比例，等于相关系数的平方。 决定系数越大，说明自变量对依变量的影响也越大，用所配合的回归方程进行估计和预测的效果也越好。,58,（六） 简单线性相关与回归的联系 回归与相关之间关系密切 正相关 回归系数为正 负相关 回归系数为负 零相关 回归系数为零,59,60,如果以x 为依变量，y为自变量，回归方程为：,相关系数r是正反两个回归系数的几何平均数,61,相关显著性检验与对回归的显著性检验的关系 回归平方和与相关平方和相等,(1)所以：对回归关系的F 检验与对相关关系的F 检验是等价的。 (2)对回归系数的t 检验与对相关系数的t 检验也是等价的。,62,对于简单相关和回归来说,相关系数r、回归系数b、相关关系、回归关系的检验是等价的，只要其中一项检验结果为差异显著，则可以说明两个变量之间存在显著的相关和回归关系，建立的回归方程有意义，可以利用该方程进行间接估测。,63,、求相关系数,、相关系数的显著性检验