回归与最小二乘分析

1、主要内容主要内容绪论绪论统计量、统计分布与统计比较统计量、统计分布与统计比较回归与最小二乘分析回归与最小二乘分析比较试验设计与分析比较试验设计与分析回归试验设计与分析回归试验设计与分析动态试验指标的统计推断动态试验指标的统计推断综合试验指标的统计推断综合试验指标的统计推断 该章的幻灯片绝大多数引自中该章的幻灯片绝大多数引自中国农业大学动物科技学院王雅国农业大学动物科技学院王雅春副教授、张勤教授的生物统春副教授、张勤教授的生物统计学课件计学课件, ,张沅教授的家畜育张沅教授的家畜育种学课件。种学课件。回归分析是研究变量之间因果关系的，通过回归分析是研究变量之间因果关系的，通过回归分析建立起原因与

2、结果之间的函数关系，回归分析建立起原因与结果之间的函数关系，以实现预测的目的以实现预测的目的. 回归分析分回归分析分线性和非线性回归分析线性和非线性回归分析两类，两类， 按因变量多少又分按因变量多少又分一元和多元回归一元和多元回归分析，分析，作为回归分析的重要组成部分作为回归分析的重要组成部分线性回归线性回归模型理论模型理论几乎可以用来解释现行生物统计中的几乎可以用来解释现行生物统计中的每个统计推断方法，也是统计比较方法的理论每个统计推断方法，也是统计比较方法的理论基础，基础，回归与最小二乘分析回归与最小二乘分析引引 言言 两个数量型变量间的关系两个数量型变量间的关系 简单线性回归：用最能代表

3、散点图中数据点的直线简单线性回归：用最能代表散点图中数据点的直线描述两随机变量的关系：描述两随机变量的关系：X X和和Y YY Ya+bXa+bX X X和和Y Y有主从关系、因果关系有主从关系、因果关系 将将X X定为试验者可以精确测量的或事先测量的：定为试验者可以精确测量的或事先测量的：剂剂量、年龄、重量或者浓度等量、年龄、重量或者浓度等 Y Y是受试验条件影响而变化的随机变量，如：是受试验条件影响而变化的随机变量，如：心脏心脏收缩压、红细胞浓度或者颜色强度等收缩压、红细胞浓度或者颜色强度等 规定规定Y Y依赖于依赖于X X，X X的变化将引起的变化将引起Y Y值的变化值的变化简单线性回归

4、简单线性回归 规定：规定：Y Y：依变量：依变量(dependent variable)(dependent variable)，结果变量，散点图的纵轴，结果变量，散点图的纵轴 X X：自变量：自变量(independent variable)(independent variable)，释因变量或者预测变量，释因变量或者预测变量，散点图的横轴散点图的横轴 简单线性回归研究简单线性回归研究X X发生一定量变化时，可以期望发生一定量变化时，可以期望Y Y会相应地发生会相应地发生多大的变化：量化关系多大的变化：量化关系0 02000200040004000600060008000800010000

5、100000 0100100200200300300400400500500MeanMeanVarVar 可以用肉眼观察散点可以用肉眼观察散点图，画出一条最适合这图，画出一条最适合这些数据点的线，但是些数据点的线，但是 用用X,Y的线性方程的线性方程简单线性回归简单线性回归 对于对于X X的任意一个取值，都相应有一个的任意一个取值，都相应有一个Y Y的的总体：总体：Y Ypopulationpopulation = = X X其中其中： Ypopulation称为对应于给定称为对应于给定X值的对值的对Y的预测值或者均值的预测值或者均值 是常数，代表直线的截距，等于是常数，代表直线的截距，等于Y

6、|(X=0) 是斜率，代表是斜率，代表X变化一个单位时变化一个单位时Y值的平均变化值的平均变化 和和 称为回归系数（称为回归系数（regression coefficient），尤指），尤指 ，需要从获得随机抽样数据对子中需要从获得随机抽样数据对子中“估计估计”出来出来（estimate），记为），记为a、b 对于估计方法的要求就是这对于估计方法的要求就是这条直线能最好代表所有数据点条直线能最好代表所有数据点0 02000200040004000600060008000800010000100000 0100100200200300300400400500500MeanMeanVarVar简单

7、线性回归简单线性回归 数据点与直线的距离越短越好：数据点与直线的距离越短越好： 距离指从数据点到直线的垂直距离，与距离指从数据点到直线的垂直距离，与Y Y轴平行轴平行 只有只有Y Y才受试验条件的影响，而才受试验条件的影响，而X X可以精确度量可以精确度量 离差离差ei观察值与估观察值与估计值的离差计值的离差最小二乘法求最小二乘法求a a、b b Least Square (LS)Least Square (LS)：离差平方和最小的求解法：离差平方和最小的求解法 最小化：对最小化：对a a、b b求偏导数，使之为零求偏导数，使之为零几个方程？几个方程？ 联立方程组联立方程组得到得到a a、b

8、b的解的解 使离差最小的直线使离差最小的直线 ei可以抵消可以抵消 (ei)2比较好比较好 用用a,b,Yi表示表示1e2e2XXYYXXbiYiYiibXaY22iiibXaYe 离差平方和最小：离差平方和最小：最小二乘法最小二乘法iiiYYe假设假设a、b已知已知线性回归系数与回归方程线性回归系数与回归方程 Y Y对对X X的回归方程（的回归方程（regression equation of Y regression equation of Y on Xon X）：）：2XXYYXXbXbYaXXYSSSPb iiiXbaXY)(XXbYbXXbYYiiibXaY多元线性回归的数学模型多元

9、线性回归的数学模型 多元回归分析的样本数据多元回归分析的样本数据 个体个体 依变量依变量 自变量自变量 1 y1 x11 x12 x1p 2 y2 x21 x22 x2p n yn xn1 xn2 xnp 多元线性回归的数学模型多元线性回归的数学模型iippiiiexxxy 22110i = 1, 2, , n0: 常数项j: 偏回归系数（j = 1, 2, , p） 当其他自变量保持不变时，自变量 xj 每 改变1个单位所造成的 y 的变化量ei : 随机误差 ), 0(2 Nei各个ei彼此独立 回归参数 nnppnnnppppexxxyexxxyexxxy 221102222221102

10、1112211101npnpnnppneeexxxxxxxxxyyy2121021222211121121111 eXy回归方程的建立回归方程的建立 回归方程回归方程ippiiixbxbxbby22110 b0, b1, b2, ，bp 是0, 1, 2, ,p的最小二乘估计值，它们满足最小2221102)()(ippiiiiixbxbxbbyyyQ回归方程的建立回归方程的建立0)(20iiyybQ0)(2ijiijxyybQiippipipiipiipiipipiiiiiipipiiyxbxbxxbxxbxyxbxxbxxbxbxybxbxbxnb)()()()()()()()()()()(

11、222110112211210122110或求极值，得：回归方程的建立回归方程的建立iipiiiiipipiipiipipipiiiiiipiiiiiipiiyxyxyxybbbbxxxxxxxxxxxxxxxxxxxxxn2121022122212212121121yXbXX )(正规方程组（最小二乘方程组）：正规方程组（最小二乘方程组）：系数矩阵右手项向量回归方程的建立回归方程的建立 二元线性回归方程二元线性回归方程22110iiixbxbbyiiiiiiiiiiiiiiiyxyxybbbxxxxxxxxxxn2121022122212112121222111222211LLLLLLLby

12、y21222111211122LLLLLLLbyy22110 xbxbyb多元线性回归的检验多元线性回归的检验 回归关系的检验回归关系的检验平方和的剖分平方和的剖分222)()()(iiiiiiyyyyyy 总平方和 误差平方和 回归平方和 （离回归平方和）RETSSSSSS自由度的剖分自由度的剖分总自由度（dfT ) = n -1回归自由度（dfR ) = p离回归自由度（dfE ) = n - p - 1多元线性回归的检验多元线性回归的检验nyyyySSiiiiT222)()(pjjyjiiRLbyySS12)(222)()()(iiiiiiEyyyyyySSnyxyxyyxxLiiiij

13、iiijiijijjy)()(多元线性回归的检验多元线性回归的检验假设检验假设检验H H0 0: : 1 1= = 2 2= = = p p=0, =0, H HA A: : 至少有一个至少有一个 不等不等于于0 0 方差分析表方差分析表变异来源变异来源 回归回归 离回归离回归 总变异总变异平方和平方和SSR p MSR MSR/MSESSE n-p-1 MSE SST n-1自由度自由度 均方均方 F值值多元线性回归的检验多元线性回归的检验 回归系数的检验回归系数的检验H0: j=0HA: j 0检验统计量)(EEjjjbjdftMSCbSbtj正规方程组系数矩阵的逆矩阵中的第j 个对角线元

14、素复相关复相关 定义：一个变量与其他多个变量之间的相关定义：一个变量与其他多个变量之间的相关yyxxxyrRp,21y y与与x x1 1, x, x2 2, , , ,x xp p之间的相之间的相关关ippiiixbxbxbby22110复相关系数：相关指数: TRxxxySSSSRp2,21复相关复相关 计算计算设有p个变量 X1, X2, , Xp , 它们之间的简单相关矩阵为1111321323132231211312pppppprrrrrrrrrrrrRjjjCR11其他复相关系数相关矩阵逆矩阵中的第j个对角线元素复相关复相关 计算计算22323131221321223112rrrr

15、rrR21313231222321213212rrrrrrR3个变量 (X1, X2, X3) 之间的复相关：22312231322321312312rrrrrrR偏相关偏相关 定义：定义：当其他变量保持不变时，变量当其他变量保持不变时，变量X Xi i和和X Xj j之之间的相关间的相关其他变量jixxr 计算：计算：jjiiijijCCCr其他相关矩阵逆矩阵中的第i j个元素偏相关偏相关 一级偏相关一级偏相关)1)(1 (223213231312312rrrrrR)1)(1 (223212231213213rrrrrR)1)(1 (213212131223123rrrrrR概述概述 非线性

16、回归分析非线性回归分析已知曲线类型已知曲线类型 判断：根据专业知识（理论和经验），或判断：根据专业知识（理论和经验），或样本数据的散点分布趋势样本数据的散点分布趋势 分析方法：曲线方程线性化分析方法：曲线方程线性化 直接配合曲线方程直接配合曲线方程未知曲线类型未知曲线类型 分析方法：多项式回归分析方法：多项式回归曲线回归的线性化曲线回归的线性化 设有回归模型设有回归模型eXY线性化线性化：eXY但是？相乘相乘相加相加通常的做法：通常的做法：不考虑误差的出现形式，只考虑模不考虑误差的出现形式，只考虑模 型的主体部分型的主体部分), 0(2Ne一元线性回归模型一元线性回归模型常见的可线性化的曲线回

17、归常见的可线性化的曲线回归 幂函数：幂函数：XY 线性化线性化：常见的可线性化的曲线回归常见的可线性化的曲线回归 指数函数指数函数XeY线性化线性化：常见的可线性化的曲线回归常见的可线性化的曲线回归 对数函数对数函数XYln线性化线性化：常见的可线性化的曲线回归常见的可线性化的曲线回归 双曲线函数双曲线函数XY11线性化线性化：常见的可线性化的曲线回归常见的可线性化的曲线回归 S S型曲线型曲线XeY1线性化线性化：多项式回归多项式回归 多项式回归模型多项式回归模型eXXXYkk2210eXXXYkk22110令 X1 = X，X2 = X2，Xk = Xk， 通常取通常取 k = 2（二项式

18、回归）或（二项式回归）或 k = 3（三项式回归）（三项式回归） 多元线性回归模型多元线性回归模型曲线配合的拟合度曲线配合的拟合度 比较不同回归方程比较不同回归方程估计误差平方和估计误差平方和决定系数决定系数2*)(iiEYYSS2221iiiiYRYYYYSSSSR曲线配合的拟合度曲线配合的拟合度 直线回归直线回归幂函数回归幂函数回归二项式回归二项式回归估计误差平估计误差平方和方和15128226088103621决定系数决定系数0.340.870.55对例对例111所配合的所配合的3个回归方程的比较个回归方程的比较010020030040050060003691215维生素K 摄入量血凝剂

19、浓度注意注意 利用线性化的方法配合曲线方程只能使线性化利用线性化的方法配合曲线方程只能使线性化的回归方程的误差平方和最小，不能保证曲线的回归方程的误差平方和最小，不能保证曲线方程的误差平方和最小方程的误差平方和最小 如果条件允许，最好如果条件允许，最好直接配合曲线方程直接配合曲线方程对于例：对于例：线性化方法线性化方法 直接配合直接配合89. 129.1023XY估计误差平方和估计误差平方和 26088 17322 决定系数决定系数 0.87 0.92方程方程62. 23 .1666XY多项式回归多项式回归 用于无法确定曲线类型的曲线回归用于无法确定曲线类型的曲线回归 原理：任何函数都可以用多

20、项式来近似原理：任何函数都可以用多项式来近似kkxbxbxbaxfy221)(二次抛物线（二项式）二次抛物线（二项式）：221xbxbay三次抛物线（三项式）三次抛物线（三项式）：33221xbxbxbayTaylerTayler 变换变换线性模型的概念线性模型的概念E建立线性模型的目的：为了分析影响观建立线性模型的目的：为了分析影响观察值的各因素（因子）察值的各因素（因子）E建立模型时需考虑所有的影响因素建立模型时需考虑所有的影响因素因子：因子：直接或间接影响观察值的因素直接或间接影响观察值的因素例如例如：影响母牛产奶的因素有：头胎产犊年龄、：影响母牛产奶的因素有：头胎产犊年龄、产犊季节、本

21、身的遗传潜力、空怀天数等等产犊季节、本身的遗传潜力、空怀天数等等线性模型线性模型(linear model)的概念的概念线线性性模模型型：对对于于参参数数和和随随机机变变量量为为线线性性的的模模型型 exbxbxbbykk22110 其其中中：kbbb,10为为未未知知参参数数， kxxx,10为为影影响响y诸诸因因素素的的观观察察值值 e为为随随机机残残差差（r ra an nd do om m r re es st t e er rr ro or r） 产奶量品种性别个体线性模型的内容线性模型的内容：l数学方程式（数学模型式，数学方程式（数学模型式，equationequation）l模型

22、中随机效应和随机变量的模型中随机效应和随机变量的数学期望数学期望和和方差方差l建立模型时的所有假设和约束条件建立模型时的所有假设和约束条件理论上的均值用矩阵的形式表示该线性模型，令：用矩阵的形式表示该线性模型，令：).1(22110niexxxyiikkiiinyyy.21yn.10nknkkxxxxxx.1.1.11221111Xneee.21e设y和x1xk之间服从线性关系，对y及x1xk同时作n次观察后，得到n组数据，对于第i组数据，有：则有：则有：nknknnkkneeexxxxxxxxxyyy2121021222211121121111 eXyy：n维；维；X：) 1( kn维；维；

23、：) 1( k维维e：n维；维；0)(eE；IReVar2)(I为单位阵根据因子的变异形式根据因子的变异形式：因子可能是不连续变异的，或连续变异的因子可能是不连续变异的，或连续变异的建模时也有时将连续变异的因素划分为等建模时也有时将连续变异的因素划分为等级，例如头胎产犊年龄划为级，例如头胎产犊年龄划为4 4级，即级，即20202424、25252828、29293232、3333月龄；月龄；因子的类型因子的类型因子的类型因子的类型依据因子的性质依据因子的性质：固定效应：固定效应：事先知道所有可能出现的等级或事先知道所有可能出现的等级或水平，并且可以观察到的，例如：动物个体水平，并且可以观察到的

24、，例如：动物个体的性别、年龄、泌乳胎次、牧场（饲养管理的性别、年龄、泌乳胎次、牧场（饲养管理体系）、畜舍、笼位、品种等等体系）、畜舍、笼位、品种等等随机效应随机效应：随机地从一个无穷大的群体中抽随机地从一个无穷大的群体中抽取的样本时，可能出现的水平取的样本时，可能出现的水平（预先不能判（预先不能判断效应的大小，只能从抽样中估测）断效应的大小，只能从抽样中估测）例子：比较北京南郊6个猪场与上海松江县6个猪场的差别 现对这12家猪场进行详细的调查 得出结论，北京南郊6个猪场与上海松江县6个 猪场在某某方面不同（固定效应）比较北京和上海养猪水平的差别 从两市分别随机抽取6个猪场进行比较 得出结论，北

25、京与上海养猪在某某方面不同（随机效应）总体总体因子的类型因子的类型区分因子性质的标准区分因子性质的标准模型中因子可能的模型中因子可能的水平数水平数在一个大群体中考虑的水平数在一个大群体中考虑的水平数在同一试验或调查中，同一水平在同一试验或调查中，同一水平重复重复出现的可能出现的可能能否能否预知预知或定义出可能出现的效应或定义出可能出现的效应通过调查得到的数据的方式通过调查得到的数据的方式线性模型线性模型方差组分模型方差组分模型协方差分析模型协方差分析模型方差分析模型方差分析模型线性回归模型线性回归模型线性模型线性模型(linear model)的分类的分类是一类十分重要的统计模型按效应的性质分

26、类：按效应的性质分类：固定模型：固定模型：ijkjiijkey品种；品种；日粮；日粮；e残差残差 eXy随机模型：随机模型：ijkjiijkedsys公牛；公牛；d母牛；母牛；e残差残差 euZy 1按效应的性质分类按效应的性质分类 混合模型：混合模型：ijkjiijkeshy h 品种；品种；s公牛；公牛；e残差残差 euZXY 设有设有p个固定效应（包括个固定效应（包括） ，） ，q个随机效个随机效应（除应（除e以以外） ，则：外） ，则： y：n维；维；：p维；维；u：q维；维；X：pn阶；阶；Z：qn阶；阶；e：n维维 固定模型：除了随机误差（e）外，完全由固定效应组成的模型称为固定效

27、应模型，或固定模型（fixed effects model）随机模型：除了群体均数（）外，完全由随机效应组成的模型称为随机效应模型，或随机模型（random effects model）混合模型：除了群体均数（）和随机误差（e）外，一个模型既含有固定效应，又含有随机效应，则称为混合模型（mixed model）BLUP环境效应：环境效应：外界因素对家畜个体作用所产生的效应外界因素对家畜个体作用所产生的效应随机环境效应随机环境效应（对于一个大群体，基本上可以相互抵消） 人为不可控制，作用于人为不可控制，作用于个别个体个别个体的环境效应的环境效应 永久性随机环境效应；暂时性随机环境效应永久性随机环

28、境效应；暂时性随机环境效应系统环境效应系统环境效应（必须掌握其影响，并从表型值中剔除） 在一定时间内作用于在一定时间内作用于所有个体所有个体的环境效应的环境效应（牧场、季节）（牧场、季节）遗传效应：遗传效应：由基因对个体产生的效应由基因对个体产生的效应随机遗传效应：随机遗传效应：任何个体均是一个群体的随机抽样任何个体均是一个群体的随机抽样固定遗传效应：固定遗传效应：公牛组效应公牛组效应数据资料的结构数据资料的结构均衡资料（balanced data）：所有水平组合中重复数相等的资料称之不均衡资料（unbalanced data）：水平组合中重复数不等的资料称之（畜牧上大部分数据属于此类）均衡资

29、料是不均衡资料的特例虚虚变变数数：仅仅取取 0 0 或或 1 1 值值的的变变量量 试试验验点点列列：当当iX中中的的元元素素均均为为虚虚变变量量时时 设设计计矩矩阵阵（结结构构矩矩阵阵、关关联联矩矩阵阵） ：由由试试验验点点列列构构成成的的矩矩阵阵 虚虚变变量量模模型型：包包括括设设计计矩矩阵阵（或或试试验验点点列列）以以表表示示参参数数的的位位置置的的线线性性模模型型 例：例：一资料结构如下：一资料结构如下： 日粮日粮 观察值观察值 1 1 y y1111 y y1212 y y1313 2 2 y y2121 y y2222 3 3 y y3131 y y3232 设：设：= =群体平均

30、数；群体平均数；321三日粮的增重效应三日粮的增重效应 则：则：ijiiiijexxxy332211 各观察值为各观察值为：3232132313213122321222132121133211312321121132111e100ye100ye010ye010ye001ye001ye001y)()()()()()()()()()()()()()()()()()()()()( 以上各式可写成：以上各式可写成： 32312221131211321323122211312111001100101010101001100110011eeeeeeeyyyyyyy ebXy设计矩阵关联矩阵结构矩阵设有肉牛

31、设有肉牛190190210210日龄的体重资料，将日龄按每日龄的体重资料，将日龄按每5 5天天间隔分组，间隔分组，190190210210日龄就可分为日龄就可分为4 4组，欲分析不同组，欲分析不同日龄组对体重的影响。可建立如下的线性模型日龄组对体重的影响。可建立如下的线性模型： y yijij = = + a + ai i + e + eijij上式中：上式中：y yijij ：在第：在第i i个日龄组中的第个日龄组中的第j j头肉牛的体重，为可观头肉牛的体重，为可观察的随机变量；察的随机变量； ：总平均数，是一常量；：总平均数，是一常量；a ai i ：第：第i i个日龄组的效应，它是固定效

32、应；个日龄组的效应，它是固定效应；e eijij：剩余效应，也称为随机误差；：剩余效应，也称为随机误差；模型举例模型举例上式中随机变量的期望和方差及协方差为上式中随机变量的期望和方差及协方差为：E(E(e eijij) = 0) = 0，E(E(y yijij) = ) = + + a ai i ，Var(Var(y yijij) = Var() = Var(eijeij) = ) = 2 2Cov(Cov(e eijij，e eijij)= Cov()= Cov(e eijij，e eijij)= Cov()= Cov(e eijij，e eijij )=0)=0 此模型的假设和约束条件包括

33、：此模型的假设和约束条件包括：1) 1) 所有犊牛都来自同一品种所有犊牛都来自同一品种, ,2) 2) 母亲的年龄对犊牛体重无影响母亲的年龄对犊牛体重无影响, ,3) 3) 犊牛的性别相同或性别对体重无影响犊牛的性别相同或性别对体重无影响, ,4) 4) 所有犊牛都在相同的环境下以相同的饲养方式饲养所有犊牛都在相同的环境下以相同的饲养方式饲养模型举例模型举例现有一数据表现有一数据表模型举例模型举例190194日龄日龄200204日龄日龄195199日龄日龄205210日龄日龄每一观察值都可根据上面的模型建立一个方程式：每一观察值都可根据上面的模型建立一个方程式： 424133323123222

34、113121143214241333231232221131211,1000110001010010100101001001010010100101000110001100011,eeeeeeeeeeeaaaayyyyyyyyyyyeaXyy = Xa + eE(e) = 0，E(y) = XaVar(y) = Var(e) = I2矩阵矩阵X X称为关联矩阵，称为关联矩阵，因为其中的元素指示因为其中的元素指示了了y y中的元素与中的元素与a a中的中的元素的元素的关联情况关联情况，I I是是单位矩阵。单位矩阵。按试验因子分类：按试验因子分类：a a、 单项分类模型：单项分类模型： ), 2

35、, 1, 2 , 1(njaieyijiijb b、 双向分类模型：双向分类模型：), 2 , 1, 2 , 1, 2 , 1(nkbjaieyijkjiijkc c、 多项分类模型：多项分类模型： kijjikijey日粮日粮牧场 e e、系统分组模型、系统分组模型 二因子二因子：ijkijiijkey 三因子三因子：ijklijkijiijkley 交叉与系统混合方程：交叉与系统混合方程： ijkljkjiijkley d d、有互作效应的模型：、有互作效应的模型： ijkijjiijkey)( ijklijkjkikijjiijkleyk)()()()( 最小二乘法最小二乘法(LS)(L

36、S)最小二乘法最小二乘法(LS)(LS)最小二乘法最小二乘法(LS)(LS)最小二乘法最小二乘法(LS)(LS)最小二乘法最小二乘法(LS)(LS)最小二乘法最小二乘法(LS)(LS) Population size (Population size (n n) 1000) 1000) 1000 Phenotype = sum(allPhenotype = sum(all QTL) + QTL) + environment errorenvironment error Phenotype = sum(allPhenotype = sum(all main QTL) + main QTL) +

37、sum(allsum(all epistatic epistatic QTL) + error QTL) + error Phenotype = sum(largePhenotype = sum(large QTL) + QTL) + sum(smallsum(small QTL) + error QTL) + error Purpose of QTL mapping is not Purpose of QTL mapping is not predicting predicting y y but estimating bs but estimating bs岭回归(Ridge Regres

38、sion)0piijjijybx be10121111121iipiiiiipiiipiipipipipbnxxyxxx xx ybxx xxx yb1()bX XIX y方差分析模型方差分析模型最小二乘法最小二乘法方差分析模型方差分析模型最小二乘法最小二乘法数学模型数学模型单资料试验资料的数学模型为单资料试验资料的数学模型为 方差分析模型方差分析模型最小二乘法最小二乘法方差分析模型方差分析模型最小二乘法最小二乘法 最小二乘法最小二乘法 正规方程为：正规方程为：方差分析模型方差分析模型最小二乘法最小二乘法 约束条件：约束条件： 方差分析模型方差分析模型最小二乘法最小二乘法 正规方程组为：正规方

39、程组为：方差分析模型方差分析模型最小二乘法最小二乘法 解最小二乘均数解最小二乘均数方差分析模型方差分析模型最小二乘法最小二乘法方差分析模型方差分析模型最小二乘法最小二乘法 方差分析方差分析协方差分析协方差分析Analysis of covariance Analysis of covariance (ANCOVA)(ANCOVA) 概述概述 协方差分析的模型与假定协方差分析的模型与假定 单向分类资料的协方差分析单向分类资料的协方差分析 双向分类资料的协方差分析双向分类资料的协方差分析概述概述 概念：概念：将方差分析和回归分析结合起来的将方差分析和回归分析结合起来的一种统计分析方法一种统计分析方

40、法 当试验指标（当试验指标（Y）的变异既受一个或几个分）的变异既受一个或几个分类变量，也受一个或几个连续变量的影响，可类变量，也受一个或几个连续变量的影响，可采用协方差分析采用协方差分析方差分析：方差分析：一个或几个因子（一个或几个因子（分类变量分类变量）对）对变量变量Y（连续变量连续变量）的影响的影响回归分析：回归分析：一个或几个变量（一个或几个变量（连续变量连续变量）对变量）对变量Y Y （连续变量连续变量）的影响的影响 概述概述 目的目的消除连续变量对消除连续变量对Y Y的影响，使方差分析的检的影响，使方差分析的检验功效更高，结果更可靠验功效更高，结果更可靠 连续变量可能会增大连续变量可

41、能会增大 Y Y 的组间差异，导的组间差异，导致错误结论致错误结论 连续变量可能会增大连续变量可能会增大 Y Y 的组内变异，降的组内变异，降低检验功效低检验功效消除分类变量的影响，使回归分析的结果更消除分类变量的影响，使回归分析的结果更可靠可靠概述概述 例例比较几种配合饲料对猪的增重效果比较几种配合饲料对猪的增重效果 统计控制：统计控制：利用增重对初始重的回归关系，对利用增重对初始重的回归关系，对初始重的影响进行校正初始重的影响进行校正 回归分析方差分析协方差分析回归分析方差分析协方差分析当试验控制不能实现？当试验控制不能实现？试验控制永远是第一位的！试验控制永远是第一位的！试验控制：试验控

42、制：选用初始体重相同（近）的猪进行选用初始体重相同（近）的猪进行分组试验分组试验 方差分析方差分析协方差分析的模型和假定协方差分析的模型和假定回归分析：回归分析：*)(ijiijijXXY协方差分析：协方差分析：ijiijiijeXXaY)(l模型模型协变量协变量Co-variable方差分析：方差分析：ijiijaYijiiijijeaXXY)（ijiijiijeXXaY)(协方差分析的模型和假定协方差分析的模型和假定 假定假定协变量是非随机变量，没有度量误协变量是非随机变量，没有度量误差差 Y Y 对协变量的回归是线性的，并且对协变量的回归是线性的，并且各处理内的回归系数是齐性的各处理内的

43、回归系数是齐性的随机误差服从正态分布随机误差服从正态分布 ，且互相独立且互相独立 ), 0(2N单向分类资料的协方差分析单向分类资料的协方差分析3 3种饲料的增重效果比较试验种饲料的增重效果比较试验饲饲料料初始重初始重(X)/(X)/日增重日增重(Y)(Y)（kgkg） 平平均均A1A1X X1515131311111212121216161414171713.7513.75Y Y 0.850.850.830.830.650.650.760.760.800.800.910.910.840.840.900.900.820.82A2A2X X1717161618181818212122221919

44、181818.6318.63Y Y0.970.970.900.901.001.000.950.951.031.031.061.060.990.990.940.940.980.98A3A3X X2222242420202323252527273030323225.3825.38Y Y0.890.890.910.910.830.830.950.951.001.001.021.021.051.051.101.100.970.97单向分类资料的协方差分析单向分类资料的协方差分析 不考虑初重不考虑初重, , 对日增重的方差分析对日增重的方差分析变异变异来源来源平方和平方和自由度自由度均方均方F饲料饲料0

45、.131820.065911.17*误差误差0.1238210.0059 总和总和0.255623 F0.01(2, 21) = 5.78单向分类资料的协方差分析单向分类资料的协方差分析 协方差分析协方差分析1. 1. 计算有关统计量计算有关统计量 日增重（日增重（Y Y）的各项平方和）的各项平方和 SSSST(Y)T(Y), SS, SSA(Y)A(Y), SS, SSE(Y)E(Y)（误差（误差I I） 初始重（初始重（X X）的各项平方和）的各项平方和 SSSST(X)T(X), SS, SSA(X)A(X), SS, SSE(X)E(X) X X和和Y Y的各项乘积和的各项乘积和 SP

46、SPT(XY)T(XY), SP, SPA(XY)A(XY), SP, SPE(XY)E(XY)单向分类资料的协方差分析单向分类资料的协方差分析2.2.对日增重组内平方和进行校正对日增重组内平方和进行校正( (在日增重的组在日增重的组内变异中将初始体重的影响剔除内变异中将初始体重的影响剔除) ) 0240. 025.1752088. 4)()(XEXYESSSPb组内回归系数回归系数1010. 02088. 40240. 0)(XYESPbSS组内组内回归回归平方和回归平方和0228. 01010. 01238. 0)(组内回归组内离回归SSSSSSYE离回归平方和离回归平方和单向分类资料的协

47、方差分析单向分类资料的协方差分析变异来源变异来源平方和平方和自由度自由度均方均方F回归回归0.101010.101088.60*离回归离回归0.0228200.00114 总计总计0.123821 对回归关系的显著性检验对回归关系的显著性检验F0.01(1, 20) = 8.10校正的日增重组内平方和：校正的日增重组内平方和：组内离回归SSSSYE*)(单向分类资料的协方差分析单向分类资料的协方差分析3. 对日增重总平方和进行校正对日增重总平方和进行校正（从日增重的总（从日增重的总变异中将初始重的影响剔除）变异中将初始重的影响剔除） 015. 050.7208075.10)()(XTXYTTS

48、SSPb回归系数回归系数1621. 08075.10015. 0)(XYTTSPbSS总回归回归平方和回归平方和0935. 01621. 02556. 0)(总回归总离回归SSSSSSYT离回归平方和离回归平方和校正的日增重总平方和：校正的日增重总平方和：总离回归SSSSYT*)(单向分类资料的协方差分析单向分类资料的协方差分析4. 对日增重的处理平方和进行校正对日增重的处理平方和进行校正校正的处理平方和：校正的处理平方和： 0707. 00228. 00935. 0*)(*)(*)(YEYTYASSSSSS单向分类资料的协方差分析单向分类资料的协方差分析5. 5. 校正的方差分析校正的方差分

49、析变异来源变异来源自由度自由度平方和平方和均均 方方F饲料饲料20.07070.035330.96*误差误差200.02280.00114 总计总计220.0935 方差分析表方差分析表F0.01(2, 20) = 5.85单向分类资料的协方差分析单向分类资料的协方差分析变异变异来源来源自由度自由度X和和Y的平方和与乘积和的平方和与乘积和组间组间k-1组内组内N-k总计总计N-1单向分类资料的协方差分析表单向分类资料的协方差分析表 )(XASS)(XYASP)(YASS)(XESS)(XYESP)(YESS)(XTSS)(XYTSP)(YTSS变异变异来源来源校正校正自由度自由度Y Y 的的校正平方和校正平方和均方均方F F组间组间k k-1-1组内组内N N- -k k-1-1总变总变异异N N-2-2*)(*)(*)(YEYTYASSSSSS)(2)()(*)(XEXYEYEYESSSPSSSS)(2)()(*)(XTXYTYTYTSSSPSSSSAMSEMSEAMSMS单向分类资料的协方差分析单向分类资料的协方差分析X 和 Y 的 平方和与乘积和 变异 来源 自由 度 XSS XYSP YSS