实验设计第三讲方差分析和回归分析

1、第三讲 方差与回归分析1简单比较实验回顾两独立样本t检验小样本，方差未知，分方差齐和方差不齐两种情形。两独立样本Z检验两个总体为正态，且方差已知；或者大样本情形。配对样本t检验实质转化为一个总体均值与已知值（0）的比较。2假设两种配方的方差是相等的，检验统计量是，是的一个估计量3假设两种配方的方差不相等，检验统计量是，4若 已知，且在原假设为真的前提下有56本例7单侧检验8样品杆尖1杆尖2di=y1i-y22443158806321724-2899095411045-19配对样本的基本模型是杆尖i在样品j上的读数是杆尖i的硬度平均读数值是样品j的硬度效应（区组效应）1

2、0计算第j个配对值dj因此， 就等价于当用配对方式出现是，硬度效应就会消失11模型转换转化为总体方差未知时，单总体样本与已知均值u=0的比较t检验12本例13配对与独立的比较：置信区间配对独立14关于方差齐性检验两个正态总体方差是否相等？当H0为真时，1516平衡设计与非平衡设计当每一种处理的重复次数相等的时候，我们称这种设计为平衡设计，相应的实验为平衡实验。反之，如果重复次数不相等，则称之为非平衡设计与非平衡实验。17样本量的有关问题18样本量与正态性假设（一）前述t检验其实要求总体符合正态分布，意味着之前要对总体是否是正态总体进行一个所谓的正态性检验。当样本量很小时候，进行正态性检验的效率

3、本身不高。因此只能根据常识判断是否符合正态分布。如果是小样本，总体的确不符合正态分布，此时需要用到非参数检验的方法，此时效率更低，而且在小样本情况下难以得出有效结论。19样本量与正态性假设（二）事实上，只要实验数据满足随机化原则，即使总体不符合正态分布，用t检验方法与非参数方法检验结果总是很接近的。而在大样本的情况下，即使总体不符合正态分布，也可以利用中心极限定理认为统计量总是近似符合正态分布。 因此，总体是否为正态，我们并不太关注。此约束条件可以放松。20样本量与检验的效率样本量越大，检验的效率越高，即当样本量很大时，即使是细微的差异，也可能在统计上是显著的。但是这在统计上并非总是需要的，有

4、些统计上的显著差异在专业上也许是无意义的。因此，对统计检验往往不能简单地关心两个处理之间是否存在差异，而是关心这种差异是否达到某种极限。21样本量与检验的条件等方差检验的效率要高于异方差，在样本量较小的条件下，这种差异比较明显，但是在大样本的场合下，两种检验的效率就非常接近了。但这时推荐使用异方差的检验结果。因为等方差假设总是“软”的，总是我们不能“拒绝原假设”的条件下做出的，而异方差则是硬结论。可以在任何样本量下先做异方差条件下的检验，如果此时都能拒绝原假设，则就不必进行等方差条件下的检验了。若检验不出显著差异，则可以进行方差齐性检验，再在方差齐的条件下进行检验。22方差分析23方差分析在实

5、验设计中的作用影响实验指标的因素可以只有一个，也可以有多个，这些称为factor。各个因素可以取多个水平，因此，不同的因素及其不同的水平，都可以看作不同的总体。通过实验数据来分析不同因素和不同水平对实验指标的影响程度的方法，就是方差分析方法。24方差分析的主要内容单因素实验的方差分析双因素实验的方差分析多因素实验的方差分析25单因素实验的方差分析26单因素方差分析模型因素水平12niA1x11x12x1n1A2x21x22x2n2Aixi1xi2xiniAaxa1xa2xana27模型的三项基本假定正态性：所有数据符合正态分布；（均值不一定相等）方差齐性：所有数据的方差相等；（不同总体的方差相

6、等）随机性（所有实验数据相互独立，即误差项相互独立）。28模型Ai水平下有样本数据xi1，xi2，xini来自于正态总体2930方差分析的任务是检验该线性统计模型中a个总体 的均值 是否相等31固定效应模型与随机效应模型简单了解32固定效应模型a个处理（水平）由实验者具体选定。 且满足约束条件得到的相关结论仅适用于分析中所考虑的因素水平，不能推广至未曾明确考虑的相似处理中。33随机效应模型（方差分量模型）把a个处理（水平）看作是来自一个较大的处理总体的一个随机样本。在此情形下，希望能够把结论推广至总体所有可能的处理当中。而不管它在分析中是否明确考虑。此时 是随机变量。例如实验者关注很多可能水平

7、的因素，若从这多个水平中随机选取a个水平，则称因素是随机的。34总离差平方和的分解水平Ai下的样本均值样本数据的总均值总离差平方和35总离差平方和的分解36总离差平方和的分解总离差平方和因素A效应平方和，组间差Ai水平下样本值与样本均值之间的差异，由于随机误差引起的，称为误差平方和37总离差平方和的分布H0成立时（即因素水平效应为零时，即所有样本数据来自于同一个正态总体）38误差平方和的分布无论H0成立与否39因素A效应的平方和404142在原假设成立的条件下而43事实上44在H0成立的条件下，统计量Mean Square均方4546简化计算公式P8例题1.1.1思考：请问这里的F检验是单侧还

8、是双侧的？47完全随机化的单因素实验设计例：产品开发工程师考虑让合成纤维的抗拉强度增加的方案。根据经验，抗拉强度会受纤维中所含的棉花的比例的影响。而且还知道，若要成品布具有所希望的质量特性（受恒压加工处理），棉花的含量应当在10-40%之间。现在决定检验15%，20%，25%，30%，35%这五种棉花含量水平。每种水平试验5种样品。a=5, n1=n2=n3=n4=n5=5如何来安排实验？48实验编号棉花含量实验序号15%1234520%67891025%111213141530%161718192035%212223242549如何进行实验？50随机抽选序号进行实验例如利用随机数表选择序号，

9、直到做完25个实验为止。之所以如此进行，是为了防止未知的干扰因素对实验结果造成污染。因此即是进行所谓的随机化。如果依次按照1-25号做完实验，会有什么后果 ？51为何说检验若干个均值是否相等的恰当方法是方差分析？例如前例检验五个均值是否相等 u1=u2=u3=u4=u5一种做法是可以利用两个独立样本的t检验来检验所有可能样本对需要检验多少次？假设检验犯错误的概率大为增加：1-0.9510=1-0.60=0.40 52多重比较 在否定了原假设之后，并未明确指出哪些均值不同。此时需要进一步比较各组均值之间的差异，即所谓的多重比较。需要检验 个假设：53最小显著性差异法（LSD）545556双边检验

10、，则当就认为 与 有显著差异就是所谓的最小显著性差异此时只需要将每对均值差的绝对值与LSD比较，如果大于LSD，就显著。否则就不显著。57LSD方法的问题可能极大地提高犯第一类错误的风险；有时候方差分析的F值是显著的，但利用LSD方法找不到任何有显著差异的水平对。即有些差异不一定以两个水平的均值之差表现出来。LSD方法与Duncan方法在众多的多重比较方法中，功效是最强的。58正态性检验正态概率纸法残差图法59正态概率纸法横坐标等间隔，表示观察值大小；纵坐标表示观察值中不超过值x的数据个数占全部观察值个数的比例；任意两个方差相等的正态分布函数呈现平行的直线状。60正态分布右偏分布左偏分布正态概率纸61具体操作检验x1,x2,xm是否来自于正态总体的一个样本。1）把样本数据进行排序x(1) x(2) x(m),一般要求m8。2）计算x(j)处的累积概率 用修正频率 来估计，计算出这些估计值3）把m个点x(j),j/(m+1)逐一点在正态概率纸张上。4）用目测判断，若大致在一条直线周围，则来自于正态总体，若非，则不是正态总体。62正态概率纸法的缺陷实验设计中，重复次数少于8的情形很多，此时单独就每组样本数据使用正态概率纸来检验，效果不好。容易判断失误；怎么办63可行办法一：汇总残差项数把各组的残差合并成一个大样本之