判别分析.doc

判别分析判别分析问题：在自然科学与社会科学的众多领域中，研究对象往往用某种方式已经分为若干类型，当得到一个新的样品，要确定该样品属于已知的类型中的那一类，这类问题属于判别分析。判别分析模型：从统计数据分析的角度，判别分析的模型如下：设有个总体，它们都是维总体，其数量指标在各个总体下具有不同的分布特征。对某一个新的样品数据，要根据各总体的特征按一定的准则判断该样品应归属那一个总体。一.距离判别1.马氏（Mahalanobis）距离设维总体，其数量指标的均值向量为，协方差矩阵为，其中（1）设和是来自总体的两个样品（即样本值），则与的马氏距离定义为而称为与的马氏平方距离。（2）样品与总体的马氏距离定义为而称为与总体的马氏平方距离。上述定义的马氏距离满足距离的三条基本性质：设，是来自总体的三个样品，则(1) ,当且仅当时；（2）；（3）2. 两个总体的判别 设为两个不同的维已知总体，其均值向量分别为和，协方差矩阵分别为和，设为一个待判样品，要判别属于哪个总体。判别准则： （1.1）等价于准则： （1.2）若令则上述判别准则有等价于 （1.3）其中称为判别函数。判别准则（1.3）实质上是利用判别函数可以得到空间的一个划分：，则准则（1.3）又等价于 （1.4）下面分别就两总体的协方差矩阵相等和不等分别讨论（1）若，此时，由于记 （1.5）则或者从另一个角度看，有 （1.5）记，其中 ， （1.6） 则这样，距离判别准则（1.3）化为 （1.7）其中，如（1.5）式所示。或者 （1.8）其中如（1.6）式所示。上述判别函数，及都是线性函数，因此（1.7）和（1.8）也称为线性判别准则。在实际中，通常是未知的，我们所具有的资料只是从两个总体各抽取了容量为和的样本，和，称为训练样本，这时可用训练样本对，做估计。，的估计分别取各训练样本的样本均值，即又个训练样本的样本协方差阵为当时，的估计取为当训练样本是简单随机样本时，分别是，的无偏估计。这样，线性判别函数，及的估计可取为 （1.9）这样两个总体的距离判别准则为 （1.10）或 （1.11）其中，及如（1.9）式所示。（2）若，此时，判别函数是二次函数。在实际中，未知时，可用个总体的训练样本对它们做估计二次判别函数的估计可取为 （1.12）判别准则为 （1.13）其中如（1.12）式所示。3.多个总体的距离判别设有个维总体，其均值向量分别为，协方差矩阵分别为，为一个待判样品，要判别属于这个总体的哪个。类似于两个总体情况，计算样品到个总体的马斯距离，比较着个距离，判属于其距离最短的总体。下面就各相等和不等讨论（1）若此时，可令判别函数为 （1.14）是线性函数，则到的距离最小等价于对所有，有，从而判别准则为， （1.15）若令， (1.16)则是的一个划分。准则（1.15）实质上等价于， ， （1.17）当，未知时，设是来自总体的训练样本（）令判别函数的估计为判别准则为， （2）若不全相同取判别函数为 （1.11）是二次函数。由得的一个划分， （1.12）其中判别规则为：， ， （1.13）如果使得，则判属于的任何一个，即在边界上的点可判断为相邻区域的任何一个。当，未知时，设是来自总体的训练样本（），令二. Bayes判别1. Bayes判别的基本思想设有个维总体： 其元概率密度分别为： 其出现的先验概率分布为： （） （2.1）用表示将实际属于的样品判为所造成的损失度量（一般为非负），（即没有损失）。 对一个判别准则，以表示在判别准则之下，将实际来自于的样品判为来自的概率，则， （2.2）在给定误判所造成的损失（）下，则对固定的而言，在给定的判别准则下将来自的样品错判为其它总体的平均损失（即期望损失）为（注：） （2.3）由于各总体出现的先验概率为（），故在判别准则下，总平均损失（即总期望损失）为 （2.4）所谓Bayes判别准则就是要选择判别准则使达到最小。2. Bayes判别准则 令，Bayes判别准则为：，若， （2.5）当（常数）（）时，此时可设 （2.6）在这种情况下，令 （2.7），Bayes判别准则为：，若， （2.8）三.例子例1： 费希尔（Fisher）于1936年发表了关于鸢尾花(Iris)的数据。数据是对3种不同的鸢尾花：刚毛鸢尾花（第1组）、变色鸢尾花（第2组）和费吉尼亚鸢尾花（第3组）各抽取一个容量为50的样本，测量其花萼长x1,花萼宽x2，花瓣长x3，花瓣宽x4，单位为mm，数据如下表所示，假定三个品种的4个指标均服从4维正态分布，且先验概率相等，试就协方差阵相等和不等建立Bayes判别准则编号 品种 x1 x2 x3 x4 编号 品种x1 x2 x3 x4编号 品种 x1 x2 x3 x41 1 50 33 14 22 1 46 34 14 33 1 46 36 10 24 1 51 33 17 55 1 55 35 13 26 1 48 31 16 27 1 52 34 14 28 1 49 36 14 19 1 44 32 13 210 1 50 35 16 611 1 44 30 13 212 1 47 32 16 213 1 48 30 14 314 1 51 38 16 215 1 48 34 19 216 1 50 30 16 217 1 50 32 12 218 1 43 30 11 119 1 58 40 12 220 1 51 38 19 421 1 49 30 14 222 1 51 35 14 223 1 50 34 16 424 1 46 32 14 225 1 57 44 15 426 1 50 36 14 227 1 54 34 15 428 1 52 42 15 129 1 55 42 14 230 1 49 31 15 231 1 54 39 17 432 1 50 34 15 233 1 44 29 14 234 1 47 32 13 235 1 46 31 15 236 1 51 34 15 237 1 50 35 13 338 1 49 31 15 139 1 54 37 15 240 1 54 39 13 441 1 51 35 14 342 1 48 34 16 243 1 48 30 14 144 1 45 23 13 345 1 57 38 17 346 1 51 38 15 347 1 54 34 17 248 1 51 37 15 449 1 52 35 15 250 1 53 37 15 251 2 65 28 46 1552 2 62 22 45 1553 2 59 32 48 18 54 2 61 30 46 1455 2 60 27 51 1656 2 56 25 39 1157 2 57 28 45 1358 2 63 33 47 1659 2 70 32 47 1460 2 64 32 45 1561 2 61 28 40 1362 2 55 24 38 1163 2 54 30 45 1564 2 58 26 40 1265 2 55 26 44 1266 2 50 23 33 1067 2 67 31 44 1468 2 56 30 45 1569 2 58 27 41 1070 2 60 29 45 1571 2 57 26 35 1072 2 57 19 42 1373 2 49 24 33 1074 2 56 27 42 1375 2 57 30 42 1276 2 66 29 46 1377 2 52 27 39 1478 2 60 34 45 1679 2 50 20 35 1080 2 55 24 37 1081 2 58 27 39 1282 2 62 29 43 1383 2 59 30 42 1584 2 60 22 40 1085 2 67 31 47 1586 2 63 23 44 1387 2 56 30 41 1388 2 63 25 49 1589 2 61 28 47 1290 2 64 29 43 1391 2 51 25 30 1192 2 57 28 41 1393 2 61 29 47 1494 2 56 29 36 1395 2 69 31 49 1596 2 55 25 40 1397 2 55 23 40 1398 2 66 30 44 1488 2 68 28 48 14100 2 67 30 50 17101 3 64 28 56 22102 3 67 31 56 24103 3 63 28 51 15104 3 69 31 51 23105 3 65 30 52 20106 3 65 30 55 18107 3 58 27 51 19108 3 68 32 59 23109 3 62 34 54 23110 3 77 38 67 22111 3 67 33 57 25112 3 76 30 66 21113 3 49 25 45 17114 3 67 30 52 23115 3 59 30 51 18116 3 63 25 50 19117 3 64 32 53 23118 3 79 38 64 20119 3 67 33 57 21120 3 77 28 67 20121 3 63 27 49 18122 3 72 32 60 18123 3 61 30 49 18124 3 61 26 56 14125 3 64 28 56 21126 3 62 28 48 18127 3 77 30 61 23128 3 63 34 56 24129 3 58 27 51 19130 3 72 30 58 16131 3 71 30 59 21132 3 64 31 55 18133 3 60 30 48 18134 3 63 29 56 18135 3 77 26 69 23136 3 60 22 50 15137 3 69 32 57 23138 3 74 28 61 19139 3 56 28 49 20140 3 73 29 63 18141 3 67 25 58 18142 3 65 30 58 22143 3 69 31 54 21144 3 72 36 61 25145 3 65 32 51 20146 3 64 27 53 19147 3 68 30 55 21148 3 57 25 50 20149 3 58 28 51 24150 3 63 33 60 25例2：2000年全国大学生数学建模竞赛A题 DNA序列分类2000年6月，人类基因组计划中DNA全序列草图完成，预计2001年可以完成精确的全序列图，此后人类将拥有一本记录着自身生老病死及遗传进化的全部信息的“天书”。这本大自然写成的“天书”是由4个字符A，T，C，G按一定顺序排成的长约30亿的序列，其中没有“断句”也没有标点符号，除了这4个字符表示4种碱基以外，人们对它包含的“内容”知之甚少，难以读懂。破译这部世界上最巨量信息的“天书”是二十一世纪最重要的任务之一。在这个目标中，研究DNA全序列具有什么结构，由这4个字符排成的看似随机的序列中隐藏着什么规律，又是解读这部天书的基础，是生物信息学（Bioinformatics）最重要的课题之一。虽然人类对这部“天书”知之甚少，但也发现了DNA序列中的一些规律性和结构。例如，在全序列中 有一些是用于编码蛋白质的序列片段，即由这4个字符组成的64种不同的3字符串，其中大多数用于编码构成蛋白质的20种氨基酸。又例如，在不用于编码蛋白质的序列片段中，A和T的含量特别多些，于是以某些碱基特别丰富作为特征去研究DNA序列的结构也取得了一些结果。此外，利用统计的方法还发现序列的某些片段之间具有相关性，等等。这些发现让人们相信，DNA序列中存在着局部的和全局性的结构，充分发掘序列的结构对理解DNA全序列是十分有意义的。目前在这项研究中最普通的思想是省略序列的某些细节，突出特征，然后将其表示成适当的数学对象。这种被称为粗粒化和模型化的方法往往有助于研究规律性和结构。 作为研究DNA序列的结构的尝试，提出以下对序列集合进行分类的问题： 1）下面有20个已知类别的人工制造的序列（见下页），其中序列标号110为A类，11-20为B类。请从中提取特征，构造分类方法，并用这些已知类别的序列，衡量你的方法是否足够好。然后用你认为满意的方法，对另外20个未标明类别的人工序列（标号2140）进行分类，把结果用序号（按从小到大的顺序）标明它们的类别（无法分类的不写入）：A类_ ；B类 _ 。 请详细描述你的方法，给出计算程序。如果你部分地使用了现成的分类方法，也要将方法名称准确注明。 这40个序列也放在如下地址的网页上，用数据文件Art-model-data标识，供下载：网易网址：教育频道在线试题；教育网：Newmcm2000教育网：/mcm 2）在同样网址的数据文件Nat-model-data中给出了182个自然DNA序列，它们都较长。用你的分类方法对它们进行分类，像1）一样地给出分类结果。 提示：衡量分类方法优劣的标准是分类的正确率，构造分类方法有许多途径，例如提取序列的某些特征，给出它们的数学表示：几何空间或向量空间的元素等，然后再选择或构造适合这种数学表示的分类方法；又例如构造概率统计模型，然后用统计方法分类等。Art-model-data1.aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg2.cggaggacaaacgggatggcggtattggaggtggcggactgttcggggaattattcggtttaaacgggacaaggaaggcggctggaacaaccggacggtggcagcaaagga3.gggacggatacggattctggccacggacggaaaggaggacacggcggacatacacggcggcaacggacggaacggaggaaggagggcggcaatcggtacggaggcggcgga4.atggataacggaaacaaaccagacaaacttcggtagaaatacagaagcttagatgcatatgttttttaaataaaatttgtattattatggtatcataaaaaaaggttgcga5.cggctggcggacaacggactggcggattccaaaaacggaggaggcggacggaggctacaccaccgtttcggcggaaaggcggagggctggcaggaggctcattacggggag6.atggaaaattttcggaaaggcggcaggcaggaggcaaaggcggaaaggaaggaaacggcggatatttcggaagtggatattaggagggcggaataaaggaacggcggcaca7.atgggattattgaatggcggaggaagatccggaataaaatatggcggaaagaacttgttttcggaaatggaaaaaggactaggaatcggcggcaggaaggatatggaggcg8.atggccgatcggcttaggctggaaggaacaaataggcggaattaaggaaggcgttctcgcttttcgacaaggaggcggaccataggaggcggattaggaacggttatgagg9.atggcggaaaaaggaaatgtttggcatcggcgggctccggcaactggaggttcggccatggaggcgaaaatcgtgggcggcggcagcgctggccggagtttgaggagcgcg10.tggccgcggaggggcccgtcgggcgcggatttctacaagggcttcctgttaaggaggtggcatccaggcgtcgcacgctcggcgcggcaggaggcacgcgggaaaaaacg11.gttagatttaacgttttttatggaatttatggaattataaatttaaaaatttatattttttaggtaagtaatccaacgtttttattactttttaaaattaaatatttatt12.gtttaattactttatcatttaatttaggttttaattttaaatttaatttaggtaagatgaatttggttttttttaaggtagttatttaattatcgttaaggaaagttaaa13.gtattacaggcagaccttatttaggttattattattatttggattttttttttttttttttttaagttaaccgaattattttctttaaagacgttacttaatgtcaatgc14.gttagtcttttttagattaaattattagattatgcagtttttttacataagaaaatttttttttcggagttcatattctaatctgtctttattaaatcttagagatatta15.gtattatatttttttatttttattattttagaatataatttgaggtatgtgtttaaaaaaaatttttttttttttttttttttttttttttttaaaatttataaatttaa16.gttatttttaaatttaattttaattttaaaatacaaaatttttactttctaaaattggtctctggatcgataatgtaaacttattgaatctatagaattacattattgat17.gtatgtctatttcacggaagaatgcaccactatatgatttgaaattatctatggctaaaaaccctcagtaaaatcaatccctaaacccttaaaaaacggcggcctatccc18.gttaattatttattccttacgggcaattaattatttattacggttttatttacaattttttttttttgtcctatagagaaattacttacaaaacgttattttacatactt19.gttacattatttattattatccgttatcgataattttttacctcttttttcgctgagtttttattcttactttttttcttctttatataggatctcatttaatatcttaa20.gtatttaactctctttactttttttttcactctctacattttcatcttctaaaactgtttgatttaaacttttgtttctttaaggattttttttacttatcctctgttat21.tttagctcagtccagctagctagtttacaatttcgacaccagtttcgcaccatcttaaatttcgatccgtaccgtaatttagcttagatttggatttaaaggatttagattga22.tttagtacagtagctcagtccaagaacgatgtttaccgtaacgtqacgtaccgtacgctaccgttaccggattccggaaagccgattaaggaccgatcgaaaggg23.cgggcggatttaggccgacggggacccgggattcgggacccgaggaaattcccggattaaggtttagcttcccgggatttagggcccggatggctgggaccc24.tttagctagctactttagctatttttagtagctagccagcctttaaggctagctttagctagcattgttctttattgggacccaagttcgacttttacgatttagttttgaccgt25.gaccaaaggtgggctttagggacccgatgctttagtcgcagctggaccagttccccagggtattaggcaaaagctgacgggcaattgcaatttaggcttaggcca26.gatttactttagcatttttagctgacgttagcaagcattagctttagccaatttcgcatttgccagtttcgcagctcagttttaacgcgggatctttagcttcaagctttttac27.ggattcggatttacccggggattggcggaacgggacctttaggtcgggacccattaggagtaaatgccaaaggacgctggtttagccagtccgttaaggcttag28.tccttagatttcagttactatatttgacttacagtctttgagatttcccttacgattttgacttaaaatttagacgttagggcttatcagttatggattaatttagcttattttcga29.ggccaattccggtaggaaggtgatggcccgggggttcccgggaggatttaggctgacgggccggccatttcggtttagggagggccgggacgcgttagggc30.cgctaagcagctcaagctcagtcagtcacgtttgccaagtcagtaatttgccaaagttaaccgttagctgacgctgaacgctaaacagtattagctgatgactcgta 31.ttaaggacttaggctttagcagttactttagtttagttccaagctacgtttacgggaccagatgctagctagcaatttattatccgtattaggcttaccgtag