多元统计分析课件

数学建模培训第十章多元统计分析

第十章多元统计分析主讲：孙中奎1．问题引入2．思路点拨3．判别分析方法4．DNA序列分类问题的求解5.参考文献目录

首先，我们来考虑一下2000年“网易杯”全国大学生数学建模竞赛的A题是关于“DNA序列分类”的问题

1．问题引入虽然人类对这部“天书”知之甚少，但也发现了DNA序列中的一些规律性和结构。例如，在全序列中有一些是用于编码蛋白质的序列片段，即由这4个字符组成的64种不同的3字符串，其中大多数用于编码构成蛋白质的20种氨基酸。又例如，在不用于编码蛋白质的序列片段中，A和T的含量特别多些，于是以某些碱基特别丰富作为特征去研究DNA序列的结构也取得了一些结果。此外，利用统计的方法还发现序列的某些片段之间具有相关性，等等。这些发现让人们相信，DNA序列中存在着局部的和全局性的结构，充分发掘序列的结构对理解DNA全序列是十分有意义的。

作为研究DNA序列的结构的尝试，试对以下序列进行分类：问题一：下面有20个已知类别的人工制造的序列（见附件1），其中序列标号1—10为A类，11-20为B类。请从中提取特征，构造分类方法，并用这些已知类别的序列，衡量你的方法是否足够好。然后用你认为满意的方法，对另外20个未标明类别的人工序列（标号21—40）进行分类，把结果用序号（按从小到大的顺序）标明它们的类别（无法分类的不写入）：A类

；B类

。问题二：请对182个自然DNA序列（）进行分类。它们都较长。用你的分类方法对它们进行分类，并给出分类结果。

看了这道题，我们应当从何处入手呢，我们应该怎样进行分析呢……如果将每一个DNA序列都看作样本，那么该问题就进一步提炼成一个纯粹的数学问题：设有两个总体（类）和，其分布特征（来自各个总体的样本）已知，对给定的新品，我们需要判断其属于哪个总体（类）。对于上面的数学问题，可以用很多成熟的方法来解决，例如：（1）BP神经网络；（2）聚类分析；（3）判别分析；等等。

如何选取方法是建模过程中需要解决的另外一个问题：BP神经网络是人工神经网络的一种，它通过对训练样本的学习，提取样本的隐含信息，进而对新样本的类别进行预测。BP神经网络可以用以解决上面的DNA序列分类问题，但是，如何提取特征、如何提高网络的训练效率、如何提高网络的容错能力、如何建立网络结构是能否成功解决DNA序列分类问题的关键所在；聚类分析和判别分析都是多元统计分析中的经典方法，都可以用来将对象（或观测值）分成不同的集合或类别，但是，聚类分析更侧重于“探索”对象（或观测值）的自然分组方式，而判别分析则侧重于将未知类别的对象（或观测值）“归结”（或者说，分配）到已知类别中。显然，判别分析更适合用来解决上面的DNA序列分类问题。3．判别分析方法

判别分析是用于判别样品所属类别的一种多元统计分析方法。判别分析问题都可以这样描述：设有个维的总体，其分布特征已知（如已知分布函数分别为或者已知来自各个总体的样本），对给定的一个新样品，我们需要判断其属于哪个总体。一般来说，根据判别规则的不同，可以得到不同的判别方法，例如，距离判别、贝叶斯（Bayes）判别、费希尔（Fisher）判别、逐步判别、序贯判别等。这里，我们简单介绍三个常用的判别方法：距离判别、贝叶斯（Bayes）判别和费希尔（Fisher）判别。

3.1距离判别距离判别的基本思想：样品X离哪个总体的距离最近，就判断X属于哪个总体。

这里的“距离”是通常意义下的距离（欧几里得距离：在m维欧几里得空间R中，两点与的欧几里得距离，也就是通常我们所说的距离为）吗？带着这个疑问，我们来考虑这样一个问题：设有两个正态总体，和，现在有一个新的样品位于A处（参见图1）从图中不难看出：，是否A处的样品属于总体呢？图1显然不是，因为从概率的角度来看，总体的样本比较分散，而总体的样本则非常集中，因此处的样品属于总体的概率明显大于属于总体的概率，也就是说，处的样品属于总体的“可能性”明显大于属于总体的“可能性”！这也说明了用欧几里得距离来度量样品到总体距离的局限性。因此，需要引入新的距离概念——这就是下面给出的马氏距离。3.1.1两总体的距离判别先考虑两个总体（）的情况。设有两个总体和,和分别是和的协方差阵，和分别是和的均值。对于新的样品，需要判断它来自那个总体。设来自（）的训练样本为其中表示来自哪个总体，表示来自总体的样本量。要判断新样品来自哪个总体，一般的想法是分别计算新样品到两个总体的马氏距离和：

如果则判定；反之，如果则判定：即

……（1）

A.时的判别方法其中，，

记为了得到更简单的判别规则，我们下面计算新样品到两个总体的马氏距离和的差当时，根据判别准则（1）式，我们同样的给出判别函数为相应的判别规则为……（3）B.时的判别方法在实际应用中，总体的均值和协方差阵一般是未知的，我们所知道的仅仅是一组样本或者观测值，在这种情况下，就需要利用数理统计的知识，对进行估计。利用已知样本，易得的无偏估计分别为C.的估计

对于多个总体的情况，可以类似于两个总体的处理过程，我们给出如下的步骤：

第一步：计算样品到每个总体的马氏距离；第二步：比较的大小，将样品判为距离最小的那个总体。如果均值为：和协方差：未知，可以类似两个总体的情形运用训练样本来进行估计。这里不再赘述。

3.1.2多总体的距离判别与前面距离判别方法不同的是：所谓贝叶斯（Bayes）判别，就是在考虑各总体的先验概率和错判损失的情况下，给出空间的一个划分：，使得运用此划分来判别归类时，所带来的平均错判损失最小。3.2贝叶斯判别贝叶斯（Bayes）判别问题的数学描述为：设有个维的总体，其密度函数分别为，若已知这个总体各自出现的概率（先验概率）为（，且），假设已知将本来属于总体的样品错判为总体所造成的损失为。在这样的情形下，对于新的样品，需要判断它来自那个总体。为了给出贝叶斯（Bayes）判别准则，我们从下面几个方面来讨论：误判概率的估计方法有以下几种：（1）利用训练样本为检验集，用判别方法对训练样本进行判断，统计误判的样本个数，计算误判样本占总样本的比例，并作为误判概率的估计值；（2）当训练样本足够大时，从训练样本中预留一部分作为检验集，并记录判错的比率，作为误判概率的估计值；（3）运用舍一法：每次预留一个样本来检验，用剩下的样本建立判别准则，循环检验完所有训练样本，记录判错的比率，以此作为误判概率的估计值。C.确定错判损失错判必然带来损失。现实中，错判的损失一般来说很难定量给出。但是可以运用赋值法来确定：（1）根据经验或者实际问题的特征人为确定；（2）假设各种误判损失都相等。基于前面的讨论，运用概率知识：判别法将本来属于总体的样本错判给其它总体的平均损失为那么，关于先验概率的平均错判损失为……（5）如果能找到使得平均损失达到最小，那么就称为贝叶斯（Bayes）判别的解。

D.确定平均损失定理1：设有个总体：，已知的联合密度函数为，先验概率为，错判损失为，则贝叶斯（Bayes）判别的解为

其中……（6）下面给出贝叶斯（Bayes）判别的解的主要结论

：3.3费希尔判别费希尔判别的基本思想：借助于方差分析的思想，利用投影将元的数据投影到某一个方向，使得投影后组与组之间的差异尽可能的大，然后根据一定的判别规则对新样本的类别进行判断。首先构造一个线性判别函数……（7）可见上面的函数将元的数据投影到了一个方向，系数的确定原则是使得总体间的差异最大，总体内部的离差最小。A.确定线性判别函数设有个元总体：，它们的均值为：；协方差为：。在的条件下，有

令 这里确定，使得个总体间的差异最大，总体内部的离差最小，则应该达到最大。为了确保的唯一性，不妨设。因此，问题转化为：在条件约束下，求使得式达到最大——这是大家非常熟悉的条件极值的问题。根据拉格朗日乘子法：求解得……（8）由方程（8）第一式知，是的特征根，是相应的特征向量。可以证明（的大小可以衡量判别函数的判别效果，故称为判别效率）。设的非零特征根为，相应的满足约束条件的特征向量为，显然，取时达到最大。B.确定判别规则

假设系数已经求出，那么线性判别函数就完全确定下来，对于一个新的样品，可以构造下面的判别规则：

……（9）

3.4判别分析模型的显著性检验建立了判别分析模型以后还需要对模型进行评价，这就需要对判别分析模型的显著性进行检验，主要包括两个方面：判别效果的检验和各变量判别能力的检验[1，2]。所谓判别效果的检验就是检验k个总体的均值是否有显著的差异，反映了采用判别分析模型的有效性问题；各变量判别能力的检验反映的是各指标（因素）对判别分类所起的作用时候显著。具体的检验方法因为过于复杂，这里不再赘述。需要说明的是，作为多元统计分析中的经典方法，判别分析在许多关于多元统计分析的教材中均有详细而深刻的论述。4．DNA序列分类问题的求解关于DNA序列分类问题的讨论和分析，我们在第1部分和第2部分已经作了详细的分析和讨论。这里，我们将根据多元统计分析的知识建立判别分析模型来求解DNA序列的分类问题（这里只求解问题一）。首先，需要提取每条序列的所蕴含的特征——因为将序列的全部信息都作为指标（因素）来建立判别模型是不可能的。A.特征的提取DNA序列中所蕴含的信息是非常丰富的，因此，如何提取特征、提取什么特征是一个非常困难的问题——这个问题涉及到生物学的知识，此处将不深入展开讨论。我们考虑采用序列中4个碱基A，T，C，G的含量百分比作为DNA序列的特征。为了便于讨论，我们用表示碱基A在序列中所占的百分比；表示碱基T在序列中所占的百分比；表示碱基C在序列中所占的百分比；表示碱基G在序列中所占的百分比。因为，+++=1，因此、、和中只有三个变量是独立的，不失一般性，我们选取、和为指标，以表示第个DNA序列的特征向量，换句话说，“完全”代表第个DNA序列。正如前面第2部分中所分析的：在此DNA序列分类问题中，共有两个已知的总体（类）（A类）和（B类），而且，训练样本共有个，其中，前10个样本（记为）属于总体（类）；后10个样本（记为）属于总体（类）。需要解决的问题是：对给定的新样品，我们需要判断其属于哪个总体（类）。B.建立判别模型

这里分别建立距离判别和费希尔（Fisher）判别模型。（1）距离判别模型在距离判别模型中，首先需要估计总体（类）和的均值和协方差阵，运用前面3.1.1小节的公式，可以得到均值和协方差阵的无偏估计。然后，计算样本到总体（类）和的马氏距离；根据判别准则（1），可得：若，则判定为A类；若，则判定为B类。

（2）费希尔判别模型

首先，确定判别函数利用费希尔(Fisher)判别准则，可以求出确定了判别函数，就可以根据费希尔(Fisher)判别准则（9）式，判断新的DNA序列的类别问题了。

C.模型求解和软件实现判别分析的计算机实现是非常简单的，运用Matlab和S