多元统计分析 第四章作业题选讲

多元统计分析第四章作业题选讲第4章判别分析）4.2简述距离判别法的基本思想和方法。答：距离判别的基本思想是计算样品与各个总体之间的距离（通常是马氏距离），把样品判别为样品到总体距离最小的总体。距离判别问题分为①两个总体的距离判别问题和②多个总体的距离判别问题。①两个总体的距离判别问题设有协方差矩阵∑相等的两个总体G1和G2，其均值分别是1和2，对于一个新的样品X，要判断它来自哪个总体。计算新样品X到两个总体的马氏距离d2（X，G1）和d2（X，G2），则令，其中，则上述判别规则可简化为：②多个总体的距离判别问题设有k个组π1,π2,⋯,πk，它们的均值分别是μ1,μ2,⋯,μk，协方差矩阵分别是Σ1(>0),Σ2(>0),⋯,Σk(>0)，x到总体πi的平方马氏距离为判别规则为

若Σ1=Σ2=⋯=Σk=Σ，则上述判别规则可作进一步简化。 d2(x,πi)=(x−μi)′Σ−1(x−μi)=x′Σ−1x−2μi′Σ−1x+μi′Σ−1μi =x′Σ−1x−2(Ii′x+ci)

其中

，判别规则简化为Σ1,Σ2,⋯,Σk不全相等的情形

4.3简述贝叶斯判别法的基本思想和方法。设k个总的概率密度函数分别为，假设k个总体出现的概率分别为：，，。进行贝叶斯判别，通常有两大准则，一是依据后验概率最大准则；二是依据平均误判损失最小准则；同时要求已知：（1）总体的概率密度函数；（2）各总体出现的先验概率；（3）各误判损失。将本来属于总体

的样品错判到总体

时造成的损失为

，。

1.最大后验概率准则x属于总体Gi的后验概率为最大后验概率准则采用如下的判别规则：2.平均误判损失最小准则使ECM达到最小的判别规则：4.4简述费希尔判别法的基本思想和方法。费希尔判别的基本思想是投影（或降维）：用p维向量的少数几个线性组合（称为判别式或典型变量）

（一般r明显小于p）来代替原始的p个变量x1,x2,⋯,xp，以达到降维的目的，并根据这r个判别式y1,y2,⋯,yr对样品的归属作出判别。特别地，可对前两个或前三个判别式作图，从直观的几何图形上区别各总体。（1）判别式的求法第一步计算样本组间离差阵和组内离差阵第二步求特征值和特征向量求矩阵E−1B（或B−1E）的特征值和对应的单位特征向量。设全部非零特征值依次为λ1≥λ2≥⋯≥λs>0，其中，非零特征值个数：s≤min(k−1,p)

相应的特征向量依次记为t1,t2,⋯,ts（标准化为ti′Spti=1,i=1,2,⋯,s），称y1=t1′x为第一判别式，y2=t2′x为第二判别式。一般地，称yi=ti′x为第i判别式，i=1,2,⋯,s。由s≤min(k−1,p)知，组数k=2时只有一个判别式，k=3时最多只有两个判别式，判别式的个数不可能超过原始变量的个数p。第三步写出判别式第一判别式：y1=t1′x；第二判别式：y2=t2′x；一般地，第i判别式：yi=ti′x，i=1,2,⋯,s。（2）判别规则

选取前r(≤s)个判别式y1,y2,⋯,yr，使累计贡献率：达到了一个较高的比例(如75%~95%)，则可采用这r个判别式做判别。判别规则为：其中，

，i=1,2,⋯,k。该判别规则也可表达为：

4.6设有两个二元总体G1和G2，从中分别抽取样本计算得到样本均值：

样本协方差阵：假设两总体协方差矩阵相等，试用距离判别法建立判别函数和判别规则。并判别样品应属于哪个总体？4.5试析距离判别法、贝叶斯判别法和费希尔判别法的异同。（略）解：由已知可得，4.7设有两正态总体G1和G2，且已知总体均值向量和总体协方差阵分别为：两总体的先验概率为：