多元统计分析课后习题解答第四章

1、第四章判别分析4.1简述欧几里得距离与马氏距离的区别和联系。答：设 p维欧几里得空间中的两点X=和Y=。则欧几里得距离为。欧几里得距离的局限有在多元数据分析中，其度量不合理。会受到实际问题中量纲的影响。设X,Y是来自均值向量为，协方差为的总体 G 中的 p 维样本。则马氏距离为D(X,Y)=。当即单位阵时，D(X,Y)=即欧几里得距离。因此，在一定程度上， 欧几里得距离是马氏距离的特殊情况， 马氏距离是欧几里得距离的推广。4.2试述判别分析的实质。答：判别分析就是希望利用已经测得的变量数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来。设R1， R2

2、， ， Rk 是 p 维空间 R p 的 k 个子集，如果它们互不相交，且它们的和集为，则称为的一个划分。判别分析问题实质上就是在某种意义上，以最优的性质对p 维空间构造一个“划分”，这个“划分”就构成了一个判别规则。4.3 简述距离判别法的基本思想和方法。答：距离判别问题分为两个总体的距离判别问题和多个总体的判别问题。其基本思想都是分别计算样本与各个总体的距离（马氏距离），将距离近的判别为一类。两个总体的距离判别问题设有协方差矩阵相等的两个总体1 和2，其均值分别是1 和2，对于一个新的样品，GGX要判断它来自哪个总体。计算新样品X到两个总体的马氏距离2122D（ X，G）和 D（ X，G）

3、，则X，D2（ X，G1）D2（ X，G2 ）X，D2（ X，G1） > D2（ X， G2，具体分析，D2(X,G1) D2(X,G2)(X 1) 1 (X 1) ( X 2 ) 1 (X 2 )X 1 X 2X 11 111 (X 1X 2X 12 212 )2X 1 (21) 1112122X 1(21) (12) 1 (1 2 )2 X 1( )122122( X) 2(X)记 W (X )( X)则判别规则为X，W(X)X，W(X)<0多个总体的判别问题。设有 k 个总体G1,G2 , ,G k，其均值和协方差矩阵分别是, , 和 , , ，12k12k且1 2k到哪个总

4、体的距离最小就属。计算样本到每个总体的马氏距离，于哪个总体。具体分析， D2(X,G )( X ) 1 (X )X 1X 2 1X 1X 1X2(IXC )取 I 1 ， C1 1 ，1,2, k 。2可以取线性判别函数为W(X) IXC，1,2, k相应的判别规则为XGi若 Wi (X )max( IX C )1k4.4简述贝叶斯判别法的基本思想和方法。基本思想：设 k 个总体 G1 , G2 ,G k ，其各自的分布密度函数f1 (x), f 2 (x), f k ( x) ，假设 kk个总体各自出现的概率分别为q1 ,q2 ,q k ， qi0 ，qi1 。设将本来属于 G i总体的样品

5、i 1错判到总体 G j 时造成的损失为C ( j | i) ， i, j 1,2, , k 。设 k 个总体 G1 , G 2 ,G k 相应的 p 维样本空间为R(R1, R2 , Rk ) 。在规则 R 下，将属于 Gi的样品错判为 G j 的概率为P( j | i , R)fi (x)dxi , j1,2, kijRj则这种判别规则下样品错判后所造成的平均损失为kr (i | R)C ( j | i )P( j | i , R)i 1,2, , kj1则用规则 R 来进行判别所造成的总平均损失为kg(R)qi r (i , R)i1kkqiC ( j | i) P( j | i , R

6、)i1j 1贝叶斯判别法则，就是要选择一种划分R1, R2 , Rk ，使总平均损失g ( R) 达到极小。kk基本方法： g( R)qiC ( j | i )P( j | i , R)i 1j 1kkqiC ( j | i)f i (x )dxi 1j 1Rjkk(qi C ( j | i ) fi (x )dxRji 1j 1kk令qiC ( j | i ) fi (x)hj (x) ，则g ( R)h j ( x)dxi1R jj 1k若有另一划分 R*(R1*,R2* , Rk* ) ， g( R* )* h j (x)dxj1R j则在两种划分下的总平均损失之差为g( R) g( R

7、 * )kk* hi (x ) h j (x)dxR Rji1ij 1因为在 Ri 上 hi(x)hj (x) 对一切 j成立，故上式小于或等于零，是贝叶斯判别的解。R(R1, R2, , Rk )Ri x | hi(x) min hj (x)i 1,2, ,k从而得到的划分为1 j k4.5简述费希尔判别法的基本思想和方法。答：基本思想：从 k 个总体中抽取具有 p 个指标的样品观测数据，借助方差分析的思想构造一个线性判别函数U (X)u1 X1u2 X 2Lup X pu X系数u(u1 , u2 , up )可使得总体之间区别最大，而使每个总体内部的离差最小。将新样品的p个指标值代入线性

8、判别函数式中求出U( X)值，然后根据判别一定的规则，就可以判别新的样品属于哪个总体。4.6试析距离判别法、贝叶斯判别法和费希尔判别法的异同。答： 费希尔判别与距离判别对判别变量的分布类型无要求。二者只是要求有各类母体的两阶矩存在。而贝叶斯判别必须知道判别变量的分布类型。因此前两者相对来说较为简单。 当 k=2 时，若则费希尔判别与距离判别等价。当判别变量服从正态分布时，二者与贝叶斯判别也等价。 当时，费希尔判别用作为共同协差阵，实际看成等协差阵，此与距离判别、贝叶斯判别不同。距离判别可以看为贝叶斯判别的特殊情形。贝叶斯判别的判别规则是X， W(X)X，W(X)<lnd距离判别的判别规则

9、是X，W(X)X，W(X)<0二者的区别在于阈值点。当 q1q2 ， C (1 | 2)C (2 | 1) 时， d1， ln d 0 。二者完全相同。4.7设有两个二元总体和，从中分别抽取样本计算得到,假设，试用距离判别法建立判别函数和判别规则。样品X=（6， 0）应属于哪个总体？解：=，=，=即样品 X 属于总体4.8 某超市经销十种品牌的饮料，其中有四种畅销，三种滞销，三种平销。下表是这十种品牌饮料的销售价格（元）和顾客对各种饮料的口味评分、信任度评分的平均数。销售情况产品序号销售价格口味评分信任度评分12.258畅销22.56733.03943.28652.876平销63.587

10、74.89881.734滞销92.242102.743 根据数据建立贝叶斯判别函数，并根据此判别函数对原样本进行回判。 现有一新品牌的饮料在该超市试销，其销售价格为3.0，顾客对其口味的评分平均为8，信任评分平均为5，试预测该饮料的销售情况。解：增加 group 变量，令畅销、平销、滞销分别为group1、 2、 3；销售价格为 X1，口味评分为 X2，信任度评分为 X3，用 spss 解题的步骤如下：1. 在 SPSS窗口中选择Analyze Classify Discriminate ，调出判别分析主界面，将左边的变量列表中的“group ”变量选入分组变量中，将X123、X、X 变量选入

11、自变量中， 并选择 Enter independents together单选按钮， 即使用所有自变量进行判别分析。2. 点击 Define Range 按钮，定义分组变量的取值范围。本例中分类变量的范围为1 到 3，所以在最小值和最大值中分别输入1 和 3。单击 Continue按钮，返回主界面。如图 4.1图 4.1判别分析主界面3.单击 Statistics按钮 ，指定输出的描述统计量和判别函数系数。选中FunctionCoefficients 栏中的 Fisher ：s给出 Bayes 判别函数的系数。 （注意：这个选项不是要给出 Fisher 判别函数的系数。 这个复选框的名字之所以

12、为 Fisher s，是因为按判别函数值最大的一组进行归类这种思想是由Fisher 提出来的。这里极易混淆，请读者注意辨别。 ）如图 4.2。单击 Continue 按钮，返回主界面。图 4.2 statistics 子对话框4. 单击 Classify 按 钮，弹出 classification 子对话框，选中 Display 选项栏中的 Summary table 复选框， 即要求输出错判矩阵， 以便实现题中对原样本进行回判的要求。如图 4.3。图 4.3 classification 对话框5. 返回判别分析主界面，单击OK 按钮，运行判别分析过程。1) 根据判别分析的结果建立 Baye

13、s 判别函数：Bayes判别函数的系数见表4.1。表中每一列表示样本判入相应类的Bayes 判别函数系数。 由此可建立判别函数如下：Group1 ：Y181.84311.689 X112.297 X 216.761X 3Group2 ：Y294.53610.707 X113.361X 217.086X 3Group3 ：Y317.4492.194 X 14.960 X 26.447 X 3将各样品的自变量值代入上述三个 Bayes 判别函数，得到三个函数值。比较这三个函数值，哪个函数值比较大就可以判断该样品判入哪一类。Classification Function Coefficientsgr

14、oup123x1-11.689-10.707-2.194x212.29713.3614.960x316.76117.0866.447(Constant)-81.843-94.536-17.449Fisher's linear discriminant functions表4.1Bayes判别函数系数根据此判别函数对样本进行回判，结果如表4.2。从中可以看出在4种畅销饮料中，有3种被正确地判定，有1种被错误地判定为平销饮料，正确率为75% 。在 3种平销饮料中，有2种被正确判定，有 1种被错误地判定为畅销饮料，正确率为 66.7%。 3种滞销饮料均正确判定。整体的正确率为 80.0%。C

15、lassification ResultsaPredicted Group Membershipgroup123TotalOriginalCount131042120330033%175.025.0.0100.0233.366.7.0100.03.0.0100.0100.0a. 80.0% of original grouped cases correctly classified.表4.2错判矩阵2) 该新饮料的 X 13.0， X28， X35 ，将这 3个自变量代入上一小题得到的 Bayes判别函数， Y2的值最大，该饮料预计平销。也可通过在原样本中增加这一新样本，重复上述的判别过程，

16、并在 classification 子对话框中同时要求输出 casewise results ，运行判别过程，得到相同的结果。4.9 银行的贷款部门需要判别每个客户的信用好坏（是否未履行还贷责任） ，以决定是否给予贷款。可以根据贷款申请人的年龄（ X1 ）、受教育程度（ X 2 ）、现在所从事工作的年数（ X 3 ）、未变更住址的年数 （X 4 ）、收入（X5 ）、负债收入比例 （X6 ）、信用卡债务 （X 7）、其它债务（X 8 ）等来判断其信用情况。下表是从某银行的客户资料中抽取的部分数据，根据样本资料分别用距离判别法、 Bayes判别法和 Fisher 判别法建立判别函数和判别规则。某客

17、户的如上情况资料为（ 53， 1， 9， 18， 50， 11.20， 2.02，3.58），对其进行信用好坏的判别。目前信用客户X1X 2X3X 4X 5X6X 7X8好坏序号123172316.600.341.71已履行还2341173598.001.812.913422723414.600.94.94贷责任43911954813.101.934.36535191345.000.401.306371132415.101.801.82未履行还7291131427.401.461.6583221167523.307.769.72贷责任928223236.400.191.291026143271

18、0.502.47.36解：令已履行还贷责任为 group0 ，未履行还贷责任为 group1。令（ 53，1，9，18，50，11.20，2.02，3.58）客户序号为 11， group 未知。用 spss 解题步骤如下：1. 在 SPSS窗口中选择 AnalyzeClassify Discriminate ，调出判别分析主界面， 将左边的变量列表中的“group ”变量选入分组变量中，将X1X 6 变量选入自变量中，并选择 Enter independents together单选按钮，即使用所有自变量进行判别分析。2.点击 Define Range 按钮，定义分组变量的取值范围。本例中分

19、类变量的范围为0 到1，所以在最小值和最大值中分别输入0 和 1。单击 Continue 按钮，返回主界面。3.单击 Statistics 按钮 ，指定输出的描述统计量和判别函数系数。选中FunctionCoefficients 栏中的 Fisher s和Unstandardized 。单击 Continue 按钮，返回主界面。4.单击 Classify 按 钮，定义判别分组参数和选择输出结果。选择Display栏中的Casewise results ，以输出一个判别结果表。其余的均保留系统默认选项。单击Continue 按钮。5. 返回判别分析主界面，单击OK 按钮，运行判别分析过程。1)

20、用费希尔判别法建立判别函数和判别规则：未标准化的典型判别函数系数由于可以将实测的样品观测值直接代入求出判别得分，所以该系数使用起来比标准化的系数要方便一些。具体见表4.3 。表 4.3 未标准化的典型判别函数系数由此表可知， Fisher 判别函数为：Y10.7940.32X 16.687X 20.173X 30.357X 40.024X 50.710X 60.792X 72.383X 8用 Y 计算出各观测值的具体坐标位置后，再比较它们与各类重心的距离，就可以得知分类，如若与 group0 的重心距离较近则属于 group0，反之亦然。各类重心在空间中的坐标位置如表 4.4 所示。表 4.4

21、 各类重心处的费希尔判别函数值用 bayes 判别法建立判别函数与判别规则，由于此题中假设各类出现的先验概率相等且误判造成的损失也相等，所以距离判别法与bayes 判别完全一致。如表 4.5 所示， group 栏中的每一列表示样品判入相应列的Bayes 判别函数系数。 由此可得，各类的Bayes 判别函数如下：G0118.6930.340 X 194.070X 21.033X34.943X 42.969X 513.723X 610.994 X 737.504 X 8G1171.2960.184X1126.660X 21.874X 36.681X 43.086 X 517.182X 67.13

22、3X749.116 X 8表 4.5 Bayes 判别函数系数将各样品的自变量值代入上述两个 Bayes 判别函数，得到两个函数值。比较这两个函数值，哪个函数值比较大就可以判断该样品该判入哪一类。2)在判别结果的Casewise Stastics表中容易查到该客户属于group0，信用好。4.10 从胃癌患者、萎缩性胃炎患者和非胃炎患者中分别抽取五个病人进行四项生化指标的化验：血清铜蛋白X1 、蓝色反应 X 2 、尿吲哚乙酸 X3 和中性硫化物 X 4 ，数据见下表。试用距离判别法建立判别函数，并根据此判别函数对原样本进行回判。类别病人序号X1X 2X 3X 412281342011胃2245

23、1341040癌32001671227患者417015078510016720146225125714萎胃7130100612炎缩815011776患性91201331026者10160100510非111851155191217012564胃炎13165142531510011772解：令胃癌患者、萎缩性胃炎患者和非胃炎患者分别为group1、group2 、group3，由于此题中假设各类出现的先验概率相等且误判造成的损失也相等，所以距离判别法与bayes 判别完全一致。用 spss 的解题步骤如下：1.在 SPSS窗口中选择 Analyze Classify Discriminate ，调出判别分析主界面，将左边的变量列表中的 “group ”变量选入分组变量中， 将 X1、X2、X3、 X4 变量选入自变量中， 并选择 Enter independents together 单选按钮，即使用所有自变量进行判别分析。2.点击 Define Range 按