判别分析3贝叶斯判别

1、判别分析3贝叶斯判别 距离判别只要求知道总体的特征量(即参数)-均值和协差阵,不涉及总体的分布类型. 当参数未知时,就用样本均值和样本协差阵来估计. 距离判别方法简单,结论明确,是很实用的方法.但该方法也有缺点: 1. 该判别法与各总体出现的时机大小(先验概率)完全无关; 2. 判别方法没有考虑错判造成的损失,这是不合理的. Bayes判别法正是为解决这两方面问题而提出的判别方法.贝叶斯 Bayes 判别 Bayes的统计思想总是假定对所研究的对象已有一定的认识,常用先验概率分布来描述这种认识 .然后我们抽取一个样本,用样本来修正已有的认识(先验概率分布)，得到后验概率分布. 在正态总体的假设

2、下，按Bayes判别的思想，在错判造成的损失认为相等情况下得到的判别函数其实就是马氏距离判别在考虑先验概率及协差阵不等情况下的推广. 所谓判别方法,就是给出空间Rm的一种划分:D=D1,D2,Dk.一种划分对应一种判别方法,不同的划分就是不同的判别方法.Bayes判别法也是给出空间Rm的一种划分. 设有k个总体G1,G2,Gkk个总体各自出现的概率(验前概率)为q1,q2,qk (显然qi0,q1+q2+qk=1). 比方研究人群中得癌(G1)和没有得癌(G2)两类群体的问题，由长期经历知:q1=0.001,q2q1,qk 称为先验概率.先验概率是一种权重(比例).所谓“先验是指先于我们抽取样

3、品作判别分析之前. Bayes判别准那么要求给出qi(i=1,2,k)的值. qi的赋值方法有以下几种: = q1,而P(无癌)=0.999 = q2 . (b) 利用训练样本中各类样品占的比例ni/n做为qi的值,即qi=ni/n(i=1,k),其中ni是第i类总体的样品个数，而n=n1+ n2 + + nk .这时要求训练样本是通过随机抽样得到的,各类的样品被抽到的时机大小就是验前概率. (c) 假定q1=q2=qk=1/k.4.3.1 贝叶斯准那么问题：待判样品X属于哪一类？判别方法是，先由贝叶斯准那么计算待判样品来自 个总体的条件概率也称后验概率为 4.18式中，归入第 总体的先验概率

4、，时为。未知4.3.1 贝叶斯准那么问题：待判样品X属于哪一类？对于诸总体，显然分母全概率都是一样的，因此只要比较式分子的大小，即可判断条件概率的大小，进而对待判样品作出归类。那么X属于第t个总体。4.3.1 贝叶斯准那么 不妨设 ，那么待判样品就归入第类总体 。 因此式称为判别函数，按照条件概率最大进展归类的准那么，称为贝叶斯判别准那么。 在式中，为了给出判别函数 的具体表达式，下面以服从多元正态分布情况来讨论。 设 是第类总体第 个样品第 个变量的观测值，且各总体样品都是相互独立的正态随机向量，即4.3.1 判别函数在该假设条件下，由于均未知，为此我们可根据第总体的样品数据，计算出总体的样

5、本均值及总体样本的协方差矩阵，用作为总体的估计。由统计理论知，式中， 第 类总体样品均值向量。 总体第 个变量均值 4.3.1 判别函数 称为 总体组内方差协方差矩阵，式中，此时， 均为， 总体的密度函数可表为4.3.1 判别函数 这里， 为矩阵 的逆矩阵的行列式。上式表明 是一个具体已确定的函数。下面的问题是要确定式4.19中的先验概率 ，对于确实定，实际应用中常用其频率来估计，即 。由此式4.19完全确定，于是可以进展判别归类，为了计算方便，我们对式4.19进展化简，即对式4.19取对数，4.3.1 判别函数对式中的同类项合并，去掉与分组无关的项。并令故上式可写成 令4.3.1 判别函数式

6、中，这里 为矩阵 中的元素。于是最终得化简后的 类总体的判别函数为 4.21 4.3.1 判别函数4.3.2 判别效果的检验 建立 个总体的判别函数后，这些判别函数的判别效果如何需要检验。在实际应用中，可将已知类别的样品代入判别函数进展回判。如果判对率在75以上，那么认为判别函数有效，其常用的公式为 此外，还可采用统计方法对判别函数效果进展检验。 对于判别函数的显著检验，我们可用马氏距离来检验总体间差异是否显著。假设总体间差异不显著，显然建立在各总体根底之上的判别函数用于归类其结果就不可靠。马氏距离的计算公式如下： 应用统计量 对于给定水平 查 分布表得其临界值 。 如果求得的 ，那么说明 总

7、体与 总体间差异显著，两总体的判别函数效果明显，否那么为不显著。4.3.3 待判样品的归类 在建立了总体的判别函数且通过对各总体的判别函数显著性检验后，假设判别函数效果明显，我们就可用其进展归类识别，其方法是将待判样品 代入判别函数式，计算它归入每个类的判别函数 值 ，然后选出那么将 就归入第 类。 实际应用中，常常还需要知道待判样品 归入第几类的概率，可以用下式计算： 对式两边取对数，并注意到：在式中的分子、分母用它的反对数代替，并不影响归类效果，故式可表为 计算时为防止产生计算“溢出现象，上式可改为 用计算出的概率大小判别样品 的归属，只要选中的最大的那个相应的类即可。4.3.4 线性判别

8、分析计算程序程序说明1ff1dataMatlab data fileMat文件，存放原始数据矩阵trainingmn、向量group1n和待检测矩阵sample；2class=classifysample,training,group 线性判别分析函数 (1) classclassifysample，training，group指定sample数据的每的每一行到训练集training指定的一个类中。sample和training必须具有一样的列数。2group向量包含从1到组数的正整数，它指明训练集中的每一行属于哪一个类。group和training必须具有一样的行数。3返回class，它是一

9、个与sample具有一样行数的向量。class的每一个元素指定sample中对应元素的分类。通过计算sample与training中每一行的马氏距离，classify函数决定sample中的每一个行属于哪一个分类。4.3.5 应用综合实例 我国山区某大型化工厂，在厂区及邻近地区挑选有代表性的15个大气取样点，每日四次同时抽取大气样品，测定其中含有的6种气体的浓度，前后共4天，每个取样点每种气体实侧16次，试计算每个取样点每种气体的平均浓度。数据如表4.1所示。气体数据对应的污染地区分类如表中最后一列所示。现有两个取自该地区的四个气体样本、气体指标如表中后4行所示，试判别这四个样品的污染分类。气

10、体氯硫化氢二氧 化硫碳4环氧氯丙烷环乙烷污染分类10.0560.0840.0310.0380.00810.022120.0400.0550.1000.1100.02200.0073130.0500.0740.0410.0480.00710.020140.0450.0500.1100.1000.02500.0063150.0380.1300.0790.1700.05800.043260.0300.1100.0700.1600.05000.046270.0340.0950.0580.1600.2000.029180.0300.0900.0680.1800.2200.039190.0840.0660

11、.0290.3200.0120.0412100.0850.0760.0190.3000.0100.0402110.0640.0720.0200.2500.0280.0382120.0540.0650.0220.2800.0210.0402130.0480.0890.0620.2600.0380.0362140.0450.0920.0720.2000.0350.0322150.0690.0870.0270.0500.0890.0211样品10.0520.0840.0210.0370.00710.022样品20.0410.0550.1100.1100.02100.0073样品30.0300.1120.0720.1600.0560.021样品40.0740.0830.1050.1900.0201.000 表4.1 大气样品数据表解 翻开数据文件，将原始数据录入mn维数据矩阵trainingmn中，将group向量录入一维数据矩阵group1n中，将待检测数据录入数据矩阵sample46。此题中，trainingmn，group1n和sample46分别为： 0.069 0.087 0.027 0.050 0.089 0.021； group=1 1 1 1 2 2 1 1 2 2 2 2 2 2 1; 0.030