Bayes决策方法

1、模模式识别式识别Pattern Classification第三章第三章: Bayes决策方法决策方法Applied Pattern Recognition CSE6163Bayes决策方法决策方法原理根据Bayes决策理论，由先验知识来推断后验概率保证错误概率最小或风险最小Applied Pattern Recognition CSE6164Bayes决策方法决策方法先验知识先验概率P(i )类概率密度P( X / i ) 1)(1ciiP1)/(dxXPiApplied Pattern Recognition CSE6165Bayes决策方法决策方法根据考虑问题的角度Bayes决策法最小错

2、误概率的Bayes决策法最小风险的Bayes决策法Applied Pattern Recognition CSE6166最小错误概率的最小错误概率的Bayes决策决策一维二类情况设两类模式分别1 和2，其类概率密度分别为P(x / 1)和 P(x / 2),先验概率为P(1)和 P(2)P ( x / 1 )P ( x / 2 ) x Applied Pattern Recognition CSE6167最小错误概率的Bayes决策一维二类情况显然：由Bayes公式（联合概率密度知）：1)/(1)/(21dxxPdxxP)()/()()/(),(1111xPxPPxPxPApplied Pat

3、tern Recognition CSE6168一维二类情况则后验概率同理可得 其中最小错误概率的Bayes决策)()()/()/(111xPPxPxP)()()/()/(222xPPxPxP)()/()()/()(2211PxPPxPxPApplied Pattern Recognition CSE6169最小错误概率的Bayes决策一维二类情况合理的决策为：对待识样本x 若P( 1 / x ) P( 2 / x ) ，则判x1类若P( 2 / x ) P( 1 / x ) ，则判x类Applied Pattern Recognition CSE61610最小错误概率的Bayes决策一维二类

4、情况上述决策等价于：对待识样本x 若P(x / 1) P( 1 ) P( x / 2 ) P( ) ，则判x1类若P(x / 2) P( 2 ) P( x / 1 ) P( 1 ) ，则判x类即由先验知识推断后验概率Applied Pattern Recognition CSE61611最小错误概率的Bayes决策一维二类情况或： ，则判 x1 类上述分类准则称为Bayes决策准则)()()/()/(1221PPxPxP似然比似然比Applied Pattern Recognition CSE61612最小错误概率的Bayes决策特殊情况下，若P( 1 ) = P( ) ，则分类决策完全由类概

5、率密度函数决定。 即： 若P( x / 1) P( x / 2 ) ， 则判x1类 若P( x / 2) P( x / 1 ) ， 则判x类Applied Pattern Recognition CSE61613最小错误概率的Bayes决策以鱼自动分类为例，假设仅选取鱼的长度作为特征，则两类鱼的类概率密度函数P(x / 1) 和 P( x / 2 ) 如下：Applied Pattern Recognition CSE61614最小错误概率的Bayes决策类概率密度来源来统计直方图类概率密度来源来统计直方图鲈鲈 鱼鱼鲑鲑 鱼鱼Applied Pattern Recognition CSE616

6、15最小错误概率的Bayes决策两条曲线描述了两类鱼的长度区别概率密度函数已归一化，因此每条曲线下的面积为，即：1)/(1)/(21dxxPdxxPApplied Pattern Recognition CSE61616最小错误概率的Bayes决策若先验概率P( 1 ) =2/3，P( )=1/3，则其后验概率P( 1 / x ) 和 P( 2 / x )如下图所示特征值特征值x=14的模式如何分的模式如何分类？类？0.920.08Applied Pattern Recognition CSE61617最小错误概率的Bayes决策错误概率最小？错误概率P ( x / 1 ) P ( 1 )P

7、( x / 2 ) P ( 2 ) x R1R221)()/()()/(1122RRedxPxPdxPxPPApplied Pattern Recognition CSE61618最小错误概率的Bayes决策错误概率最小？无论判别从哪个方向调整，均导致错误概率的增加！P ( x / 1 ) P ( 1 )P ( x / 2 ) P ( 2 ) x R1R2Applied Pattern Recognition CSE61619最小错误概率的Bayes决策多类多维情况 设= 1， 2， ， c 是 C 个类别状态的有限集合，X = x1， x2， ， xd T 是 d 维特征向量， P( x /

8、 i ) 为第 i 类的类概率密度函数，P( i ) 为第 i 类的先验概率，则有： 其中)()()/()/(XPPXPXPiiiCiiiPXPXP1)()/()(Applied Pattern Recognition CSE61620最小错误概率的Bayes决策多类多维情况Bayes决策准则为：类则判其中或若ijjiiji：CjPXPPXPXPXP , 2 , 1,)()/(max)()/(:)/(max)/(:Applied Pattern Recognition CSE61621最小错误概率的Bayes决策举例 设某地区细胞识别中正常(1)和异常(2) 两类的先验概率分别为： P(1)=

9、0.9 P(2)=0.1 且知1和2 两类的类概率密度函数为P(x/1)和P(x/2) 现有一待识细胞其特征值为x，从概率密度函数曲线查得： P(x/1)=0.2 P(x/2)=0.4 试用Bayes决策准则对待识样本进行分类。Applied Pattern Recognition CSE61622最小错误概率的Bayes决策解：P(x/1) P(1)=0.20.9=0.18P(x/2) P(2)=0.10.4=0.04可见： P(x/1) P(1 P(x/2) P(2)由Bayes决策准则得： x 1 类，为正常细胞Applied Pattern Recognition CSE61623最小

10、风险（损失）的Bayes决策损失的概念基于最小错误概率的Bayes决策，仅考虑如何保证错误概率最小，而未考虑决策所带来的损失。例如： 自动灭火系统，乙肝诊断，鱼的分类等，则应考虑错判造成的损失。可利用决策论的理论和方法来解决上述问题。Applied Pattern Recognition CSE61624最小风险（损失）的Bayes决策损失的概念设=1， 2， ， c 表示 c 个有限的类别状态的集合， A=a1， a2， ， ak 表示 k 个有限的决策（行为）的集合则定义 为模式自然状态为j 时，采取决策 ai 所造成的损失)/(jiaApplied Pattern Recognition

11、 CSE61625最小风险（损失）的Bayes决策损失的概念例如，对于细胞正常或异常的分类问题，可得如下损失表1（正常）2（异常）a1（正常）11 = 0 12 = 10a2 （异常）21 = 222 = 0自然状态自然状态损失损失决策决策Applied Pattern Recognition CSE61626最小风险（损失）的Bayes决策风险函数（损失函数）设P(j)是自然状态为j的先验概率， X为d维特征向量，则由Bayes决策理论知，后验概率：由于每一类后验概率P( X )均相同，可将其视为一标量因子)()/()()()/()/(jjjjjPXPXPPXPXPApplied Patte

12、rn Recognition CSE61627最小风险（损失）的Bayes决策风险函数（损失函数）假定我们观测某个特定模式 X 并且采取行为 ai ，如果真实的类别状态为j ，通过定义我们将有损失 (ai /j)显然，与行为 ai 相关的总的损失为)()/()/()/()/()/(11jcjjjicjjjiiPXPaXPaXaRApplied Pattern Recognition CSE61628最小风险（损失）的Bayes决策风险函数（损失函数）上式称为作出决策ai 的风险函数，简记为：cjjjiiXPaXaR1)/()/()/(cjXPXRcjjjii,.,2 , 1)/()(1Appl

13、ied Pattern Recognition CSE61629最小风险（损失）的Bayes决策决策过程当待识样本 X 到来时，将其判为各类所带来的风险分别为R1(X)， R2(X) ， ， Rc(X) 则基于最小风险的Bayes决策准则为： 类则判其中或若ijjijiji：CjPXPXRXRXR , 2 , 1,)()/(min)(:)(min)(:Applied Pattern Recognition CSE61630最小风险（损失）的Bayes决策问题：如何合理、科学、准确地定义ij ?带有主观因素Applied Pattern Recognition CSE61631最小风险（损失）的

14、Bayes决策特殊情况：两类问题 则基于最小风险（损失）的Bayes决策为： 若R1(X) R2(X)，则 判 X 1 类)()/()()/()()()/()()/()(222211212221211111PXPPXPXRPXPPXPXRApplied Pattern Recognition CSE61632最小风险（损失）的Bayes决策特殊情况：两类问题上述决策等价于：对待识样本x若：，则判 x1 类 aPPXPXP)()()()()/()/(111212221221似然比似然比Applied Pattern Recognition CSE61633最小风险（损失）的Bayes决策Appl

15、ied Pattern Recognition CSE61634最小风险（损失）的Bayes决策特殊情况：两类问题 若： 12 -22 = 21 -11，即对称损失，则最小风险Bayes决策与最小错误概率Bayes决策是等价的。 Applied Pattern Recognition CSE61635最小风险（损失）的Bayes决策例： 1(乙肝) 2(健康) P(1)=0.05 P(2)=0.95 P(x/1) =0.5 P(x/2) =0.2 11 = 22 =0， 12 = 1，21 =10 试分别用最小风险和最小错误概率Bayes决策对模式X分类Applied Pattern Reco

16、gnition CSE61636最小风险（损失）的Bayes决策解：最小错误概率Bayes决策 P(x/1) P(1)=0.050.5=0.025 P(x/2) P(2)=0.20.95=0.19 可见： P(x/1) P(1） gj(x) j i则判待识样本 x 属于 i类Applied Pattern Recognition CSE61643分类器、判别函数与判别界对最小错误概率Bayes决策 gi(x) = P( i / x) 或 gi(x) = P(x / i) P( i) gi(x) = ln P(x / i) + ln P( i) 对最小风险Bayes决策 gi(x) = - R(

17、i / x)Applied Pattern Recognition CSE61644分类器、判别函数与判别界基于判别函数的分类器基于判别函数的分类器Applied Pattern Recognition CSE61645分类器、判别函数与判别界上述判别函数将特征空间划分为c 个判别区域 R1 , R2 , , Rc 各个判别区域满足： 如果 gi(x) gj(x) j i 则 x 位于判别区域 RiApplied Pattern Recognition CSE61646分类器、判别函数与判别界R1R2R3R4g1(X)g4(X)g3(X)g2(X)Applied Pattern Recogni

18、tion CSE61647分类器、判别函数与判别界两类情况分类器仅需考虑两个判别函数g1(x)和 g2 (x) 定义：g(x) g1(x) g2(x)= P(x / 1) P( 1) - P(x / 2) P( 2 ) 基于判别函数的决策为： 如果 g(x) 0，则 x 属于 1 类; 若 g(x) 0， 则 x 属于 2 类 Applied Pattern Recognition CSE61648分类器、判别函数与判别界两类情况g(X)0g(X)0Applied Pattern Recognition CSE61649正态分布条件下的Bayes决策 一维正态分布 均值： 方差： 一维正态分布

19、可以简写为： 221exp 21)(xxPdxxxpxE)(dxxpxxE)()()(222),()(2NxpApplied Pattern Recognition CSE61650正态分布条件下的Bayes决策一维正态分布的统计特性 95%的样本落在 2 范围内99%的样本落在 3 范围内越小，样本分布越集中，反之越发散1)(dxxpApplied Pattern Recognition CSE61651正态分布条件下的Bayes决策一维正态分布一维正态分布Applied Pattern Recognition CSE61652正态分布条件下的Bayes决策多维正态分布 设 d 维特征向量

20、则 d 维正态分布定义为：简记为：TdxxxX,21)()(21exp)2(1)(1212XXXpTd),()(NXpApplied Pattern Recognition CSE61653正态分布条件下的Bayes决策多维正态分布其中： 称为均值向量，反映了样本在d维特征空间的重心位置。 21XEdApplied Pattern Recognition CSE61654正态分布条件下的Bayes决策多维正态分布 i 反映了样本在特征空间第 i 个方向的重心位置iiiiidxxpxxE)(diiidxdxdxdxdxXpxp1121)()(边缘概率分布边缘概率分布Applied Pattern

21、 Recognition CSE61655正态分布条件下的Bayes决策多维正态分布 称为协方差矩阵。)(222212222222121212211TddddddXXEApplied Pattern Recognition CSE61656正态分布条件下的Bayes决策jijijjiijjiiijdxdxxxpxxxxE),()()(2多维正态分布 当i=j时， ij反映样本在d维特征空间各方向的发散程度；当ij时， ij反映各特征间的统计相关性。 Applied Pattern Recognition CSE61657正态分布条件下的Bayes决策设各类样本的类概率密度均满足正态分布，即根据

22、最小错误概率Bayes决策准则有：若判别函数 则判 x i )()(21exp)2(1)/(1212iiTiidiXXXp)()/(max)()/()(jjiiipXppXpXgApplied Pattern Recognition CSE61658正态分布条件下的Bayes决策 为了分析方便，现取判别函数的自然对数（单调增函数），即令： 下面分三种情况进行讨论)(ln)()(21ln212ln2)(ln)/(ln)()/(ln)(1iiiTiiiiiiipXXdpXppXpXgApplied Pattern Recognition CSE61659正态分布条件下的Bayes决策情况一各类协方

23、差矩阵相同， i j 各特征统计独立，即：， ij且，i=j 即02ij22ij222000000Applied Pattern Recognition CSE61660正态分布条件下的Bayes决策情况一此时，且其中：I2I211100010001I单位矩阵单位矩阵Applied Pattern Recognition CSE61661正态分布条件下的Bayes决策情况一则判别函数：此时的Bayes决策等价为：若要将待识样本X进行分类，则只需计算X到各类样本均值向量i 的欧氏距离，再将X归类到距离最近的类别，此时的分类器称为最小距离分类器。)(ln2)(ln2)()()(222iiiiTii

24、pXpXXXg欧氏距离欧氏距离Applied Pattern Recognition CSE61662正态分布条件下的Bayes决策情况一均值向量均值向量 均值向量均值向量 2 待识样本待识样本 最小距离分类器最小距离分类器Applied Pattern Recognition CSE61663正态分布条件下的Bayes决策022 )(ln)2(21 )(ln2)()()(iTiiiTiTiTiiTiiXpXXXpXXXg情况一由于：XXTiTi21与类别与类别无关，无关，可不考可不考虑虑0iApplied Pattern Recognition CSE61664正态分布条件下的Bayes决策

25、情况一故：称gi(x)为线性判别函数，相应的分类器为线性分类器。0)(iTiiXXgApplied Pattern Recognition CSE61665正态分布条件下的Bayes决策情况一)()(jippApplied Pattern Recognition CSE61666情况一)()(jippApplied Pattern Recognition CSE61667正态分布条件下的Bayes决策情况二各类方差相同，即 则 其中 称为样本X与正态分布模式类的马氏距离（Mahalanobis距离）。 当待识别的样本X到来时，分别计算样本X与各个模式类的马氏距离，并将X分类到马氏距离最近的模式类中。 ji)(ln)()(21)(1iiTiipXXXg)()(1iTiXXApplied Pattern Recognition CSE61668正态分布条件下的Bayes决策情况二可以证明，此时判别函数仍满足线性关系，即：分类器仍为线性分类器0)(iTiiXxgApplied Pattern Recognition CSE61669正态分布条件下的Bayes决策情况三各类协方差矩阵各不相同，即：分类器为非线性分类器（二次型分类器）01)(ln)()(21ln21)(iTiiT