BIGC-PR-4 贝叶斯决策理论

1、1 1模式识别主讲：主讲： 解凯解凯 教授教授 电话：电话： 6026112160261121（O O）E-mailE-mail：单位单位: : 信息工程学院信息工程学院23随机模式分类识别，通常称为随机模式分类识别，通常称为Bayes(Bayes(贝叶斯贝叶斯) )判决判决。（基础复习）（基础复习）第四章第四章 统计判决统计判决主要依据类的概率、概密，按照主要依据类的概率、概密，按照某种准则某种准则使分使分类结果从统计上讲是最佳的。准则函数不同，所导类结果从统计上讲是最佳的。准则函数不同，所导出的出的判决规则判决规则就不同，分类结果也不同。就不同，分类结果也不同。本章主要论述分类识别的一般原

2、理、几种重要本章主要论述分类识别的一般原理、几种重要的的准则准则和相应的和相应的判决规则判决规则，正态分布模式类的判决，正态分布模式类的判决函数以及它们的性能。函数以及它们的性能。45BayesBayes公式：公式：设实验设实验E E的样本空间为的样本空间为S S，A A为为E E的事件，的事件，B B1 1,B,B2 2, ,B,Bn n为为S S的一个划分，且的一个划分，且P P(A)0(A)0，P P(B(Bi i)0)0，(i=1,2,(i=1,2,n),n)，则，则: :)()()|()()|()()|()|(1APBPBAPBPBAPBPBAPABPiinjjjiii“概率论概率论

3、”有关概念复习有关概念复习)()()()(iiiBAPBPABPAP6B1SB2B3B4A划分示意图“概率论概率论”有关概念复习有关概念复习)()()()(iiiBAPBPABPAP7条件概率条件概率“概率论概率论”有关概念复习有关概念复习)()()()(iiixpPxPxp)()()()(iiiBAPBPABPAP先验概率：先验概率：P( i)表示类表示类 i出现的先验概率，简称类出现的先验概率，简称类 i的概率。的概率。后验概率：后验概率：P P( ( i i|x)|x)表示表示x x出现条件下类出现条件下类 i i出现的概率出现的概率, ,称其称其为类别的为类别的后验概率后验概率，对于模

4、式识别来讲可理解为，对于模式识别来讲可理解为x x来自类来自类 i i的概率。的概率。类概密：类概密： p(x|(x| i i) )表示在类表示在类 i i条件下的概率密度，即类条件下的概率密度，即类 i i模模式式x x 的概率分布密度，简称为的概率分布密度，简称为类概密类概密。8 为表述简洁，我们将随机矢量为表述简洁，我们将随机矢量X X及它的某个取值及它的某个取值x x都都用同一个符号用同一个符号x x表示，在以后各节中出现的是表示随机表示，在以后各节中出现的是表示随机矢量还是它的一个实现根据内容是可以清楚知道的。矢量还是它的一个实现根据内容是可以清楚知道的。“概率论概率论”有关概念复习

5、有关概念复习nXiixdxpxgxgE)()()(条件期望条件期望( (某个特征某个特征) )因不涉及因不涉及x的维数的维数,可将可将Xn改写为特征空间改写为特征空间W W。WxdxpxgxgEii)()()(9对于两类对于两类 1 1， 2 2问题，直观地，可以根据后验概率做判决：问题，直观地，可以根据后验概率做判决：121122 (| )(| ) (| )(| ) p xp xxp xp xx若则若则21(|)()(|)()(|)()(|)()iiiiiiiip xPp xPpxp xp xP式中，式中，p p(x|(x| i i) )又称又称似然函数似然函数(likelihood fun

6、ction of (likelihood function of class class i i) )，可由已知样本求得。，可由已知样本求得。 Bayes法则最大后验概率准则法则最大后验概率准则根据根据Bayes公式，后验概率公式，后验概率 可由类可由类 i的先验概率的先验概率P( i)和条件概率密度和条件概率密度 来表示，即来表示，即(/ )ipx( /)ip x10将将P( i|x)代入判别式，判别规则可表示为代入判别式，判别规则可表示为1122111222 ( |)()( |)() ( |)()( |)() p x Pp x Pxp x Pp x Px若则若则或改写为或改写为212122

7、112112122112 )()()|()|( )()()|()|(xPPxpxplxPPxpxpl则则l12称为称为似然比似然比（likelihood ratio），）， 12称为似然比的判决阀值。称为似然比的判决阀值。原则：要确定原则：要确定x x是属于是属于11类还是类还是22类，要看类，要看x x是来自于是来自于11类的概率大还是来自类的概率大还是来自22类的概率大。类的概率大。11已知：已知：（统计结果）（统计结果）先验概率：先验概率：P( ( 1 1)=1/3)=1/3（鲈鱼出现的概率）（鲈鱼出现的概率） P( ( 2 2)=1-)=1-P( ( 1 1)=2/3 )=2/3 （鲑

8、鱼出现的概率鲑鱼出现的概率）条件概率条件概率：p(x| 1 1) 见图示见图示（鲈鱼的长度特征分布概率）（鲈鱼的长度特征分布概率）p(x| 2 2)见图示见图示（鲑鱼的长度特征分布概率）（鲑鱼的长度特征分布概率）求：后验概率求：后验概率：P( |x=10)=?（如果一条鱼如果一条鱼x x1010，是什么类别？），是什么类别？）12解法解法1 1：111111122(10 |)()(|10)()(|)() (|)()(|)()0.05 1/3 0.0480.05 1/30.502 /3p xPPxp xp xPp xPp xP10101010利用利用Bayes公式公式13写成似然比形式写成似然比

9、形式1122212112122(|)0.05100.1(|)0.50()2/32()1/3 , , p xlxp xPPlxx10（）10判决阀值（10）即是鲑鱼。解法解法2：14例题1图示)(1xP)(2xPx条件概率密度分布)(ixP鲈鱼鲈鱼鲑鱼鲑鱼100.015例题1图示)(1xP)(2xPx2 . 04 . 06 . 08 . 00 . 1后验概率分布)(xPi1016n 最小误判概率准则判决最小误判概率准则判决n 最小损失准则判决最小损失准则判决n 最小最大损失准则最小最大损失准则n N-P(NeymanN-P(NeymanPearson)Pearson)判决判决

10、第四章第四章 统计判决统计判决174 41 1 最小误判概率准则判决最小误判概率准则判决第四章第四章 统计判决统计判决1819图例：最小误判概率准则)()(11Pxp)()(22Pxp212)(P121)(P2021最小误判概率准则下的判决规则：最小误判概率准则下的判决规则： 如果，如果， 则判则判)()(11xpP)()(22xpP21x12x)()()(2112xpxpxl)()(12PP或等价地，或等价地， 如果，如果， 则判则判22)(1xP)(2xP21x另一个等价形式是：另一个等价形式是： 如果如果 则判则判)()()()(iiixpPxPxp由贝叶斯定理由贝叶斯定理23对于多类问

11、题，对于多类问题，最小误判概率准则最小误判概率准则有如下有如下几种等价的判决规则几种等价的判决规则:若若 ，则判，则判 若若 ， ，则判，则判 )()(xPxPjiij ix)(xPi)(maxxPjjix（后验概率形式）（后验概率形式）若若 ， ，则判，则判 若若 ，则判，则判 （条件概率形式）（条件概率形式）)()()()(jjiiPxpPxpij ix)()(iiPxp)()(maxjjjPxpix若若 ， , 则判则判 ijijjiijPPxpxpxl)()()()()(ij ix（似然比形式）（似然比形式）如果如果 ， ，则判则判 （条件概率的对数形式）（条件概率的对数形式）)(ln

12、)(ln)(ln)(lnjjiiPxpPxpij ix24例：对一批人进行癌症普查，患癌症者定为属例：对一批人进行癌症普查，患癌症者定为属 1类，类，正常者定为属正常者定为属 2类。统计资料表明人们患癌的概率类。统计资料表明人们患癌的概率 ，从而，从而 。设有一种诊断此病的。设有一种诊断此病的试验，其结果有阳性反应和阴性反应之分，依其作诊试验，其结果有阳性反应和阴性反应之分，依其作诊断。化验结果是一维离散模式特征。统计资料表明：断。化验结果是一维离散模式特征。统计资料表明：癌症者有阳性反映的概率为癌症者有阳性反映的概率为0.95即即 ，从而可知从而可知 ，正常人阳性反映的概率，正常人阳性反映的

13、概率为为0.01即即 , 可知可知 。005. 0)(1P995. 0)(2P95. 0)(1阳xP05. 0)(1阴xP01. 0)(2阳xP99. 0)(2阴xP问有阳性反映的人患癌症的概率有多大？问有阳性反映的人患癌症的概率有多大？25)()()()()()(221111PxPPxPPxP阳阳阳995. 001. 0005. 095. 0005. 095. 0323. 0)()()()(111阳阳阳xPPxPxP解：解：说明有阳性反应的人其患癌的概率有说明有阳性反应的人其患癌的概率有32.3% 32.3% 26写成似然比形式：写成似然比形式： 9501. 095. 0)()()(2112

14、阳阳xPxPxl197005. 0995. 0)()(1212PP1212)(xl2x2728)()(21ln21)(ln)(1iiiiiixxPxd ci, 2 , 1上式中去掉与类别无关的项并不影响分类判决结果：上式中去掉与类别无关的项并不影响分类判决结果：ici, 2 , 11( )( /) ( )11( )ln ( )ln(2 )ln()()222iiiiiiiiid xp xPnd xPxx 或对数形式或对数形式 类的判决函数可以表示为：类的判决函数可以表示为：29)()(21ln21)(ln)(1iiiiiixxPxd ci, 2 , 1i(1) 当当 时时iiiiiiiixxxP

15、xxPxd11112121)(ln)()(21)(ln)( ij当当 和和 相邻相邻 时时xPPxdxdjijiji1)()(ln)(ln)()(0)(2121011xxwijjjii30ij当当 和和 相邻相邻 时时xPPxdxdjijiji1)()(ln)(ln)()(0)(2121011xxwijjjii式中：式中：)(1jiijw)()()()()(ln)(2110jijijijijiPPx显然，该判别界面为一超平面。此决策超平面过显然，该判别界面为一超平面。此决策超平面过点点 ， 是该超平面的法矢量。是该超平面的法矢量。 0 xijw31若各类的概率相等，由判别式若各类的概率相等，由

16、判别式 )()(21)(ln)(1iiiixxPxd可简化为马氏距离的平方，即：可简化为马氏距离的平方，即： )()()(1iiixxxd因此因此 的类别就由的类别就由 到各类的均矢的马氏距离决定，到各类的均矢的马氏距离决定，应判应判 属于马氏距离最小的那一类。属于马氏距离最小的那一类。 xxx32x1x2 122112w21决策超平面过决策超平面过点，矢量点，矢量是该超平面的法矢量。是该超平面的法矢量。通常不与通常不与方向相同，所以决策界面不与方向相同，所以决策界面不与正交。正交。0 xijw)(1jiijw)(ji)(ji33x1x2 122112w221II为单位阵，为单位阵，2为分量的

17、方差，显然有矢量为分量的方差，显然有矢量ijw和矢量和矢量)(ji方向相同，此时决策平面垂直于两类中心的连线方向相同，此时决策平面垂直于两类中心的连线 若若)()(jiPP此时决策界面还过此时决策界面还过i和和j连线的中点连线的中点 34(2)i)()(21ln21)(ln)(1iiiiiixxPxdci, 2 , 10iiiwxwxWx这是一般的情况。这是一般的情况。 i i类模式的判决函数为类模式的判决函数为: :121iiWiiiw1iiiiiiPw1021ln21)(ln其中其中0)()()()()(00jijijijiwwxwwxWWxxdxd相邻两类的决策界面为相邻两类的决策界面为

18、: :3536二维模式，二维模式， 1 12 2的几种情况的几种情况W1W2(a) 圆，圆， 2 2类的方差小类的方差小W1W2(b) 椭圆，椭圆， 2 2类的方差小类的方差小W1W2(c) 抛物线，抛物线， 2 2类的方差小类的方差小W1W2(d) 双曲线双曲线(e) 直线，两类的分布关于一直线是对称直线，两类的分布关于一直线是对称W1W237例：模式分布如图所示，两类的均矢和协方差阵例：模式分布如图所示，两类的均矢和协方差阵可用下式估计。可用下式估计。iNjijiiixNm1)(1iiijNjijiiimmxxNCi)(1)(1)(0,1,1)(1,1,1)(1,0,0)(1,0,1)(0

19、,0,1)(0,0,0)12x2x1x32138(0,1,1)(1,1,1)(1,0,0)(1,0,1)(0,0,1)(0,0,0)12x2x1x321) 1, 1, 3(411m)3, 3, 1 (412m31113111316121CCC8444844481C39两类均作为正态分布，并假设两类均作为正态分布，并假设 ，故判决式为故判决式为)()(21PPiiiimCmmCxxd1121)(234)(11xxd211884)(3212xxxxd8444844481C) 1, 1, 3(411m)3, 3, 1 (412m04888)()(32121xxxxdxd01222321xxx40 考

20、虑两类问题，设两类模式为协方差阵相考虑两类问题，设两类模式为协方差阵相等的多变量正态分布，它们的密度函数分别为等的多变量正态分布，它们的密度函数分别为: : 4.1.3 4.1.3 正态模式分类的误判概率正态模式分类的误判概率)(ixp),(iN)()(21)()(2111jjiixxxx )()(21)(11jijijix )(jxp),(jN)(ln)(ln)(ln)(jiijijxpxpxlxL对数似然比对数似然比41 )()(21)()(21)(111jijijijijiiijiLE 221ijijijirLLE 2)(ijijiijiLLELVar21)()(jiiixE)()()(

21、11jiiijiixxE)()(1jiji2ijr)()(12jijiijr令令)(xLij是是 的线性函数，而的线性函数，而 的各分量是正态分布的，的各分量是正态分布的，故故 是正态分布的随机变量。是正态分布的随机变量。 xx)(xLij)()(21)(11jijijix )(xLij42 221ijijijirLLE 2)(ijijiijiLLELVar2ijrxi0rij2/2xj-rij2/2p(Lij|i)Lijp(Lij|j)()(lnlnijijPP43)(iijLP)2/(2)21(exp21 2222ijijijijijijijrrdLrrLr将属于将属于i类的模式误判为属于

22、类的模式误判为属于j类的错误概率为类的错误概率为)2/(12)21(exp21 2222ijijijijijijijrrdLrrLr)(jijLP将属于将属于i类的模式误判为属于类的模式误判为属于j类的错误概率为类的错误概率为dyyuu)2exp(21)(2式中式中44)(iijLP)2/(2)21(exp21 2222ijijijijijijijrrdLrrLr)()()()()(jijjiijiLPPLPPePijijjijijirrPrrP22211)(21)(dyyuu)2exp(21)(2)2/(12)21(exp21 2222ijijijijijijijrrdLrrLr)(jijL

23、P于是，总的误判概率为于是，总的误判概率为: :45特取特取 ，此时，此时 =0=0 上式表明了误判概率与两类的马氏距离的关系上式表明了误判概率与两类的马氏距离的关系： 随随 的增大而单调递减，只要两类马氏距的增大而单调递减，只要两类马氏距离足够大，其误判概率可足够小。离足够大，其误判概率可足够小。 21)()(jiPPijijrreP211212121)(dyyijr2exp2122dyyrijrij2exp212222ijr)(eP2ijr)(%)(eP2040511464.1 4.1 设以下两类模式均为正态分布设以下两类模式均为正态分布 1 1：(0,0)(0,0)T T，(2,0)(2

24、,0)T T，(2,2)(2,2)T T，(0,2)(0,2)T T 2 2：(4,4)(4,4)T T，(6,4)(6,4)T T，(6,6)(6,6)T T，(4,6)(4,6)T T 设设P(P( 1 1)= P()= P( 2 2)=1/2)=1/2，求该两类模式之间的，求该两类模式之间的BayesBayes 判别界面的方程。判别界面的方程。作业作业4.2 4.2 设两类二维正态分布参数为设两类二维正态分布参数为u u1 1=(-1,0)=(-1,0)T T，u u2 2=(1,0)=(1,0)T T先验概率相等。先验概率相等。（a a） 令令 试给出负对数似然比判决规则试给出负对数似

25、然比判决规则（b b） 令令试给出负对数似然比判决规则。试给出负对数似然比判决规则。2111212111121212474.2 4.2 最小损失准则判决最小损失准则判决第四章第四章 统计判决统计判决484.2.1 4.2.1 损失概念、损失函数与平均损失损失概念、损失函数与平均损失,21c设模式空间中存在设模式空间中存在c c个类别个类别: :,21a决策空间由决策空间由a a个决策个决策: :决策决策 j j常指将模式常指将模式x x指判为某一类指判为某一类w wj j或者是拒判。或者是拒判。ijij)(对一个实属对一个实属 i i 类的模式采用了决策类的模式采用了决策 j j 所造成的损失

26、所造成的损失记为：记为： ac,2121于是就有于是就有 空间中的二元函数，称其为空间中的二元函数，称其为损失函数损失函数。49决策决策- -损失表损失表 12c1(1/1)(1/2)(1/c)2(2/1)(2/2)(2/c)c(c/1)(c/2)(c/c)c+1(c+1/1) (c+1/2)(c+1/c)n决策决策 j j指将模式指将模式x x指判为指判为w wj j或者是拒判。或者是拒判。ijjijiij100-10-1损失函数损失函数50 令决策的数目令决策的数目a a等于类数等于类数c c，如果决策，如果决策 j j 定义为判定义为判 属属于于 j j 类，那么对于给定的模式类，那么对

27、于给定的模式 在采取决策在采取决策 j j 的条件下的条件下损失的期望为损失的期望为条件平均风险条件平均风险xExPxRxRijiciiijjj1)()()(), 2 , 1(cjxx 条件期望损失条件期望损失 刻划了在模式为刻划了在模式为 、决策为、决策为 j j条条件下的平均损失，故也称件下的平均损失，故也称 为为条件平均损失或条条件平均损失或条件平均风险（件平均风险（RiskRisk）。由贝叶斯公式，上式可以写为。由贝叶斯公式，上式可以写为x)(xRj)(xRj)()()()(1xpPxpxRiiciijj)()()()(11iciiiiciijPxpPxp51求上式求上式Rj(x)关于

28、关于x的数学期望的数学期望: WcjciiiijjxdPxp11)()(WcicjiiijjxdPxpx11)()()| )(WciiiixdxpxP1)()| )()(ciiiixEP1)| )()()(xEWxdxpxRRj)()(WcjjjxdxpxR1)()(平平均均损损失失52n可以将最小条件平均损失判决规则表示为可以将最小条件平均损失判决规则表示为如果如果 则判则判 4.2.2 4.2.2 最小损失准则判决最小损失准则判决)(min)(xRxRiijjx定理：定理：使条件平均损失最小的判决也必然使总的平均使条件平均损失最小的判决也必然使总的平均损失最小。损失最小。 所以最小条件平均

29、损失准则也称为最小平均损失所以最小条件平均损失准则也称为最小平均损失准则或最小平均风险准则，简称为准则或最小平均风险准则，简称为最小损失准则最小损失准则。53)()()()()()(222111111xpPxpPxpxR)()()()()()(222211122xpPxpPxpxR 对于两类问题，对于两类问题，如果如果)(1xR)(2xR21x则：则：这时最小损失判决规则这时最小损失判决规则可以表为：可以表为： )()()()(22211111PxpPxp)()()()(22221112PxpPxp54)()()()(22211111PxpPxp)()()()(22221112PxpPxp经整

30、理可得：经整理可得：)()()()()()(111112222221PxpPxp 两类问题的最小损失准则的似然比形式的判两类问题的最小损失准则的似然比形式的判决规则为：决规则为：)()()()(111212221221PPxpxp如果如果 21x则判则判 55若记似然比阈值若记似然比阈值)()()()(111222211212PP注意，若注意，若1212)(xl我们规定任判或拒判。我们规定任判或拒判。)(12xl1221x则两类问题的判决规则为：则两类问题的判决规则为：如果如果则判：则判： 56)(12xl1221x如果如果则判：则判： 损失函数如何确定依赖于实际问题和经验，有时损失函数如何确

31、定依赖于实际问题和经验，有时为了方便，对于一般的为了方便，对于一般的c类问题，令类问题，令jijiij,1,0 （0-10-1损失函数）损失函数）)()()()(111222211212PP)()(1212PP此时：此时：此即为最小误判概此即为最小误判概率准则的判决规则率准则的判决规则 57取取0-10-1损失函数时，最小损失准则等价于最小损失函数时，最小损失准则等价于最小误判概率准则，此时的平均损失就是误判概率，误判概率准则，此时的平均损失就是误判概率，使平均损失最小即使误判概率最小。这也表明，使平均损失最小即使误判概率最小。这也表明，最小误判概率准则是最小损失准则的特例。最小误判概率准则是

32、最小损失准则的特例。 4.2.2 最小损失准则判决最小损失准则判决58592202exp21)(xxp2212) 1(exp21)(xxp似然比为：似然比为：21001221exp)()()(xxpxpxl6021001221exp)()()(xxpxpxl运用最小损失准则，判决规则为：运用最小损失准则，判决规则为：判判0 x即信号为即信号为“0 0”。)()()()(0100011110PP 201221exp)(xxl21x时时)()()()(ln2101000111102PPx两边取对数：两边取对数： 当当 时时6162634.2.3 4.2.3 含拒绝判决的最小损失判决含拒绝判决的最小

33、损失判决拒绝判决可以作为最小损失判决中的一个可能判决，拒绝判决可以作为最小损失判决中的一个可能判决，1c“拒绝判决拒绝判决”。64)()(1xRxRjc如果如果j j=1,2,=1,2, ,c c则作出拒绝判决。则作出拒绝判决。设设 ( ( c+1c+1( (x)|)| i i)=)= r r，(i(i=1,2,=1,2,c),c)，（即各类的拒判损失相同）（即各类的拒判损失相同） rciirciircxPxPxR111)|()|()|(则则 又设又设 ( ( j j( (x)|)| i i)=)= e e，(j(j i i，i i，j j =1,2, =1,2,c),c)，（即各误判损失相同

34、）（即各误判损失相同）x（即各正确判决损失相同）（即各正确判决损失相同） ( ( i i( ( )|)| i i)=)= c c，(i(i=1,2,=1,2,c),c)， 且通常有且通常有 c c r r e e65)|()|()|(1xpxRiciijj)|()()|(1xPxpjceicie)|()(xPjcee66)|()|(1xRxRjcx如果如果，(j=1,2,c)，则对则对做拒绝判决。做拒绝判决。 )|()(xPjceercecrcerejxP1)|( = 1-t 这里这里 cecrt 称之为称之为拒判门限。拒判门限。 因为因为 c r 1-1/c时时,1-t1/c,上式恒成立上式

35、恒成立,不存在拒判问题不存在拒判问题,即存在拒判决策的条件应该是即存在拒判决策的条件应该是:t1-1/c68判决规则判决规则如下：如下：4.2.3 4.2.3 含拒绝判决的最小损失判决含拒绝判决的最小损失判决cecrttPtPxpxp)()1)()()(1221如果如果 1x则判则判)1)()()()(1221tPtPxpxp如果如果2x则判则判694.34.3最小最大损失准则最小最大损失准则第四章第四章 统计判决统计判决70)()()(2112xpxpxl)()(12PP12x最小误判概率准则最小误判概率准则)()()()(111212221221PPxpxp21x最小损失准则最小损失准则t

36、PtPxpxp)()1)()()(12211x)1)()()()(1221tPtPxpxp2xtPtPxpxptPtP)()1)()()()1)()(122112拒判拒判拒拒绝绝判判决决的的最最小小损损失失71tPtPxpxp)()1)()()(12211x)1)()()()(1221tPtPxpxp2xtPtPxpxptPtP)()1)()()()1)()(122112拒判拒判拒拒绝绝判判决决的的最最小小损损失失cecrtrec拒判损失拒判损失误判损失误判损失正确判决损失正确判决损失72最小最大损失准则最小最大损失准则的基本思想：的基本思想： 实际中，类先验概率实际中，类先验概率 P P(

37、( i i) ) 往往不能精确往往不能精确知道或在分析过程中是变动的，从而导致判决知道或在分析过程中是变动的，从而导致判决域不是最佳的。所以应考虑如何解决在域不是最佳的。所以应考虑如何解决在 P P( ( i i) ) 不确知或变动的情况下使平均损失变大的问题。不确知或变动的情况下使平均损失变大的问题。 应该立足最差的情况争取最好的结果。应该立足最差的情况争取最好的结果。73对于两类问题，设一种分类识别决策将特征空对于两类问题，设一种分类识别决策将特征空间间W分划为两个子空间分划为两个子空间1W和和2W，记，记ij为将实属为将实属i类的模式判为类的模式判为j的损失函数，各种判决的平均损失的损失

38、函数，各种判决的平均损失为为xdxpxxRRW)()(xdxpxxRxdxpxxRWW21)()()()(21xdPxpxdPxpiiiiiiii)()()()(21212211WWWW11)()()()(22211111xdxpPxdxpPWW22)()()()(22221112xdxpPxdxpP74利用利用)(1)(12PP则平均损失可写成则平均损失可写成W1)()(2222122xdxpRWW12)()()()()()(221221111222111xdxpxdxpP)(1bPa由于由于)(1P在在 0 0 和和 1 1 之间取值，所以平均损失值有之间取值，所以平均损失值有baRaWW

39、21)(1)(xdxpxdxpii和和75n由上式可见，当类概密、损失函数ij 、类域Wi 取定后，R是P(1)的线性函数。n考虑P(1)的各种可能取值情况，为此在区间(0,1)中取若干个不同的P(1)值，并分别按最小损失准则确定相应的最佳决策类域W1 、 W2 ，然后计算出其相应的最小平均损失R*，从而可得最小平均损失R*与先验概率P(1)的关系曲线。76PA(1)1 P(1)ACDR*BR*B0DCPB(1)77 如果能求出某个如果能求出某个)()(11BPP，相对于相对于)(1BP的最佳判决的最佳判决类域类域1W和和2W能使该式中的能使该式中的0b，即，即0)()()()()(12221

40、22111122211WWxdxpxdxpb在此决策类域下，无论在此决策类域下，无论)(1P如何变化，因如何变化，因0b而使而使R与与)(1P无关，从而使得平均损失无关，从而使得平均损失R恒等于常数恒等于常数a，即即aRxdxpR*W1)()(2222122求使求使0b的的)(1P等价于在最小平均损失等价于在最小平均损失*R)(1P关系关系中求使中求使0)(1*dPdR的的)(1P，显然，此时的，显然，此时的)(1P使使*R取所有最小损失的最大取所有最小损失的最大值值*mR。所以所以*mR是最大的最小损失。是最大的最小损失。78)()()()()()()()()(2211222111PxpPx

41、pPxpPxpxRjjj具体的设计过程是具体的设计过程是: :(1)(1) 按最小损失准则找出对应于按最小损失准则找出对应于(0,1)(0,1) 中的各个不同值的中的各个不同值的)(1P的最佳决策类域的最佳决策类域1W、2W， (2)(2) 计算相应各个计算相应各个)(1P及最佳决策类域的最小平均损失，得及最佳决策类域的最小平均损失，得*R)(1P曲线，找出使曲线，找出使*R取最大值的取最大值的)(1*P， (3)(3) 运用运用)(1*P、)(11*P及及ij构造似然比阈值并运用最小构造似然比阈值并运用最小损失准则下的决策规则对具体的模式分类识别。损失准则下的决策规则对具体的模式分类识别。

42、)()()()()()()()()(12121221122PxpxpxpPxpxpxpxRjjjj79最小最大损失判决规则最小最大损失判决规则 为：为：如果如果 )()()(1)()()(111121222121*PPxpxp则判则判21x当采用当采用 0-10-1 损失函数时，由损失函数时，由0b可得可得xdxpxdxp)()(2112WW上式表明，最小最大损失判决所导出的最佳分界面上式表明，最小最大损失判决所导出的最佳分界面应使两类错误概率相等应使两类错误概率相等 , ,可知此时的平均损失可知此时的平均损失W1)(2xdxpR80作业作业P125 4.1 4.2P125 4.1 4.281

43、4 44 N-P(Neyman4 N-P(NeymanPearson)Pearson)判决判决第四章第四章 统计判决统计判决82在某些实际问题中，可能存在以下几种情况：在某些实际问题中，可能存在以下几种情况： 不知道各类的先验概率不知道各类的先验概率)(iP ； 难于确定误判的代价难于确定误判的代价ij； 某一种错误较另一种错误更为重要。某一种错误较另一种错误更为重要。针对针对，可以采用最小最大损失准则或令各类概可以采用最小最大损失准则或令各类概率相等的办法克服；率相等的办法克服；针对针对(3)(3)，可以采用最小损失准则判决。针对上，可以采用最小损失准则判决。针对上面的三个问题，更主要的是针

44、对，我们采用面的三个问题，更主要的是针对，我们采用N-PN-P准则准则。针对针对，如果允许的话，可，如果允许的话，可以避开使用损失函数以避开使用损失函数 而采用最小误判概率准则而采用最小误判概率准则；83所谓所谓N-PN-P准则，是严格限制较重要的一类错误概准则，是严格限制较重要的一类错误概率令其等于某常数而使另一类误判概率最小。率令其等于某常数而使另一类误判概率最小。 对两类问题，对两类问题，0)( xd 将特征空间将特征空间W W分成两分成两 个子空间个子空间1W W和和2W W，其中，其中W W W WW W21U U， W WW W21I I。 当一模式特征点当一模式特征点1W W x

45、 时，指判时，指判1 x ；当当2W W x 时，指判时，指判2 x 。84将实属将实属1类的模式类的模式x判属判属2类的误判概率为类的误判概率为W2)(112xdxp将实属将实属2类的模式判属类的模式判属1类的误判概率为类的误判概率为W1)(221xdxp N-PN-P准则是在使某一类误判概率等于常数的准则是在使某一类误判概率等于常数的约束下使另一类误判概率最小。约束下使另一类误判概率最小。 85令令021常数，求常数，求使使12最小。运用最小。运用拉格朗日拉格朗日乘乘数法求条件极值，为此作辅助函数数法求条件极值，为此作辅助函数:)(02112yWW02112)()(xdxpxdxpW1)(

46、)()1 (210 xdxpxp86郎格朗日乘数法郎格朗日乘数法: : 在条件极值问题中在条件极值问题中, , 满足条件满足条件 g(x, y) = 0 g(x, y) = 0 下，去寻求函数下，去寻求函数 f(x, y) f(x, y) 的极值。的极值。 对三变量函数对三变量函数 F(x, y, ) = f(x, y) + g(x, y) F(x, y, ) = f(x, y) + g(x, y) 分别求分别求F F对三变量的偏导对三变量的偏导, ,并联立方程式并联立方程式 F F = g(x, y) = 0 = g(x, y) = 0 F Fx x = f = fx x (x, y) +

47、g (x, y) + gx x (x, y) = 0 (x, y) = 0 F Fy y = f = fy y (x, y) + g (x, y) + gy y (x, y) = 0 (x, y) = 0 求得的解求得的解 (x, y) (x, y) 就成为极值的候补。就成为极值的候补。 这样求极值的方法就叫做拉格朗日乘数法、这样求极值的方法就叫做拉格朗日乘数法、叫叫做拉格朗日乘数。做拉格朗日乘数。 87求求1W使使y取极小值。取极小值。W1)()()1 (210 xdxpxpy1W无法直接用解析的办法求得。无法直接用解析的办法求得。 一般地讲，一般地讲，但注意到但注意到在式子中是确定的，在式

48、子中是确定的，)(1xp、)(2xp在在W空间中也是确定的，如果选择满足条件空间中也是确定的，如果选择满足条件0)()(21xpxp的的x的全体作为的全体作为*W1这时所求得的这时所求得的y值值*y比比1W的其它取法时的的其它取法时的y值要小。值要小。 就能保证就能保证因为这种取法下因为这种取法下, , 是使被积函数取正数的最大的域。是使被积函数取正数的最大的域。*W188，*W1如前定义如前定义这时的这时的y值为值为12111) )()() )()()1 (21210WWW*xdxpxpxdxpxpy xdxpxpxdxpxpy) )()() )()(12112121WW*121111)(W

49、WWW*WW111*WW212上有上有0)()(21xpxp于是在于是在11W在在上有上有0)()(21xpxp12W上式中第二项的积分为正值，第三项的积分为负值。上式中第二项的积分为正值，第三项的积分为负值。* yy显然显然89同理同理, , 由由W2) )()()(210 xdxpxpy因此选择满足条件因此选择满足条件0)()(21xpxpx的全体的全体 作为作为*W1选择满足条件选择满足条件0)()(21xpxpx的全体的全体 作为作为*W2在在1W中中 0)()(21xpxp在在2W中中 0)()(21xpxp综上，即：综上，即：90于是将其中一类错误概率作为控制量而使另一类于是将其中

50、一类错误概率作为控制量而使另一类错误概率最小错误概率最小的的N-N-P P判决规则为：判决规则为：上式中上式中，是判决阈值是判决阈值。如果如果，)()(21xpxp则判则判 21x可以看出，可以看出，N-PN-P判决规则的形式和最小误判判决规则的形式和最小误判概率准则及最小损失准则的形式相同，只是似然概率准则及最小损失准则的形式相同，只是似然比阈值不同。比阈值不同。 91这里这里是由下列关系式确定：是由下列关系式确定：02211)(Wxdxp即适当地选取即适当地选取以保证使以保证使021，因此，因此的值决定着类域的值决定着类域1W、2W。这里这里)(2lp为似然比为似然比l的条件概密。的条件概

51、密。，令，令)()()(21xpxpxl为求为求因当因当l时就判时就判1x，所以当，所以当0给定后，给定后，可由式可由式0)(221)(dllp确定。确定。拉格朗日乘子拉格朗日乘子921221xp(l|2)p(l|1) 的值决定着类域的值决定着类域1W、2W，这里的，这里的 是由是由0所所确定的，即适当地选取确定的，即适当地选取使使021。为求。为求 ，令，令)(2lp为似然比为似然比)(xl在在2x的条件下的概密，因当的条件下的概密，因当l时就时就判判1x，所以当，所以当0给定后，拉格朗日乘子给定后，拉格朗日乘子可由式可由式 确定。确定。0221)(dllp W W1W W2l93在具体运用

52、在具体运用N-PN-P准则时，首先根据给定的控制准则时，首先根据给定的控制量量 0计算门限计算门限 ，然后运用判决规则进行判决分类。，然后运用判决规则进行判决分类。94例：例：设两类问题中，二维模式均为正态分布，设两类问题中，二维模式均为正态分布，其均值矢量和协方差阵分别为：其均值矢量和协方差阵分别为：)0 , 1(1)0 , 1 (2I21 ，取定，取定04. 021试求试求N-P判决阈值。判决阈值。解解：由公式和给定的条件可算得两类的概密分别为：由公式和给定的条件可算得两类的概密分别为: :)(1xp2) 1(exp212221xx)(2xp2) 1(exp212221xx由上面二式可以算

53、得由上面二式可以算得 : :1212exp)()(xxpxp951212exp)()(xxpxp其为判决界面，上式两边取对数，于是可得判决规其为判决界面，上式两边取对数，于是可得判决规则则: : 211ln21xx由于界面只是由于界面只是1x的函数，需求的函数，需求)(2xp的边缘密度的边缘密度)(21xp2221)()(xdxpxp222212) 1(exp21xdxx2) 1(exp2121x962221)()(xdxpxp2) 1(exp2121x由上面的判决规则，有由上面的判决规则，有: :121ln21212) 1(exp21dxxdyy2exp2121ln21dyy2exp2121

54、21ln210dzz222ln420exp12111 xy1dxdy 97)22ln42(2121有数学手册可查得有数学手册可查得:5! 213! 111)(5302xxxdtexxt可算得可算得21与与的关系如下表所示：的关系如下表所示： 4211/21/4210.0460.0890.01590.2580.37898x1x221-1 1 1 2W2W1t=-(1/2)ln 由设定的由设定的04. 021，查上表可得，查上表可得4，对应的，对应的693. 02)(ln，从而得此问题的判决规则为，从而得此问题的判决规则为: 693. 01x，则判，则判 21x若若99本章主要介绍了贝叶斯统计决策

55、理论为基础的贝本章主要介绍了贝叶斯统计决策理论为基础的贝叶斯分类方法叶斯分类方法, ,其中包括了其中包括了最小误判概率最小误判概率、最小损失最小损失准则准则等，依据这些准则设计的分类器，从理论上讲是等，依据这些准则设计的分类器，从理论上讲是最优的性能，即分类的错误率或风险在所有可能的分最优的性能，即分类的错误率或风险在所有可能的分类器中为最小，因此经常被用来作为衡量其他分类器类器中为最小，因此经常被用来作为衡量其他分类器设计方法优劣的标准。设计方法优劣的标准。由于正态分布在由于正态分布在物理上物理上的合理性和的合理性和数学上数学上的计算的计算简便性，我们详细介绍了贝叶斯分类方法在正态分布简便性

56、，我们详细介绍了贝叶斯分类方法在正态分布下的几种特殊情形，导出了其对应的判决函数、决策下的几种特殊情形，导出了其对应的判决函数、决策面方程及相应的几何描述。面方程及相应的几何描述。100下面我们简单回顾一下本章所学的几种贝叶斯下面我们简单回顾一下本章所学的几种贝叶斯决策准则决策准则: :1 1、最小误判概率准则、最小误判概率准则)()()(2112xpxpxl)()(12PP如果如果12x则判则判两类时两类时: :多类时多类时: :)(xPi)(maxxPjjix如果如果判判1012 2、最小损失准则、最小损失准则12x则判则判)()()()(111212221221PPxpxp如果如果 两类

57、时两类时: :多类时多类时: :计算计算ciiijjxPxR1)()(若若)()(minxRxRjjl则判则判lxcj, 2 , 11023 3、含拒绝判决的最小损失准则、含拒绝判决的最小损失准则tPtPxpxp)()1)()()(12211x)1)()()()(1221tPtPxpxp2xtPtPxpxptPtP)()1)()()()1)()(122112拒判拒判其中：其中：cecrtrec拒判损失拒判损失误判损失误判损失正确判决损失正确判决损失两类时两类时: :1033 3、含拒绝判决的最小损失准则、含拒绝判决的最小损失准则多类时多类时: :计算计算ciiijjxPxR1)()(若若)()

58、(minxRxRjjl则判则判lx1, 2 , 1ccj其中其中 为拒绝判决。为拒绝判决。1c1044 4、最小最大损失准则、最小最大损失准则如果如果 )()()(1)()()(111121222121*PPxpxp则判则判 21x)(2*P)(1*P是如何获得的？是如何获得的？ )(1P让让 从从0 逐渐变化到逐渐变化到1，按最小损失准则算出最，按最小损失准则算出最小平均损失，即取各类条件平均损失的最小者。小平均损失，即取各类条件平均损失的最小者。由此可得出由此可得出R RP(P( 1 1) )曲线，最大的曲线，最大的R R对应的对应的P(P( 1 1) )就就是是)(1*P1055 5、N

59、-PN-P准则准则如果如果，)()(21xpxp则判则判 21x 是如何获得的？是如何获得的？0)(221)(dllp由由固定固定 0 0反求反求 106例：在军事目标识别中，假定有灌木丛和坦克两种例：在军事目标识别中，假定有灌木丛和坦克两种类型，它们的先验概率分别是类型，它们的先验概率分别是0.7和和0.3，损失函数如，损失函数如下表所示，其中，类型下表所示，其中，类型 1和和 2分别表示灌木和坦克，分别表示灌木和坦克，判决判决 1= 1， 2= 2， 3表示拒绝判决。现在做了四表示拒绝判决。现在做了四次试验，获得四个样本的类概率密度如下：次试验，获得四个样本的类概率密度如下： P(x| 1

60、):0.1, 0.15, 0.3, 0.6, P(x| 2):0.8, 0.7, 0.55, 0.3 1 2 12.52.0 24.01.0 31.51.5（1 1）用最小误判概率准则，判）用最小误判概率准则，判断四个样本各属哪一个类型。断四个样本各属哪一个类型。问：问：（3） 把拒绝判决考虑在内，重新考核四次试验的把拒绝判决考虑在内，重新考核四次试验的结果。结果。（2 2）假定只考虑前两种情况，）假定只考虑前两种情况，试用最小损失准则判断四个试用最小损失准则判断四个样本各属于哪一个类型。样本各属于哪一个类型。类型判决判决损损 失失107答答: : 求出四个样本两类的似然比。求出四个样本两类的