第2章 贝叶斯决策理论

1、第2章 贝叶斯决策理论n 常用决策规则n 分类器设计n 正态分布情况下的贝叶斯决策n 实验内容2.1 引言 贝叶斯决策理论是统计模式识别的基本理论，其假设（1）各类别总体的概率分布是已知的；（2）要决策分类的类别数是一定的。 贝叶斯决策理论研究了模式类的概率结构完全知道的理想情况。这种情况实际中极少出现，但提供了一个对比其它分类器的依据，即“最优”分类器。n符号规定 分类类别数：c 类别状态： 特征空间维数：d d维特征空间中的特征向量： 先验概率： 类条件概率密度：2.1 引言,1,2,iic12 ,Tdxx xx()iP( |)ip x2.2 几种常用决策规则最小错误率的贝叶斯决策规则最小

2、风险决策规则pNeyman-Pearson决策规则p极小极大决策规则基于最小错误率的贝叶斯决策 基本思想：利用贝叶斯公式使分类错误率达到最小。 癌细胞识别问题： 选择癌细胞的d个特征 经调查统计，得先验概率 12x,正常,异常1()P2()P12()()1PP基于最小错误率的贝叶斯决策仅依靠先验概率进行判断，其决策规则为此种判断方法是否合理？利用信息太少！1122,()(),PPx正常异常基于最小错误率的贝叶斯决策加入特征细胞光密度章前假设：各类总体概率密度为已知，即已知类条件概率密度 此时已知分类类别数、先验概率及类条件概率密度，可重新进行决策。 11 Tdxx12( |), ( |)p x

3、p x基于最小错误率的贝叶斯决策考虑贝叶斯公式癌细胞识别问题中c=2贝叶斯公式通过类条件概率密度形式的观察值，将先验概率转化为后验概率。1( |) ()(| )1,2,( |) ()iiicjjjp xPPxicp xP1( )( |) ()cjjjp xp xP为一因子基于最小错误率的贝叶斯决策类条件概率密度与后验概率图示基于最小错误率的贝叶斯决策两类问题最小错误率贝叶斯决策规则：1,21,2112221111222(1) (| )max(| )(2) ( |) ()max ( |) ()( |)()(3) ( )( |)()()(4) ( )ln ( )ln ( |)ln ( |) ln(

4、)ijijiijjijPxPxxp xPp xPxp xPl xxp xPPh xl xp xp xxP 似然比形式基于最小错误率的贝叶斯决策例：假设在某个局部地区细胞识别中正常和异常两类的先验概率分别为 正常状态： 异常状态： 现有一待识别的细胞，其观察值为x，类条件概率密度分别为 试对该细胞x进行分类。解：1()0.9P2()0.1P12( |)0.2, ( |)0.4p xp x1112121121( |) ()0.2 0.9(| )0.8180.2 0.90.4 0.1( |) ()(| )1(| )0.182(| )0.818(| )0.182jjjp xPPxp xPPxPxPxP

5、xx 基于最小错误率的贝叶斯决策关于错误率最小的讨论（一维情况）错误率是指平均错误率P(e)1212122122112211( )( ,)(|)( )(|)(|)(|)(|)(|)(|)(|)( )(|)( )(|)( )(|)()(|)()()( )()( )ttttP eP e x dxP ex p x dxPxPxPxP exPxPxPxP ePx p x dxPx p x dxp xPdxp xPdxPPePP e令每一个x都取使P(e|x)最小的值，则所有x产生的平均错误率最小。结论可推广至多类基于最小错误率的贝叶斯决策n多类情况下的贝叶斯决策规则1,1,(1) (| )max(|

6、)(2) ( |) ()max( |) ()ijijciijjijcPxPxxp xPp xPx参照两类情况，也可得到平均错误率最小的分类结果基于最小风险的贝叶斯决策考虑风险，如n 癌症诊断问题n 空袭警报问题n 制药企业药品合格检定问题因此须考虑减小损失（或代价） 最小风险贝叶斯决策是一种令各种错误造成的损失（风险）最小化的决策。基于最小风险的贝叶斯决策决策会带来相应的损失，以决策表来定义基于最小风险的贝叶斯决策定义损失函数(,)1,2, ;1,2,ijia jc 其表示真实状态为 ，而采取决策 所带来的损失。ji针对特定x采取决策 的条件期望损失（条件风险）为i1(| ) (,)(,) (

7、| ),1,2,ciijijjjRxEPx ia 针对所有x的期望风险定义为(| ) ( )RRx p x dx欲令R最小，须令针对每一x的条件风险最小。基于最小风险的贝叶斯决策最小风险贝叶斯决策规则1,(| )min(| )kikiaRxRx步骤：（1）计算后验概率（2）利用后验概率及决策表计算针对某一x采取a种决策的a个条件期望损失1(| )( ,) (| ),1,2,ciijjjRxPx ia （3）取（2）中条件风险最小的决策，采取该行动。基于最小风险的贝叶斯决策例：在最小错误率例题基础上，利用决策表按最小风险贝叶斯决策进行分类。06101212解：前例已计算出12(| )0.818,

8、 (| )0.182PxPx21111112212222112221122(| )(| )(| )(| )6 0.182 1.092(| )(| )(| )(| ) 1 0.8180.818(| )(| )jjjjjjRxPxPxPxRxPxPxPxRxRxx 结果与前例相反，Why?基于最小风险的贝叶斯决策n 两例结果相反的原因 最小风险决策规则在考虑错误率的同时考虑了“损失”，而上例中将异常细胞判为正常的代价较大，占“主导”作用，故产生相反的结果。n 决策表直接影响决策结果，制定应慎重。最小风险决策与最小错误率决策的关系111,1,1,110,(,),1,2,1,01(| )(,) (|

9、)(| )(| )min(| )(| )min(| )(| )max(| )ijcciijjjjjj ikiicccjjijicjcjjj kj iiji jcijRxPxPxRxRxPxPxPxPx 损失函数条件风险为0-1损失下，最小风险决策等价于最小错误率决策基于最小风险的贝叶斯决策通信例题：下图为一信号通过受噪声干扰的信道判别结果x0,1信道分类器噪声121221(0)0(1)100PP类设，先验概率类风险输入信号为0或1，噪声为高斯型，其均值为0，方差为 ，信道输出为x（1）试求最优的判别规则，以区分输出x是0还是1？（2）若此通信系统为M进制，采用0-1代价函数重新求最优判别规则。

10、2基于最小风险的贝叶斯决策解：最小风险决策的似然比形式1122111112222111222221111112222211122222221111(| )(| ),( |) ()( |) ()( |) ()( |) ()() ( |) () () ( |) ()( |)() (),( |)() ()RxRx xp xPp xPp xPp xPp xPp xPp xPxp xP基于最小风险的贝叶斯决策直观上对数字信号的判断如下图2110.50 xx信号受0均值高斯噪声影响，输入为0时，幅值的概率密度为输入为1时，幅值的概率密度为2121(0)(|)exp22xp x 2221(1)(|)exp2

11、2xp x 均值为真实信号，噪声在其上波动基于最小风险的贝叶斯决策似然比111222222221111( |)() ()1 2exp( |)2() ()p xPxxp xP2121212212121212222121(1)(1)121expln,02(0)2(0)(1)(1)121expln,12(0)2(0)PPxxxPPPPxxxPP若令 ，则0.5为阈值，符合直观判断。 1221, (1)(0)PP基于最小风险的贝叶斯决策（2）0-1代价函数 最小代价转化为最小错误率Bayes决策 若1,( |) ()max( |) ()iijjijMp xPp xPx判别结果x概率密度估计.最大值选择

12、器M进制贝叶斯分类器1( |)p x2( |)p x( |)Mp x1()P2()P()MP2.3 分类器设计n决策面划分决策域的边界n判别函数用以表达决策规则的函数决策面01x2x2.3 分类器设计多类情况下的4种贝叶斯决策规则(1) (| )(| ),1,2, ,(2) ( |) ()( |) (),1,2, ,()( |)(3) ( ),1,2, ,( |)()(4)ln ( |)ln ()ln ( |)ln (),1,2, ,ijiiijjijiijiiijjiPxPxjcjixp xPp xPjcjixPp xl xjcjixp xPp xPp xPjcjix且且且且定义判别函数，令

13、( )max( ),1,2,ijig xgxjcx2.3 分类器设计(1)( )(| )(2)( )( |) ()(3)( )ln( |)ln()iiiiiiiig xPxg xp xPg xp xP( )ig x可定义为：2.3 分类器设计n决策面方程 相邻决策域在决策面上判别函数值相等，即n决策面的形式 d=1点 d=2曲线 d=3曲面 d3超曲面 ( )( )ijg xgx2.3 分类器设计决策边界的形式一维点边界二维线边界2.3 分类器设计分类器软硬件机器多类分类器的构成2.3 分类器设计两类情况：1212( )( )( )( )0g xg xgxg xx判别函数决策规则判别函数形式1

14、211221221(1) ( )(| )(| )(2) ( )( |) ()( |) ()( |)()(3) ( )lnln( |)()g xPxPxg xp xPp xPp xPg xp xP( )0g x 决策面方程2.3 分类器设计两类分类器的构成2.3 分类器设计例：写出最小错误率和最小风险例题的判别函数和决策面方程。（1）最小错误率例题，利用两类形式（2） 11221212( )( |) ()( |) ()( )0.9 ( |)0.1 ( |)( )09 ( |)( |)0g xp xPp xPg xp xp xg xp xp x形式（2）判别函数决策面方程2.3 分类器设计（2）针

15、对最小风险例题2121112221111222( )(| )(| )(| )(| )( |) ()( |) ()g xRxRxPxPxp xPp xP211212121,6( )0.9 ( |)0.6 ( |)( )09 ( |)6 ( |)0g xp xp xg xp xp x判别函数原形代入数据决策面方程2.4正态分布时的统计决策n前述 是抽象的，此处代以正态分布n为什么使用正态分布？（1）物理上的合理性 样本点较多地分布在均值附近，远离均值点较少，可用正态分布近似。（2）数学上比较简便 如表征模型的参数较少，抽取样本点方便。( |)ip x2.4正态分布时的统计决策单变量正态分布 222

16、211( )exp22( )()( )( )0()( )1( )( ,)xp xE xxp x dxxp x dxp xxp x dxp xN 表示样本点相对于均值的离散程度2.4正态分布时的统计决策多元正态分布11/2/2121211( )exp()()2(2 ) ,TdTdTdp xxxxx xx 1211( )( )( )iiiiiiiidE xx p x dxp xp x dx dxdx dxdx边缘分布2.4正态分布时的统计决策222111212221222222212()()dTdddddExx d1 1d对称阵，对角线元素为方差，非对角线为协方差2()()()() ( ,)iji

17、ijjiijjijijE xxxxp x x dxdx 也叫相关矩，表示两个随机变量的相关程度2.4正态分布时的统计决策多元正态分布的性质（1） 决定了分布 共有d+d(d+1)/2个参数，（2）等密度点轨迹超椭球面 等密度点为指数项为常数时所取得的点，即 ,( )( ,)p xN12()()Txxrx到u的马氏距离的平方，构成超椭球面2.4正态分布时的统计决策区域中心由均值向量决定，大小由协方差矩阵决定椭圆的长短轴方向由特征向量方向确定，长度由 确定 为特征值， 为马氏距离的平方。22krk2r2.4正态分布时的统计决策多元正态分布的性质（3）不相关等价于独立 不相关 独立 正态分布时，不相

18、关等价于独立推论：如果多元正态随机向量 的协方差矩阵 是对角阵 ，则x的分量是相互独立的正态分布随机变量。 ijijE x xE xE x( ,)( ) ()ijijp x xp x p x1,Tdxxx2.4正态分布时的统计决策多元正态分布的性质（4）多元正态分布的边缘分布和条件分布仍然是正态分布。（5）线性变换的正态性 多元正态随机向量的线性变换仍为多元正态分布的随机向量。( )(,)TyAxp yN AAA可寻找线性变换A使 为对角阵，则y各分量独立，可提高识别效率。TAA2.4正态分布时的统计决策多元正态分布的性质（6）线性组合的正态性( )(,)TTTyxp yN 2.4正态分布时的

19、统计决策多元正态概率模型下的最小错误率贝叶斯判别函数和决策面( )( |) ()( )ln( |)ln()iiiiiig xp xPg xp xP对数单调递增分类性能不变1111( )ln(2 )ln()()ln()22211( )ln()()ln()22TiiiiiiTiiiiiidg xxxPg xxxP 去掉首项无关项11()11ln()()()()ln022()iTTiiiijjjjjPxxxxP( )( )ijg xgxn 决策面方程n 判别函数2.4正态分布时的统计决策特殊情况讨论：一、22222121,2,(1) ()()11( )()()ln()21() ()ln()2() (

20、)() ,1,(2) ()()( )() ()iijTiiiiTiiidTiiijijjijTiiiiIicPPg xxxPxxPxxxxicPPg xxxx 消去负号不等号变向最小距离分类器21,miniicx2.4正态分布时的统计决策最小距离分类器为线性分类器定义：判别函数为线性函数的分类器为线性分类器。( )() ()2( )2TTTTiiiiiiTTiiig xxxx xxg xx ( )( )0ijg xgx决策面方程2.4正态分布时的统计决策最小距离分类器的缺点基本思想：以均值点作为典型样本，用距离作为判别函数进行分类。1x1x2x2x可以正确分类不能正确分类分类效果不好（1）未考

21、虑样本服从什么概率分布 （2）只用了一个典型样本的信息2.4正态分布时的统计决策当先验概率不等时的决策面12()()PP第一种情况的决策面为超平面决策面远离先验概率大的一方，移动距离由方程决定2.4正态分布时的统计决策特殊情况讨论：二、i 11( )()()ln()2Tiiiig xxxP 121212(1) ()()( )()()(2) ()()TiiiPPg xxxrPP向先验概率小的方向偏移马氏距离的平方12()()PP第二种情况的决策面为超平面2.4正态分布时的统计决策特殊情况讨论：三、,1,2,iji jc 111( )()()ln()22Tiiiiig xxxP ( )( )0ij

22、g xgx决策面方程决定决策面形状（超二次曲面）, ()iiiP决定了决策面的具体形式2.4正态分布时的统计决策2.5分类器的错误率n按理论公式计算n计算错误率上界n实验估计（第3章讨论）2.6基于贝叶斯分类器的遥感图像分类n目视判读n计算机分类 （1）数据准备 质量检查 预处理 （2）分类判决 （3）输出2.6基于贝叶斯分类器的遥感图像分类原始图像数据的准备图像变换及特征选择分类判决函数的选择确定分类算法方案逐个像素分类判决形成分类编码图像分类结果输出准备阶段分类判决输出否是开始输入分类类别数令i=0i=i+1输入第i类先验概率输入第i类样本数据计算第i类数学期望向量和协方差矩阵ic?利用判

23、决函数对图像进行逐像素判决分类结果图像输出结束2.6基于贝叶斯分类器的遥感图像分类各类别高斯分布的期望向量与协方差矩阵的估计222111212221222222212dddddd 12111()()NkkNijkiikjjkxNxxN针对某一类kix为第k个样本的第i个特征值111( )()()ln()22Tiiiiig xxxP 2.6基于贝叶斯分类器的遥感图像分类 遥感图像分为森林、河流、峡谷三类，特征选取RGB三个分量构成的特征向量，已知其先验概率分别为0.34，0.33，0.33，每一类取64个样本的训练区。利用Beyes分类器进行分类，结果如下图所示。2.7 实验1图像的贝叶斯分类n

24、实验目的 将模式识别方法与图像处理技术相结合，掌握利用最小错分概率贝叶斯分类器进行图像分类的基本方法，通过实验加深对基本概念的理解。n实验仪器设备及软件 HP D538（或兼容PC）、MATLAB（或C语言开发环境）n实验原理 利用最小错误率贝叶斯分类方法确定图像分割阈值。 2.7 实验1图像的贝叶斯分类基本原理： 图像中目标与背景有一定的交错，会产生将目标错分为背景与将背景错分为目标两类错误，通过Bayes最小错误率分类器求取“最优阈值”可令总的错误率最小。图像直方图可作为对概率密度函数的近似。2.7 实验1图像的贝叶斯分类 假设目标与背景两类像素值均服从正态分布且混有加性高斯噪声，分类问题

25、可以使用最小错分概率贝叶斯分类器来解决。 图像的混合概率密度函数可用下式表示1122( )( )( )p xPp xP px1P图像中背景的先验概率2P图像中目标的先验概率1( )p x2( )px图像中背景的概率密度图像中目标的概率密度2121()2111( )2xp xe2222()2221( )2xpxe121PP求一分割阈值T，使分类错误率最小。假定目标的灰度较亮，背景的灰度较暗，则有122.7 实验1图像的贝叶斯分类把目标错分为背景的概率可表示为12( )( )TE Tpx dx把背景错分为目标的概率可表示为21( )( )TE Tp x dx总的误差概率为 2112( )( )(

26、)E TP E TPE T为求得使误差概率最小的阈值T， 将E(T)对T求导并令导数为0，得1122( )( )Pp TP p T2.7 实验1图像的贝叶斯分类代换后，可得221212222111()()ln22PTTP 此时，若设 12，则有 2122121ln2PTP若还有 12PP，则 122T这时的最优阈值就是两类区域灰度均值，实际运算依靠迭代算法进行。2.7 实验1图像的贝叶斯分类最优阈值的迭代算法：设有一幅数字图像f (x, y) ，混有0均值加性高斯噪声，可表示为 ( , )( , )( , )g x yf x yn x y 如果通过阈值分割将图像分为目标与背景两部分，则每一部分

27、仍然有噪声点随机作用于其上，于是目标与背景可表示为11( , )( , )( , )g x yf x yn x y22( , )( , )( , )gx yfx yn x y1( , )g x y2( , )gx y迭代过程中，会多次地对和求均值，则 111( , ) ( , )( , ) ( , )E g x yE f x yn x yE f x y222( , )( , )( , )( , )E gx yE fx yn x yE fx y 可见，随着迭代次数的增加，目标和背景的平均灰度都趋向于真实值。因此，用迭代算法求得的最佳阈值不受噪声干扰的影响。 2.7 实验1图像的贝叶斯分类0T0T，minmax02SSTminS和 maxS1R2R1 ( , )|( , )kRf x yf x yT2 ( , )|0( , )kRf x yf x yT1R2R1S1kT1|kkTT1kk利用最优阈值对实验图像进行分割的迭代步骤为： （1）确定一个初始阈值可取为 式中， 为图像灰度的最小值