第3章Bayes决策理论_2

1、第第3 3章章 BayesBayes决策理论决策理论 第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页1()P2()P121122()() ()() PPPP12( ) min (), ()P ePP第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页1()P2()P1()Px2()Px21() ()()() ()jj

2、jjjjpPPpPxxxx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页121122()() ()() PPPPxxxxx1221() ()() PP ePxxxxxx()P e x( )P e第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页( )() ( )P eP epdxxx1()P ex第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页21211221112211221122( )(,)(,)() ()() ()() ()() ()()( )()( )RRP eP x RP x RP x RPP x R

3、Pp xPdxp xPdxPP ePP e第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页结结 束束放映放映第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页12345 , , , , x观察或测量到的观察或测量到的 d 维模式特征向量；维模式特征向量；12345 , , , , 状态或模式类空间状态或模式类空间决策空间决策空间( , ) 1,2,5 1,2,5ijij 损失函数，表损失函数

4、，表示真实状态为示真实状态为 而所采取的决策为而所采取的决策为 时所带来的某种时所带来的某种损失。损失。根据根据Bayes公式，后验概率为：公式，后验概率为：ji51() ()() 1,2,5() ()jjjiiipPPjpPxxx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页对于刚才的决策表考虑如下的一个条件期望损失，即给对于刚才的决策表考虑如下的一个条件期望损失，即给定定 ，我们采取决策，我们采取决策 情况下的情况下的条件期望损失（条件风条件期望损失（条件风险）险） ：采取那种决策呢采取那种决策呢？ 最小风险最小风险Bayes决策规则决策规则：51()( ,)

5、 ()( ,) 1,2,5iijjijjRPEi xxix1,2, ,()min() kikiaRR xx12345, 第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页 综上，可知该规则的进行步骤为：综上，可知该规则的进行步骤为：（1）根据）根据已知已知，计算出后验概率；，计算出后验概率；（2）利用计算出的后验概率及决策表（专家根据经验确）利用计算出的后验概率及决策表（专家根据经验确定），计算条件风险定），计算条件风险（3）最小风险决策）最小风险决策1()() ()()()() ( )jjjjjciiiPpPpPpPxxxxx1()( ,) () 1,2,ciijj

6、jRPia xx 1,2, ,()min()kiiaRRxx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页这样按最小风险的这样按最小风险的Bayes决策规则，采取的决策将随决策规则，采取的决策将随 的的取值而定，引入函数取值而定，引入函数 ，表示对，表示对 的决策。对整个特的决策。对整个特征空间上所有征空间上所有 的取值采取相应的决策的取值采取相应的决策 所带来的平所带来的平均风险均风险显然，我们对连续的随机模式向量按最小风险显然，我们对连续的随机模式向量按最小风险Bayes决策决策规则采取的一系列决策行动可以使平均风险最小。规则采取的一系列决策行动可以使平均风险

7、最小。到此为止，我们已经分析了两种分别使错误率和风险达到此为止，我们已经分析了两种分别使错误率和风险达到最小的到最小的Bayes决策规则，下面分析一下两种决策规则的决策规则，下面分析一下两种决策规则的关系。关系。( ( ) ) ( )RRpdx xx xx( )xxx( )x第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页两类情况下的最小风险两类情况下的最小风险BayesBayes决策决策(,)ijij 11111221212211222122()()()()() ()()()()() RPPRRRPPRRxxxxxxxxxx21211112212221111122

8、22121111122222()() () () () ()() () () () () () () () RRPPPPPPxxxxxxxx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页2111112222121111122222121122() () () () () () () () ()() ()() PPPPPPPPxxxxxxxx21111222第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页 0 (,) ,1,2, 1 ijiji jcij 11()(,) ()()cciijjjjji jRPP xxx1,2,1()min(

9、)()ckijicji jRRPxxx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页1111,2,1,2,11,2,1,2,() ()()1() ()()min() min() min1()max()cjjcjjcjiiikiiccjicjj iiiicicpPPpPRRPPP xxxxxxxx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页21211111222211220() ()()( )() ()()( )( )()( )()RRRRp xPdx PP

10、ep xPdx PP eP ep xdxP ep xdx120( )( )P eP e用用Lagrange乘子法建立其数学模型乘子法建立其数学模型第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页12211201111( )( )()()1 ()1()RRRRP eP ep xdxp xdxp xdxp xdx 2111111120120021021()()1()()1()()1()()RRRRRRRp xdxp xdxp xdxp xdxp xdxp xdxp xp xdx 第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页10212122

11、112122111221121()()()() 0 min()() 0 ()() 0 ()() 0 () () () ()Rp xp xdxp xp xx Rp xp xx Rp xp xxp xp xxp xxp xp xxp x 第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页1122012()0 ()0 ()( ) ( )Rptpp xdxRtRt tt122112() ()() ()p xxp xp xxp x121122()() ()() PPPPxxxx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 Bayes

12、Bayes决策理论决策理论返回本章首页返回本章首页以两类情况下的最小风险以两类情况下的最小风险BayesBayes决策为例进行讨论决策为例进行讨论(,)ijij 11111221212211222122()()()()() ()()()()() RPPRRRPPRRxxxxxxxxxx( ( ) ( )RRpdx xxx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页1212() ( )() ( )RRRRpdRpdxxxxxx假定决策域已经确定，我们以假定决策域已经确定，我们以 表示分类器判为表示分类器判为 时的特征空间时的特征空间中的区域，同样有中的区域，同样有

13、 和和 ，于是总风险用条件风险的形式表示为，于是总风险用条件风险的形式表示为1R12R212111122211222()()( )()()( )RRRPPpdPPpdxxxxxxxx11111222211222()()()()()()RPPRPPxxxxxx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页121111122221112222() ()() ()() ()() ()RRRPpPpdPpPpdxxxxxx122111() 1() ()()1RRPPpdpd xxxx1212212222111222111112222()()() () ()()()()RR

14、RRpdPpdpdxxxxxx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页1211221222211222111112222()()()() ()()()()RRRR a bPapdbpdpd xxxxxx一旦一旦 和和 确定，风险确定，风险 就是先验概率就是先验概率 的线性函数，可表的线性函数，可表示为示为1R2RR1()P1222121111() ()() ()PP决策阀值决策阀值第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页1211221222211222111112222()()()() ()()()()RRRR a bPa

15、pdbpdpd xxxxxx一旦一旦 和和 确定，风险确定，风险 就是先验概率就是先验概率 的线性函数，可表的线性函数，可表示为示为1R2RR1()P1222221111() ()() ()PP决策阀值决策阀值 第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页综上所述，可以得出：在作最小风险综上所述，可以得出：在作最小风险Bayes决策时，若考决策时，若考虑虑 有可能改变或对先验概率毫无所知，则应选择使有可能改变或对

16、先验概率毫无所知，则应选择使最小最小Bayes风险风险 为最大值时的为最大值时的 来设计分类器，来设计分类器，它相对于其它的它相对于其它的 为最大，但能保证在不管为最大，但能保证在不管 如何如何变化时，使最大风险将为最小，我们称其为变化时，使最大风险将为最小，我们称其为最小最大决最小最大决策。策。其任务就是寻找使其任务就是寻找使Bayes风险为最大时的决策域风险为最大时的决策域 和和 ，它对应于下式，它对应于下式然后确定然后确定R1()P1()P1()P1()P2111222111112222() ()()()()0RRpdpdxxxx1R2R1222221111() ()() ()PtP1(

17、)P第第3 3章章 BayesBayes决策理论决策理论12( ) , ( ) , ,( )cgggxxx ( )( ) , , 1 , 2 , , , ijggijcj ixx返回本章首页返回本章首页( )( ) ijggxx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页1 多类情况多类情况最小错误率的最小错误率的Bayes决策规则：决策规则：可设判别函数为：可设判别函数为：()(), 1,2, , ijiPPjcj ixx( )()iigPxx() ()() () ( )() ()iijjiiiipPpPgpPxxxxln() ln() ln() ln() (

18、 ) ln() ln()iijjiiiipPpPgpPxxxx( )( ()( )iigf Phxxx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页最小风险的最小风险的Bayes决策规则，决策规则，可设判别函数为可设判别函数为决策面方程决策面方程分类器框图分类器框图( )()iigRxx1,2,()min()kiiaRRxx( )( )ijggxx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回

19、本章首页2 两类情况两类情况可设判别函数为：可设判别函数为：12( )( )( )gggxxx12( ) 0 , ( ) 0 , ( ) 0 ,gggxxxxx可将其任意分类，或拒绝可将其任意分类，或拒绝第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页()iP()ipx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页211( )exp22xp x( )( )E xxp x dx222()()( )Exxp x dx期望期望方差方差( )p x2( , )N2( , )N第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本

20、章首页112211( )exp2(2 )Tdpxxx( )()iiiEx p x dxx 2221112122212222222122dTdddddijiijjEExxxx均值向量均值向量协方差矩阵协方差矩阵( , )N第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页 ( , )N(1)2d dd11221111( )exp2(2 )TTdTpkkxxxxxxx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页111( , )()220 0 0TTLkL xx xx

21、xxxxxxxx12Tx xxx11120 TTTk xxx xxxx x第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页x21()()Txx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页ln() ln() ln() ln() ( ) ln() ln()iijjiiiipPpPgpPxxxx112211( )exp2(2 )Tiiiidpxxx111( )ln2lnln()222( )( )TiiiiiiijdgPgg xxxxx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页1111( )( )11ln2l

22、nln()22211ln2lnln()22212()1 lnln02()ijTiiiiiTjjjjjTTiiijjjiijjggdPdPPP xxxxxxxxxx下面根据上式对以下三种情况进行讨论。下面根据上式对以下三种情况进行讨论。决策面方程决策面方程第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页2121 dii I2i I 12222211( )ln2lnln()22211ln2lnln()2221( )ln()2TiiiiiiTdiiiTiiiiiidgPdPgP xxxxxxxxxx 如果先验概率不等，那么平方距离（欧氏距离）必须通过方差如果先验概率不等，

23、那么平方距离（欧氏距离）必须通过方差进行归一化，并通过增加进行归一化，并通过增加 进行修正。进行修正。ln()iP第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页 如果先验概率相等如果先验概率相等称其为最小距离分类器。对以上两类情况进行化简称其为最小距离分类器。对以上两类情况进行化简21,( )min iiiicgxxxln() ln()ijPP 221( )ln()212ln()2TiiiiTTTiiiigPP xxxx xx021( )2ln()2TTTiiiiiiigPw xxW x02211 ln()2TiiiiiiwP W第第3 3章章 BayesBaye

24、s决策理论决策理论返回本章首页返回本章首页2222200( )( ) 0()11( )( )ln()2()1ln02()()1ln02()( )( )01 2ijTTTTiijijiijjjTTTTiijiijjjTTijijTTTTiijijijjijTijijiggPggPPPPPgg xxxxxxxxxWx xWx22()ln ()ijijjijPP下面来看线性分类器的决策面方程下面来看线性分类器的决策面方程第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页12c i 11111( )l

25、n2lnln()22211ln2lnln()2221( )ln()2TiiiiiiTiiiTiiiidgPdPgP xxxxxxxx如果先验概率相等，如果先验概率相等，只要计算只要计算 到各类的均值点到各类的均值点 的马氏距离平方，然后把的马氏距离平方，然后把 归于归于 距离平方最小的类别。距离平方最小的类别。21( )Tiiigxxxxix第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页对以上两类情况进行化简对以上两类情况进行化简1111( )ln()21ln()2TiiiiTTiiiigPPxxxx1101( )ln()2TTTiiiiiiigPwxxW x11

26、01 ln()2TTiiiiiiwPW第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页0101( )( )0()ln()1() 2TijijijiijijTijijggPPwxxWx xW决策面方程决策面方程第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页1111111( )ln2lnln()22211( )lnln()22111lnln()222TiiiiiiTiiiiiiTTTiiiiiiiidgPgPP xxxxxxxxx0111000( )1 211lnln()22( )( )0TiiiiiiiTiiiiiiTijijijijgwwPggww TiiTxx W x w xWwxxxWWxwwx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页1() ()()() ()jjjciiiPPPPPxxx()() ijiPPxx第第3 3章章 BayesBayes决策理论决策理论返回本章首页返回本章首页1,2,()min() kikiaRR xx( )()( )() ()( ) log() log()i