模式识别-第2讲-贝叶斯决策理论1

1、信号空间特征空间12,Tndx xxRxx12,ic 统统计决策理论。计决策理论。映射映射 limNNP AfAP(A,B|C)=P(A|B,C) P(B|C)P(A,B|C)=P(A|B,C)/P(B|C)?( , ,)( ,|)( )P A B CP A B CP C 等式右边等式右边: : ( , ,)( ,)(|,)(|)( ,)( )P A B CP B CP A B C P B CP B CP C( , ,)( )P A B CP C xF xp t dt Fxp x P xXxxp xx则p(x)称为的概率密度函数。一般地，对于连续型随机变量X，存在非负可积函数p(x)(x有一定

2、的取值范围)，使对x取值范围内的任意a,b(ab)都有式中P(aXb)是随机变量介于a-b所对应的随机事件之概率，称p(x)为X的概率密度函数。 P aXbp x dxab( ) 1NiiiP BP A P B A P B A P AP A BP Bu连续形式：连续形式：A A 为离散随机变量，为离散随机变量，B B 为连续随机变量：为连续随机变量： p B A P AP A Bp B21( )( |) ()jjjp xp xP|( )iiip xPPxp x , 1,2;iPi|, 1,2ip xi。iP | x似然 先验后验(分布或密度)全概率2121)|()|(xxPxP212211)(

3、)|()()|(xPxpPxp211221)()()|()|()(xPPxpxpxl211221)()(ln()|(ln)|(ln)(ln()(xPPxpxpXlXh121122()() ()() PPPPxxxx对待分类模式的特征我们得到一个观察值对待分类模式的特征我们得到一个观察值x，合理的决策合理的决策规则：规则：1221() ()() PP ePxxxxx决策错误的条件概率（随机变量决策错误的条件概率（随机变量x 的函数）：的函数）：模式特征模式特征x 是一个随机变量，在应用是一个随机变量，在应用Bayes法法则时，每当观察到一个模式时，得到特征则时，每当观察到一个模式时，得到特征x，

4、就可，就可利用后验概率作出分类的决策，同时也会带来一定利用后验概率作出分类的决策，同时也会带来一定的错误概率。的错误概率。若观察到大量的模式，对它们作出决若观察到大量的模式，对它们作出决策的平均错误概率策的平均错误概率P(e)应是应是P(e|x)的数学期望。的数学期望。( )() ( )P eP epdxxx21212211211221112211221122( )() ( )(| ) ( )(| ) ( )( |) ()( |) ()(,)(,)() ()() ()() ()() ()()( )()(ttttRRP eP epdPpdPpdpPdpPdPRP x RPRPPRPpPdpPdP

5、P ePPxxx=xxxxxx=xxxxxxxxxxx) ev例例：某地区细胞识别； P(1)=0.9， P(2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到： p(x/ 1)=0.2， p(x/ 2)=0.4问该细胞属于正常细胞还是异常细胞。解解：先计算后验概率：12()(),PP因为所以先验概率起很大作用。1112121() ()0.2 0.9()0.8180.2 0.90.4 0.1() ()()1()0.182jjjP xPPxP xPPxPx 121()(),PxPxx 因为属正常细胞。1|,|, 1,2,ciijjjRxPxia ,一般决策表一般决策表1(|)(|)(,)

6、(|),1,2,.,iijcijjjRxEPxia 1,., (x)minxkkikRIfthenR这样按最小风险的这样按最小风险的Bayes决策规则，采取的决策将决策规则，采取的决策将随随x的取值而定，引入函数的取值而定，引入函数 表示对表示对 的决策。对整的决策。对整个特征空间上所有个特征空间上所有 的取值采取相应的决策的取值采取相应的决策 所带来所带来的平均风险的平均风险显然，我们对连续的随机模式向量按最小风险显然，我们对连续的随机模式向量按最小风险Bayes决策规则采取的一系列决策行动可以使平均风险最决策规则采取的一系列决策行动可以使平均风险最小。小。我们已经分析了两种分别使错误率和风

7、险达到最小我们已经分析了两种分别使错误率和风险达到最小的的Bayes决策规则，下面分析一下两种决策规则的关系。决策规则，下面分析一下两种决策规则的关系。( ( ) ) ( )RRpdx xx xx( )xx( )xxx(,)ijij 11111221212211222122()()()()() ()()()()() RPPRRRPPRRxxxxxxxxxx2121111221222111112222121111122222()() () () () ()() () () () () () () () RRPPPPPPxxxxxxxx2111112222121111122222121122()

8、() () () () () () () ()() ()() PPPPPPPPxxxxxxxx21111222在两类问题中，若有在两类问题中，若有 ，决策规则变为，决策规则变为 这时最小风险的这时最小风险的Bayes决策和最小错误率的决策和最小错误率的Bayes决策规则是决策规则是一致的。一致的。112222221111( |)().( |)()p xPp xP一般的多类问题中，设损失函数为一般的多类问题中，设损失函数为0-10-1损失函数损失函数: : 0 (,) ,1,2, 1 ijiji jcij 11()(,) ()()cciijjjjjj iRPP xxx1,2,1,2,1minm()in()()icickijjj icRRPxxx1111,2,1,2,11,2,1,2,() ()()1() ()()min() min() min1()max()cjjcjjcjiiikiiccjicjj iiiicicpPPpPRRPPP xxxxxxxx例例：某地区细胞识别； P(1)=0.9， P(2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到：P(x/ 1)=0.2， P(x/ 2)=0.4问该细胞属于正常细胞还是异常细胞。111221220,6,1,0损失函数：12()0.818,()0.182PxPx解：计算出的后验概