统计(Bayesian决策理论

1、第二章统计(Bayesian)决策理论Bayesian决策理论是统计模式识别方法的理论基础，大多数人认为也是神经网络分类方法的理论基础。说到底，Bayesian决策方法就是企望在后验概率 P(j/x)(据此确定样本 x的类别)和代价 P(e)(即 风险，做这一决策产生的损失)之间寻找一个平衡点。当然，我们希 望P( j/x)越大越好，P(e)越小越好。2.1基于最小错误率(Minimum-error-rate )的决策最小错误率-Probability of minimum error。我们应将之理解为 犯错误最小的概率，与上一章的分类错误率不是一回事。设有两个类别和七，它们的先验概率(Pri

2、or Probabilities )P()、P( 2)为已知。(1) 根据先验概率决策对样本X而言，我们除知道 P()和Pf 2)之外，其它一无所知令 P( 1)>P( 2)，若牛布望做决策时误差为最小，则认为X .川。类似地，若有n个类别，且P'；T j I > P(ckk 二 1,2, nk = j(2 - 1)则决策X J ；若Pj= Pkk = 1,2, nj(2 - 2)这时，我们不能作出决策该方法的缺陷之一是 P( j)的准确值一般是不知道的，常用的方法 是估计。设样本总数为 N，第j类样本数为 叫，则NP i P ,j (频数比)。jj N若所有类别的样本数一

3、样多，即P& j)= P(国k)，k=1,2，n，这时该方法失效。(2) 根据后验概率(Posteriori Probabilities)决策(2_ 3)设可求得后验概率P(/x)，j=1,2, ,n，若P j x P k x k = 1,2,n k - j则可决策x j。我们知道，Bayesian公式为(2一4)这里，p(x)为x的概率密度，p(X/j)为x属于j的类条件概率密度。 将(2-4)代入(2-3)，得k = 1,2, n k(2-5)j1,2, n k = j (2-6)式(2-6)可改写成必 jJP(® k> Pjk=12(2 - 7)于是，依据后验概率

4、大小可得到如下决策规则(2 - 8)1,2, ,n k- jThenx j我们称l(x)为似然函数(Likelihood function这时分类阈值二=1，特别地，若 PC j)=P( k)，即先验概率相等，式(2-8)所示的决策规则化为Ifk = 1,2, ,nThe n(2 - 9)Ifk = 1,2- , n k = jThenx j(2 - 10)这就是说，在先验概率相等的条件下，我们可以仅根据类条件概 率密度的大小来确定样本x的类别。图 2.1 为 p(x/ j)=N(O, 1), p(x/ k)=0.6N(1, 1)+0.4N(-1,2)的类条件概率密度分布曲线，图 2.2为这两

5、个类的似然比分布曲线xp（ x/豹）P（）P（X/Bj）P（ j）X属于k但被错 分为国j的区域p（x/ -k）PC k）X属于 'j但被错 分为 k的区域0 RiR2图2.3求最小错误概率的示意图(3) 最小错误概率图2.3为求最小错误概率的示意图。最小错误概率就是图中阴影 部分的面积。若样本x属于“，但分类器将其错分为j，由此引起的分类误差的概率为R2(/Pkj e巳 P k P x k dx(2-11)同样地，若样本x属于，j，但分类器将其错分为k，由此引起的分类误差的概率为在只有冷、k两个类别的情况下，样本x被错分的概率为P e 匚 Pjk e Pkj ekdxR2R1k（2-

6、13）由于R2R1 P+ 0d" fR2 Pld x(2-14)R1P-Q0j dxR2Pdx 二 jR2R1 Pjdx(2 - 15)将(2-14)和(2-15)代入(2-13),P e 二 Pjk e Pkj ekjpR1二 P k 1 亠PR2P i 1 -R1dxjk dxR2 Pdxk(2 - 16)P e 二 Pjk e Pkj e二 P k P jP kR1_： P+ 0dxkR2 PdxkR2 (-P(° j 纭 P、/jdx(2-17)但 P( j)+P( k)=1，所以R1.-:p<+ 0二 P(c)dxkR2 PdxPR2 j R1(2T8)我们

7、称P(c)为正确分类的概率。于是，(2 - 19)P e = V P(c)式(2-19)意味着使分类错误的概率为最小等价于使分类正确的概率 为最大。值得注意的是，最小错误概率的推导实际上是根据后验概率得到 的，即(2-13)的完整写法是P e 二 Pjk e Pkj eR2=f PR1R1p(x)dxPcO+o° f oP( X)dXR2Pp(x )dxR2P®k认凭R1p( x )dx +P( x)P j p x. jj p(x)dxR2p( x)P .R1 P jp( x)dxP( x)(2 - 20)(2 - 20)(2 - 21)对于只有j和，k两个类别的情况，基于

8、最小错误率的决策边界有F列几种表达形式。(1) 直接由后验概率相等所决定，即側：p，x = pk： x 二阴：Px Pk x = 0(2) 由后验概率取自然对数相等所决定，即吋 InPj x= In Pkx =吋 InPx- In Pkx =0将Bayes公式两边取自然对数，我们有n ：lnP j p X j lnP k p X kjp xp XTikj： In P jpxj- In Pkpx k=In pxj-In p xkIn Pj- In P k 1=In pxj-In p xk9-0 (2 - 22)这里，9二In P j - In P k被称为分类阈值。上述结论很容易推广到多类情况。基于最小错误概率的决策方法存在以下缺陷。(1)先验概率P( j)