统计(Bayesian决策理论

1、第二章 统计（Bayesian）决策理论Bayesian决策理论是统计模式识别方法的理论基础，大多数人认为也是神经网络分类方法的理论基础。说到底，Bayesian决策方法就是企望在后验概率P(wj/x)（据此确定样本x的类别）和代价P(e)（即风险，做这一决策产生的损失）之间寻找一个平衡点。当然，我们希望P(wj/x)越大越好，P(e)越小越好。2.1 基于最小错误率（Minimum-error-rate）的决策最小错误率Probability of minimum error。我们应将之理解为犯错误最小的概率，与上一章的分类错误率不是一回事。设有两个类别w1和w2，它们的先验概率（Prior

2、 Probabilities）P(w1)、P(w2)为已知。(1) 根据先验概率决策对样本x而言，我们除知道P(w1)和P(w2)之外，其它一无所知。令P(w1)>P(w2)，若希望做决策时误差为最小，则认为 xÎw1。类似地，若有n个类别，且则决策 xÎwj；若这时，我们不能作出决策。该方法的缺陷之一是P(wj)的准确值一般是不知道的，常用的方法是估计。设样本总数为N，第j类样本数为Nj，则（频数比）。若所有类别的样本数一样多，即，k=1,2,¼,n，这时该方法失效。(2) 根据后验概率（Posteriori Probabilities）决策设可求得后验概

3、率P(wj/x)，j=1,2,¼,n，若则可决策 xÎwj。我们知道，Bayesian公式为这里，p(x)为x的概率密度，p(x/wj)为x属于wj的类条件概率密度。将(2-4)代入(2-3)，得或式(2-6)可改写成于是，依据后验概率大小可得到如下决策规则我们称l(x)为似然函数（Likelihood function）。特别地，若P(wj)=P(wk)，即先验概率相等，这时分类阈值q=1，式（2-8）所示的决策规则化为即R1R20xl(x)图2.2 似然比分布曲线R1R20xp(x/wj)P(wj)p(x/wk)P(wk)p(x/w)P(w)图2.1 类条件概率密度与先

4、验概率乘积的分布曲线1这就是说，在先验概率相等的条件下，我们可以仅根据类条件概率密度的大小来确定样本x的类别。图2.1为p(x/wj)=N(0, 1), p(x/wk)=0.6N(1, 1)+0.4N(-1, 2)的类条件概率密度分布曲线，图2.2为这两个类的似然比分布曲线(3) 最小错误概率图2.3为求最小错误概率的示意图R1R20xp(x/wj)P(wj)p(x/wk)P(wk)p(x/w)P(w)图2.3求最小错误概率的示意图x属于wk但被错分为wj的区域x属于wj但被错分为wk的区域。最小错误概率就是图中阴影部分的面积。若样本x属于wk，但分类器将其错分为wj，由此引起的分类误差的概率

5、为同样地，若样本x属于wj，但分类器将其错分为wk，由此引起的分类误差的概率为在只有wj、wk两个类别的情况下，样本x被错分的概率为由于和将(2-14)和(2-15)代入(2-13)，得即但P(wj)+P(wk)=1，所以我们称P(c)为正确分类的概率。于是，式（2-19）意味着使分类错误的概率为最小等价于使分类正确的概率为最大。值得注意的是，最小错误概率的推导实际上是根据后验概率得到的，即（2-13）的完整写法是对于只有wj和wk两个类别的情况，基于最小错误率的决策边界有下列几种表达形式。(1) 直接由后验概率相等所决定，即(2) 由后验概率取自然对数相等所决定，即将Bayes公式两边取自然对数，我们有这里，被称为分类阈值。上述结论很容易推广到多类情况。基于最小错误概率的决策方法存在以下缺陷。(1) 先验概率P(wj)，j=1,2,¼,n一般不知道，难以准确估计。(2) 类条件概率密度函数p(x/wj)，j=1,2,¼