关于贝叶斯决策理论

1、课前思考 n机器自动识别分类，能不能避免错分类 ?n怎样才能减少错误？ n不同错误造成的损失一样吗？n先验概率，后验概率，概率密度函数？n什么是贝叶斯公式？n正态分布？期望值、方差？n正态分布为什么是最重要的分布之一？ 学习指南学习指南 n本章要说明分类识别中为什么会有错分类，在何种情况下会出现错分类？错分类的可能性会有多大？怎样才能使错分类最少？ n不同的错分类造成的危害是不同的，有的错分类种类造成的危害更大，因此控制这种错分类则是更重要的。为此引入了一种“风险”与“损失”概念，希望做到使风险最小。要着重理解“风险”与“损失”的概念，以及在引入“风险”概念后的处理方法。 学习指南学习指南n理

2、解本章的关键n要正确理解先验概率，类概率密度函数，后验概率这三种概率n对这三种概率的定义，相互关系要搞得清清楚楚nBayes公式正是体现这三者关系的式子，要透彻掌握。 2.1引言n统计决策理论n是模式分类问题的基本理论之一n贝叶斯决策理论n是统计决策理论中的一个基本方法物理对象的描述n在特征空间中讨论分类问题n假设一个待识别的物理对象用其d个属性观察值描述，称之为d个特征特征，记为x = x1, x2, , xdTn这组成一个d维的特征向量，而这d维待征所有可能的取值范围则组成了一个d维的特征特征空间空间。贝叶斯决策理论方法讨论的问题贝叶斯决策理论方法讨论的问题n讨论的问题n总共有c类物体n已

3、知各类在这d维特征空间的统计分布，n各类别i=1,2,c的先验概率P(i)n类条件概率密度函数p(x|i)n问题: 如何对某一样本按其特征向量分类已知d维特征空间的统计分布，如何对某一样本分类最合理n基于最小错误率的贝叶斯决策 n基于最小风险的贝叶斯决策n在限定一类错误率条件下使另一类错误率为最小的两类别决策n最小最大决策n序贯分类方法2.2 几种常用的决策规则几种常用的决策规则2.2.1基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策n分类识别中为什么会有错分类？分类识别中为什么会有错分类？n当某一特征向量值X只为某一类物体所特有，即 n对其作出决策是容易的，也不会出什么差错 n问题在于

4、出现模棱两可的情况 n任何决策都存在判错的可能性。 基于最小错误率的贝叶斯决策基于最小错误率的贝叶斯决策 n基本思想基本思想n使错误率为最小的分类规则n称之为基于最小错误率的贝叶斯决策 条件概率条件概率 nP(*|#)是条件概率的通用符号n即在某条件#下出现某个事件*的概率nP(K|X):X出现条件下,样本为K类的概率nP(*|#)与P(*)不同n例:*表示中国人，#表示在中国大陆的人n则P(*|#)与P(*)不同含义不同几个重要概念几个重要概念n先验概率先验概率nP(1)及及P(2) n概率密度函数概率密度函数nP(x|i) n后验概率后验概率nP(i|X) 贝叶斯决策理论n先验概率，后验概

5、率，概率密度函数n假设总共有c类物体，用i (i=1,2,c)标记每个类别，x = x1, x2, , xdT，是d维特征空间上的某一点，则nP(i )是先验概率先验概率np(x| i )是i类发生时的条件概率密度函数条件概率密度函数nP(i|x)表示后验概率后验概率基于最小错误率的贝叶斯决策 n例例：癌细胞的识别n假设每个要识别的细胞已作过预处理，并抽取出了d个特征描述量，用一个d维的特征向量X表示，n识别的目的是要依据该X向量将细胞划分为正常细胞或者异常细胞。n这里我们用表示是正常细胞，而则属于异常细胞。基于最小错误率的贝叶斯决策n先验概率先验概率 nP(1)和P(2)n含义: 每种细胞占

6、全部细胞的比例 nP(1)+P(2)=1n一般情况下正常细胞占比例大，即P(1)P(2)基于最小错误率的贝叶斯决策nsalmon” or “sea bass”判别中的先验概率先验概率nP(salmon)nP(sea bass)基于最小错误率的贝叶斯决策n先验概率先验概率n根据先验概率决定n这种分类决策没有意义n表明由先验概率所提供的信息太少 221121),()(),()(xPPxPP基于最小错误率的贝叶斯决策n概率密度函数概率密度函数n利用对细胞作病理分析所观测到的信息，也就是所抽取到的d维观测向量。n为简单起见，我们假定只用其一个特征进行分类，即d=1n得到两类的类条件概率密度函数分布nP

7、(x|1)是正常细胞的属性分布nP(x|2)是异常细胞的属性分布基于最小错误率的贝叶斯决策 类条件概率密度函数1)|(dxXfi概率密度函数性质基于最小错误率的贝叶斯决策nsalmon” or “sea bass”判别中的类条件概类条件概率密度函数率密度函数基于最小错误率的贝叶斯决策n类条件概率密度函数类条件概率密度函数直接用来分类是否合理？221: )|()|(XPXP121: )|()|(XPXP具有一定的合理性不满足最小错误率要求没有考虑先验概率基于最小错误率的贝叶斯决策n后验概率含义后验概率含义 nP (1 |X )n当观测向量为X值时, 该细胞属于正常细胞的概率。nP (2 |X )

8、n当观测向量为X值时, 该细胞属于异常细胞的概率。基于最小错误率的贝叶斯决策 后验概率基于最小错误率的贝叶斯决策nsalmon” or “sea bass”判别中的后验概率后验概率基于最小错误率的贝叶斯决策n类条件概率和后验概率区别n后验概率: P(1|x)和P(|x)n同一条件x下，比较1与2出现的概率n两类1和2，则有P(1|x)+P(2|x)=1n如P(1|x) P(2|x)则可以下结论，在x条件下，事件1出现的可能性大n类条件概率: P(x|1)和P(x|2)n是在不同条件下讨论的问题n即使只有两类1与2，P(x|1)+P(x|1)1nP(x|1)与P(x|2)两者没有联系基于最小错误

9、率的贝叶斯决策n贝叶斯公式n先验概率，后验概率，概率密度函数之间关系n根据先验概率先验概率和概率密度函数概率密度函数可以计算出后后验概率验概率基于最小错误率的贝叶斯决策n问题n为什么先验概率先验概率和类条件概率密度函数类条件概率密度函数可以作为已知？n而后验概率后验概率需要通过计算获得？基于最小错误率的贝叶斯决策n为什么后验概率要利用Bayes公式从先验概率和类条件概率密度函数计算获得 ？n计算概率都要拥有大量数据 n估计先验概率先验概率与类条件概率密度函数类条件概率密度函数时都可搜集到大量样本 n对某一特定事件(如x)要搜集大量样本是不太容易 n只能借助Bayes公式来计算得到 基于最小错误

10、率的贝叶斯决策n问题n根据最小错误率，如何利用先验概率先验概率、类条类条件概率密度函数件概率密度函数和后验概率后验概率进行分类？基于最小错误率的贝叶斯决策n贝叶斯决策理论前提n各类别总体的概率分布是已知的;n要决策分类的概率分布是已知的。n贝叶斯决策理论方法所讨论的问题是：n已知:总共有c类物体，以及先验概率P(i)及类条件概率密度函数p(x|i)n问题: 如何对某一样本按其特征向量分类的问题。基于最小错误率的贝叶斯决策n基于最小错误率的贝叶斯决策规则: 如果P(1|X)P(2|X)，则X归为1类别如果P(1|X)P(2|X)，则X归为2类别基于最小错误率的贝叶斯决策n几种等价形式：n后验概率

11、形式: 如果 则 x归为in先验概率及类条件概率密度函数表示： 如果 则 x归为i基于最小错误率的贝叶斯决策n几种等价形式：n比值的方式表示，如果 则x归为1 ，否则x归为2 基于最小错误率的贝叶斯决策n几种等价形式：n对数形式若 则x归为1 ，否则x归为2基于最小错误率的贝叶斯决策n例2.1 n假设在某地区切片细胞中正常(1)和异常()两类的先验概率分别为P(1)=0.9，P(2)=0.1。n现有一待识别细胞呈现出状态x，由其类条件概率密度分布曲线查得p(x|1)=0.2，p(x|)=0.4，n试对细胞x进行分类。 基于最小错误率的贝叶斯决策n例2.1n解：利用贝叶斯公式，分别计算出状态为x

12、时1与的后验概率 基于最小错误率的贝叶斯决策n例2.1n根据贝叶斯决策有P(1|x)0.818P(|x)0.182n分析:错误概率是多少？n判断为正常细胞，错误率为0.182n判断为异常细胞，错误率为0.818因此判定该细胞为正常细胞比较合理。最小错误率的证明n最小错误率贝叶斯准则使得错误率最小证明:从平均的意义上的错误率在连续条件下，平均错误率，以P(e)表示，应有 :最小错误率的证明n最小错误率贝叶斯准则使得错误率最小证明:n分析两类别问题n按贝叶斯决策规则，当P(w2|x)p(w1|x)时决策为w2。n显然这个决策意味着，对观测值x有P(w1|x)概率的错误率。n上例中所作的w1决策，实

13、际上包含有P(w2|x)=0.182的错误概率 最小错误率的证明n最小错误率贝叶斯准则使得错误率最小证明:在两类别的情况下，可以将p(e|x)表示成当基于最小错误率的贝叶斯决策n最小错误率贝叶斯准则使得错误率最小证明:n如果我们把作出w1决策的所有观测值区域称为R1，则在R1区内的每个x值，条件错误概率为p(w2|x)。n另一个区R2中的x,条件错误概率为p(w1|x)。 基于最小错误率的贝叶斯决策n最小错误率贝叶斯准则使得错误率最小证明:n因此平均错误率P(e)可表示成 21)()|()()|()(12RRdxxpxPdxxpxPeP基于最小错误率的贝叶斯决策n最小错误率贝叶斯准则使得错误率

14、最小证明:n由于在R1区内任一个x值都有P(w2|x)P(w1|x)，n同样在R2区内任一个x值都有P(w1|x)P(w2|x)错误率在每个x值处都取小者，n因而平均错误率P(e)也必然达到最小n这就证明了平均错误率为最小 基于最小错误率的贝叶斯决策C类别情况下最小错误率贝叶斯决策n在C类别情况下最小错误率贝叶斯决策规则的后验概率形式： n先验概率与类条件概率密度相联系的形式 C类别情况下最小错误率贝叶斯决策n多类别决策过程中的错误率 n把特征空间分割成R1，R2，Rc个区域 n统计将所有其它类错误划为该区域对应的i类的概率 n计算是很繁琐 n计算平均正确分类概率P(c)即 2.2.2基于最小

15、风险的贝叶斯决策n基本思想n使错误率最小并不一定是一个普遍适用的最佳选择。n癌细胞分类n两种错误:n癌细胞正常细胞n正常细胞癌细胞n两种错误的代价(损失)不同基于最小风险的贝叶斯决策n基本思想n宁可扩大一些总的错误率，但也要使总的损失减少。n引进一个与损失有关联的，更为广泛的概念风险。n在作出决策时，要考虑所承担的风险。n基于最小风险的贝叶斯决策规则正是为了体现这一点而产生的。基于最小风险的贝叶斯决策n最小错误率贝叶斯决策规则：n最小错误率目标函数: P (j|X)n为了考虑不同决策的不同损失，构造如下目标函数(i)j:表示样本X实际属于j类，被判为状态i所造成的损失Rj(X):表示把样本X判

16、为状态i所造成的整体损失基于最小风险的贝叶斯决策n两类情况:有没有癌细胞 n1表示正常，2表示异常 nP(1|X)与P(2|X)分别表示了两种可能性的大小 nX是癌细胞(2)，但被判作正常(1)，则会有损失，这种损失表示为:2 (1)nX确实是正常(1)，却被判定为异常(2)，则损失表示成: 1 (2)基于最小风险的贝叶斯决策n两类情况:有没有癌细胞 n另外为了使式子写的更方便，我们也可以定义1 (1)和2 (2)n是指正确判断也可有损失 基于最小风险的贝叶斯决策n两类情况:有没有癌细胞 nX判作1引进的损失应该为n将X判为2的风险就成为 n作出哪一种决策就要看是R1(X)小还是R2(X)小

17、这就是基于最小风险的贝叶斯决策的基本出发点 基于最小风险的贝叶斯决策n(1)自然状态与状态空间n自然状态: 识别对象的类别n状态空间: 所有自然状态所组成的空间=1，2，cn(2)决策与决策空间n决策: 对分类问题所作的判决n决策空间: 由所有决策组成的空间称为n决策空间内决策总数a可以不等于类别数cnA=1, 2, ，n 基于最小风险的贝叶斯决策n(3)损失函数(i|j)(或(i,j)n这就是前面我们引用过的j (i) n表示对自然状态j ，作出决策j时所造成的损失n(4)观测值X条件下的期望损失R(i|X)n这就是前面引用的符号Ri，也称为条件风险。 基于最小风险的贝叶斯决策n最小风险贝叶

18、斯决策规则可写成：n引入一个期望风险R 基于最小风险的贝叶斯决策n最小风险贝叶斯决策步骤：n(1)计算出后验概率n已知P(i)和P(X|i)，i=1,，c，获得观测到的特征向量Xn根据贝叶斯公式计算 j=1,，x 基于最小风险的贝叶斯决策n最小风险贝叶斯决策步骤： n(2)计算条件风险n已知: 后验概率和决策表n计算出每个决策的条件风险n(3) 找出使条件风险最小的决策k则k就是最小风险贝叶斯决策。基于最小风险的贝叶斯决策n例2.2 在例2.1条件的基础上n已知11=0,(11表示(1|1)的简写)，12=6,21=1，22=0n按最小风险贝叶斯决策进行分类基于最小风险的贝叶斯决策n例2.2n

19、解：已知条件为P(1)0.9, P(12)0.1p(X|1)0.2, p(X|12)0.r110, 126, 211, 220n根据2.1的计算结果可知后验概率为P(1|X)0.818 P(2|X)0.182基于最小风险的贝叶斯决策n例2.2n再计算出条件风险 基于最小风险的贝叶斯决策n例2.2n作出决策n由于R(1|X)R(2|X)n即决策为2的条件风险小于决策为1的条件风险，n因此应采取决策行动2n即判待识别的细胞X为2类异常细胞。两种决策方法之间的关系n两种决策方法之间的关系n设损失函数为 n条件风险为 错误概率 基于最小风险的贝叶斯决策n两种决策方法之间的关系n两类情况的形象表示在限定

20、一类错误率条件下使另一类错误率为最小的两类别决策 n聂曼-皮尔逊判决neyman-pearsonn基本思想n两种错误n一种的错误概率固定，另一种尽量小最小最大决策n问题n先验概率未知n基本思想n使得最大可能的风险做小化最小最大决策序贯分类序贯分类n迄今为止所讨论的分类问题，关于待分类样本的所有信息都是一次性提供的。但是，在许多实际问题中，观察实际上是序贯的。随着时间的推移可以得到越来越多的信息。判别函数、决策面与分类器设计 n决策面与判别函数 n分类决策实质上是在描述待识别对象的d维特征所组成的特征空间内，将其划分为c个决策域，n待识别的特征向量落在哪个决策域，该样本就被判为哪一类。n因此决策域的边界面就是决策面决策面，n在数学上用解析形式表示成决策面方程决策面方程。判别函数、决策面与分类器设计 n决策面与判别函数 n用于表达决策规则的某些函数则称为判别函判别函数数。n显然判别函数与决策面方程是密切相关的，并