贝叶斯决策理论教学课件(50张)

1、贝叶斯决策理论内容引言几种常用的决策准则分类器设计基本概念模式分类：根据识别对象的观测值确定其类别样本与样本空间：类别与类别空间：c个类别（类别数已知）决策把x分到哪一类最合理？理论基础之一是统计决策理论决策：是从样本空间S，到决策空间的一个映射，表示为：D: S - 。评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。Bayes决策常用的准则主要有： 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误率为最小的 两类别决策(NeymanPearson决策)基于最小错误率的贝叶斯决策引例：癌细胞的识别。（每个细胞抽象为d维向

2、量 x = （x1,x2,x3,xd），识别的目的是要将x分类为正常细胞或异常细胞。先验概率类条件概率密度：p(x | w1)p(x | w2)x类条件概率密度贝叶斯公式：后验概率P(1|x)P(2|x) 后验概率x1.00.00.5对于2分类问题： P(1|x) +P(2|x)=1决策规则：如果P(1 | x) P(2 | x)类别状态= 1如果P(1 | x) P(2 | x)类别状态= 1如果P(1 | x) P(2 | x)类别状态 = 2P(e|x)=P(1|x) 判定为2 (错误选择1);错误率分析因此，无论何时观测到某一个特定值x，概率误差为：因此，条件错误概率： P(e|x)

3、= min P(1|x), P(2|x) 模式特征x 是一个随机变量，在应用Bayes法则时，每当观察到一个模式时，得到特征x，就可利用后验概率作出分类的决策，同时也会带来一定的错误概率。若观察到大量的模式，对它们作出决策的平均错误概率P(e)应是P(e|x)的数学期望。平均错误率在整个d维特征空间上的积分 从上式可知，如果对每次观察到的特征值x，P(e|)是尽可能小的话，则上式的积分必定是尽可能小的这就证实了最小错误率的Bayes决策法则。下面以两类模式为例，从理论上给予证明：也可以写为：对应图中黄色和橘红色区域面积对多类决策（假设有c类），很容易写出相应的最小错误率贝叶斯决策规则：形式一：

4、形式二：多类别决策过程中，要把特征空间分割成c个区域，可能错分的情况很多，平均错误概率P(e)将由c(c-1)项组成。直接求P(e)的计算量较大，将代之计算平均正确分类概率P(c),则：因此，P(e)=1-P(c)基于最小风险的贝叶斯决策上述分类基于错误率最小化的所得到规则，但有时要考虑比错误率更广泛的概念-风险。风险与损失密切相连。比如对细胞分类固然尽可能正确判断，但判错了的后果将怎样？正常异常：精神负担；异常正常：失去进一步治疗的机会。显然这两种不同的错误判断所造成损失的严重程度是有显著差别的，后者的损失比前者更严重。最小风险贝叶斯决策正是考虑各种错误造成损失不同而提出的一种决策规则。状态

5、空间：设1,2,c是c个类别的集合。决策空间：设1,2,a是a种决策行为。损失函数：记 (i|j) 是类别状态为j时采用决策行为为i时所带来的损失(风险) 。几个基本概念：引入损失概念，考虑错判所造成损失，不能只由后验概率的大小来决策，而应考虑所采取决策是否使损失最小。对于i = 1,a，条件风险R(i|x) 定义为：它是在c个类别状态中任取某个状态j时，采用决策i的风险(i|j)相对于后验概率P(j/x)的条件期望。观察值x是随机向量，不同的观察值x，采取决策i时，其条件风险的大小是不同的。所以，究竟采取哪一种决策将随x的取值而定。决策看成随机向量x的函数，记为(x), 它也是一个随机变量。

6、我们可以定义期望风险R：期望风险R反映对整个特征空间上所有x的取值采取相应的决策(x)所带来的平均风险。条件风险R(i|x)只是反映对某一观察值x，采取决策i时，所有类别状态下带来风险的平均值。显然，我们要求采取的一系列决策行动(x)使期望风险R最小。如果在采取每一个决策或行动时，都使其条件风险最小，则对给定的观察值x作出决策时，其期望风险也必然最小。这样的决策就是最小风险贝叶斯决策。其规则为：已知先验概率P(j)、类条件概率密度p(x/j),并给出待识别的x，根据贝叶斯公式，计算出后验概率P(j/x)。最小风险贝叶斯决策步骤2. 利用后验概率P(j/x)与损失函数，计算出每个条件期望风险R(

7、i/x)(一共有a个决策)。3. 在a个R(i/x)相互比较，找出最小的决策k，完成最小风险贝叶斯决策。注意：最小风险贝叶斯决策除了先验概率P(j)和类条件概率密度p(x/j)外，还需要有合适的损失函数(j,j)。在实际中，要列出合适的决策表很不容易，要根据所研究的具体问题，分析错误决策造成损失的严重程度，与有关的专家共同商讨来确定。例：某地区细胞识别； P(1)=0.9， P(2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到：P(x/ 1)=0.2， P(x/ 2)=0.4问该细胞属于正常细胞还是异常细胞？最小错误率决策与最小风险决策之间的关系“0-1”损失函数定义：在c个类别只有

8、c个决策时，如果正确决策，则损失函数的值为0；如果错误决策，则损失函数的值为1。公式表示为：此时的条件风险为：表示对x采取决策i的条件错误概率所以在0-1损失函数时，使的最小风险贝叶斯决策就等价于的最小错误率贝叶斯决策。因此，在0-1损失函数条件下最小错误率贝叶斯决策就是的最小风险贝叶斯决策。NeymanPearson决策NeymanPearson决策即限定一类错误率条件下使另一类错误率为最小的两类别决策。在两类别决策问题中，有犯两种错误分类的可能性，这两种错误的概率分别是P(2)P2(e)和 P(1)P1(e)，由于先验概率对具体问题来说是确定的，所以一般称P1(e)，P2(e)为两类错误率

9、。实际中，有时要求限制其中某一类错误率不得大于某个常数而使另一类错误率尽可能小。假设P2（e）很小，使P2（e）=0， 0是一个很小的常数，在这种条件下再要求尽可能小。如图所示：这样的决策可看成是在P2（e）=0条件下，求极小值的条件极值问题，用Lagrange乘子法建立数学模型：取得极小值的边界条件（对t和求导）整理得：满足上述两式的和边界面就能使极小。此时的决策规则为：分类器设计之前介绍了几种统计决策规则，应用这些规则对观察向量x进行分类是分类器设计的主要问题。决策面：对于c类问题，按照决策规则可以把d维特征空间分成c个决策域，划分决策域的边界面即为决策面。判别函数：用于表达决策规则的一些

10、函数。多类情况1.判别函数2.决策面方程各决策域被决策面所分割，这些决策面是特征空间中的超平面，相邻决策域在决策面上的判别函数值相等。3.分类器设计MAXg1.g2gc.x1x2xna(x)最大值选择器决策多类分类器的构成两类情况判别计算阈值单元决策两类分类器的构成3. 分类器设计举例：对例2.1和例2.2分别写出其判别函数和决策面方程Thank You !1、想要体面生活，又觉得打拼辛苦；想要健康身体，又无法坚持运动。人最失败的，莫过于对自己不负责任，连答应自己的事都办不到，又何必抱怨这个世界都和你作对？人生的道理很简单，你想要什么，就去付出足够的努力。2、时间是最公平的，活一天就拥有24小

11、时，差别只是珍惜。你若不相信努力和时光，时光一定第一个辜负你。有梦想就立刻行动，因为现在过的每一天，都是余生中最年轻的一天。3、无论正在经历什么，都请不要轻言放弃，因为从来没有一种坚持会被辜负。谁的人生不是荆棘前行，生活从来不会一蹴而就，也不会永远安稳，只要努力，就能做独一无二平凡可贵的自己。4、努力本就是年轻人应有的状态，是件充实且美好的事，可一旦有了表演的成分，就会显得廉价，努力，不该是为了朋友圈多获得几个赞，不该是每次长篇赘述后的自我感动，它是一件平凡而自然而然的事，最佳的努力不过是：但行好事，莫问前程。愿努力，成就更好的你！5、付出努力却没能实现的梦想，爱了很久却没能在一起的人，活得用

12、力却平淡寂寞的青春，遗憾是每一次小的挫折，它磨去最初柔软的心智、让我们懂得累积时间的力量；那些孤独沉寂的时光，让我们学会守候内心的平和与坚定。那些脆弱的不完美，都会在努力和坚持下，改变模样。6、人生中总会有一段艰难的路，需要自己独自走完，没人帮助，没人陪伴，不必畏惧，昂头走过去就是了，经历所有的挫折与磨难，你会发现，自己远比想象中要强大得多。多走弯路，才会找到捷径，经历也是人生，修炼一颗强大的内心，做更好的自己！7、“一定要成功”这种内在的推动力是我们生命中最神奇最有趣的东西。一个人要做成大事，绝不能缺少这种力量，因为这种力量能够驱动人不停地提高自己的能力。一个人只有先在心里肯定自己，相信自己

13、，才能成就自己！8、人生的旅途中，最清晰的脚印，往往印在最泥泞的路上，所以，别畏惧暂时的困顿，即使无人鼓掌，也要全情投入，优雅坚持。真正改变命运的，并不是等来的机遇，而是我们的态度。9、这世上没有所谓的天才，也没有不劳而获的回报，你所看到的每个光鲜人物，其背后都付出了令人震惊的努力。请相信，你的潜力还远远没有爆发出来，不要给自己的人生设限，你自以为的极限，只是别人的起点。写给渴望突破瓶颈、实现快速跨越的你。10、生活中，有人给予帮助，那是幸运，没人给予帮助，那是命运。我们要学会在幸运青睐自己的时候学会感恩，在命运磨练自己的时候学会坚韧。这既是对自己的尊重，也是对自己的负责。11、失败不可怕，可

14、怕的是从来没有努力过，还怡然自得地安慰自己，连一点点的懊悔都被麻木所掩盖下去。不能怕，没什么比自己背叛自己更可怕。12、跌倒了，一定要爬起来。不爬起来，别人会看不起你，你自己也会失去机会。在人前微笑，在人后落泪，可这是每个人都要学会的成长。13、要相信，这个世界上永远能够依靠的只有你自己。所以，管别人怎么看，坚持自己的坚持，直到坚持不下去为止。14、也许你想要的未来在别人眼里不值一提，也许你已经很努力了可还是有人不满意，也许你的理想离你的距离从来没有拉近过.但请你继续向前走，因为别人看不到你的努力，你却始终看得见自己。15、所有的辉煌和伟大，一定伴随着挫折和跌倒；所有的风光背后，一定都是一串串揉和着泪水和汗水的脚印。16、成功的反义词不是失败，而是从未行动。有一天你总会明白，遗憾比失败更让你难以面对。17、没有一件事情可以一下子把你打垮，也不会有一件事情可以让你一步登天，慢慢走，慢慢看，生命是一个慢慢累积的过程。18、努