第2章贝叶斯决策理论ppt课件

1、第2章 贝叶斯决策实际Chapter 2: Bayesian decision theory .本章主要内容2.1 基于最小错误率的贝叶斯决策 2.3 正态分布时的贝叶斯统计决策 2.2 基于最小风险的贝叶斯决策 2.4 分类器的错误率问题 (重点)(重点)(了解)(熟习).2.1 基于最小错误率的贝叶斯决策 .2.1.1 预备知识 用向量来表示方式12345转化成列向量0101000123353433010011“1方式： 一些供比对用的、“规范的样本。特征提取35方式“1的图片.高维积分知方式样本：一维积分：高维积分：二重积分：假设推行.2.1.1 预备知识续 贝叶斯公式贝叶斯公式的另一种

2、方式：.2.1.1 预备知识续 由贝叶斯公式衍生出贝叶斯决策、贝叶斯估计、贝叶斯学习等诸多实际体系，进而构成一个贝叶斯学派；贝叶斯公式：1763年提出 贝叶斯公式由于其权威性、一致性和典雅性而被列入最优美的数学公式之一 ； 贝叶斯公式的两个创新点：1用概率表示一切方式的不确定性； 2例如天气预告时，“今天下雨的概率是85%比直接预测“今天下雨要更科学 ； 引入了“先验与“后验的概念；.先验与后验2.1.1 预备知识续 贝叶斯公式：例：利用贝叶斯公式求 的最大值：先验后验 先验概率：是指根据历史资料或客观判别所确定的事件发生的概率，该类概率没有经过实验证明，属检验前的概率。争议点 后验概率：进展

3、实验后，事件发生的概率。 贝叶斯公式在推理中融入了先验，即融入了对事物既有的一些认识：.2.1.1 预备知识续 条件概率密度假设有两个随机变量X和Y，它们的结合概率密度为 ， 变量X和Y各自的边缘概率密度为 和 ，那么在条件Y=y下，X的条件概率密度为.2.1.1 预备知识续 分类错误率分类错误率 = 被错分的样本数 / 样本总数分类方案一分类方案二在分类中，希望分类错误率尽能够地小。.2.1.2 最小错误率贝叶斯决策的前提 1要决策分类的类别数是一定的；前提：2每一类出现的“先验概率知；类类即知3每一类的“类条件概率密度知；即知待处理的分类问题：与.类类待处理的分类问题：2.1.3 最小错误

4、率贝叶斯决策规那么决策规那么样本只需两类时：假设假设那么那么先验概率知类条件概率密度知能够属于 类也能够属于 类。.2.1.4 最小错误率贝叶斯决策规那么运用实例例：细胞识别 假设在某个部分地域细胞识别中， 正常( )和异常( )两类的先验概率分别为 正常形状： P ( ) =0.9; 异常形状： P ( ) =0.1.现有一待识别的细胞，其察看值为 ，从类条件概率密度分布曲线上查得 P(x | )=0.2, P(x | )=0.4.试对该细胞x进展分类。解：利用贝叶斯公式，分别计算出 及 的后验概率。 P( | x)= P( |x)=1- P( |x)=0.182类类.2.1.4 最小错误率

5、贝叶斯决策规那么运用实例续类条件概率密度知后验概率密度待求类类根据上图决策.2.1.4 最小错误率贝叶斯决策规那么运用实例续为什么类条件概率密度是知的 “类条件概率密度是指系统位于某种类型条件下，方式样本的概率密度函数。普通而言，同一类事物的某个属性都有一定的变化范围，在这个变化范围内的分布密度可用一种函数方式表示。类类 例如对于细胞识别而言，假设 是血红素浓度，那么 表示正常血细胞的血红素浓度的分布情况。该分布可以事先测定，因此是知的。正常血细胞异常血细胞.2.1.4 最小错误率贝叶斯决策规那么运用实例续为什么先验概率是知的例如在某个部分地域比如一个县细胞识别中，要根据血红素浓度的丈量值 断

6、定其为正常血细胞或者是异常血细胞例如白血病血细胞。类类正常血细胞异常血细胞该县正常人的比例；该县白血病患者的比例；上述比例关系可根据往年病历资料统计大致得到，因此可以看作是知的。上述比例关系虽然能够是近似的，但对决策准确程度的影响并不是直接的，这也是贝叶斯决策的一个优点。.2.1.5 决策规那么使错误率最小的实际证明 前面给出了最小错误率贝叶斯决策规那么，但尚未证明按这种决策规那么进展分类确实能使分类错误概率最小。下面以一维情况完成证明，其结果不难推行到多维。平均错误率：是 的期望 的概率密度对 进展分类决策时的错误决策规那么两类时：假设假设那么那么(2-6).2.1.5 决策规那么确实使错误

7、率最小的实际证明续决策错误率 在每个x值处都取小者，因此平均错误率P(e)也必然到达最小。.2.1.6 最小错误率贝叶斯决策规那么向多类的推行决策规那么样本只需两类时：假设假设那么那么决策规那么样本有多类时：类类类类类假设对于一切 成立，那么.2.2 基于最小风险的贝叶斯决策 .2.2.1 为什么要引入基于风险的决策基于最小错误率的贝叶斯决策错误率假设假设那么那么误判为：误判为：错误率：错误率： 基于最小错误率的贝叶斯决策只关注错误率，并不关注因误判而带来的风险。但在实践运用中思索风险是很重要的。例：细胞识别类类正常血细胞异常血细胞把正常血细胞误判为异常血细胞会给人带来不用要的苦楚；但假设将异

8、常血细胞误判为正常血细胞，那么会使病人因失去及早治疗的时机而蒙受极大的损失。.“风险的适用范围比错误率更广泛，它引入了“损失的概念。即思索了因误判而带来的损失。2.2.1 为什么要引入基于风险的决策续基于最小风险的贝叶斯决策风险本来误判为：误判为：错误率：错误率：本来呵斥的损失：呵斥的损失：把方式 判决为 类的一次决策；方式 属于 类，现却将之判决为 类而带来的损失；.2.2.2 普通决策表与条件风险 形状损 失决 策1212把方式 判决为 类的一次决策；方式 属于 类，现却将之判决为 类而带来的损失；形状空间：决策空间：普通决策表.2.2.2 普通决策表与条件风险续条件风险：方式 属于 类，

9、现却将之判决为 类而带来的损失；方式 属于 类的概率能够性；例：计算条件风险 形状损 失决 策12120061正常类异常类正常异常知所以这意味着： 把异常类血细胞判别为正常类细胞所冒风险太大，所以宁肯将之判别为异常类血细胞。2-15.2.2.3 基于最小风险的贝叶斯决策运用实例例：细胞识别 假设在某个部分地域细胞识别中， 正常( )和异常( )两类的先验概率分别为 正常形状： P ( ) =0.9; 异常形状： P ( ) =0.1.现有一待识别的细胞，其察看值为 ，从类条件概率密度分布曲线上查得 P(x | )=0.2, P(x | )=0.4.且因误判而带来的风险如下页表所表示，试对该细胞

10、x进展分类。解： 1利用贝叶斯公式，分别计算出 及 的后验概率。 P( | x)= P( |x)=1- P( |x)=0.182类类假设贝叶斯决策.2.2.3 基于最小风险的贝叶斯决策运用实例续 形状损 失决 策12120061正常类异常类正常异常2计算条件风险3基于最小风险进展决策将 判决为第 类的风险将 判决为第 类的风险方式 属于 类的概率能够性；所以 两类决策结果正好相反，这是由于影响决策结果的要素又多了一个“损失。由于两类错误决策所呵斥的损失相差很悬殊，因此“损失在这里起了主导作用。.2.2.4 基于最小风险的贝叶斯决策规那么与决策步骤决策步骤：决策规那么：根据贝叶斯公式计算计算条件

11、风险决策.在实际中如何给出决策表：2.2.4 基于最小风险的贝叶斯决策规那么与决策步骤续 形状损 失决 策12120061正常类异常类正常异常 形状损 失决 策1212 在实际中要列出适宜的决策表很不容易，往往要根据所研讨的详细问题，分析错误决策呵斥损失的严重程度，与有关专家共同商讨来确定。教材P15即需求详细问题详细分析.2.2.5 最小错误率与最小风险贝叶斯决策的联络 形状损 失决 策12120011正常类异常类正常异常假设采用0-1损失函数：例：两类样本的分类根据条件风险公式：那么两类决策的风险为因此两种决策规那么等价 实际推导见教材P16将 判决为第 类的风险将 判决为第 类的错误率.

12、2.3 正态分布时的贝叶斯统计决策 .2.3.1 预备知识1一元正态分布 正态分布的样本主要集中分布在其均值附近，其分散程度可用规范差 来衡量，规范差愈大分散程度也越大。从正态分布的总体中抽取样本，约有95%的样本都落在区间 内。.2.3.1 预备知识续2多元正态分布左图的投影多元正态分布协方差矩阵：均值向量：.2.3.1 预备知识续3多元正态分布的协方差矩阵 区域中心由均值决议，区域外形由协方差矩阵决议；且主轴方向是协方差矩阵的特征向量方向；.2.3.2 贝叶斯统计决策的决策面与判别函数例如：最小错误率贝叶斯决策规那么两类情形假设假设那么那么类类 根据决策规那么只能确定样本 属于哪一类，而如

13、今欲求决策面分类面。假设 位于决策面上，应该有决策面方程：判别函数：.类类决策面：假设按某种决策规那么将空间分成假设干个决策域，那么将决策域的边境称为决策面。判别函数： 用于表达决策规那么的函数。例如：决策面方程：决策面在数学上的解析表示。例如：g(x)阈值单元判别函数的判别功能表示图2.3.2 贝叶斯统计决策的决策面与判别函数续. 为一维时，决策面为一点； 为二维时，决策面为曲线； 为三维时，决策面为曲面； 大于三维时，决策面为超曲面。决策面方程的形状：为二维时为一维时为三维时2.3.2 贝叶斯统计决策的决策面与判别函数续.2.3.3 正态概型下的最小错误率贝叶斯决策的判别函数1“最小错误率

14、贝叶斯决策的判别函数与决策面的推行：两类情形取对数前后，所求决策面不变推行至多类.2.3.3 正态概型下最小错误率贝叶斯决策的判别函数续决策面：判别函数：2假设类条件概率密度 服从正态分布：那么判别函数：决策面：.3为什么假设类条件概率密度 服从正态分布2.3.3 正态概型下最小错误率贝叶斯决策的判别函数续数学上简便性： 除了一些极其简单与不甚适用的统计分布模型外，正态分布可说是数学上最简便的一种。正态分布有许多良好的性质，便于对统计决策方法进展分析。物理上的合理性： 在许多实践运用场所，假好像一类样本在特征空间内确实较集中地分布在其类均值的附近，远离均值处分布较少，那么普通情况下以正态分布模

15、型近似往往是比较合理的。人们也往往因数学分析复杂程度思索而不得不采用这种模型，当然运用时应留意结果能否合理或关注其可接受的程度。.2.3.4 正态概型下最小错误率贝叶斯决策的讨论判别函数：决策面： 以上决策面表达式很复杂，因此讨论以下两种特殊情形；类条件概率密度：12.2.3.4 正态概型下最小错误率贝叶斯决策的讨论续第一种情形：判别函数：决策面：判别函数：决策面：.2.3.4 正态概型下最小错误率贝叶斯决策的讨论续1假设判别函数：决策面：决策面：.2.3.4 正态概型下最小错误率贝叶斯决策的讨论续2假设判别函数：决策面：展开并忽略与i无关的项 详细过程见教材P31判别函数：决策面：其中.2.

16、3.4 正态概型下最小错误率贝叶斯决策的讨论续决策面分开先验概率大的那个类的均值向量而朝先验概率较小的那类方向挪动。 判别函数：决策面：其中.第二种情形：2.3.4 正态概型下最小错误率贝叶斯决策的讨论续判别函数：决策面：详细推导过程见教材P33决策面：其中判别函数：.2.3.4 正态概型下最小错误率贝叶斯决策的讨论续决策面：其中判别函数：那么决策面过 点，但不与 方向正交。.2.4 分类器的错误率问题 .2.4.1 对分类错误率的直观认识 分类错误率 = 被错分的样本数 / 样本总数分类方案一分类方案二 在分类中，希望分类错误率尽能够地小。 以上是最简单的情形全体样本知，但在很多情形下如只知

17、部分样本，或只知样本的分布，分类错误率并不容易计算。 分类错误率是衡量分类性能好坏的标尺。.2.4.2 分类错误率的三种计算方式1在一些特殊情形下按实际公式计算平均错误率：是 的期望 的概率密度对 进展分类决策时的错误决策规那么两类时：假设假设那么那么(2-6)例：基于最小错误率的贝叶斯决策前面讲过.2计算分类错误率的上界错误率的实际计算普通相当困难，当不能从实际上直接计算时，往往去寻觅它的上界。 教材第38页引见了Chernoff上界很复杂； 第六章将推导近邻法错误率的上界；2.4.2 分类错误率的三种计算方式续.3利用样本集进展实验估计 教材上没有2.4.2 分类错误率的三种计算方式续学习样本集与测试样本集分类方案测试样本集学习样本集.2.4.2 分类错误率的三种计算方式续留一法leave one out，LOO 从N个样本中取1个样本，将剩下的N-1个样本作为学习样本集，设计分类方案。再把原取出的样本放回去，又取出另一个样本，将剩下的N-1个样本作为学习样本集，设计新分类方案。直至反复N次 交叉验证法cross validation，CV是留一法的推行，每次取出多个样本而不是一个样本。 .2.4.2 分类错误率的三种计算方式续用留一法估计错误率在子集 上训练，然后对样本 进展