Bayes决策理论课件

第3章Bayes决策理论

3.1最小错误概率的Bayes决策3.2最小风险的Bayes决策3.3Neyman-Pearson决策3.4最小最大决策3.5Bayes分类器和判别函数3.6正态分布时的Bayes决策法则3.7离散情况的Bayes决策在上一章，我们介绍了线性判别函数，作了一个假设——抽取到的模式样本的边界是“整齐”而不混杂的，而且以后遇到的待分类模式基本上不超过学习样本的分布范围，从而利用这些样本得到的分类边界是无误差的。但是实际上因为试验的样本是从总体中随机抽取的，不能保证用过去的抽取的样本训练得到的分类边界对新的模式样本也能较好地分类。因此，考虑样本不确定性的模式识别方法是非常重要的。另外，还有特征选择不完善所引起的不确定性，模式数据采集和预处理和特征抽取过程中干扰和噪声引起的不确定性。综上，我们引出统计决策的方法。返回本章首页对模式识别的主要统计方法是Bayes决策理论，它是用概率论的方法研究决策问题，要求（1）各类别先验概率以及条件概率密度均为已知，即各类别总体的概率分布是已知的；（2）要决策分类的类别是一定的；返回本章首页3.1最小错误概率的Bayes决策在模式识别问题中，感兴趣的往往是尽量减小分类错误的概率。为此，我们可以建立一个能得到最小错误率的决策方法。看一个简单的例子。假设某工厂生产两种大小，外形都相同的螺丝钉，一种是铜的，一种是铁的。两种产品混在一起，要求对它们自动分类。分两种情况讨论：（1）先验概率已知；（2）先验概率和条件概率密度函数均已知。返回本章首页先验概率已知铁螺丝出现的概率——铜螺丝出现的概率——它们反映了我们在下一个样品出现前对它的类别可能性的先验知识，称这种先于事件的概率为先验概率。合理的决策规则：决策错误的概率：返回本章首页先验概率和条件概率密度函数均已知铁螺丝出现的概率——铜螺丝出现的概率——铁螺丝出现的概率——铜螺丝出现的概率————螺丝背光源照射后反射光的亮度特征求取后验概率：返回本章首页对待分类模式的特征我们得到一个观察值，合理的决策规则：决策错误的条件概率（随机变量的函数）：模式特征是一个随机变量，在应用Bayes法则时，每当观察到一个模式时，得到特征，就可利用后验概率作出分类的决策，同时也会带来一定的错误概率。若观察到大量的模式，对它们作出决策的平均错误概率应是的数学期望。返回本章首页平均错误概率从式可知，如果对每次观察到的特征值，是尽可能小的话，则上式的积分必定是尽可能小的这就证实了最小错误率的Bayes决策法则。下面从理论上给予证明。以两类模式为例。返回本章首页返回本章首页返回本章首页结束放映3.2最最小小风险险的Bayes决策策在上一一节我我们介介绍了了最小小错误误率的的Bayes决决策，，并且且证明明了应应用这这种决决策法法则时时，平平均错错误概概率是是最小小的。。但实实际上上有时时需要要考虑虑一个个比错错误率率更为为广泛泛的概概念———风风险，，举例例说明明。毋毋庸置置疑，，任何何风险险都会会带来来一定定损失失。看看一个个一般般的决决策表表。返回本本章首首页返回本本章首首页返回本本章首首页——观观察或或测量量到的的d维模式式特征征向量量；——状状态或或模式式类空空间——决决策空空间——损损失函函数，，表示示真实实状态态为而而所采采取的的决策策为时时所带带来的的某种种损失失。根据Bayes公式式，后后验概概率为为：返回本本章首首页对于刚刚才的的决策策表考考虑如如下的的一个个条件件期望望损失失，即即给定定，，我我们采采取决决策情情况下下的条件期期望损损失（（条件件风险险）：采取那那种决决策呢呢？最小风风险Bayes决策策规则则：返回本本章首首页综上，，可知知该规规则的的进行行步骤骤为：：（1））根据据已知，计算算出后后验概概率；；（2））利用用计算算出的的后验验概率率及决决策表表（专专家根根据经经验确确定）），计计算条条件风风险（3））最小小风险险决策策返回本本章首首页这样按按最小小风险险的Bayes决策策规则则，采采取的的决策策将随随的的取取值而而定，，引入入函数数，，表示示对的的决策策。对对整个个特征征空间间上所所有的的取值值采取取相应应的决决策所所带带来的的平均均风险险显然，，我们们对连连续的的随机机模式式向量量按最最小风风险Bayes决策策规则则采取取的一一系列列决策策行动动可以以使平平均风风险最最小。。到此为为止，，我们们已经经分析析了两两种分分别使使错误误率和和风险险达到到最小小的Bayes决策策规则则，下下面分分析一一下两两种决决策规规则的的关系系。返回本本章首首页两类情情况下下的最最小风风险Bayes决策策返回本本章首首页在两类类问题题中，，若有有，，决策策规则则变为为这时最最小风风险的的Bayes决决策和和最小小错误误率的的Bayes决决策规规则是是一致致的。。返回本本章首首页一般的的多类类问题题中，，设损损失函函数为为0-1损损失函函数返回本本章首首页3.3Neyman—Pearson决策策Neyman——Pearson决决策即即限定定一类类错误误率条条件下下使另另一类类错误误率为为最小小的两两类别别决策策。返回本章章首页返回本章章首页用Lagrange乘乘子法建建立其数数学模型型返回本章章首页返回本章章首页返回本章章首页取得极小小值的边边界条件件与最小错错误率的的Bayes决决策的比比较3.4最最小小最大决决策有时我们们必须设设计在整整个先验验概率范范围上都都能很好好的进行行操作的的分类器器。比如如，在我我们的有有些分类类问题中中可能设设想尽管管模式的的有些物物理属性性恒定不不变，然然而先验验概率可可能变化化范围很很大，并并且以一一种不确确定的方方式出出现。或或者，我我们希望望在先验验概率不不知道的的情况下下使用此此分类器器，那么么一种合合理的设设计分类类器的方方法就是使先先验概率率取任何何一种值值时所引引起的总总风险的的最坏的的情况尽尽可能小小，也就就是说，，最小化化最大可可能的总总风险。以二类类模式识识别问题题为例，，进行讨讨论。返回本章章首页返回本章章首页以两类情情况下的的最小风风险Bayes决策为为例进行行讨论总风险公公式返回本章章首页假定决策策域已经经确定，，我们以以表表示示分类器器判为时时的特征征空间中中的区域域，同样样有和和，，于是总总风险用用条件风风险的形形式表示示为返回本章章首页返回本章章首页一旦和和确确定，风风险就就是先先验概率率的的线性函函数，可可表示为为决策阀值值返回本章章首页一旦和和确确定，风风险就就是先先验概率率的的线性函函数，可可表示为为决策阀值值返回本章章首页返回本章章首页返回本章章首页综上所述述，可以以得出：：在作最最小风险险Bayes决决策时，，若考虑虑有有可能改改变或对对先验概概率毫无无所知，，则应选选择使最最小Bayes风险为为最大值值时的来来设设计分类类器，它它相对于于其它的的为为最大大，但能能保证在在不管如如何何变化时时，使最最大风险险将为最最小，我我们称其其为最小最大大决策。。其任务就就是寻找找使Bayes风险为为最大时时的决策策域和和，它对应应于下式式然后确定定3.5Bayes分类器器和判别别函数返回本章章首页前面我们们介绍了了四种决决策规则则，这里里结合第第二章中中介绍的的判别函数数和决策策面的概概念来设计分分类器。。对于n维空间中中的c个模式类类别各给给出一个个由n个特征组组成的单单值函数数，这叫叫做判别别函数。。在c类的情况况下，我我们共有有c个判别函函数，记记为判别函数数的性质质假如一个个模式X属于第i类，则有有而如果这这个模式式在第i类和第j类的分界界面上，，则有返回本章章首页1多类情况况最小错误误率的Bayes决策策规则：：可设判别别函数为为：返回本章章首页最小风险险的Bayes决策策规则，，可设判别别函数为为决策面方方程分类器器框图图返回本本章首首页返回本本章首首页返回本本章首首页2两类情情况可设判判别函函数为为：可将其其任意意分类类，或或拒绝绝3.6正正态态分布布时的的Bayes决决策法法则返回本本章首首页在前面面我们们提到到设计计Bayes分分类器器的两两个先先决已已知条条件：：（1））先验验概率率；；（2））条件件概率率密度度函数数。。先验概概率的的估计计并不不困难难，关关键是是条件件概率率密度度函数数。这里我我们以以正态态分布布概率率密度度函数数为主主进行行讨论论，因因为Ⅰ在实际际问题题中，，大量量的随随机变变量都都服从从或近近似地地服从从正态态分布布；Ⅱ即使统统计总总体不不服从从正态态分布布，但但是它它的许许多重重要的的样本本特征征可能能是渐渐进正正态分分布的的；Ⅲ正态分分布分分析起起来比比较方方便。。返回本本章首首页正态分分布概概率密密度函函数的的定义义及性性质（1））单变变量正正态分分布单变量量正态态分布布概率率密度度函数数，，有两两个参参数和和完全决决定，，常简简记为为。。期望方差返回本本章首首页（2））多维维变量量正态态分布布均值向向量协方差差矩阵阵返回本本章首首页多维变变量正正态分分布密密度函函数的的性质质（1））多维维变量量正态态分布布密度度函数数由均均值向向量和和协协方差差矩阵阵完完全全确定定，包包含的的参数数个数数为。。（2））等密密度点点的轨轨迹为为一超超椭球球面，，且它它的主主轴方方向由由阵的特特征向向量所所确定定，主主轴的的长度度与相相应的的协方方差矩矩阵的的本本征值值成正正比。。返回本本章首首页返回本本章首首页设在在超超椭球球上，，到到超椭椭球中中心的的距离离为，，求求主轴轴长度度即是是求其其条件件极值值，构构造Lagrange函函数返回本本章首首页所以，，第i个主轴轴的长长度与与的的第i个特征征值的的平方方根成成正比比，如图图所示示。定定义为向量量到到均均值向向量的的马氏距距离。等概率密度度点的轨迹迹是一个到到均值向量量的马马氏距离为为常数的超超球体。（3）不相关性等等价于独立立性。（4）边缘缘分布和条条件分布的的正态性。。（5）线性性变换的正正态性。（6）线性性组合的正正态性。返回本章首首页多维变量正正态概率型型下的最小小错误率Bayes判别函数数和决策面面返回本章首首页下面根据上上式对以下下三种情况况进行讨论论。……………………决策策面方程返回本章首首页（1），，即每类的协协方差矩阵阵都相等，，而且类内内各特征间间相互独立立，具有相相等的方差差Ⅰ如果先验概概率不等，，那么平方方距离（欧欧氏距离））必须通过过方差进行行归一化，，并通过增增加进进行修正正。返回本章首首页Ⅱ如果先验概概率相等称其为最小小距离分类类器。对以以上两类情情况进行化化简返回本章首首页下面来看线线性分类器器的决策面面方程返回本章首首页对其，我们们用一个二二维二类模模式例子，，设先验概率率相等，从几何上上表示其关关系（不相相等的情况况请参照教教材P32）返回本章首首页（2），，即各类的协协方差矩阵阵都相等如果先验概概率相等，，只要计算到到各类类的均值点点的的马马氏距离平平方，然后后把归归于于距离离平方最小小的类别。。返回本章首首页对以上两类类情况进行行化简返回本章首首页决策面方程程返回本章首首页对其，我们们用一个二二维二类模模式例子，，设先验概率率相等，从几何上上表示其关关系返回本章首首页（2）各类的协方方差矩阵不不相等返回本章首首页3.7离离散情况况的Bayes决策策返回本章首首页前面我们我我们介绍都都是连续情情况的Bayes决决策理论，，这里我们们看一下的的离散情况况。设是是离离散型随机机变量，从从而Bayes决策策法则就是是：这时Bayes决策策规则仍然然不变，最最小错误概概率的Bayes决决策法则仍仍为：返回本章首首页最小风险的的Bayes决策法法则仍为：：这里着重讨讨论最小错错误率的Bayes决策法则则。等价的的判别函数数有以下几几种形式：：对二类模式式的分类问问题，判别别函数可采采用以下的的形式：返回本章首首页设模模式式特特征征向向量量为为且各各特特征征相相互互独独立立。。并并令令：：返回回本本章章首首页页从而而似似然然比比：：将其其改改写写为为线线性性判判别别函函数数的的形形式式：：返回回本本章章首首页页式中中：：可将将其其任任意意分分类类，，或或拒拒绝绝课后后习习题题（（一一））返回回本本章章首首页页设五五维维空空间间的的线线性性方方程程为为试求求出出其其权权向向量量与与样样本本向向量量点点积积的的表表达达式式中中的的，，