第2章Bayes决策理论和科学决策与信息分析

第2章Bayes决策理论

2.1最小错误概率的Bayes决策2.2最小风险的Bayes决策2.3

Neyman-Pearson决策2.4最小最大决策2.5

Bayes分类器和判别函数2.6正态分布时的Bayes决策法则2.7离散情况的Bayes决策实际上因为试验的样本是从总体中随机抽取的，不能保证用过去的抽取的样本训练得到的分类边界对新的模式样本也能较好地分类。因此，考虑样本不确定性的模式识别方法是非常重要的。另外，还有特征选择不完善所引起的不确定性，模式数据采集和预处理和特征抽取过程中干扰和噪声引起的不确定性。综上，我们引出统计决策的方法。返回本章首页对模式识别的主要统计方法是Bayes决策理论，它是用概率论的方法研究决策问题，要求（1）各类别先验概率以及条件概率密度均为已知，即各类别总体的概率分布是已知的；（2）要决策分类的类别是一定的；返回本章首页2.1最小错误概率的Bayes决策在模式识别问题中，感兴趣的往往是尽量减小分类错误的概率。为此，我们可以建立一个能得到最小错误率的决策方法。看一个简单的例子。假设某工厂生产两种大小，外形都相同的螺丝钉，一种是铜的，一种是铁的。两种产品混在一起，要求对它们自动分类。分两种情况讨论：（1）先验概率已知；（2）先验概率和条件概率密度函数均已知。返回本章首页先验概率已知铁螺丝出现的概率——铜螺丝出现的概率——它们反映了我们在下一个样品出现前对它的类别可能性的先验知识，称这种先于事件的概率为先验概率。合理的决策规则：决策错误的概率：返回本章首页先验概率和条件概率密度函数均已知铁螺丝出现的概率——铜螺丝出现的概率——铁螺丝出现的概率——铜螺丝出现的概率——

——螺丝背光源照射后反射光的亮度特征求取后验概率：返回本章首页对待分类模式的特征我们得到一个观察值，合理的决策规则：决策错误的条件概率（随机变量的函数）：模式特征是一个随机变量，在应用Bayes法则时，每当观察到一个模式时，得到特征，就可利用后验概率作出分类的决策，同时也会带来一定的错误概率。若观察到大量的模式，对它们作出决策的平均错误概率应是的数学期望。返回本章首页平均错误概率从式可知，如果对每次观察到的特征值，是尽可能小的话，则上式的积分必定是尽可能小的这就证实了最小错误率的Bayes决策法则。下面从理论上给予证明。以两类模式为例。返回本章首页返回本章首页返回本章首页结束放映3.2最小风险的Bayes决策在上一节我们介绍了最小错误率的Bayes决策，并且证明了应用这种决策法则时，平均错误概率是最小的。但实际上有时需要考虑一个比错误率更为广泛的概念——风险，举例说明。毋庸置疑，任何风险都会带来一定损失。看一个一般的决策表。返回本章首页返回本章首页返回本章首页——观察或测量到的d维模式特征向量；——状态或模式类空间——决策空间——损失函数，表示真实状态为而所采取的决策为时所带来的某种损失。根据Bayes公式，后验概率为：返回本章首页对于刚才的决策表考虑如下的一个条件期望损失，即给定，我们采取决策情况下的条件期望损失（条件风险）：采取那种决策呢？

最小风险Bayes决策规则：返回本章首页

综上，可知该规则的进行步骤为：（1）根据已知，计算出后验概率；（2）利用计算出的后验概率及决策表（专家根据经验确定），计算条件风险（3）最小风险决策返回本章首页这样按最小风险的Bayes决策规则，采取的决策将随的取值而定，引入函数，表示对的决策。对整个特征空间上所有的取值采取相应的决策所带来的平均风险显然，我们对连续的随机模式向量按最小风险Bayes决策规则采取的一系列决策行动可以使平均风险最小。到此为止，我们已经分析了两种分别使错误率和风险达到最小的Bayes决策规则，下面分析一下两种决策规则的关系。返回本章首页两类情况下的最小风险Bayes决策返回本章首页在两类问题中，若有，决策规则变为这时最小风险的Bayes决策和最小错误率的Bayes决策规则是一致的。返回本章首页一般的多类问题中，设损失函数为0-1损失函数返回本章首页3.3Neyman—Pearson决策Neyman—Pearson决策即限定一类错误率条件下使另一类错误率为最小的两类别决策。返回本章首页返回本章首页用Lagrange乘子法建立其数学模型返回本章首页返回本章首页返回本章首页取得极小值的边界条件与最小错误率的Bayes决策的比较3.4最小最大决策有时我们必须设计在整个先验概率范围上都能很好的进行操作的分类器。比如，在我们的有些分类问题中可能设想尽管模式的有些物理属性恒定不变，然而先验概率可能变化范围很大，并且以一种不确定的方式出现。或者，我们希望在先验概率不知道的情况下使用此分类器，那么一种合理的设计分类器的方法就是使先验概率取任何一种值时所引起的总风险的最坏的情况尽可能小，也就是说，最小化最大可能的总风险。以二类模式识别问题为例，进行讨论。返回本章首页返回本章首页以两类情况下的最小风险Bayes决策为例进行讨论总风险公式返回本章首页假定决策域已经确定，我们以表示分类器判为时的特征空间中的区域，同样有和，于是总风险用条件风险的形式表示为返回本章首页返回本章首页一旦和确定，风险就是先验概率的线性函数，可表示为决策阀值返回本章首页一旦和确定，风险就是先验概率的线性函数，可表示为决策阀值返回本章首页返回本章首页返回本章首页综上所述，可以得出：在作最小风险Bayes决策时，若考虑有可能改变或对先验概率毫无所知，则应选择使最小Bayes风险为最大值时的来设计分类器，它相对于其它的为最大，但能保证在不管如何变化时，使最大风险将为最小，我们称其为最小最大决策。其任务就是寻找使Bayes风险为最大时的决策域和，它对应于下式然后确定3.5Bayes分类器和判别函数返回本章首页前面我们介绍了四种决策规则，这里结合第二章中介绍的判别函数和决策面的概念来设计分类器。对于n维空间中的c个模式类别各给出一个由n

个特征组成的单值函数，这叫做判别函数。在c

类的情况下，我们共有c个判别函数，记为判别函数的性质假如一个模式X

属于第i

类，则有而如果这个模式在第i

类和第j

类的分界面上，则有返回本章首页1多类情况最小错误率的Bayes决策规则：可设判别函数为：返回本章首页最小风险的Bayes决策规则，可设判别函数为决策面方程分类器框图返回本章首页返回本章首页返回本章首页2两类情况可设判别函数为：可将其任意分类，或拒绝3.6正态分布时的Bayes决策法则返回本章首页在前面我们提到设计Bayes分类器的两个先决已知条件：（1）先验概率；（2）条件概率密度函数。先验概率的估计并不困难，关键是条件概率密度函数。这里我们以正态分布概率密度函数为主进行讨论，因为Ⅰ在实际问题中，大量的随机变量都服从或近似地服从正态分布；Ⅱ即使统计总体不服从正态分布，但是它的许多重要的样本特征可能是渐进正态分布的；Ⅲ正态分布分析起来比较方便。返回本章首页正态分布概率密度函数的定义及性质（1）单变量正态分布单变量正态分布概率密度函数，有两个参数和完全决定，常简记为。期望方差返回本章首页（2）多维变量正态分布均值向量协方差矩阵返回本章首页多维变量正态分布密度函数的性质（1）多维变量正态分布密度函数由均值向量和协方差矩阵完全确定，包含的参数个数为。

（2）等密度点的轨迹为一超椭球面，且它的主轴方向由阵的特征向量所确定，主轴的长度与相应的协方差矩阵的本征值成正比。返回本章首页返回本章首页设在超椭球上，到超椭球中心的距离为，求主轴长度即是求其条件极值，构造Lagrange函数返回本章首页所以，第i个主轴的长度与的第i个特征值的平方根成正比，如图所示。定义为向量到均值向量的马氏距离。等概率密度点的轨迹是一个到均值向量的马氏距离为常数的超球体。（3）

不相关性等价于独立性。（4）边缘分布和条件分布的正态性。（5）线性变换的正态性。（6）线性组合的正态性。返回本章首页多维变量正态概率型下的最小错误率Bayes判别函数和决策面返回本章首页下面根据上式对以下三种情况进行讨论。…决策面方程返回本章首页（1），即每类的协方差矩阵都相等，而且类内各特征间相互独立，具有相等的方差Ⅰ如果先验概率不等，那么平方距离（欧氏距离）必须通过方差进行归一化，并通过增加进行修正。返回本章首页Ⅱ如果先验概率相等称其为最小距离分类器。对以上两类情况进行化简返回本章首页下面来看线性分类器的决策面方程返回本章首页对其，我们用一个二维二类模式例子，设先验概率相等，从几何上表示其关系（不相等的情况请参照教材P32）返回本章首页（2），即各类的协方差矩阵都相等如果先验概率相等，只要计算到各类的均值点的马氏距离平方，然后把归于距离平方最小的类别。返回本章首页对以上两类情况进行化简返回本章首页决策面方程返回本章首页对其，我们用一个二维二类模式例子，设先验概率相等，从几何上表示其关系返回本章首页（2）各类的协方差矩阵不相等返回本章首页3.7离散情况的Bayes决策返回本章首页前面我们我们介绍都是连续情况的Bayes决策理论，这里我们看一下的离散情况。设是离散型随机变量，从而Bayes决策法则就是：这时Bayes决策规则仍然不变，最小错误概率的Bayes决策法则仍为：返回本章首页最小风险的Bayes决策法则仍为：这里着重讨论最小错误率的Bayes决策法则。等价的判别函数有以下几种形式：对二类模式的分类问题，判别函数可采用以下的形式：返回本章首页设模式特征向量为且各特征相互独立。并令：返回本章首页从而似然比：将其改写为线性判别函数的形式：返回本章首页式中：可将其任意分类，或拒绝课后习题（一）返回本章首页设五维空间的线性方程为试求出其权向量与样本向量点积的表达式中的，以及增广权向量与增广样本向量形式中的与。上式是一个五维空间的超平面，求该平面到坐标原点的法向距离。2论述以下概念并分析其解决问题的思想方法（1）基于最小错误率的Bayes决策；（2）最小最大决策；（3）Fisher线性判别；（4）最小平方误差准则函数；（5）最小最大化准则。返回本章首页试从模式类与模式概念分析以下词之间的关系：王老头，王老太，王明（安徽工业大学本科生），周强（年轻教师），老年人，老头，老太，年青人。

THANKYOUVERYMUCH！本章到此结束下一章“概率密度函数的估计”返回本章首页结束放映第3章科学决策与信息分析主要内容：信息分析在决策中的作用；各类型决策中的信息保障；信息分析的工作流程。基本要求：了解各类决策中信息利用的重要性；了解不同决策阶段信息服务的特点；理解决策对信息的基本要求；掌握信息分析工作的基本流程。3.1信息分析在决策中的作用3.1.1决策活动中的信息利用信息分析:是对情报进行定向浓集和科学抽象的一种科学劳动.信息在军事战略制定中的作用；信息在制定地区经济发展规划中的作用；信息在科学管理中的作用；信息在对外贸易中的作用；信息在制定生产计划中的作用；信息在提高产品质量、发展花色品种中的作用。3.1信息分析在决策中的作用3.1.2不同决策阶段的信息服务决策阶段信息服务的内容与特点决策前（超前服务）促成决策及早完成（快）；有助于决策者掌握预测性信息（准）；有助于决策者更新知识、增强判断力（增）决策中（跟踪服务）确立目标阶段；决策方案准备阶段；选定决策方案阶段。决策后（反馈服务）跟踪反馈；循环反馈；同步追踪反馈。3.1信息分析在决策中的作用3.1.3决策对信息的基本要求可靠性（可信度）——信息的真实性和准确性。信息源；信息获取手段；信息获取的条件。完整性（完全度）——包括决策对象全部的信息全面收集历史的、现实的和未来的信息；兼顾反映正面的和反面问题的信息。精确性（精确度）——反映事物特征的细微化程度。不同决策对信息的精确度要求不同；划定范围，确定上限和下限。3.2各类型决策中的信息保障3.2.1新产品研制的信息保障创意产生与筛选阶段的信息保障创意产生于对信息的收集、吸收和理解；创意孕育着新产品，要尽可能多的收集；筛选是从多个创意中选择出具有开发价值项目的过程，其要求是：新意；可行；实用；有效。3.2各类型决策中的信息保障3.2.1新产品研制的信息保障开发决策阶段的信息保障主要任务是针对经过初步筛选出的几个创意中的每一个新产品开发构想收集信息；主要目的是从若干初步入选的新产品开发设想中挑选一个，作为本企业的新产品研制项目。新产品设计阶段的信息保障方案设计：正确选型，确定新产品的基本结构和基本参数。技术设计：确定产品的具体结构和形式，进行各部分、各部件的设计和组装设计。施工设计：绘制新产品试制所需的全套图纸，编制有关制造工艺的全部文件。3.2各类型决策中的信息保障3.2.2对外经济贸易中的信息保障法律