第2章统计决策方法和科学决策与信息分析

第二章统计决策方法

计算机与通信工程学院计算机与通信工程学院模式识别课前思考机器自动识别分类，能不能避免错分类?怎样才能减少错误？不同错误造成的损失一样吗？先验概率，后验概率，概率密度函数？什么是贝叶斯公式？正态分布？期望值、方差？正态分布为什么是最重要的分布之一？2023/5/24学习指南本章要说明分类识别中为什么会有错分类，在何种情况下会出现错分类？错分类的可能性会有多大？怎样才能使错分类最少？不同的错分类造成的危害是不同的，有的错分类种类造成的危害更大，因此控制这种错分类则是更重要的。为此引入了一种“风险”与“损失”概念，希望做到使风险最小。要着重理解“风险”与“损失”的概念，以及在引入“风险”概念后的处理方法。2023/5/24理解本章的关键要正确理解先验概率，类概率密度函数，后验概率这三种概率对这三种概率的定义，相互关系要搞得清清楚楚Bayes公式正是体现这三者关系的式子，要透彻掌握。2023/5/24统计决策理论是模式分类问题的基本理论之一贝叶斯决策理论是统计决策理论中的一个基本方法最小风险贝叶斯决策2聂曼-皮尔逊判决3最小错误率贝叶斯决策1第二章统计决策理论62023/5/24正态分布决策理论4最小错误率贝叶斯决策172023/5/24信息获取预处理特征提取分类决策模式识别系统的基本构成分类决策：把样本分到哪一类最合理样本1样本2样本3类别空间样本空间到决策空间的一个映射采用不同的标准会得到不同意义下的“最优”的决策最小错误率贝叶斯决策82023/5/24基于最小错误率的贝叶斯决策基本思想使错误率为最小的分类规则称之为基于最小错误率的贝叶斯决策例子：挑选西瓜编号敲声好瓜1沉闷是2沉闷否3沉闷否4沉闷否5清脆是6清脆是7清脆否8浊响是9浊响否

102023/5/24贝叶斯公式先验

似然

后验

112023/5/24当敲击声音为清脆时,该西瓜是好瓜的概率挑选西瓜这种决策信息没有意义

如何根据敲声挑选出好的西瓜？

根据贝叶斯公式

只根据先验知识挑选西瓜

122023/5/24如果有：

则为好瓜，反之亦然

分母相同，实际只需要比较分子这种根据后验概率进行决策的方法称为最小错误率贝叶斯决策132023/5/24判别函数的几种等价形式2023/5/24等价决策规则：讨论类条件概率密度函数直接用来分类是否合理？2023/5/24具有一定的合理性不满足最小错误率要求但是没有考虑先验概率类条件概率和后验概率区别？后验概率:P(ω1|x)和P(ω２|x)同一条件x下，比较ω1与ω2出现的概率两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1如P(ω1|x)>P(ω2|x)则可以下结论，在x条件下，事件ω1出现的可能性大类条件概率:P(x|ω1)和P(x|ω2)是在不同条件下讨论的问题即使只有两类ω1与ω2，P(x|ω1)+P(x|ω1)≠1P(x|ω1)与P(x|ω2)两者没有联系问题问题为什么先验概率和类条件概率密度函数可以作为已知，而后验概率需要通过计算获得？计算概率都要拥有大量数据估计先验概率与类条件概率密度函数时都可搜集到大量样本对某一特定事件要搜集大量样本是不太容易只能借助Bayes公式来计算得到2023/5/24错误率分析对待分类模式的特征我们得到一个观察值

x

，合理的决策规则：

决策错误的条件概率（随机变量x

的函数）：

182023/5/24平均错误率

(连续情况)(离散情况)192023/5/24如果我们把作出w1决策的所有观测值区域称为R1，则在R1区内的每个x值，条件错误概率为p(w2|x)。另一个区R2中的x,条件错误概率为p(w1|x)因此平均错误率P(e)可表示成

2023/5/24优点：癌细胞筛查：是癌细胞但是判断为正常细胞的风险应该比正常细胞判断为癌细胞的风险大得多决策规则最小误差最小风险限定一类错误率只是在最小错误率下的最优212023/5/24缺点：基于后验概率决策的贝叶斯分类器具有最小错误率小结最小风险贝叶斯决策2222023/5/24基本思想使错误率最小并不一定是一个普遍适用的最佳选择。例如：癌细胞分类，两种错误的代价(损失)不同两种错误:癌细胞→正常细胞正常细胞→癌细胞宁可扩大一些总的错误率，但也要使总的损失减少。引进一个与损失有关联的，更为广泛的概念——风险。在作出决策时，要考虑所承担的风险。2023/5/24相关概率损耗函数λii=λ(αi/ωi)表示模式样本X本来属于ωi类而判决为ωi类所受损失。损耗函数λij=λ(αi/ωj)表示模式样本X本来属于ωj类错判为ωi所受损失风险R（期望损失）：对未知x采取一个判决行动α(x)所付出的代价（损耗）条件风险（也叫条件期望损失）在整个特征空间中定义期望风险，期望风险2023/5/24最小风险贝叶斯决策2023/5/24决策规则：

最小风险VS最小错误率2023/5/24二类问题：把x归于ω1时风险：把x归于ω2时风险：

聂曼-皮尔逊决策3272023/5/24聂曼－皮尔逊准则聂曼－皮尔逊准则是在取某类错误率为常数时，另一类错误率尽可能小。例如：2023/5/24两类错误率Lagrange乘子法将有约束极值问题问题转化为2023/5/24注：可以看出聂曼-皮尔逊决策规则与最小错误率贝叶斯决策规则都是以似然比为基础的，不同地是最小错误决策阈值为先验概率之比，而聂曼-皮尔逊决策阈值则是Lagrange乘子。2023/5/24优点：

322023/5/24缺点：必须知道类条件概率（似然）可以设计理论上最优分类器小结正态分布决策理论4332023/5/24本节和前三节的关系前三节:基本概念阶段性的总结本节:概念具体化结合一种比较典型的概率分布来进一步分析基于最小错误贝叶斯决策分类器的种种情况本节重点什么叫正态分布高斯分布的表达式如何将正态分布与基于最小错误率的贝叶斯决策结合起来如何简化方式表示正态分布研究正态分布的原因数学上比较简单N(μ,σ²)只有均值和方差两个参数物理上的合理性单变量正态分布单变量正态分布概率密度函数定义为思考:正态分布，或高斯分布是先验概率P(ωi)，还是分布P(X|ωi),还是后验概率P(ωi|X)？不是我们所讨论的先验概率P(ωi)，也不是后验概率P(ωi|X)，而是p(x|ωi)。2023/5/24（多变量）多维正态分布

2023/5/242023/5/24性质①、μ与∑对分布起决定作用P(x)=N(μ,∑),μ由n个分量组成，∑由n(n+1)/2元素组成。∴多维正态分布由n+n(n+1)/2个参数组成。

②、等密度点的轨迹是一个超椭球面。区域中心由μ决定，区域形状由∑决定。③、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。④、边缘分布与条件分布的正态性。⑤、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。⑥、线性组合的正态性。2023/5/24正态分布时最小错误率贝叶斯决策2023/5/24判别函数：类条件概率密度用正态来表示：决策面方程：第一种情况各个特征统计独立，且同方差情况2023/5/24判别函数：2023/5/24如果M类先验概率相等：最小距离分类器未知样本x与μi相减，找最近的μi把x归类2023/5/24讨论

对于未知样本x，把x与各类均值相减，把x归于最近一类，即为最小距离分类器。Σi＝Σ相等，即各类协方差相等。几何上看，相当于各类样本集中于以均值点为中心的同大小和形状的超椭球内。第二种情况讨论：针对ω1，ω2二类情况，如图：Σi为任意，各类协方差矩阵不等，二次项xT

Σix与i有关，所以判别函数为二次型函数。第三种情况(一般情况)讨论对于(a)图，的方差比小，因此来自的样本更加可能在该类的均值附近找到，且由于圆的对称性，决策面是包围的一个圆若把轴伸展，图(b)的决策面就伸展为一个椭圆讨论若两类的条件概率在方向上具有相同的方差，但在方向上的方差比的方差大，此时值大的样本可能来自类，且决策面为图(c)的抛物线若对在方向上加大其方差，其决策面为图(d)的双曲线讨论如果两类的条件概率方差表现出特殊的对称性，则决策面退化为图(e)的直线对2023/5/24作业1、分别写出在以下两种情况(1)(2)下的最小错误率（基本的）贝叶斯决策规则。2、两类的模式分布为二维正态

协方差矩阵为单位矩阵∑1=∑2=I，设ε2＝0.09。求聂曼-皮尔逊准则λ.Q&A第3章科学决策与信息分析主要内容：信息分析在决策中的作用；各类型决策中的信息保障；信息分析的工作流程。基本要求：了解各类决策中信息利用的重要性；了解不同决策阶段信息服务的特点；理解决策对信息的基本要求；掌握信息分析工作的基本流程。3.1信息分析在决策中的作用3.1.1决策活动中的信息利用信息分析:是对情报进行定向浓集和科学抽象的一种科学劳动.信息在军事战略制定中的作用；信息在制定地区经济发展规划中的作用；信息在科学管理中的作用；信息在对外贸易中的作用；信息在制定生产计划中的作用；信息在提高产品质量、发展花色品种中的作用。3.1信息分析在决策中的作用决策阶段信息服务的内容与特点决策前（超前服务）促成决策及早完成（快）；有助于决策者掌握预测性信息（准）；有助于决策者更新知识、增强判断力（增）决策中（跟踪服务）确立目标阶段；决策方案准备阶段；选定决策方案阶段。决策后（反馈服务）跟踪反馈；循环反馈；同步追踪反馈。3.1.2不同决策阶段的信息服务3.1信息分析在决策中的作用3.1.3决策对信息的基本要求可靠性（可信度）——信息的真实性和准确性。信息源；信息获取手段；信息获取的条件。完整性（完全度）——包括决策对象全部的信息全面收集历史的、现实的和未来的信息；兼顾反映正面的和反面问题的信息。精确性（精确度）——反映事物特征的细微化程度。不同决策对信息的精确度要求不同；划定范围，确定上限和下限。3.2各类型决策中的信息保障3.2.1新产品研制的信息保障创意产生与筛选阶段的信息保障创意产生于对信息的收集、吸收和理解；创意孕育着新产品，要尽可能多的收集；筛选是从多个创意中选择出具有开发价值项目的过程，其要求是：新意；可行；实用；有效。3.2各类型决策中的信息保障3.2.1新产品研制的信息保障开发决策阶段的信息保障主要任务是针对经过初步筛选出的几个创意中的每一个新产品开发构想收集信息；主要目的是从若干初步入选的新产品开发设想中挑选一个，作为本企业的新产品研制项目。新产品设计阶段的信息保障方案设计：正确选型，确定新产品的基本结构和基本参数。技术设计：确定产品的具体结构和形式，进行各部分、各部件的设计和组装设计。施工设计：绘制新产品试制所需的全套图纸，编制有关制造工艺的全部文件。3.2各类型决策中的信息保障3.2.2对外经济贸易中的信息保障法律信息保障各国有关商法；国际贸易规则和公约；国际贸易惯例。产品贸易信息保障货款收付信息；基本交易条件信息；交易程序信息；贸易方式信息。3.2各类型决策中的信息保障3.2.2对外经济贸易中的信息保障