第2章统计决策方法ppt课件

1、第二章 统计决策方法 计算机与通讯工程学院计算机与通讯工程学院方式识别.课前思索机器自动识别分类，能不能防止错分类 ?怎样才干减少错误？ 不同错误呵斥的损失一样吗？先验概率，后验概率，概率密度函数？什么是贝叶斯公式？正态分布？期望值、方差？正态分布为什么是最重要的分布之一？ 2022/7/15.学习指南 本章要阐明分类识别中为什么会有错分类，在何种情况下会出现错分类？错分类的能够性会有多大？怎样才干使错分类最少？ 不同的错分类呵斥的危害是不同的，有的错分类种类呵斥的危害更大，因此控制这种错分类那么是更重要的。为此引入了一种“风险与“损失概念，希望做到使风险最小。要着重了解“风险与“损失的概念，

2、以及在引入“风险概念后的处置方法。 2022/7/15.了解本章的关键要正确了解先验概率，类概率密度函数，后验概率这三种概率对这三种概率的定义，相互关系要搞得清清楚楚Bayes公式正是表达这三者关系的式子，要透彻掌握。 2022/7/15.统计决策实际是方式分类问题的根本实际之一贝叶斯决策实际是统计决策实际中的一个根本方法.最小风险贝叶斯决策2聂曼-皮尔逊判决3最小错误率贝叶斯决策1第二章 统计决策实际62022/7/15正态分布决策实际4.最小错误率贝叶斯决策172022/7/15.方式识别系统的根本构成分类决策：把样本分到哪一类最合理样本空间到决策空间的一个映射采用不同的规范会得到不赞同义

3、下的“最优的决策最小错误率贝叶斯决策82022/7/15.基于最小错误率的贝叶斯决策 根本思想使错误率为最小的分类规那么称之为基于最小错误率的贝叶斯决策 .例子：挑选西瓜编号敲声好瓜1沉闷是2沉闷否3沉闷否4沉闷否5清脆是6清脆是7清脆否8浊响是9浊响否102022/7/15.贝叶斯公式先验似然后验112022/7/15当敲击声音为洪亮时, 该西瓜是好瓜的概率.挑选西瓜这种决策信息没有意义如何根据敲声挑选出好的西瓜？根据贝叶斯公式只根据先验知识挑选西瓜122022/7/15.假设有：那么为好瓜，反之亦然分母一样，实践只需求比较分子这种根据后验概率进展决策的方法称为最小错误率贝叶斯决策13202

4、2/7/15.判别函数的几种等价方式2022/7/15等价决策规那么：.讨论类条件概率密度函数直接用来分类能否合理？2022/7/15具有一定的合理性不满足最小错误率要求但是没有思索先验概率.类条件概率和后验概率区别？后验概率: P(1|x)和P(|x)同一条件x下，比较1与2出现的概率两类1和2，那么有P(1|x)+P(2|x)=1如P(1|x) P(2|x)那么可以下结论，在x条件下，事件1出现的能够性大类条件概率: P(x|1)和P(x|2)是在不同条件下讨论的问题即使只需两类1与2，P(x|1)+P(x|1)1P(x|1)与P(x|2)两者没有联络问题.问题为什么先验概率和类条件概率密

5、度函数可以作为知，而后验概率需求经过计算获得？计算概率都要拥有大量数据 估计先验概率与类条件概率密度函数时都可搜集到大量样本 对某一特定事件要搜集大量样本是不太容易 只能借助Bayes公式来计算得到 2022/7/15.错误率分析对待分类方式的特征我们得到一个察看值 x ， 合理的决策规那么：决策错误的条件概率随机变量x 的函数：182022/7/15.平均错误率(延续情况)(离散情况)192022/7/15假设我们把作出w1决策的一切观测值区域称为R1，那么在R1区内的每个x值，条件错误概率为p(w2|x)。另一个区R2中的x,条件错误概率为p(w1|x)因此平均错误率P(e)可表示成.20

6、22/7/15.优点：癌细胞筛查：是癌细胞但是判别为正常细胞的风险应该比正常细胞判别为癌细胞的风险大得多只是在最小错误率下的最优212022/7/15缺陷：基于后验概率决策的贝叶斯分类器具有最小错误率小结.最小风险贝叶斯决策2222022/7/15.根本思想使错误率最小并不一定是一个普遍适用的最正确选择。例如：癌细胞分类，两种错误的代价(损失)不同两种错误:癌细胞正常细胞正常细胞癌细胞宁可扩展一些总的错误率，但也要使总的损失减少。引进一个与损失有关联的，更为广泛的概念风险。在作出决策时，要思索所承当的风险。2022/7/15.相关概率损耗函数ii=(i/i)表示方式样本X本来属于i类而判决为i

7、类所受损失。损耗函数ij=(i/j)表示方式样本X本来属于j类错判为i所受损失风险R期望损失：对未知x采取一个判决行动(x)所付出的代价损耗条件风险也叫条件期望损失在整个特征空间中定义期望风险，期望风险2022/7/15.最小风险贝叶斯决策2022/7/15决策规那么：.最小风险 VS 最小错误率2022/7/15二类问题：把x归于1时风险： 把x归于2时风险：.聂曼-皮尔逊决策3272022/7/15.聂曼皮尔逊准那么聂曼皮尔逊准那么是在取某类错误率为常数时，另一类错误率尽能够小。例如：2022/7/15两类错误率.Lagrange乘子法将有约束极值问题问题转化为2022/7/15.注：可以

8、看出聂曼-皮尔逊决策规那么与最小错误率贝叶斯决策规那么都是以似然比为根底的，不同地是最小错误决策阈值为先验概率之比，而聂曼-皮尔逊决策阈值那么是Lagrange乘子。.2022/7/15.优点：322022/7/15缺陷：必需知道类条件概率似然可以设计实际上最优分类器小结.正态分布决策实际4332022/7/15.本节和前三节的关系前三节: 根本概念 阶段性的总结 本节: 概念详细化 结合一种比较典型的概率分布来进一步分析基于最小错误贝叶斯决策分类器的种种情况 .本节重点什么叫正态分布 高斯分布的表达式 如何将正态分布与基于最小错误率的贝叶斯决策结合起来 如何简化方式表示正态分布.研讨正态分布

9、的缘由数学上比较简单 N(, ) 只需均值和方差两个参数物理上的合理性.单变量正态分布单变量正态分布概率密度函数定义为 .思索:正态分布，或高斯分布是先验概率P(i)，还是分布P(X|i),还是后验概率P(i|X)？不是我们所讨论的先验概率P(i)，也不是后验概率P(i|X)，而是p(x|i)。2022/7/15.多变量多维正态分布2022/7/15.2022/7/15.性质、与对分布起决议作用P(x)=N(, ), 由n个分量组成，由n(n+1)/2元素组成。多维正态分布由n+n(n+1)/2个参数组成。 、等密度点的轨迹是一个超椭球面。区域中心由决议，区域外形由决议。、不相关性等价于独立性

10、。假设xi与xj互不相关,那么xi与xj一定独立。、边缘分布与条件分布的正态性。、线性变换的正态性Y=AX，A为线性变换矩阵。假设X为正态分布，那么Y也是正态分布。、线性组合的正态性。 2022/7/15.正态分布时最小错误率贝叶斯决策2022/7/15判别函数：类条件概率密度用正态来表示：决策面方程：.第一种情况各个特征统计独立，且同方差情况2022/7/15判别函数：.2022/7/15假设M类先验概率相等：最小间隔分类器未知样本x与i相减，找最近的i把x归类.2022/7/15.讨论. 对于未知样本x，把x与各类均值相减，把x归于最近一类，即为最小间隔分类器。 i 相等，即各类协方差相等。几何上看，相当于各类样本集中于以均值点为中心的同大小和外形的超椭球内。第二种情况.讨论：针对1，2二类情况，如图：.i为恣意，各类协方差矩阵不等，二次项xT i x与i有关，所以判别函数为二次型函数。第三种情况(普通情况).讨论对于(a)图， 的方差比 小，因此来自 的样本更加能够在该类的均值附近找到，且由于圆的对称性，决策面是包围 的一个圆假设把 轴伸展，图(b)的决策面就伸展为一个椭圆.讨论假设两类的条件概率在 方向上具有一样的方差，但在 方向上 的方差比 的方差大，此时 值大的样本能够来自类 ，且决策面为图(c)的抛物线假设