第2章_贝叶斯决策ppt课件

1、第2章 贝叶斯决策实际Bayesian Decision Theory.方式识别是根据对象特征值将其分类。 d个特征组成特征向量x=x1,xdT，生成d 维特征空间，在特征空间一个 x 称为一个方式样本。Bayes决策实际是用概率统计方法研讨决策问题。 为什么可用Bayes决策实际分类？ 样本的不确定性： 样本从总体中抽取，特征值都是随机变量，在一样条件下反复观测取值不同，故x为随机向量。 特征选择的不完善引起的不确定性； 丈量中有随机噪声存在。 .另一方面从样本的可分性来看：当各类方式特征之间有明显的可分性时，可用直线或曲线(面)设计分类器，有较好的效果。当各类别之间出现混淆景象时，那么分类

2、困难。 这时需求采用统计方法，对方式样本的统计特性进展观测，分析属于哪一类的概率最大。此时要按照某种判据分类，如，分类错误发生的概率最小，或在最小风险下进展分类决策等。.贝叶斯决策实际引言贝叶斯决策常用的准那么分类器，判别函数，决策面正态分布的判别函数.引言机器自动识别分类，能不能防止错分类，做到百分之百正确？怎样才干减少错误？错分类往往难以防止，因此就要思索减小因错分类呵斥的危害损失，那么有没有能够对危害大的错误严厉控制？什么是先验概率、类概率密度函数和后验概率？它们的定义和相互关系如何?贝叶斯公式正是表达三者关系的式子。.引言贝叶斯决策实际贝叶斯统计决策实际是处置方式分类问题的根本实际之一

3、，对方式分析和分类器Classifier的设计起指点作用。贝叶斯决策的两个要求各个类别的总体概率分布 (先验概率和类条件概率密度) 是知的 要决策分类的类别数是一定的.引言在延续情况下，假设对要识别的物理对象有d种特征察看量x1,x2,xd，这些特征的一切能够的取值范围构成了d维特征空间。称向量假设要研讨的分类问题有c个类别，类型空间表示为：为d维特征向量。.引言评价决策有多种规范，对于同一个问题，采用不同的规范会得到不赞同义下“最优的决策。贝叶斯决策常用的准那么： 最小错误率准那么 最小风险准那么 Neyman-Pearson准那么 最小最大决策准那么.贝叶斯决策实际引言贝叶斯决策常用的准那

4、么分类器，判别函数，决策面正态分布的判别函数.Bayes决策准那么最小错误率准那么最小风险准那么Neyman-Pearson准那么最小最大决策准那么.最小错误率准那么黑色：第一类粉色：第二类绿色：哪一类？统计决策实际就是根据每一类总体的概率分布决议未知类别的样本属于哪一类！.最小错误率准那么先验概率：类条件概率：后验概率：贝叶斯公式未获得观测数据之前类别的分布观测数据在各类别种情况下的分布X属于哪一类的概率其中：.最小错误率准那么 例：医生要根据病人血液中白细胞的浓度来判别病人能否患血液病。两类识别问题：患病，未患病根据医学知识和以往的阅历，医生知道：患病的人，白细胞的浓度服从均值2000方差

5、1000的正态分布；未患病的人，白细胞的浓度服从均值7000，方差3000的正态分布；类条件概率普通人群中，患病的人数比例为0.5%；先验概率一个人的白细胞浓度时3100，医生应该做出怎样的判别？后验概率？.最小错误率准那么数学表示： ：表示类别这一随机变量1：表示患病2：表示不患病 X：表示白细胞浓度这一随机变量 x： 表示白细胞浓度值.最小错误率准那么医生根据曾经掌握的知识知道类别的先验分布：先验概率分布：未获得观测数据病人白细胞浓度之前类别的分布。.最小错误率准那么观测数据白细胞浓度分别在两种情况下的类条件概率分布：知先验分布和观测值的类条件概率分布，就可以用贝叶斯实际求得x属于哪一类的

6、后验概率： 和.最小错误率准那么最小错误率准那么以先验概率、类条件概率密度、特征值向量为输入以后验概率作为类别判别的根据贝叶斯公式保证了错误率最小.最小错误率准那么最小错误率的贝叶斯决策规那么为： 假设 大于 ，那么把x归于患病形状，反之那么归于未患病形状。最大后验概率决策 x1=x2 ?.最小错误率准那么最小错误率准那么的平均错误率：x2=x3x2和x3 都是p(x, 1)= p(x, 2)的根，因此是两类分界.最小错误率准那么最小错误率准那么的平均错误率： 记平均错误率为P(e)，令 t = x2=x3，那么 .最小错误率准那么平均错误率能否最小？.最小错误率准那么似然比公式那么：等价于：

7、似然比公式.最小错误率准那么特例1：.最小错误率准那么特例2：.最小错误率准那么方式逻辑经典确定性推理以鲈鱼和鲑鱼分类为例：假言：假设鱼的长度 大于45cm，那么该鱼为 鲈鱼 ，否那么该鱼为鲑鱼前提：如今某条鱼 结论：该鱼为鲑鱼概率推理不确定性推理.最小错误率准那么例子：给定 ，类条件概率密度如图。现有一条鱼 x=38cm， 假设采用最小错误率决策，该鱼应该为哪一类？ 故判决：.Bayes决策准那么最小错误率准那么最小风险准那么Neyman-Pearson准那么最小最大决策准那么.最小风险准那么最小风险贝叶斯决策：思索各种错误呵斥损失不同而提出的一种决策规那么。条件风险：.最小风险准那么期望风

8、险：对于x的不同察看值，采取决策i时，其条件风险大小是不同的。所以终究采取哪一种决策将随x的取值而定。这样，决策可以看成随机向量x的函数，记为(x)。可以定义期望风险Rexp为：期望风险反映对整个空间上一切x的取值采取相应的决策(x)所带来的平均风险，也即条件风险在特征空间的平均值。.最小风险准那么两分类问题的例子：.似然比公式.0-1 损失当作出正确决策时i=j时没有损失，而对任何错误的决策，其损失为1。此时定义的损失函数为0-1损失函数。.最小风险准那么不同的损失函数决议了不同的似然比判决阈值：每一类的判决域能够是不延续的! a：0-1损失 b：1221.最小风险准那么最小风险贝叶斯决策的

9、步骤：1根据先验概率和类条件概率计算出后验概率；2利用后验概率和损失矩阵计算采取每种决策的条件风险；3比较各个条件风险的值，条件风险最小的决策即为最小风险贝叶斯决策.最小风险准那么.最小风险准那么对于贝叶斯最小风险决策，假设损失函数为“0-1损失，即取如下的方式： 那么，条件风险为： 此时，贝叶斯最小风险决策与最小错误率决策等价。.Bayes决策准那么最小错误率准那么最小风险准那么Neyman-Pearson准那么最小最大决策准那么.Neyman-Pearson准那么最小错误率准那么: 后验概率最大化，实际上错误率最小最小风险准那么： 风险函数最小化，实际上总风险最小在先验概率和损失未知的情况

10、下如何决策？.Neyman-Pearson准那么问题：先验概率和损失未知通常情况下，无法确定损失。先验概率未知，是一个确定的值某一种错误较另一种错误更为重要。根本思想：要求一类错误率控制在很小，在满足此条件的前提下再使另一类错误率尽能够小。用lagrange乘子法求条件极值.Neyman-Pearson准那么对两分类问题，错误率可以写为：由于P(1) 和P(2)对详细问题往往是确定的但是未知，普通称P1(e)和P2(e)为两类错误率。 P1(e)和P2(e)的值决议了P(e)的值。.Neyman-Pearson准那么.Neyman-Pearson准那么为了求L的极值点，将 L 分别对 t 和求

11、偏导：留意：这里分析的是两类错误率，与先验概率无关！决策准那么 ？.Neyman-Pearson准那么最小错误率准那么的等价方式Neyman-Pearson准那么 两者都以似然比为根底，在未知先验概率时运用Neyman-Pearson准那么。.Bayes决策准那么最小错误率准那么最小风险准那么Neyman-Pearson准那么最小最大决策准那么.最小最大决策准那么Neyman-Pearson准那么假定先验概率是一个确定的值，此时断定结果会遭到先验概率的影响。实践中，类先验概率 P(i) 往往不能准确知道或在分析过程中是变动的，从而导致判决域不是最正确的。所以应思索如何处理在 P(i) 不确知或

12、变动的情况下使期望风险变大的问题。最小最大决策准那么：在最差的条件下争取最好的结果，使最大风险最小！.最小最大决策准那么分析期望风险 R 与先验概率 P(1) 的关系： 对于两类问题，设一种分类识别决策将特征空间R划分为两个子空间 R1 和 R2 ，记ij为将属于 i 类的方式判为j 类的损失函数，各种判决的期望风险为：.最小最大决策准那么将)(1)(12w-=wPP和带入上式：.最小最大决策准那么期望风险可写成：一旦 R1 和 R2 确定，a和b为常数一旦 R1 和 R2 确定， R 与 P(1) 成线性关系选择使 b=0 的R1 和 R2 ，期望风险与P(1) 无关！.最小最大决策准那么P

13、A(1)1 p(1)ACDR*BR*B0DCR1 ,R2不变R1 ,R2改动PB(1)b=0此时最大风险最小,D = ab=0 时的p(1).最小最大决策准那么求 b=0 时的 p(1) 等价于在R随着p(1)的变化曲线上求：时的p(1)。在 b=0 时的 决策条件下，期望风险与p(1) 无关，值为a，此时，R的最大值最小。这种决策准那么称为最小最大决策准那么。.最小最大决策准那么由于：当采用0-1损失函数时，b=0可推导出：此时，最小最大损失判决所导出的最正确分界面应使两类错误概率相等！.贝叶斯决策实际引言贝叶斯决策常用的准那么分类器，判别函数，决策面正态分布的判别函数.概念描画分类器判别函

14、数决策面.决策域：待识别的特征向量落在哪个决策域，该样本就被判为哪一类。决策面：决策域的边境面。在数学上用解析方式表示成决策面方程。判别函数：用于表达决策规那么的某些函数。判别函数和决策面方程是亲密相关的，并且都是由相应的判决准那么所确定的。分类器，判别函数，决策面.例：两类别问题按最小错误率做决策相应的判别函数：gi(x)=p(wi|x),i=1,2决策面方程：g1(x)=g2(x)决策规那么:假设gi(x)gj(x) i,j=1,2 且i不等于j，那么x属于wi.分类器，判别函数，决策面分类器最常用的表述方式为判别函数： 基于判别函数的判决每个类别对应一个判别函数。假设：那么方式为.分类器

15、，判别函数，决策面判别函数Discriminate functions.例如基于最小误差概率的贝叶斯分类器基于最小总风险的贝叶斯分类器.Note:只需满足如下条件, 那么表达同样的判决规那么能够采用不同的判别函数： 用f(gi(x)交换gi(x)，其中f(*)为单调递增函数 例如： gi(x) kgi(x) , k为正常数 gi(x) gi(x)+k , k为恣意常数 gi(x) log(gi(x).分类器，判别函数，决策面特殊的，对于两分类问题，也可以只用一个判别函数 令：判决规那么例如：假设：那么方式为否那么为.分类器，判别函数，决策面判决区域: 判决区域 Ri 是特征空间中的一个子空间，

16、判决规那么将一切落入 Ri 的样本x分类为类别i。决策面Decision Surface：判决边境是特征空间中划分判决区域的超平面在判决边境上，通常有两类或多类的判别函数值相等.分类器，判别函数，决策面判别函数和决策面：.分类器，判别函数，决策面分类器设计就是设计判别函数，求出断定面方程g(x)!.贝叶斯决策实际引言贝叶斯决策常用的准那么分类器，判别函数，决策面正态分布的判别函数.正态分布的统计决策为什么研讨正态分布？物理上的合理性：较符合很多实践情况，观测值通常是很多种要素共同作用的结果，根据中心极限定理，服从正态分布。数学上比较简单：参数个数少单变量正态分布多元正态分布.正态分布的统计决策

17、单变量正态分布密度函数高斯分布：.正态分布的统计决策多元正态分布函数期望(均值向量)协方差矩阵(对称非负定).多元正态分布的性质参数个数：d+d(d+1)/2 均值向量：d个参数 协方差矩阵：对称的d维矩阵， d(d+1)/2个参数等密度点的轨迹为一超椭球面要使密度p(x)值不变，需指数项为常数，即：超椭球面.多元正态分布的性质马氏间隔(Mahanlanobis Distance)：与 欧式间隔：不同，马氏间隔思索数据的统计分布，在方式识别中有广泛的用途。.多元正态分布的性质正态分布的随机变量，不相关等价于独立.多元正态分布的性质线性变换仍是正态分布线性组合仍是正态分布线性变换的特例一维正态随

18、机变量.正态分布的判别函数贝叶斯判别函数可以写成对数方式： 类条件概率密度函数为正态分布时： .正态分布的判别函数情况一：各类协方差阵相等，且各特征独立，方差相等情况二：各类协方差阵相等情况三：各类协方差阵不相等 恣意的.情况一：将代入得到决策函数展开决策函数其中，二次项对一切的 i 是相等的.正交因此，等价的判决函数为：其中：决策面可以写成：其中：过 与的超平面.当，但是，假设当，向先验概率小的方向偏移。位于两中心的中点；相对于平方间隔较小，那么判决边境的位置相对于确切的先验概率值并不敏感。在此情况下，最优判决的规那么为： 为将某特征向量x归类，经过丈量每一x到c个均值向量中心的每一个欧氏间隔，并将x归为离它最近的那一类。这样的分类器称为“最小间隔分类器。.情况一：最小间隔分类器最小间隔分类器判决边境是d-1维超平面，垂直于两类中心的连线.情况一：最小间隔分类器上述结果表示在二维特征空间里，如以下图所示：可以推行到多类的情