模式识别-Bayes决策方法ppt课件

1、方式识别Pattern Classification第三章: Bayes决策方法Bayes决策方法原理根据Bayes决策实际，由先验知识来推断后验概率保证错误概率最小或风险最小.Bayes决策方法先验知识先验概率P(i )类概率密度P( X / i ) .Bayes决策方法根据思索问题的角度Bayes决策法最小错误概率的Bayes决策法最小风险的Bayes决策法.最小错误概率的Bayes决策一维二类情况设两类方式分别1 和2，其类概率密度分别为P(x / 1)和 P(x / 2),先验概率为P(1)和 P(2)P ( x / 1 )P ( x / 2 ) x .最小错误概率的Bayes决策一维

2、二类情况显然：由Bayes公式结合概率密度知：.一维二类情况那么后验概率同理可得 其中最小错误概率的Bayes决策.最小错误概率的Bayes决策一维二类情况合理的决策为：对待识样本x 假设P( 1 / x ) P( 2 / x ) ，那么判x1类假设P( 2 / x ) P( 1 / x ) ，那么判x类.最小错误概率的Bayes决策一维二类情况上述决策等价于：对待识样本x 假设P(x / 1) P( 1 ) P( x / 2 ) P( ) ，那么判x1类假设P(x / 2) P( 2 ) P( x / 1 ) P( 1 ) ，那么判x类即由先验知识推断后验概率.最小错误概率的Bayes决策一

3、维二类情况或： ，那么判 x1 类上述分类准那么称为Bayes决策准那么似然比.最小错误概率的Bayes决策特殊情况下，假设P( 1 ) = P( ) ，那么分类决策完全由类概率密度函数决议。 即： 假设P( x / 1) P( x / 2 ) ， 那么判x1类 假设P( x / 2) P( x / 1 ) ， 那么判x类.最小错误概率的Bayes决策以鱼自动分类为例，假设仅选取鱼的长度作为特征，那么两类鱼的类概率密度函数P(x / 1) 和 P( x / 2 ) 如下：.最小错误概率的Bayes决策类概率密度来源来统计直方图鲈 鱼鲑 鱼.最小错误概率的Bayes决策两条曲线描画了两类鱼的长度

4、区别概率密度函数已归一化，因此每条曲线下的面积为，即：.最小错误概率的Bayes决策假设先验概率P( 1 ) =2/3，P( )=1/3，那么其后验概率P( 1 / x ) 和 P( 2 / x )如以下图所示特征值x=14的方式如何分类？0.920.08.最小错误概率的Bayes决策错误概率最小？错误概率P ( x / 1 ) P (1 )P ( x / 2 ) P (2 ) x R1R2.最小错误概率的Bayes决策错误概率最小？无论判别从哪个方向调整，均导致错误概率的添加！P ( x / 1 ) P (1 )P ( x / 2 ) P (2 ) x R1R2.最小错误概率的Bayes决策

5、多类多维情况 设= 1， 2， ， c 是 C 个类别形状的有限集合，X = x1， x2， ， xd T 是 d 维特征向量， P( x / i ) 为第 i 类的类概率密度函数，P( i ) 为第 i 类的先验概率，那么有： 其中.最小错误概率的Bayes决策多类多维情况Bayes决策准那么为：.最小错误概率的Bayes决策举例 设某地域细胞识别中正常(1)和异常(2) 两类的先验概率分别为： P(1)=0.9 P(2)=0.1 且知1和2 两类的类概率密度函数为P(x/1)和P(x/2) 现有一待识细胞其特征值为x，从概率密度函数曲线查得： P(x/1)=0.2 P(x/2)=0.4 试

6、用Bayes决策准那么对待识样本进展分类。.最小错误概率的Bayes决策解：P(x/1) P(1)=0.20.9=0.18P(x/2) P(2)=0.10.4=0.04可见： P(x/1) P(1 P(x/2) P(2)由Bayes决策准那么得： x 1 类，为正常细胞.最小风险损失的Bayes决策损失的概念基于最小错误概率的Bayes决策，仅思索如何保证错误概率最小，而未思索决策所带来的损失。例如： 自动灭火系统，乙肝诊断，鱼的分类等，那么应思索错判呵斥的损失。可利用决策论的实际和方法来处理上述问题。.最小风险损失的Bayes决策损失的概念设=1， 2， ， c 表示 c 个有限的类别形状的

7、集合， A=a1， a2， ， ak 表示 k 个有限的决策行为的集合那么定义 为方式自然形状为j 时，采取决策 ai 所呵斥的损失.最小风险损失的Bayes决策损失的概念例如，对于细胞正常或异常的分类问题，可得如下损失表1（正常）2（异常）a1（正常）11 = 0 12 = 10a2 （异常）21 = 222 = 0自然形状损失决策.最小风险损失的Bayes决策风险函数损失函数设P(j)是自然形状为j的先验概率， X为d维特征向量，那么由Bayes决策实际知，后验概率：由于每一类后验概率P( X )均一样，可将其视为一标量因子.最小风险损失的Bayes决策风险函数损失函数假定我们观测某个特定

8、方式 X 并且采取行为 ai ，假设真实的类别形状为j ，经过定义我们将有损失 (ai /j)显然，与行为 ai 相关的总的损失为.最小风险损失的Bayes决策风险函数损失函数上式称为作出决策ai 的风险函数，简记为：.最小风险损失的Bayes决策决策过程当待识样本 X 到来时，将其判为各类所带来的风险分别为R1(X)， R2(X) ， ， Rc(X) 那么基于最小风险的Bayes决策准那么为： .最小风险损失的Bayes决策问题：如何合理、科学、准确地定义ij ?带有客观要素.最小风险损失的Bayes决策特殊情况：两类问题 那么基于最小风险损失的Bayes决策为： 假设R1(X) R2(X)

9、，那么 判 X 1 类.最小风险损失的Bayes决策特殊情况：两类问题上述决策等价于：对待识样本x假设：，那么判 x1 类 似然比.最小风险损失的Bayes决策.最小风险损失的Bayes决策特殊情况：两类问题 假设： 12 -22 = 21 -11，即对称损失，那么最小风险Bayes决策与最小错误概率Bayes决策是等价的。 .最小风险损失的Bayes决策例： 1(乙肝) 2(安康) P(1)=0.05 P(2)=0.95 P(x/1) =0.5 P(x/2) =0.2 11 = 22 =0， 12 = 1，21 =10 试分别用最小风险和最小错误概率Bayes决策对方式X分类.最小风险损失的

10、Bayes决策解：最小错误概率Bayes决策 P(x/1) P(1)=0.050.5=0.025 P(x/2) P(2)=0.20.95=0.19 可见： P(x/1) P(1 gj(x) j i那么判待识样本 x 属于i类.分类器、判别函数与判别界对最小错误概率Bayes决策 gi(x) = P(i / x) 或 gi(x) = P(x /i) P(i) gi(x) = ln P(x / i) + ln P(i) 对最小风险Bayes决策 gi(x) = - R(i / x).分类器、判别函数与判别界基于判别函数的分类器.分类器、判别函数与判别界上述判别函数将特征空间划分为c 个判别区域 R

11、1 , R2 , , Rc 各个判别区域满足： 假设 gi(x) gj(x) j i 那么 x 位于判别区域 Ri.分类器、判别函数与判别界R1R2R3R4g1(X)g4(X)g3(X)g2(X).分类器、判别函数与判别界两类情况分类器仅需思索两个判别函数g1(x)和 g2 (x) 定义：g(x) g1(x) g2(x)= P(x /1) P(1) - P(x /2) P(2 ) 基于判别函数的决策为： 假设 g(x) 0，那么 x 属于 1 类; 假设 g(x) 0， 那么 x 属于 2 类 .分类器、判别函数与判别界两类情况g(X)0g(X)0.正态分布条件下的Bayes决策 一维正态分布

12、 均值： 方差： 一维正态分布可以简写为： .正态分布条件下的Bayes决策一维正态分布的统计特性 95%的样本落在 2 范围内99%的样本落在 3 范围内越小，样本分布越集中，反之越发散.正态分布条件下的Bayes决策一维正态分布.正态分布条件下的Bayes决策多维正态分布 设 d 维特征向量 那么 d 维正态分布定义为：简记为：.正态分布条件下的Bayes决策多维正态分布其中： 称为均值向量，反映了样本在d维特征空间的重心位置。 .正态分布条件下的Bayes决策多维正态分布 i 反映了样本在特征空间第 i 个方向的重心位置边缘概率分布.正态分布条件下的Bayes决策多维正态分布 称为协方差

13、矩阵。.正态分布条件下的Bayes决策多维正态分布 当i=j时， ij反映样本在d维特征空间各方向的发散程度；当ij时， ij反映各特征间的统计相关性。 .正态分布条件下的Bayes决策设各类样本的类概率密度均满足正态分布，即根据最小错误概率Bayes决策准那么有：假设判别函数 那么判 x i .正态分布条件下的Bayes决策 为了分析方便，现取判别函数的自然对数单调增函数，即令： 下面分三种情况进展讨论.正态分布条件下的Bayes决策情况一各类协方差矩阵一样， i j 各特征统计独立，即：， ij且，i=j 即.正态分布条件下的Bayes决策情况一此时，且其中：单位矩阵.正态分布条件下的Ba

14、yes决策情况一那么判别函数：此时的Bayes决策等价为：假设要将待识样本X进展分类，那么只需计算X到各类样本均值向量i 的欧氏间隔，再将X归类到间隔最近的类别，此时的分类器称为最小间隔分类器。欧氏间隔.正态分布条件下的Bayes决策情况一均值向量 均值向量 2 待识样本 最小间隔分类器.正态分布条件下的Bayes决策情况一由于：与类别无关，可不思索.正态分布条件下的Bayes决策情况一故：称gi(x)为线性判别函数，相应的分类器为线性分类器。.正态分布条件下的Bayes决策情况一.情况一.正态分布条件下的Bayes决策情况二各类方差一样，即 那么 其中 称为样本X与正态分布方式类的马氏间隔M

15、ahalanobis间隔。 当待识别的样本X到来时，分别计算样本X与各个方式类的马氏间隔，并将X分类到马氏间隔最近的方式类中。 .正态分布条件下的Bayes决策情况二可以证明，此时判别函数仍满足线性关系，即：分类器仍为线性分类器.正态分布条件下的Bayes决策情况三各类协方差矩阵各不一样，即：分类器为非线性分类器二次型分类器.影响方式识别的关键要素 方式的紧致性问题假设将方式类视为集合，那么集合中的点可分为两类：内点和临界点 内点：与该点相邻的点间隔最近的点依然属于该点所在的集合 临界点：与该点相邻的点属于另外的集合方式类。.影响方式识别的关键要素方式的紧致性问题假设将方式类视为集合，那么集合中的点可分为两类：内点和临界点 内点：与该点相邻的点间隔最近的点依然属于该点所在的集合 临界点：与该点相邻的点属于另外的集合方式类。.影响方式识别的关键要素方式的紧致性问题无临界点临界点较少临界点多得无法进展分类.影响方式识别的关键要素方式的紧致性问题紧致集：指满足以下条件的方式类临界点的数量与总的样本点数相比很少每个内点对都有足够大的邻域，使得该邻域内的点都在同一集合 假假设每一方式类都满足紧致集的假设，那么方式识别并不存在多大困难，但对于许多识