贝叶斯分类器-gai课件

1、第二章 贝叶斯分类器2.1 最小错误率判别规则2.2 最小风险判别规则2.3 分类器的错误率2.4 奈曼-皮尔逊判别规则2.5 最小最大判别规则第二章 贝叶斯分类器2.1 最小错误率判别规则 模式识别的分类问题就是根据待识别对象的特征向量值及其它约束条件将其分到某个类别中去。统计决策理论是模式分类问题的基本理论之一,它对模式分析和分类器的设计有着实际的指导意义,贝叶斯(Bayes)决策方法是统计模式识别中的一个重要方法,是处理模式分类问题的基本理论之一。本章要讨论的贝叶斯分类器在统计模式识别中被称为最优分类器。 引言 模式识别的分类问题就是根据待识别对象的特征向量值及其它约例1 癌细胞识别问题

2、: 如何区分正常细胞与癌细胞?正常细胞癌细胞x1x2差异描述,特征选择 x1 圆形度 x2 形心偏差度称x为细胞的特征向量或称模式x5000个细胞的数据分布正常细胞类用1表示癌细胞类用2表示记 x = ( x1, x2 )T例1 癌细胞识别问题: 如何区分正常细胞与癌细胞?正常细采用贝叶斯方法必须满足下列两个条件:各类别总体的概率分布是已知的。 即 P ( i ) 与 P ( x/ i )已知 i = 1,2, M其中 P ( i ) 称为类先验概率 第i类出现的概率. P ( x/ i )称为类条件概率 第i类特征向量的概率密度函数要决策分类的类别数是一定的；假设要研究的分类问题有M个类别，

3、分别用 i来表示，i1，2，, M采用贝叶斯方法必须满足下列两个条件:各类别总体的概率分布模式识别问题假设对象来自m个不同的类,用d个特征来描述对象. 特征向量 x= ( x1, x2, . xd )T , x也称为模式.特征(模式)空间 S 所有的特征(模式)构成的集合.S为d维空间R d的一个子集,模式x是S中的一个点.模式识别问题将模式空间划分为m个不同的区域,使得每个区域对应到一个类x1x2错识率 也称错误率,是判别分类器好坏的重要依据模式识别问题假设对象来自m个不同的类,用d个特征来描述对象.2.1 最小错误率判别规则 1. 问题描述 2. 判别规则 3. 决策域.判别函数 4. 参

4、数估计 5. 计算实例2.1 最小错误率判别规则 1. 问题描述1.问题描述 在模式分类问题中,人们往往希望尽量减少分类的错误.从这样的要求出发,利用Bayes公式,可得出使错误率最低的分类规则,称之为基于最小错误率的贝叶斯分类决策癌细胞识别问题,设x为待识别的细胞,为其类别. = 1 表示x为正常细胞 = 2 表示x为癌细胞如果只用类别先验概率P ( 1) 和P ( 2)来判别,会把所有的待识别细胞都归于正常类,根本达不到将正常细胞与癌细胞区分开来的目的1.问题描述 在模式分类问题中,人们往往希望尽量减少分类的错计算后验概率应充分利用待识细胞的特征向量x中所包含的信息.在给定x的情况下,类别

5、 1, 2出现的概率P ( 1 / x)与P ( 2 / x)是不一样的由引言中的假设,已知类别先验概率 P ( i ) i=1,2类别条件概率 P ( x/ i ) i=1,2由Bayes公式,P ( i / x)=P (x / i ) P ( i ) j P (x / j ) P ( j ) i = 1, 2称为后验概率，由此，可以判决 x所属的类别计算后验概率应充分利用待识细胞的特征向量x中所包含的信息.2.判别规则Bayes公式是通过待识样本提供的模式特征信息x将类先验概率P ( i )转化为类后验概率P ( i / x)这样,基于最小错误率的贝叶斯判别规则为若 P ( 1 / x)

6、P ( 2 / x) 则判 x 1 若 P ( 2 / x) P ( 1 / x) 则判 x 2若 P ( 1 / x) = P ( 2 / x) 不能判定, 拒判 2.判别规则Bayes公式是通过待识样本提供的模式特征信息x 等价的判别规则 x * = Arg Max P ( i / x) i x * = Arg Max P (x/ i) P ( i ) i l ( x ) = P (x/ 1)P (x/ 2)P ( 2)P ( 1) x 1 x 2 h(x) = - ln l ( x ) = -ln P (x/ 1) + ln P (x/ 2) P ( 1)P ( 2)lnx 1 x 2

7、等价的判别规则 x * = Arg Max3. 决策域.判别函数 决策域:对于m类分类问题，按照判别规则可以把特征向量空间(或称模式空间)分成m 个互不相交的区域R i ,i=1,2, m决策边界:划分决策域的边界，在数学上用解析形式可以表示成决策边界方程（等式）判别函数:用于表达决策规则的某些函数。判别函数与决策边界方程是密切相关的，而且它们都由相应的判别规则所确定。3. 决策域.判别函数 决策域:对于m类分类问题，按照判别规 g i(x) = P ( i / x) i = 1,2,m ， 后验概率 g i(x) = P (x/ i) P ( i ) i = 1,2,m， 分子 g i(x)

8、 = ln P (x/ i) + ln P ( i) i = 1,2,m若 k = Arg Max g i (x), i = 1,2,m 则 x k , 称 g i (x) 为第 i 类的判别函数不同的判别方法有不同的判别函数 对每一类别,定义一个函数g i(x) i = 1,2,m,且满足下述g i(x)均为最小错误率判别规则判别函数. g i(x) = P ( i / x) i =确定了判别函数，决策边界也就确定下来了,相邻的两个决策域在决策边界上其判别函数值是相等的。如果决策域R i与Rj是相邻的,则分割这两个决策域的决策边界方程应满足： g i(x) g j(x)一般地说，模式x为二维

9、时，决策边界为一曲线；三维时，决策边界为一曲面；d维(d3)时，决策边界为一超曲面。一维时，决策边界为一分界点； 确定了判别函数，决策边界也就确定下来了,相邻的两个决策域在决 第 i 类决策域x1x2R iR j相邻的决策域的决策边界方程满足 g i(x) g j(x)决策边界 第 i 类x1x2R iR j相邻的决策域的决策边界方程满分类器设计分类器可看成是由硬件或软件组成的“机器”，贝叶斯分类器的结构如下图所示(m为类别数）。g 1g 2gmx1x2xd Max决策 (x)分类器设计分类器可看成是由硬件或软件组成的“机器”，贝叶斯分4.参数估计利用最小错误率判别规则的关键是通过已知样本估计

10、下列概率类别先验概率 P ( i ) i=1,2,m在癌细胞识别问题中,根据医院病理检查的大量统计资料,可以对某一地区正常细胞和癌细胞出现的比例作出估计类别条件概率 P ( x/ i ) i=1,2 ,m在癌细胞识别问题中,可分别在正常细胞类及癌细胞类中估计随机向量的概率密度函数4.参数估计利用最小错误率判别规则的关键是通过已知样本估计下5.计算实例 例1 有一家医院为了研究癌症的诊断，对一大批人作了一次普查，给每人打了试验针，然后进行统计，得到如下统计数字： 这批人中，每1000人有5个癌症病人； 这批人中，每100个正常人有1人对试验 的反应为阳性， 这批人中，每100个癌症病人有95入对

11、 试 验的反应为阳性。 通过普查统计，该医院可开展癌症诊断。 现在某人试验结果为阳性，诊断结果是什么?5.计算实例 例1 有一家医院为了研究癌症的诊断，对一P ( 1) = 0.995, P ( 2) = 0.005P (阳性/ 1) = 0.01, P (阴性/ 1) = 0.99P (阳性/ 2) = 0.95, P (阴性/ 2) = 0.05由此可算得假如正常人用1类表示，癌症病人用2类表示。以试验结果作为特征，特征值为阳或阴。根据统计数字，得到如下概率：P (x/ 1) P ( 1) =P (阳性/ 1) P ( 1) = 0.0995P (x/ 2) P ( 2) =P (阳性/

12、2) P ( 2) = 0.00475由于 P (x/ 1) P ( 1) P (x/ 2) P ( 2)所以 x 1 即此人属正常人P ( 1) = 0.995, P ( 2) = 0.2.2 最小风险判别规则问题的提出损失.风险判别规则两种贝叶斯判别法的联系计算实例2.2 最小风险判别规则问题的提出1.问题的提出在例1中某人的试验结果为阳性，根据最小错误率贝叶斯决策，判他属正常人，那么他属正常人的概率是不是100呢?我们可计算出试验结果为阳性的条件下他属正常人的概率P ( 1/阳性) = P (阳性/ 1) P （ 1 ）P (阳性/ 1) P ( 1) +P (阳性/ 2) P ( 2)

13、 67.7%1.问题的提出在例1中某人的试验结果为阳性，根据最小错误率 从这里可以看出，尽管采用了最小错误率贝叶斯决策，但仍然可能将正常人错判为癌症病人，也可能将癌症病人错判为正常人。这些错判都会带来一定的损失。将正常人错判为癌症病人，会给他带来短期的精神负担，造成一定的损失，这个损失比较小。如果把癌症病人错判为正常人，致使患者失去挽救的机会，这个损失就大了。这两种不同的错判所造成损失的程度是有显著差别的。所以，在决策时还要考虑到各种错判所造成的不同损失，由此提出了最小风险贝叶斯决策。 从这里可以看出，尽管采用了最小错误率贝叶斯决策，但仍然可能2.损失.条件风险仍以细胞识别为例。假定：模式x

14、本属正常类而判属正常类所造成的损失为l11模式x 本属癌变类而判属正常类所造成的损夫为l21模式x 本属正常类而判属癌变类所造成的损失为l12模式x 本属癌变类而判届癌变类所造成的损失为l22 条件风险定义为:将模式x判属某类所造成的损失的条件数学期望。即 l i j = 将 i类判为 j类所造成的损失. i = 1, 22.损失.条件风险仍以细胞识别为例。假定：条件风险定义为:r 1 ( x ) = l11 P ( 1 / x) + l21 P ( 2 / x) r 2 ( x ) = l12 P ( 1 / x) + l22 P ( 2 / x) 根据条件风险的定义，将模式x 判属正常类

15、1 的条件风险为:将模式x判属 1类所造成的损失的条件数学期望,即同理，将模式x判属癌变类 2的条件风险为我们可以根据条件风险的大小来判别。若 r 1 ( x ) r 2 ( x ), 则 x 1 若 r 1 ( x ) r 2 ( x ), 则 x 2 r 1 ( x ) = l11 P ( 1 / x) + 类条件概率密度形式l11 P ( 1 / x) + l21 P ( 2 / x) l12 P ( 1 / x) + l22 P ( 2 / x) l11 P (x / 1) P ( 1) + l21 P (x / 2) P ( 2) l12 P ( 1 / x) P ( 1) + l2

16、2 P ( 2 / x) P ( 2) 后验概率形式x 1 2x 1 2类条件概率密度形式l11 P ( 1 / x) + l3.判别规则损失函数 l i j i, j = 1, 2, , m, 显然 l i i =0 将原本属于 i类的样本判属为 j类所造成的损失设模式的状态空间由m个自然状态(m类)组成 = 1, 2 , , m 样本 x = ( x1 , x2 , , xd )条件风险 r i ( x ) i = 1, 2, , m模式x 判属类 i 的条件风险为:将模式x判属 i类所造成的损失的条件数学期望.r i ( x ) = j=1 l j i P ( j / x) i = 1,

17、 2, , mm3.判别规则损失函数 l i j i, j = 1r i ( x ) = j=1 l j i P ( j / x)m类条件概率密度形式后验概率形式r i ( x )的两种表达形式, i = 1, 2, , m r i ( x ) = j=1 l j i P (x / j) P ( j)m则最小风险的贝叶斯判别规则为若 r i ( x ) r j ( x ) , i = 1, 2, , m, i j 则 x ir i ( x ) = j=1 l j i P ( g i(x) = r i ( x ) i = 1, 2, , m最小风险判别法的判别函数可取为g 1g 2gmx1x2x

18、d Max决策 (x)g i(x) = r i ( x ) i4.两种贝叶斯判别法的联系以两类问题为例加以分析。最小错误率贝叶斯决策规则P (x/ 1)P (x/ 2)P ( 2)P ( 1) x 1 x 2 假定错误决策总是比正确决策所造成的损失要大即 l12 l11, l21 l22, 最小风险贝叶斯决策规则为P (x/ 1)P (x/ 2) (l21 l22 )P ( 2)(l12 l11 )P ( 1)x 1 x 2 4.两种贝叶斯判别法的联系以两类问题为例加以分析。最小错误率不等号右边的值称为似然比阈值. l ( x ) = P (x/ 1)P (x/ 2)在统计学中称为似然比函数这

19、两种判别规则都采用似然比函数，区别仅在于取不同的似然比阈值。记最小错误率贝叶斯决策的似然比阈值为1记最小风险贝叶斯决策的似然比阈值为2特别,当 l11 = l22 =0, l12 = l21 时P ( 2)P ( 1)则 1 =(l21 l22 )P ( 2)(l12 l11 )P ( 1)2 = 这两种决策是等价的，换句话说，最小错误率贝叶斯决策是最小风险贝叶斯决策的特例。不等号右边的值称为似然比阈值. l ( x ) = P (5.计算实例 例2 在例1条件的基础上，令l11 0， l21 =3， l12 =1， l22 0，按最小风险贝叶斯决策为此人诊断。r 1 ( x ) = l11

20、P ( 1 / x) + l21 P ( 2 / x) =0.01325 r 2 ( x ) = l12 P ( 1 / x) + l22 P ( 2 / x) =0.00995由于 r 1 ( x ) r 2 ( x ), 所以 x 2即此人属癌症病人计算条件风险5.计算实例 例2 在例1条件的基础上，r 1 ( x ) 将本例与例1相对比，分类结果正好相反。这是因为最小风险贝叶斯决策多考虑了一个因素，即损失。而且两种错判所造成的损失相差悬殊，导致不同的分类结果。从这个例子可以看出，采用最小风险贝叶斯决策，各种损失的确定很关键。一定要客观地分析错判所造成的严重程度，确定恰当的损失值。 将本例

21、与例1相对比，分类结果正好相反。这是因为最小风险贝叶2.3 分类器的错误率错误率贝叶斯分类器的错误率特殊情形下错误率计算错误率估计2.3 分类器的错误率错误率1.错误率在分类器设计出来后，通常总是以错误率评价其性能。特别是当同一个分类问题设计出几种不同的分类方案时，通常总是以错误率作为方案比较的标准。因此，在模式识别的理论和实践中错误率是非常重要的参数。 所谓错误率是指平均错误率，以P ( e )来表示，其定义为 P ( e , x ) d xSP ( e ) = P ( e /x ) P ( x ) d xS1.错误率在分类器设计出来后，通常总是以错误率评价其性能。2.贝叶斯分类器的错误率同

22、理在作出决策 2时， x的条件错误概率为P ( 1 / x), 在决策域R1中 P ( 1 / x) P ( 2 / x)显然在作出决策 1时， x的条件错误概率为P ( 2 / x); 对于两类问题，S = R1 R2假设我们采用最小错误率贝叶斯决策。可表示为P ( e /x )=P ( 1 / x)P ( 2 / x)若 P ( 1 / x) P ( 2 / x)若 P ( 1 / x) P ( 2 / x)2.贝叶斯分类器的错误率同理在作出决策 2时， 在决策P ( 2 /x ) P ( x) d x +P ( e )=R 1P ( 1 /x ) P ( x) d xR 2=P (x/

23、2) P ( 2 ) d x +R 1P (x/ 1) P ( 1 ) d xR 2R 1=P ( 2 ) P (x/ 2) d x +P ( 1 ) P ( x/ 1) d xR 2=P ( 2 ) P 2( e ) +P ( 1 ) P 1( e ) 其中P 1( e ) 表示将 1类错判为 2类的概率P 2( e )表示将 2类错判为 1类的概率P ( 2 /x ) P ( x) d x +P ( e下图给出了一维情况的例子, t是决策边界, 斜线面积为P ( 2 ) P 2( e ), 网线面积为P ( 1 ) P 1( e ),两者之和为P ( e ) 决策规则实际上是对每个x都使P

24、 ( e /x )取小者，这就使平均错误率P ( e )达到最小。这就说明了为什么这种判别称为最小错误率贝叶斯判别。xptP (x/ 2) P ( 2 )P (x/ 1) P ( 1 )下图给出了一维情况的例子, t是决策边界, 斜线面决策规则实 从P ( e )的表达式可以看出，当x是多维向量时，实际上要进行多重积分的计算。所以，从表面上看，错误率的理论计算公式不复杂，但在多维情况下，类条件概率密度函数的解析表达式又较复杂时，计算错误率是相当困难的。 因此，一般情况下采用实验估计错误率，只在一些特殊情况下用理论公式计算错误率。下面先介绍在一种特殊情况下的错误率的理论计算，然后讨论实验估计方法

25、。 从P ( e )的表达式可以看出，当x是多维向量时，实际3.特殊情形下错误率计算 假设为两类情况，且模式服从正态分布，而且两类的协方差矩阵相等，即其中1, 2分别为两类的期望向量，C为协方差矩阵。下面用理论公式求错误率。最小错误率贝叶斯决策规则为i = 1 , 2h(x) = - ln l ( x )P ( 1)P ( 2)lnx 1 1 = 用h(x)表示的决策域 R1 = ( - , ), R2 = ( , )exp - ( x-i )TC -1 (x-i) (2)d/2 |C|1/2112P (x/ i) = 3.特殊情形下错误率计算 假设为两类情况，且模式服从正态分h(x) = -

26、ln P (x/ 1) + ln P (x/ 2) = a x + b其中 a = ( 2 1)TC -1 b = ( 1 TC -1 1 2 TC -1 2)/2h(x)是x的线性函数。 x是正态分布的随机向量，根据概率论的知识可知， h(x) 服从一维正态分布设 h(x)/ i N( m(i), 2 (i) )记 = ( 1 2)TC -1 ( 1 2), 2 = 2 , 计算得m(1) = - , m(2) = 2 (1)= 2 (2)= 2 h(x) = -ln P (x/ 1) + ln P (记标准正态分布 的分布函数为 ( x), 计算可得P 1( e ) = P (x/ 1)

27、d x = P ( h/ 1 ) d hR 2= 1 ( ( + ) / )P 2( e ) = P (x/ 2) d x = P ( h/ 2 ) d hR 1= ( ( - ) / )-P ( e ) = P ( 2 ) P 2( e ) +P ( 1 ) P 1( e ) = P ( 2 ) ( ( - ) / ) + P ( 1 ) 1- ( ( + ) / ) 记标准正态分布 的分布函数为 ( x), 计算可得P P ( h/ 2 )P ( h/ 1 )-hpoP 2( e )P 1( e )P ( e ) = P ( 2 ) P 2( e ) +P ( 1 ) P 1( e ) P

28、 ( h/ 2 )P ( h/ 1 )-hpoP4.错误率估计由于每次任意抽取样本数以及每次试验的错分样本数都可能不同，所以N e 可看作一个离散的随机变量。先验概率P ( i )未知设是真实的错误率, 试验的错分样本数N e若每次抽取样本数为N,则 N e服从为二项分布B( N , ),利用极大似然估计法可得 的估计量为= N e/ N 4.错误率估计由于每次任意抽取样本数以及每次试验的错分样本即可以认为错误率的估计值等于被错分的样本数目与样本总数之比.我们可简单地随机抽取N个已知类别的样本，用给定的分类器来对这些样本进行分类, 并统计被错分的样本数, 假定错分的样本数目为 N e = k

29、, 则估计方法 = k / N 即可以认为错误率的估计值等于被错分的样本数我们可简单地随机抽先验概率P ( i )已知假设 1 类中N1个样本被错分了N e1个 2 类中N2个样本被错分了N e2 个则N e1 与N e2 相互独立从类别 1和 2 总体中抽取N1 P ( 1 ) N 和 N2 P ( 2 ) N个样本，对给定的分类器作分类检验。对于两类情况，设 i 是类别 i真实的错误率 i = 1, 2先验概率P ( i )已知假设 1 类中N1个样本被错同样可求得 i的最大似然估计为 1 = N e1 / N1 2 = N e2 / N2 而总的错误率的估计为 = 1 P ( 1)+ 2

30、 P ( 2)通过上面的讨论可以看出，这些估计是在最大似然估计意义下最好的估计。同样可求得 i的最大似然估计为 1 = N e1 / 2.4 奈曼-皮尔逊判别规则1.问题的引入判别规则参数的确定计算实例2.4 奈曼-皮尔逊判别规则1.问题的引入1.问题的引入 采用最小错误率贝叶斯决策需要知道先验概率 P ( i ) ，但有时P ( i ) 难以确定。采用最小风险贝叶斯决策需要确定恰当的损失值，这也并非易事.在两类问题决策中，有时要求P 2 ( e ) 不得大于某个常数，即取P 2 ( e ) q，q是一个很小的常数，在这个条件下再要求 P 1 ( e )尽可能小. 在这种情况下, 奈曼.皮尔逊

31、决策为此提供了一种决策方案。1.问题的引入 采用最小错误率贝叶斯决策需要知道先验概率在2.判别规则 这种决策可看成是在P 2 ( e ) q条件下，求P 1 ( e )的条件极小值问题。可采用拉格朗日乘数法求解可设 F = P 1 ( e ) + ( P 2 ( e ) q )其中 是拉格朗日乘子，目的是求F 的极小值P 2 ( e ) =P (x/ 2) d x = qR 1P 1 ( e ) =P (x/ 1) d x = 1 - P (x/ 1) d xR 2R 1为简单起见, 设d = 1, R1 = ( -, x0 ) ,R2 = ( x0 , )2.判别规则 这种决策可看成是在P

32、2 ( e ) q条则 F = ( 1 - q ) + P (x/ 2) - P (x/ 1) d x R 1要使F 最小，积分项应取负值，即在R l区域内应使P (x/ 1)P (x/ 2) 同理 F = ( 1 - q ) + P (x/1) - P (x/ 2) d x R 2要使F 最小，积分项应取负值，即在R 2区域内应使P (x/ 1)P (x/ 2) P (x/ 1)P (x/ 2) x 1 x 2 由此得判别规则为则 F = ( 1 - q ) + P (x/这种决策称为奈曼.皮尔逊决策。可以看出奈曼.皮尔逊决策与前面介绍的两种贝叶斯规则都是以似然比为基础的所不同的只是奈曼.皮

33、尔逊决策用的阈值为拉格朗日乘子运用奈曼.皮尔逊决策的关键是确定拉格朗日乘子下面给出其表达式这种决策称为奈曼.皮尔逊决策。可以看出奈曼运用奈曼.皮尔逊决由 F = ( 1 - q ) + P (x/ 2) - P (x/ 1) d x R 1= ( 1 - q ) + P (x/ 2) - P (x/ 1) d x x0-F 与和 x0 有关, 令F 对 和 x0 的偏导数等于零, 得 = P ( x0 / 1 )P ( x0 / 2 )其中 x0 由 P (x/ 2) d x = q 确定x0-3.参数的确定由 F = ( 1 - q ) + P (对于d1,求解边界曲面是不容易的,这时可用数

34、值试探方法. P 2 ( e ) =P (x/ 2) d xR 1= P ( l / 2 ) d x = q显然P 2 ( e ) 是的单调减函数, 当=0时, P 2 ( e ) =1; 当时, P 2 ( e ) 0通过试探,总可以找到一个合适的满足上述最后一个等式, 可用列表的方法.似然比函数 l (x) = P (x/ 1)/ P (x/ 2)用l(x)表示的决策域 R1 = ( , ), R2 = ( 0, )对于d1,求解边界曲面是不容易的,这时可用数值试探方法. 4.计算实例例3 一个两类问题，模式分布为二维正态，其分布参数1 = (-1, 0 )T, 2 =(1, 0 ) T，

35、C1=C2I假定 P2 ( e ) =q=0.046，求奈曼.皮尔逊决策的阈值.P (x/ 1) =exp - 0.5( x-1 )T (x-1) 21exp - 0.5 ( x1+1 )2 +x22 21=解:P (x/ 2) =exp - 0.5( x-2 )T (x-2) 21exp - 0.5 ( x1-1 )2 +x22 21=4.计算实例例3 一个两类问题，模式分布为二维正态，其分l (x) = P (x/ 1)/ P (x/ 2) = exp ( -2 x 1)由已知,可计算得在 2中 x 1 N( 1, 1 ), 进一步可得 P ( l / 2 ) d xP 2 ( e ) =

36、在不同的值时，可求得 P 2 ( e ) 的值, 见下表exp - 0.5( x1 +1) 2 d x1(2)1/ 21= 0.5lnl (x) = P (x/ 1)/ P (x/ 2)4210.50.25P 2 ( e )0.0460.0890.01590.2580.378 对于给定的q值，查表可找到相应的值.如本例P 2 ( e ) = q =0.046，查表可得决策阈值 4决策边界P (x/ 1)/ P (x/ 2) = exp ( -2 x 1)=, x 1=0. 5 ln 当P 2 ( e ) = q =0.046 时 x 1=0. 5 ln = 0. 5 ln 44210.50.2

37、5P 2 ( e )0.0460.089x1x212R 1R 2决策边界:一条直线x1=-0.5ln4决策方法: 对任一待判样本 x = (x1, x2)若 x1 0. 5 ln 4, 则 x 判属于 1类若 x1 0. 5 ln 4, 则 x 判属于 2类x1x212R 1R 2决策边界:一条直线决策方法: 2.5 最小最大判别规则基本思想平均风险决策域的确定决策规则2.5 最小最大判别规则基本思想1.基本思想 从最小错误率和最小风险的贝叶斯决策中可以看出,其决策都是与先验概率P ( i)有关的,当先验概率已知时,按照贝叶斯决策规则,可以使错误率或风险最小,如果P ( i)是可变的或事先对先

38、验概率毫无所知,就无法用贝叶斯决策.本节介绍一种最小化最大风险的决策方法,也就是在最差的条件下,争取最好的结果,我们将此方法简称最小最大决策.1.基本思想 从最小错误率和最小风险的贝叶斯决策中可以看出,2.平均风险考虑两类问题 = 1, 2 , S = R1R2损失函数 l i j i, j = 1, 2, 显然 l i i =0 将原本属于 i类的样本判属为 j类所造成的损失样本 x = ( x1 , x2 , , xd )条件风险 r i ( x ) i = 1, 2模式x 判属类 i 的条件风险为:将模式x判属 i类所造成的损失的条件数学期望.ri (x) = j=1 l j i P ( j / x) i = 1, 222.平均风险考虑两类问题 = 1, 2平均风险R = i E ri (x) = i ri (x) P ( x ) d xS= i j=1 l j i P ( j / x) P ( x ) d xS= i,j l j i P (x/ j) P ( j ) d xS= i,j l j i P (x/ j) P ( j ) d xR i平均风险R = i E ri (x) = i a , b 与R1有关, 其中= a + b P ( 1) R = l 22 +( l 12 - l 2