基于贝叶斯决策理论的分类器

第二章

基于贝叶斯决策理论的分类器

Classifiers

BasedonBayesDecisionTheory§1引言§2

Bayes决策理论最小错误率的贝叶斯决策最小风险的贝叶斯决策§3

Bayes分类器和判别函数§4

正态分布的Bayes决策

§1引言模式识别是根据对象特征值将其分类。

d个特征组成特征向量x=[x1,···,xd]T，生成d维特征空间，在特征空间一个

x称为一个模式样本。Bayes决策理论是用概率统计方法研究决策问题。⒈为什么可用Bayes决策理论分类？⑴样本的不确定性：①样本从总体中抽取，特征值都是随机变量，在相同条件下重复观测取值不同，故x为随机向量。②特征选择的不完善引起的不确定性；③测量中有随机噪声存在。⑵另一方面从样本的可分性来看：当各类模式特征之间有明显的可分性时，可用直线或曲线(面)设计分类器，有较好的效果。当各类别之间出现混淆现象时，则分类困难。

这时需要采用统计方法，对模式样本的统计特性进行观测，分析属于哪一类的概率最大。此时要按照某种判据分类，如，分类错误发生的概率最小，或在最小风险下进行分类决策等。⒉三个重要的概率和概率密度先验概率、类条件概率密度函数、后验概率。⑴先验概率P(wi)

由样本的先验知识得到先验概率，可从训练集样本中估算出来。例如，两类10个训练样本，属于w1为2个，属于w2为8个，则先验概率P(w1)=0.2，P(w2)=0.8。⑵类条件概率密度函数p(x|wi)

模式样本x在wi类条件下，出现的概率密度分布函数。也称p(x|wi)为wi

关于x

的似然函数。在本章中均假设已知上述概率和概率密度函数。⑶后验概率P(wi|x)

定义为某个样本x,属于wi

类的概率,i=1,···,c。如果用先验概率P(wi)来确定待分样本x的类别,依据显然是非常不充分的，须用类条件概率密度p(x|wi)来修正。根据样本x

的先验概率和类条件概率密度函数p(x|wi)用Bayes公式重新修正模式样本所属类的概率，称后验概率P(wi|x)。3.用Bayes决策理论分类时要求：①各类总体的概率分布是已知的。②要决策的类别数c是一定的。§2

Bayes

决策理论1.Bayes公式，也称Bayes法则

2.Bayes分类规则：用后验概率分类类条件概率密度后验概率上图3.最小错误率的Bayes

决策⑴为什么这样分类的结果平均错误率最小？在一维特征空间中，t为两类的分界面分成两个区域R1和R2，R1为(－∞,t)；R2为(t,∞)。

R1区域所有x值：分类器判定属于w1类；

R2区域所有x值：分类器判定属于w2类。判断错误的区域为阴影包围的面积。x0判定错错误区区域及及错误误率真实状状态w2，而把把模式式x判定属于w1类真实状态w1，而把模式式x判定属于w2类平均错误率率P(e)决策规则实实际上对每每个x都使p(e|x)取小者，移移动决策面面t都会使错误误区域增大大，因此平均错误率率最小。⑵错误率计算算：多类时，特特征空间分分割成R1,···Rc，P(e)由c×(c-1)项组成，计计算量大。。用平均正确确分类率P(c)计算只有c项：例1：细胞识别别已知：正常常类P(w1)＝0.9;异常类P(w2)＝0.1待识别细胞胞x,从类条件概概率密度曲曲线上查得得p(x|w1)＝0.2;p(x|w2)＝0.4这种规则先先验概率起起决定作用用。这里没没有考虑错误分分类带来的的损失。4.最小风险的的Bayes决策⑴把分类错误误引起的“损失”加入到决策策中去。决策论中：：采取的的决策称为为动作，用用ai表示；每个动作带带来的损失失，用l表示。归纳数学符符号：一般用决策策表或损失失矩阵表示示上述三者者关系。决决策表表表示各种种状态下的的决策损失失，如下表表：由于引入了了“损失””的概念(即在错判时时造成的损损失)，不能只根根据后验概概率来决策策，必须考考虑所采取的决决策是否使使损失最小小。对于给定的的x，决策ai，l可在c个l(ai,wj)中选一个，，其相应的的后验概率率为P(wj|x)。此时的条件件期望损失失，即后验验概率加权权和在决策论中中条件期望望损失称为为条件风险，即x被判为i类时损失的的均值。由于x是随机向量量的观察值值，不同的的x采取不同决决策ai，其条件风风险的大小小是不同的的。决策a可看成随机机向量x的函数，记记为a(x)，它本身也也是一个随随机变量。。定义期望风险Rdx是d维特征空间间的体积元元，积分在在整个特征征空间。期望风险R反映对整个个特征空间间上所有x的取值都采取相应的的决策a(x)所带来的平平均风险；；而条件风险R(ai|x)只反映观察察到某一x的条件下采采取决策ai所带来的风风险。如果采取每每个决策行行动ai使条件风险R(ai|x)最小，则对所有的的x作出决策时时，其期望风险R也必然最小。这就是最小小风险Bayes决策。⑵最小风险的的Bayes决策规则：如果只有两两类的情况况下这时最小风风险的Bayes决策法则为为：如果R(a1|x)<R(a2|x),则x的真实状态态w1,否则w2。两类时最小小风险Bayes决策策规规则则的的另另两两种种形形式式：：例2：条条件件同同例例1，利利用用决决策策表表，，按最最小小风风险险Bayes决策策分分类类。。这里里决决策策与与例例1结论论相相反反为为异异常常细细胞胞。。因因损损失失起起了了主主导导作作用用。。l不易易确确定定，，要要与与有有关关专专家家商商定定。。例3：现现有有两两类类问问题题，，比比较较两两种种Bayes决策策。。已知知：：单单个个特特征征变变量量x为正正态态分分布布两两类类方方差差都都为为s2=1/2,均值值分分别别为为m=0,1即求：：①若若先先验验概概率率P(w1)=P(w2)=1/2，计计算算最最小小错错误误率率情情况况下下的的阈阈值值x0。②如果果损失失矩阵阵为计算最最小风风险情情况下下的阈阈值x0。①最小错错误概概率情情况下下阈值值x0(取对数数运算算)②最小风风险情情况下下阈值值x0如果这这两类类不是是等概概率，，P(w1)<P(w2),阈值左移也就是说扩扩大最大可可能类的区域。。可能性大大的类可可产产生生更更小小的的误误差差。。阈值值左左移移⑶拒绝绝决决策策在某某些些情情况况下下拒拒绝绝决决策策比比错错误误判判别别风风险险要要小小。。样本本x在各各种种判判别别条条件件下下的的平平均均风风险险当i=c+1时，，如如果果R(ac+1|x)<R(ai|x),i=1,2,······,c则对对x作出出拒拒绝绝判判别别。。若此此时时各各类类拒拒绝绝判判别别风风险险相相同同，，即即都都为为lz，则则则拒拒绝绝判判别别的的条条件件为为lz<R(ai|x),i=1,2,······,c。5.两种种Bayes决策策关关系系①多多类类问问题题中中，，若若损损失失函函数数为为0——1时②两类类问问题题中中，，若若有有即所所谓谓对称损损失函函数的情况况下，，这时时最小小风险险的的Bayes决策和和最小小错误误概率率的Bayes决策方方法相相同。。6.此外还还有下下列三三种主主要的的决策策方法法：聂曼－－皮尔尔逊决策：：两类类模式式中，，一类类错误误率为为常数数，另另一类类错误误率达达到极极小值值时的的决策策。最大最最小决决策：考虑虑到先先验概概率有有可能能改变变的分分类方方法。。选择择风险险为最最大时时的P(w)来设计计。序贯分分类决决策：考虑虑特征征的获获取要要付出出一定定的代代价。。先用用一部部分特特征来来分类类，逐逐步加加入特特征以以减少少分类类损失失。§3Bayes分类器器和判判别函函数c类的分分类问问题，，就是是按决决策规规则将将d维特征征空间间划分分为c个决策策区域域，其其边界界称为为决策面面，用决决策面面方程程表示示。用于表表示决决策规规则的的函数数称为为判别别函数数g(x)。c个类就就有c个由d个特征征组成成的单单值函函数，，即判判别函函数g(x)。1.Bayes决策中中的判判别函函数gi(x)=P(wi|x)最小错错误概概率的的决策策规则则gi(x)=-R(ai|x)最小风风险的的决策策规则则决策规规则：：gi(x)>gj(x)所有i≠j则x∈wi两类情况下下，设设最小错错误率率的Bayes决策规规则的的四种种等价价形式式后验概概率类条件件概率率密度度函数与与先验验概率率似然比比似然比比取对对数多类情况下下，设设最小错错误率率的Bayes决策规规则的的四种种等价价形式式2.决策面面方程程各决策策域R被决策策面所所分割割，这这些决决策面面是特特征空空间中中的点点、直直线、、超曲曲面，，相邻的两个个决策策域在在决策策面上上其判判别函函数相等。决策面面方程程应满满足gi(x)=gj(x)gij(x)=gi(x)－gj(x)=0i≠j且i与j为相邻邻的两两类。。一维、、三类类二维、、二类类只有两类类的分界面面：x为一维，，决策面面为一分分界点；；如图(a)x为二维，，决策面面为一曲曲线；如如图(b)x为三维，，决策面面为一曲曲面；x为d维，决策策面为一一超曲面面(b)3.分类器设设计在d维特征空空间内，，划分为为c个决策区区域。⑴多类类：根据各类类训练集集样本x计算得到到c个判别函函数gi，将待分分样本计计算gi，从中选选择最大大值作为为类决策策。分类器可可看成由由硬件或或软件组组成的一一个“机机器”。。⑵两类：两类分类类器可看看作只是是对x计算判别别函数的的一个““机器””，根据据计算结结果的符符号将x分类。例4对例1和例2分别列出出判别函函数和决决策面方方程例1.判别函数数决策面方方程例2.判别函数数决策面方方程：§4正态分布布的Bayes决策大量随机机变量服服从正态态分布,而且数学学上容易易处理,因此以正正态分布布为例来来说明。。1.正态分布布函数和和性质⑴单变量量的正态态分布概概率密度度函数性质：p(x)由m,s2确定。。随机机变量量x集中在在均值值m附近,其分散散度正正比于于标准准差s,95%样本落落入|x-m|<2s范围内内。⑵多元(维)正态分分布的的概率率密度度函数数⑶多元正正态分分布的的性质质：①参数m和S决定分分布形形状概率密密度函函数由由d+d(d+1)/2个数目目的参参数唯唯一确确定，，其中中d为均值值数，，d(d+1)/2为协方方差数数。通通常记记为。。②等概概率密密度点点的轨轨迹为为一超超椭球球面x大部分分落在在以均均值向向量m为中心心，大大小由由协方方差矩矩阵S确定的的区域域。指数项项为常常数的的x点即为等等概率率密度度。因因此超超椭球球的方方程应应是超椭球球主轴轴方向向由S的本征征向量量确定定，其其长度度与协协方差差矩阵阵的本本征值值l平方根根成正正比。。证明：：中心心移到到坐标标原点点m=0，，可用用这约约束条条件构构造Lagrange函数，，求极极值得得到。。在数理理统计计中，，定义义称x到m的Mahalanobis(马氏)距离平平方。。所以等概率率密度度点的轨迹迹是x到μ的马氏氏距距离为为常数数的超超椭球球面。。③在正正态分分布中中不相相关性性等价价于独独立性性。若两个个随机机变量量xi和xj间对多元元正态态的任任意两两个分分量xi和xj来说两两者等等价。。如果xi和xj是统计独立立，∑中xi的方差sii2,xi和xj的协方差sij2,则sij2＝0,∑为对角矩阵。则x=(x1,···,xd)T各分量是相相互独立的的正态分布布随机变量量。④多元正态分分布的边缘缘分布和条条件分布具具有正态性性⑤线性变换换的正态性性：x为多元正态态分布的随随机向量，，其均值向向量为m，协方差矩矩阵为S。对x作线性变换换，即y=AxA为线性变换换矩阵，且且非奇异，，变换后服服从均值向向量为Am，协方差矩阵阵为A∑AT的多元正态态分布。p(y)~N(Am,A∑AT)⑥线性组合的的正态性x为多元分布布的正态随随机向量，，则线性组组合y=aTx是一维的正正态随机变变量,a是与x同维向量p(y)~N(aTm,aT∑A)2.正态分布的的最小错误误率的Bayes分类条件概密函函数判别函数决策面方程程根据相邻的决策域在在决策面上上的判别函函数相等，，下面讨论几几种不同的的情况：⑴Si=s2I,i=1,2,····,c⑵Si＝S⑶Si≠Sj,i,j=1,2,····,c⑴Si=s2I各类模式分分布的协方方差矩阵相相等，各xi统计独立且且方差相同，，协方差均均为0。几何上相当当于各类样样本落在以以mi为中心同样样大小的一一些超球体体中。判别函数中中第二和第第三项与类类别i无关若c类先验概率率相等，则则gi(x)可忽略最后一一项。欧氏距离平平方：Bayes决策：①P(wi)=P(wj)先验概率相相等测量从待分分类向量x到每一类均均值向量的的欧氏距离离，把x分到距离最最近的类，，mi是从训练样样本集中得得到的。也也称最小距离分分类器。若把每个均均值向量mi看作一个典典型的样本本(模板)，则这种分分类方法也也称为模板匹配技技术。②P(wi)≠P(wj)欧氏距离的的平方必须须用方差s2规范化后减减去lnP(wi)再用于分类类。因此，，如果待分分类的向量量x同两两类类均均值值向向量量的的欧欧氏氏距距离离相相等等，，则则最最小小错错误误概概率率Bayes决策策把把这这模模式式归归入入先先验验概概率率大大的的那那类类。。实际际使使用用中中不不必必计计算算欧欧氏氏距距离离，，把把gi(x)展开开可可得得这是是x的二二次次函函数数，，其其中中xTx与分分类类无无关关这是是与与均均值值有有关关的的线性性判判别别函函数数，组组成成线性性分分类类器器。对待待分分类类的的样样本本x,分别别计计算算gi(x),i=1,2,······,cgk(x)＝maxgi(x)则决决策策x∈wki决策策面面方方程程相邻决策面方方程是由上述述线性方程所所确定的一个个超平面，且且讨论的是方方差相等，协协方差为0这样一种特殊殊情况，即。。这个方程确定定了决策面是是通过x0并正交于向量W的一个超平面面。由于W=mi－mj所以超平面正正交于均值向向量mi与mj之间的联线。。若先验概率相相等超平面通过mi与mj联线的中点，且与联线正正交。若先验概率不不相等，则x0不在中点，超平面向先验验概率小的方方向移动。若s2<<||mi-mj||2,则先验概率对对决策面的影影响就比较小小。d维特征空间，，交界面呈