模式识别第三章StatisticDiscriminant

第三章统计判别3.1.贝叶斯判别原则3.2.Bayes最小风险判别准则3.3.聂曼－皮尔逊判别准则3.4.正态分布模式的贝叶斯分类器3.5.贝叶斯分类器的错误概率3.1作为统计判别问题的模式分类随机特征向量的概念模式识别的目的就是要确定某一个给定的模式样本属于哪一类。可以通过对被识别对象的多次观察和测量，构成特征向量，并将其作为某一个判决规则的输入，按此规则来对样本进行分类。随机特征向量的概念在获取模式的观测值时，有些事物具有确定的因果关系，即在一定的条件下，它必然会发生或必然不发生。例如识别一块模板是不是直角三角形，只要凭“三条直线边闭合连线和一个直角”这个特征，测量它是否有三条直线边的闭合连线并有一个直角，就完全可以确定它是不是直角三角形。这种现象是确定性的现象，前一章的模式判别就是基于这种现象进行的。随机特征向量的概念但在现实世界中，由许多客观现象的发生，就每一次观察和测量来说，即使在基本条件保持不变的情况下也具有不确定性。只有在大量重复的观察下，其结果才能呈现出某种规律性，即对它们观察到的特征具有统计特性。特征值不再是一个确定的向量，而是一个随机向量。此时，只能利用模式集的统计特性来分类，以使分类器发生错误的概率最小。两类模式集的分类目的：要确定x（随机特征向量）是属于ω1类还是ω2类，要看x是来自于ω1类的概率大还是来自ω2类的概率大。剖析：

x是来自于ω1类的概率大

把x划分到ω1类，正确的可能性大，错误的可能性小。3.1.0贝叶斯判别原则基本概念（1）样本概率P(x)

模式空间的样本x是通过多次观察得到的，样本点的出现具有随机性，那么也就有重复性。P(x)表示样本X=x出现的概率。也就是在全体样本中出现的概率

基本概念

(2)先验概率、条件概率、后验概率(3.1-1)其中后验概率

我们通常称为似然函数，它可以通过已知的样本来求得。带入3.1-1式子，则有

3.1.1最小错误贝叶斯判别准则

该式称为贝叶斯判别。关于这个判别表达式的直观意义解释是：总是划分到它出现概率最多的某个类中，从而使分类错误概率最小。整理前述公式有：总结最小错误贝叶斯判别规则1,2很容易衍生多类形式例子对一大批人进行某种疾病普查，患癌者以ω1类代表，正常人以ω2类代表。设被试验的人中患有某种疾病的概率为0.005，即P(ω1)=0.005，则P(ω2)=1-0.005=0.995现任意抽取一人，要判断他是否患有某种疾病。显然，因为P(ω2)>P(ω1)，只能说是正常的可能性大。如要进行判断，只能通过某一种化验来实现。例子设有一种诊断某种疾病的试验，其结果为“阳性”和“阴性”两种反应。若用这种试验来对一个病人进行诊断，提供的化验结果以模式x代表，这里x为一维特征，且只有x=“阳”和x=“阴”两种结果。假设根据临床记录，发现这种方法有以下统计结果患有该疾病的人试验反应为阳性的概率=0.95，即p(x=阳|ω1)=0.95患有该疾病的人试验反应为阴性的概率=0.05，即p(x=阴|ω1)=0.05正常人试验反应为阳性的概率=0.01，即p(x=阳|ω2)=0.01正常人试验反应为阴性的概率=0.99，即p(x=阴|ω2)=0.99问题若被化验的人具有阳性反应，他患该疾病的概率为多少，即求P(ω1|

x=阳)=？这里P(ω1)是根据以往的统计资料得到的，为患某种疾病的先验概率。现在经过化验，要求出P(ω1|

x=阳)，即经过化验后为阳性反应的人中患某种疾病的概率，称为后验概率。[计算]

例：疾病细胞识别；正常P(ω1)=0.9，异常P(ω2)=0.1，

对某个未知细胞特征值x，先从类条件概率密度分布曲线上查到：解：该细胞属于正常细胞还是异常细胞，先计算后验概率：p(x/ω1)=0.2，

p(x/ω2)=0.4当考虑到对于某一类的错误判决要比对另一类的判决更为关键时，就需要把最小错误概率的贝叶斯判别做一些修正假定要判断某人是正常(ω1)还是肺病患者(ω2),于是在判断中可能出现以下情况：第一类，判对(正常→正常)λ11

；第二类，判错(正常→肺病)λ21

；第三类，判对(肺病→肺病)λ22；第四类，判错(肺病→正常)λ12

。在判断时，除了能做出“是”ωi类或“不是”ωi类的动作以外，还可以做出“拒识”的动作。为了更好地研究最小风险分类器，我们先说明几个概念：3.1.2Bayes最小风险判别在整个特征空间中定义期望风险,期望风险：风险R（期望损失）：对未知x采取一个决策为α(x)所付出的代价（损耗）决策αi：表示把模式x判决为αi的一次动作。损耗函数λii=λ(αi,ωi)表示模式X本来属于ωi类而错判为αi所受损失。因为这是正确判决，故损失最小。损耗函数λij=λ(αi,ωj)表示模式X本来属于ωj类错判为αi所受损失。因为这是错误判决，故损失大。条件风险（也叫条件期望损失）：条件风险只反映对某x取值的决策行动αi所带来的风险。期望风险则反映在整个特征空间不同的x取值的决策行动所带来的平均风险。最小风险Bayes决策规则：二类问题：把x归于ω1时风险：把x归于ω2时风险：通常取若则x划分到ω1阈值似然比两类的贝叶斯判决条件：（I）当（ii）当（iii）当，则，则，则或者当满足如下条件时，最小风险代价的贝叶斯判决方法就是最小错误概率判决方法：[一般多类（M类）的情况]如果特别的(习惯称为0-1代价）则此时有3.2聂曼－皮尔逊判别

直接使用上述贝叶斯分类器需要知道先验概率，如果先验概率不知道，而知道条件概率，此时，可以使用聂曼－皮尔逊判决方法。同样力求错误分类的概率最小。以一维为例分析为类被错划分成类的错误概率为类被错划分成类的错误概率实际中经常用到：在限制某一类的错误一定的条件下，使另一类的错误最小的决策问题。从因在a1范围内，故同理有

综合上面两个式子因此聂曼－皮尔逊判别准则最终就是寻找阈值T,该值可以用作为划分a1和a2的边界，也是最为判别分类的准则。其中

在确定了ε2的值后，就可以求出T的值。从而找到判决阈值例两个二维正态分布求聂曼－皮尔逊判别阈值。解：查标准正态分布表：前边的讨论都是假定先验概率不变，现在讨论在P(ωi)变化时如何使最大可能风险最小，先验概率P(ω1)与风险R间的变化关系如下：3.2.1最大最小判别准则这样，就得出最小风险与先验概率的关系曲线，如图所示：讨论：上式证明，所选的判别边界，使两类的概率相等：这时可使最大可能的风险为最小，这时先验概率变化，其最大风险不变迄今为止所讨论的分类问题，关于待分类样本的所有信息都是一次性提供的。但是，在许多实际问题中，观察实际上是序贯的。随着时间的推移可以得到越来越多的信息。一种方法是计算停止损失和计算继续损失，在两者的临界点上得到分类决策。这种方法需要知道先验概率、决策损失以及观测每个新特征需要的代价。后来开发了一系列基于这种方法的快速算法。3.2.2序贯分类假设对样品进行第i次观察获取一序列特征为：X=(x1,x2,…,xi)T则对于ω1，ω2两类问题,若X∈ω1，则判决完毕若X∈ω2

，则判决完毕若X不属ω1也不属ω2

，则不能判决，进行第i+1次观察，得X=(x1,x2,…,xi,xi+1)T，再重复上面的判决，直到所有的样品分类完毕为止。这样做的好处是使那些在二类边界附近的样本不会因某种偶然的微小变化而误判，当然这是以多次观察为代价的。另外一种是基于错误概率的序贯处理。由最小错误概率的Bayes判决，对于两类问题，似然比为现在来确定A、B的值。因为序贯分类决策规则：上下门限A、B是由设计给定的错误概率P1(e),P2(e)来确定的，Wald已证明，观察次数不会很大，它收敛的很快。3.2.3分类器设计（1）判别函数：

（2）决策面方程：（3）分类器设计：(类似线性分类器多类第三种情况）一、正态分布判别函数

1、为什么采用正态分布：

a、正态分布在物理上是合理的、广泛的。

b、正态分布数学上简单，N(μ,σ²)只有均值和方差两个参数。

2、单变量正态分布：3.3正态分布模式的贝叶斯分类器3、（多变量）多维正态分布（1）函数形式：(2)、性质：①、μ与∑对分布起决定作用P(X)=N(μ,∑),μ由n个分量组成，∑由n(n+1)/2元素组成。∴多维正态分布由n+n(n+1)/2个参数组成。

②、等密度点的轨迹是一个超椭球面。区域中心由μ决定，区域形状由∑决定。③、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。 ④、边缘分布和条件分布也是正态的。 ⑤、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。 ⑥、线性组合的正态性。判别函数：类条件概率密度用正态来表示：二、最小错误率(Bayes)分类器：从最小错误率这个角度来分析Bayes分类器

1.第一种情况：各个特征统计独立，且同方差情况。(最简单情况)决策面方程：

判别函数：最小距离分类器：未知x，找最近的μi把x归类如果M类先验概率相等：讨论：未知x，把x与各类均值相减，把x归于最近一类。最小距离分类器。2、第二种情况：

即各类协方差相等。讨论：针对ω1，ω2二类情况，如图：3、第三种情况(一般情况)：Σί为任意，各类协方差矩阵不等，二次项xT

Σίx与i有关。所以判别函数为二次型函数。3.4贝叶斯分类器的错误概率3.4.1错误概率的概念以两类问题为例，错误分类的概率为

2、正态分布最小错误率(在正态分布情况下求最小错误率)3.4.2负对数似然比的概率分布设模式向量分布为多变量正态密度函数，其协方差矩阵相等要满足错误概率最小，则将x分到ωi时候，因该满足：其中a就对应于阈值的对数是x的函数，也为正态分布，所以其在ωi类的期望值取则其在ωi内的方差同样可推导在ωj内的期望值和方差，所以