模式识别第四章统计判决

模式识别第四章统计判决第一页，共五十三页，编辑于2023年，星期六例子——癌症普查：

1癌症患者：112682正常者：2242282总人数：n=2253550对每一类的概率做一个估计（先验概率）4·1最小误判概率准则判决第二页，共五十三页，编辑于2023年，星期六对人们测量细胞的特征向量

代表的某个人属于第i类的后验概率：决策规律：例子——癌症普查（续1）：

第三页，共五十三页，编辑于2023年，星期六若已知两类特征向量分布的类条件概率密度函数贝叶斯公式、全概率公式例子——癌症普查（续2）：

第四页，共五十三页，编辑于2023年，星期六将P(i|x)代入判别式，判别规则可表示为或改写为l12称为似然比（likelihoodratio），12称为似然比的判决阀值。例子——癌症普查（续3）：

第五页，共五十三页，编辑于2023年，星期六概念和符号

---总概率

---后验概率

---类概密，表示在类i条件下的概率密度，即类i模式x的概率分布密度

---先验概率，表示类i出现的先验概率，简称类i的概率第六页，共五十三页，编辑于2023年，星期六例：对一批人进行癌症普查，1:患癌症者;2:正常人。模式特征x=x(化验结果),x=1：阳性；x=0：阴性。已知：（统计结果）先验概率：P(1)=0.005

P(2)=1-P(1)=0.995条件概率：p(x=阳|1)=0.95

p(x=阴|1)=0.05

p(x=阳|2)=0.01求：呈阳性反映的人是否患癌症？第七页，共五十三页，编辑于2023年，星期六解：利用Bayes公式因为，P(2|x=阳)=1-P(1|x=阳)=1-

0.323=0.677P(1|x=阳)<P(2|x=阳)故判决：(x=阳)2

，即正常。第八页，共五十三页，编辑于2023年，星期六写成似然比形式第九页，共五十三页，编辑于2023年，星期六最小误判概率准则判决域示意图12xp(x|1)P(1)p(x|2)P(2)12P(1)21P(2)该规则使得分类的错误率最小

第十页，共五十三页，编辑于2023年，星期六两种错误设和类出现的概率分别为和，则总的误判概率是误判概率最小等价于使正确分类概率最大，即第十一页，共五十三页，编辑于2023年，星期六多类问题，最小误判概率准则有如下几种等价的判决规则

(1)(2)第十二页，共五十三页，编辑于2023年，星期六多类问题，最小误判概率准则有如下几种等价的判决规则

(3)(4)第十三页，共五十三页，编辑于2023年，星期六12xp(x|1)P(1)p(x|2)P(2)p(x|3)P(3)33第十四页，共五十三页，编辑于2023年，星期六4.1.2正态模式最小误判概率判决准则的具体形式在c类问题中，属于i类的n维模式的正态分布密度函数为式中，为均值矢量，为协方差第十五页，共五十三页，编辑于2023年，星期六i类的判决函数可以表为去掉与类别无关的项并不影响分类判决结果，故可简化为第十六页，共五十三页，编辑于2023年，星期六决策-损失表4.2.1损失概念、损失函数与平均损失对一个实属i类的模式采用了决策j所造成损失记为…

…

ac

l(ac/w1)

l(ac/w2)

…

l(ac/wc)

ac+1

l(ac+1/w1)

l(ac+1/w2)

…

l(ac+1/wc)

w1

w2

…

wc

a1

l(a1/w1)

l(a1/w2)

…

l(a1/wc)

a2

l(a2/w1)

l(a2/w2)

…

l(a2/wc)

第十七页，共五十三页，编辑于2023年，星期六条件平均风险

令决策的数目a等于类数c，如果决策j

定义为判属于j

类，那么对于给定的模式在采取决策j

的条件下损失的期望为条件期望损失刻划了在模式为、决策为j条件下的平均损失，故也称为条件平均损失或条件平均风险（Risk）。（做决策j的平均损失）第十八页，共五十三页，编辑于2023年，星期六由贝叶斯公式，上式可以写为平均损失或平均风险平均风险该式表明，R是损失函数关于各类及的的数学期望，故称其为（总）平均损失或平均风险。第十九页，共五十三页，编辑于2023年，星期六4.2.2最小损失准则判决可以将最小条件平均损失判决规则表为如果则判

定理

使条件平均损失最小的判决也必然使总的平均损失最小。所以最小条件平均损失准则也称为最小平均损失准则或最小平均风险准则，简称为最小损失准则。第二十页，共五十三页，编辑于2023年，星期六对于两类问题两类问题的最小损失准则的似然比形式的判决规则为如果 则判第二十一页，共五十三页，编辑于2023年，星期六若记似然比阈值则两类问题的判决规则为如果则判0-1损失（ii=0,ij=1

）条件下最小损失判决最小错误判决第二十二页，共五十三页，编辑于2023年，星期六例4.2.2：设,正常细胞1

，异常细胞2

，已知

P(1)=0.9,P(2)=0.1

；；

11=0,12=1,21=6,

22=0。试用最小误判概率准则和最小损失准则判断该细胞是正常的还是异常?

解(1)由贝叶斯定理可以分别算出1

和2的后验概率。因为，所以把归于正常细胞。第二十三页，共五十三页，编辑于2023年，星期六(2)当依据损失进行判决时，计算条件平均损失由于,因此判。之所以这两个判决结果相反，是因为21取得较大的缘故。第二十四页，共五十三页，编辑于2023年，星期六4.2.3含拒绝判决的最小损失判决

拒绝判决可以作为最小损失判决中的一个可能判决。设c+1=“拒绝判决”。令表示模式实属类但拒绝作出判决所造成的损失，于是在模式条件下拒绝判决的平均损失为

如果，j=1,2,…,c，则

作出拒绝判决。第二十五页，共五十三页，编辑于2023年，星期六设,,这时要使即亦即一般有：第二十六页，共五十三页，编辑于2023年，星期六含拒判决策的最小损失判决规则为如果，则对拒判；如果，则判。当即时恒成立，故此时不存在拒判。第二十七页，共五十三页，编辑于2023年，星期六对于两类问题，存在拒判决策的条件是

判决规则如下：如果，则判；

如果，则判；

如果，则对拒判。第二十八页，共五十三页，编辑于2023年，星期六4·3最小最大损失准则

实际中，类先验概率P(i)

往往不能精确知道或在分析过程中是变动的，从而导致判决域不是最佳的。所以应考虑如何解决在P(i)

不确知或变动的情况下使平均损失变大的问题。

第四章 统计判决第二十九页，共五十三页，编辑于2023年，星期六对于两类问题，设一种分类识别决策将特征空间分划为两个子空间1和2，记ij为将实属i类的模式判为j的损失函数，各种判决的平均损失为第三十页，共五十三页，编辑于2023年，星期六利用则平均损失可写为由于0P(1)1，所以平均损失值有aRa+b第三十一页，共五十三页，编辑于2023年，星期六由上式可见，当类概密、损失函数ij

、类域i

取定后，R是P(1)的线性函数。考虑P(1)的各种可能取值情况，为此在区间(0,1)中取若干个不同的P(1)值，并分别按最小损失准则确定相应的最佳决策类域1

、2

，然后计算出其相应的最小平均损失R*，从而可得最小平均损失R*与先验概率P(1)的关系曲线第三十二页，共五十三页，编辑于2023年，星期六PA(1)1P(1)ACDR*BR*B0D’C’在此决策类域下，无论)(1wP如何变化，因0=b而使R与)(1wP无关，从而使得平均损失R恒等于常数,此时的)(1wP使*R取所有最小损失的最大值第三十三页，共五十三页，编辑于2023年，星期六

按最小损失准则找出P(ω1)对应于(0,1)中的各个

不同P(ω1)值的最佳决策类域1、2;

计算相应各个最佳决策类域的最小平均损失，得

R*～P(ω1)曲线;

找出使R*取最大值的P*(ω1);

运用P*(ω1)、P*(ω2)=1-P*(ω1)及ij构造似然比阈值;

运用最小损失准则下的决策规则对具体的模式分类识别:设计步骤第三十四页，共五十三页，编辑于2023年，星期六当采用0-1损失函数时，由b=0可得上式表明，最小最大损失判决导出的最佳分界面应使两类错误概率相等，此时的平均损失为：第三十五页，共五十三页，编辑于2023年，星期六12xp(x|1)p(x|2)最小最大损失准则判决域示意图若采用0-1损失函数，则：第三十六页，共五十三页，编辑于2023年，星期六4·4N-P(Neyman—Pearson)判决实际问题中，可能存在以下几种情况：⑴不知道各类的先验概率P(i)；⑵难于确定误判的代价ij；⑶某一种错误较另一种错误更为重要。针对⑴，可以采用最小最大损失准则或令各类概率相等的办法克服；针对⑵，如果允许，可以避开使用损失函数而采用

最小误判概率准则；针对(3)，可以采用最小损失准则判决。针对上面三个问题，更主要的是针对⑶，可采用N-P准则。

第四章 统计判决第三十七页，共五十三页，编辑于2023年，星期六对两类问题,设已知且

将实属1类的模式判为属2类的误判概率为

将实属2类的模式判为属1类的误判概率为第三十八页，共五十三页，编辑于2023年，星期六令21=0=常数，求使12最小的判决域运用Lagrage乘子法求条件极值，做辅助函数第三十九页，共五十三页，编辑于2023年，星期六选择满足条件的的全体作为1*,保证所求得的y值y*比1的其它取法的y值都小在1*中,同理，由下式可得在2*中,将其中一类错误概率作为控制量而使另一类错误概率最小的N-P判决规则为其中是N-P判决阈值。第四十页，共五十三页，编辑于2023年，星期六p(l|w2)p(l|w1)的值决定着类域1、2，由0确定，即选取，使21=

0为求，设是似然比在条件下的概率密度，当时判，所以当0给定后，Lagrange乘子可由下式确定。

e21llW1W2e12第四十一页，共五十三页，编辑于2023年，星期六

妈妈新开了个淘宝店，欢迎前来捧场

妈妈的淘宝点开了快半年了，主要卖的是毛绒玩具、坐垫、抱枕之类的，但生意一直不是很好，感觉妈妈还是很用心的，花了不少功夫，但是就是没有人气，所以我也来出自己的一份力，帮忙宣传一下。 并且妈妈总是去五亭龙挑最好的玩具整理、发货，质量绝对有保证。 另外我家就在扬州五亭龙玩具城旁边，货源丰富，质量可靠，价格便宜。欢迎大家来逛逛【扬州五亭龙玩具总动员】

99个人小广告：第四十二页，共五十三页，编辑于2023年，星期六N-P判决要点由确定判决似然比门限第四十三页，共五十三页，编辑于2023年，星期六第四章 统计判决总结

概念和符号

---后验概率

---类条件概率密度，表示在类i条件下的概率密度，即类i模式x的概率分布密度

---先验概率，表示类i出现的先验概率，简称类i的概率第四十四页，共五十三页，编辑于2023年，星期六4·1最小误判概率准则判决

总的误判概率t12xp