模式识别第二章PPT课件

1、Table of Contents2.1 引言2.2 基于判别函数的分类器设计2.3 基于最小错误率的Bayes决策规则2.4 基于最小风险的Bayes决策规则2.5 正态分布的最小错误率Bayes决策规则2.6 讨论第1页/共75页2.1 引言数据获取预处理特征提取与选择分类决策分类器设计信号空间特征空间第2页/共75页基本概念 模式分类：根据识别对象的观测值确定其类别 样本与样本空间表示：12,Tnnx xxRxx12,ic u类别与类别空间：c个类别（类别数已知）引言第3页/共75页决策决策u把样本x x分到哪一类最合理？解决该问题的理论基础之一是统计决策理论u决策：是从样本空间S，到决

2、策空间的一个映射，表示为 D D: S - : S - 引言第4页/共75页决策决策准则 评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。Bayes决策常用的准则： 最小错误率准则 最小风险准则 在限定一类错误率条件下使另一类错误率为最小的准则 最小最大风险决策准则引言第5页/共75页2.2 基于判别函数的分类器设计判别函数 (discriminant function)：相应于每一类定义一个函数，得到一组判别函数：gi(x), i = 1, 2, , cu决策区域与决策面gi(x) = gj(x)第6页/共75页判别函数第7页/共75页决策规则决策规则(de

3、cision rule)( )maxift )hen (jijiggxxxargmax( )iijgx规则表达1规则表达2判别函数第8页/共75页分类器设计 分类器是某种由硬件或软件组成的“机器”： 计算c个判别函数gi(x) 最大值选择ARGMAXg1.g2gc.x1x2xna(x)u多类识别问题的Bayes最大后验概率决策：gi(x) = P (i |x)判别函数第9页/共75页2.3 Bayes最小错误率决策 以两类分类问题为例：已知先验分布P(i)和观测值的类条件分布p(x|i)，i=1,2问题：对某个样本x，抉择x 1? x 2？( )(| )iigPxxu该决策使得在观测值x下的条

4、件错误率P(e|x)最小。 Bayes决策理论是最优的。u以后验概率为判决函数：u决策规则：argmax(| )iijPx即选择P(1|x)，P(2|x)中最大值对应的类作为决策结果第10页/共75页后验概率P (i| x)的计算 Bayes公式： 假设已知先验概率P(i)和观测值的类条件概率密度函数p(x|i)，i=1,2。(, )(| )( )() ( |)() ( |)iiiijjjPPpPpPpxxxxx最小错误率决策第11页/共75页公式简化 比较大小不需要计算p(x)：argmax(| )( |) ()argmaax( )rgmax( |) ()iiiiiiiiPpPPppxxxx

5、最小错误率决策第12页/共75页公式简化u对数域中计算，变乘为加：ln ( | ) ( ) ln ( | ) ln ( )iiiipPpPxx判别函数中与类别i无关的项，对于类别的决策没有影响，可以忽略。最小错误率决策第13页/共75页Bayes最小错误率决策例解 两类细胞识别问题：正常(1)和异常(2) 根据已有知识和经验，两类的先验概率为： 正常(1)： P(1)=0.9 异常(2)： P(2)=0.1 对某一样本观察值x，通过计算或查表得到： p(x|1)=0.2， p(x|2)=0.4 如何对细胞x进行分类？最小错误率决策第14页/共75页Bayes最小错误率决策例解（2） 利用贝叶斯

6、公式计算两类的后验概率：11121() ( |)0.90.2(| )0.8180.90.20.1 0.4() ( |)jjjPpPPpxxx22221() ( |)0.40.1(| )0.1820.20.90.40.1() ( |)jjjPpPPpxxxargmax(| )1iijPx1x决策结果最小错误率决策第15页/共75页图解p(x|1)p(x|2)p(1|x)p(2|x)类条件概率密度函数后验概率最小错误率决策第16页/共75页决策的错误率条件错误率：( | )P e x( )( ( | )( | ) ( )P eE P eP epdxxxx（平均）错误率是条件错误率的数学期望u（平均

7、）错误率最小错误率决策第17页/共75页决策的错误率（2）u条件错误率P(e|x)的计算:以两类问题为例，当获得观测值x后，有两种决策可能：判定 x1 ，或者x2。u条件错误率为：211122(| ) 1(| )( | )(| ) 1(| )1 max (| )iiPPP ePPP xxxxxxxx若决定若决定最小错误率决策第18页/共75页决策的错误率（3）uBayes最小错误率决策使得每个观测值下的条件错误率最小，因而保证了（平均）错误率最小。uBayes决策是一致最优决策。最小错误率决策第19页/共75页决策的错误率（4） 设t为两类的分界面，则在特征向量x是一维时，t为x轴上的一点。形

8、成两个决策区域:R1(-，t)和R2(t，+)12122121212122112211( )(,)(,)() (|)() (|)()( |)()( |)()( )()( )RRP eP xRP xRPP xRPP xRPp xdxPp xdxPP ePP e最小错误率决策第20页/共75页最小错误率决策第21页/共75页2.4 基于最小风险的Bayes决策决策的风险：risk，cost 做决策要考虑决策可能引起的损失。 以医生根据白细胞浓度判断一个人是否患血液病为例： 没病(1)被判为有病(2) ，还可以做进一步检查，损失不大； 有病(2)被判为无病(1) ，错过诊治时机，损失严重。第22页/

9、共75页损失损失矩阵损失的定义：(N类问题)做出决策ai，但实际上 x j，受到的损失定义为：损失矩阵或决策表：,( ),) ,1, 2,i jijDijNx,*()i jNN最小风险决策第23页/共75页在实际应用时, 可以将(j, i)简写为ji, 写成矩阵形式mmmmmm212222111211对于给定类i的样本, 正确判断时的代价函数应该是最小的, 即0),(min),(ijjii(i=1, 2, , m)第24页/共75页条件风险与期望风险 条件风险：获得观测值x后，决策D(x)造成的损失对x实际所属类别的各种可能的平均，称为条件风险R(D(x)|x)() |)(),)() |)(|

10、)iiiiR DEPDDxxxxx()() |)() |)()R DE R DR Dpdxxxxxxxu期望风险：条件风险对观测值x的数学期望最小风险决策第25页/共75页基于最小风险的Bayes决策 基于最小风险的Bayes决策：决策有代价，选择（条件）风险最小的决策。 Bayes最小风险决策通过保证每个观测值下的条件风险最小，使得它的期望风险最小，是一致最优决策。()a rgm in() |)a rgm in(),)(|)DiiDiDRDDPxxxxx决策规则：最小风险决策第26页/共75页最小风险决策的计算根据Bayes公式计算后验概率P(j|x)根据后验概率及给定的损失矩阵，算出每个决

11、策的条件风险R(i|x)按最小的条件风险进行决策。损失矩阵在某些特殊问题，存在简单的解析表达式。实际问题中得到合适的损失矩阵不容易。最小风险决策第27页/共75页两类问题最小风险Bayes决策11111222211222()|)(|)(|)()|)(|)(|)R D xxPxPxR D xxPxPx 用Bayes公式展开，最小风险Bayes决策得到：11222212211112(|)()()()f (|)()()()otherwisep xPD xip xPD x最小风险决策第28页/共75页Bayes最小风险决策例解 两类细胞识别问题：正常(1)和异常(2) 根据已有知识和经验，两类的先验概

12、率为： 正常(1)： P(1)=0.9 异常(2)： P(2)=0.1 对某一样本观察值x，通过计算或查表得到： p(x|1)=0.2， p(x|2)=0.4 11=0， 12=6， 21=1， 22=0 按最小风险决策如何对细胞x进行分类？最小风险决策第29页/共75页Bayes最小风险决策例解（2） 后验概率： P(1|x) =0.818， P(2|x) =0.18221112212222111(| )(| )(| )1.092(| )(| )(| )0.818jjjjjjRPPRPPxxxxxxargmin(| )2iijRx2x决策结果最小风险决策第30页/共75页最小风险决策的一般性

13、基于最小错误率的Bayes决策可作为最小风险Bayes决策的一种特殊情形。只需要定义损失为：,1( ,) ,1, 2,1( ,) 0i jijijNijijij决策正确时，损失为0决策错误时，损失为1最小风险决策第31页/共75页2.5 正态分布的最小错误率Bayes决策 Bayes决策的三个前提： 类别数确定 各类的先验概率P(i)已知 各类的条件概率密度函数p(x|i)已知 Bayes决策中，类条件概率密度的选择要求： 模型合理性 计算可行性 最常用概率密度模型：正态分布 观测值通常是很多种因素共同作用的结果，根据中心极限定理，它们（近似）服从正态分布。 计算、分析最为简单的模型。第32页

14、/共75页一元正态分布221()()exp()22xp x 正态分布Bayes决策 一元正态分布及其两个重要参数： 均值（中心） 方差（分散度） 222()()()()Exxp x dxExxp x dx第33页/共75页多元正态分布12122*21121/2/2(,.,)( )(,.,) ,()()()()()1( )()exp()()(2 )TnTniiTijn nijijjTinx xxEE xEExxp xxxxxx x 观测向量x：实际应用中，可以同时观测多个值，用向量表示。多元正态分布：正态分布Bayes决策协方差矩阵均值向量第34页/共75页多元正态分布的性质 参数和完全决定分布

15、 等概率密度轨迹为超椭球面 不相关性等价于独立性 边缘分布和条件分布的正态性 线性变换的正态性 线性组合的正态性正态分布Bayes决策第35页/共75页参数和完全决定分布 协方差矩阵是对称矩阵 多元正态分布由n+n(n+1)/2个参数所完全决定( ) ( ,)pNx 正态分布Bayes决策第36页/共75页等概率密度轨迹为超椭球面等概率密度轨迹为超椭球面12( )()()Tpcxxx正态分布Bayes决策第37页/共75页等概率密度轨迹为超椭球面uMahalanobis距离21( , )()()TMx xx正态分布Bayes决策第38页/共75页不相关性等价于独立性 多元正态分布的任意两个分量

16、互不相关，则它们一定独立221211( )()000niiijnnpp x x20()()ijiijjExx不相关(,)() ()ijijp x xp x p x独立正态分布Bayes决策第39页/共75页第40页/共75页第41页/共75页第42页/共75页边缘分布和条件分布的正态性第43页/共75页边缘分布和条件分布的正态性第44页/共75页第45页/共75页第46页/共75页线性变换的正态性 多元正态随机向量x( ) ( ,)pNx u对x进行线性变换得到多元正态随机向量y( ) (,)TpNyAAAyAx正态分布Bayes决策第47页/共75页第48页/共75页第49页/共75页线性组

17、合的正态性多元正态随机向量x( ) ( ,)pNx u对x的分量进行线性组合得到随机标量y( ) (,)TTp yNa a aTy a x正态分布Bayes决策第50页/共75页第51页/共75页正态分布的最小错误率Bayes决策 观测向量的类条件分布服从正态分布：( |)(,)1,2,.,iiipNicx正态分布Bayes决策12122*21121/2/2(,.,)( )(,.,) ,()()()()()1( )()exp()()(2 )TnTniiTijn nijijjTinx xxEE xEExxp xxxxxx x第52页/共75页正态分布的最小错误率Bayes决策u观测向量的类条件分

18、布服从正态分布：( |)(,)1,2,.,iiipNicxu判别函数的定义与计算：11212( )ln( ( |) ()()()lnln ()ln22iiiTiiiiigpPnP xxxx判别函数中与类别i无关的项，对于类别的决策没有影响，可以忽略正态分布Bayes决策第53页/共75页2200i 1.第一种情况第一种情况第54页/共75页第55页/共75页第56页/共75页其中其中决策面：决策面：第57页/共75页第58页/共75页最小距离分类器与线性分类器 第一种特例：2,()(),1,2,.,iijI PPi jc u判别函数的简化计算：22211( )() ()22Tiiiig xxx

19、x020221( )(2)211,2TTTiiiiTiiiiiiigww w xx x w 最小距离分类器线性分类器正态分布Bayes决策第59页/共75页最小距离分类器与线性分类器 第二种特例：,()(),1,2,.,iijPPi jc u判别函数的简化计算：12()()()(,Tiiiigm xxxx1100( )1,2iTTiiiiiiigww w xxwMahalanobis距离线性分类器正态分布Bayes决策第60页/共75页第61页/共75页第62页/共75页第63页/共75页第64页/共75页正态分布下的几种决策面的形式0( )TTiiiigWwxxxw x正态分布Bayes决策

20、第65页/共75页正态模型的Bayes决策面u两类问题正态模型的决策面： 决策面方程：g1(x)=g2(x) 两类的协方差矩阵相等，决策面是超平面。 两类的协方差矩阵不等，决策面是超二次曲面。1122ln( ( |) ()ln( ( |) ()pPpPxx11111211221()()02TTxxx正态分布Bayes决策第66页/共75页正态分布的Bayes决策例解 两类的识别问题：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。 根据医学知识和以往的经验，医生知道： 患病的人，白细胞的浓度服从均值2000，标准差1000的正态分布；未患病的人，白细胞的浓度服从均值7000，标准差30

21、00的正态分布； 一般人群中，患病的人数比例为0.5%。 一个人的白细胞浓度是3100，医生应该做出怎样的判断？正态分布Bayes决策第67页/共75页数学表示：用表示“类别”这一随机变量，1表示患病， 2表示正常；x表示“白细胞浓度”这个随机变量。本例医生掌握的知识非常充分，他知道：1) 类别的先验分布：P(1) = 0.5%P(2) = 99.5%先验分布：没有获得观测数据（病人白细胞浓度）之前类别的分布正态分布的正态分布的Bayes决策例解正态分布Bayes决策第68页/共75页2) 观测数据白细胞浓度分别在两种情况下的类条件分布： P(x|1) N(2000,10002) P(x|2)

22、 N(7000,30002)P(3100|1) = 2.1785e-004P(3100|2) = 5.7123e-005计算后验概率P(1|3100)=1.9%P(2|3100)=98.1%医生的判断：正常正态分布的正态分布的Bayes决策例解正态分布Bayes决策第69页/共75页2.6 讨论 基于Bayes决策的最优分类器( |) ()(| )( |) ()iiijjjpPPpPxxxuBayes决策的三个前提：类别数确定各类的先验概率P(i)已知各类的条件概率密度函数p(x|i)已知u问题的转换：基于样本估计概率密度基于样本直接确定判别函数第70页/共75页 % Predict the

23、class label using the Naive Bayes classifier load fisheriris % Use the default Gaussian distribution O1 = NaiveBayes.fit(meas,species); C1 = O1.predict(meas); cMat1 = confusionmat(species,C1) % the confusion matrix % Use the Gaussian distribution for feature 1 and 3 and use the % kernel density estimation for feature 2 and 4. O2 = NaiveBayes.fit(meas,species, . dist,normal, kernel,normal,kernel); C2 = O2.predict(meas); cMat2 = confusionm