模式识别第二章贝叶斯决策理论

模式识别第二章贝叶斯决策理论在传送带上用光学传感器件对鱼按品种分类

鲈鱼(Seabass)

品种

鲑鱼(Salmon)设计一个自动分类系统对两种鱼进行自动分类第2页,共27页，星期六，2024年，5月数据获取：架设一个摄像机，采集一些样本图像，获取样本数据预处理：去噪声，采用图象分割技术，用一个分割操作把鱼和鱼之间以及鱼和背景之间分开，得到单个物理对象的图像。第3页,共27页，星期六，2024年，5月特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量长度亮度宽度鱼翅的数量和形状嘴的位置，等等…分类决策：把特征送入决策分类器第4页,共27页，星期六，2024年，5月第5页,共27页，星期六，2024年，5月根据长度进行分类Salman一般较短，seabass一般较长第6页,共27页，星期六，2024年，5月根据亮度进行分类Salman一般较暗，seabass一般较亮第7页,共27页，星期六，2024年，5月特征向量=（长度，亮度）x=(x1,x2)样本:(x,y),x：该样本对应的特征向量y:该样本的类别，y=+1(salman)或y=-1(seabass)第8页,共27页，星期六，2024年，5月第9页,共27页，星期六，2024年，5月第10页,共27页，星期六，2024年，5月使用一个特征亮度对这两种鱼进行表示。新来了一条鱼特征是x(亮度)，怎么根据特征x确定它到底是鲈鱼ω1还是鲑鱼ω2？已知数据：鲈鱼类标号ω1，鲑鱼类标号ω2。鲈鱼总数量占所有鱼总数量的比率为P(ω1)，鲑鱼总数量占所有鱼总数量的比率为P(ω2)。假设这条鱼的亮度x在分类为鲈鱼时出现的概率为p(x|ω1),这条鱼的亮度x在分类为鲑鱼时出现的概率为p(x|ω2)。如何求解？可以求出x属于鲈鱼ω1的概率P(ω1|x)和x属于鲑鱼ω2的概率P(ω2|x)。如果P(ω1|x)>P(ω2|x)，就认为x是鲈鱼。现在的问题是如何求P(ω1|x)和P(ω2|x)。第11页,共27页，星期六，2024年，5月基本假设：给定模式空间S，由m个互不相交的模式类集合

组成，即

，假定类的先验概率为

，特征向量x的类条件概率密度函数

，表示当样本时，特征向量

的概率密度函数；特征向量的后验概率

，表示在特征向量

出现的条件下，样本来自类

的概率，即类

出现的概率第12页,共27页，星期六，2024年，5月把样本归入后验概率最大的类别中。最大后验概率判决准则使平均错误概率达到最小。如果p(ω1|x)>p(ω2|x)，则判决x属于ω1；如果p(ω1|x)<p(ω2|x)，则判决x属于ω2；如果p(ω1|x)=p(ω2|x)，则判决x属于ω1或属于ω2；如何求P(ω1|x)和P(ω2|x)？第13页,共27页，星期六，2024年，5月有一个概率公式：从而推出：换一种写法：把样本归入后验概率最大的类别中。最大后验概率判决准则使平均错误概率达到最小。如果p(ω1|x)>p(ω2|x)，则判决x属于ω1；如果p(ω1|x)<p(ω2|x)，则判决x属于ω2；如果p(ω1|x)=p(ω2|x)，则判决x属于ω1或属于ω2；如何求P(ω1|x)和P(ω2|x)？第14页,共27页，星期六，2024年，5月这就是著名的贝叶斯公式。其中P(ωj)叫做先验概率，就是类别出现的可能性；p(x|ωj)叫条件概率，就是在ωj时x出现的可能性；p(ωj|x)叫后验概率；p(x)是该样例出现的可能性。因此：第15页,共27页，星期六，2024年，5月1.若，则x属于ωj，如果p(ω1|x)>p(ω2|x)，那么就认为x属于ω1，同理于：2.若,则x属于ωj

3.若,则x属于ωj，其中，L(x)称为似然比，称为对数似然比第16页,共27页，星期六，2024年，5月对一大批人进行癌症普查，设ω1类代表患癌症，ω2类代表正常人。已知先验概率： 以一个化验结果作为特征x:{阳性，阴性}，患癌症的人和正常人化验结果为阳性的概率分别为：

现有一人化验结果为阳性，问此人是否患癌症？第17页,共27页，星期六，2024年，5月问题的提出：最大后验概率判决准则使分类的平均错误概率最小化，但没有考虑到不同的错误判断带来的后果是不相同的。考虑各种错误分类造成的损失不同，人们提出了最小风险贝叶斯判决准则。基本思路：给每一种决策规定一个损失值，将其作为因错误决策而导致的损失的度量。有c个类别ω1,ω2,...,

ωc,将ωi类的样本判别为ωj类的代价为λij。第18页,共27页，星期六，2024年，5月最小平均风险准则贝叶斯分类器并不是简单地将x归于具有最大p(ωj|x)值的那个类别ωj。因为要考虑损失：定义进行第i个行动(比如将样例归于第i个类别)这种行为表示为：αi。在一个样例的真正类别为ωj时，进行第i个行动造成的损失是：λ(αi|ωj)。那么进行第i个行动的总损失：那么每个行动的总损失都可以求出来，采取其中总损失最小的行动。比如行动k最小，对应的行动是将样例归于第k个类别。第19页,共27页，星期六，2024年，5月定义

是在一个样例的真正类别为ωj时，进行第i个行动造成的损失。采取第1个行动时的总损失：采取第2个行动时的总损失：第20页,共27页，星期六，2024年，5月那么当时，采取第1个行动。即：第21页,共27页，星期六，2024年，5月朴素贝叶斯分类器(naiveBayesclassifiers,简记为NB)假定：在给定类标记时，属性值之间是相互条件独立的，也就是说，在给定实例类标记的情况下,观察到的联合概率正好是每个单独属性值概率的乘积。举例：根据天气状况来判断某天是否适合于打网球，给定如表所示的14个训练实例,其中每一天由属性outlook，Temprature，Humidity和wind来描述,类属性为PlayTennis第22页,共27页，星期六，2024年，5月现有一测试实例问这一天是否适合于打网球？第23页,共27页，星期六，2024年，5月第24页,共27页，星期六，2024年，5月可见,朴素贝叶斯分类器将此实例分类为no,将上述概率归一化,可得到朴素贝叶斯分类器分类此实例为no的概率是0.0192/(0.0069+0.0191)=0.7346思考：根据顾客的基本情况来判断其是否会买电脑给定如表所示的14个训练实例,其中每一个顾客属性age，income，student和credit-rating来描述,类属性为buys-computer。第25页,共27页，星期六，2024年，5月现有一测试实例，