贝叶斯决策理论 课件

第2章贝叶斯决策理论

常用决策规则分类器设计正态分布情况下的贝叶斯决策实验内容第2章贝叶斯决策理论常用决策规则2.1引言

贝叶斯决策理论是统计模式识别的基本理论，其假设（1）各类别总体的概率分布是已知的；（2）要决策分类的类别数是一定的。贝叶斯决策理论研究了模式类的概率结构完全知道的理想情况。这种情况实际中极少出现，但提供了一个对比其它分类器的依据，即“最优”分类器。2.1引言贝叶斯决策理论是统计模式识别的基本理论，其假设符号规定

分类类别数：c

类别状态：

特征空间维数：dd维特征空间中的特征向量：

先验概率：类条件概率密度：2.1引言符号规定2.1引言2.2几种常用决策规则最小错误率的贝叶斯决策规则最小风险决策规则Neyman-Pearson决策规则极小极大决策规则2.2几种常用决策规则最小错误率的贝叶斯决策规则基于最小错误率的贝叶斯决策

基本思想：利用贝叶斯公式使分类错误率达到最小。癌细胞识别问题：选择癌细胞的d个特征

经调查统计，得先验概率

基于最小错误率的贝叶斯决策基本思想：利用贝叶斯公式使基于最小错误率的贝叶斯决策仅依靠先验概率进行判断，其决策规则为此种判断方法是否合理？利用信息太少！基于最小错误率的贝叶斯决策仅依靠先验概率进行判断，其决策规则基于最小错误率的贝叶斯决策加入特征—细胞光密度章前假设：各类总体概率密度为已知，即已知类条件概率密度此时已知分类类别数、先验概率及类条件概率密度，可重新进行决策。

基于最小错误率的贝叶斯决策加入特征—细胞光密度基于最小错误率的贝叶斯决策考虑贝叶斯公式癌细胞识别问题中c=2贝叶斯公式通过类条件概率密度形式的观察值，将先验概率转化为后验概率。基于最小错误率的贝叶斯决策考虑贝叶斯公式基于最小错误率的贝叶斯决策类条件概率密度与后验概率图示基于最小错误率的贝叶斯决策类条件概率密度与后验概率图示基于最小错误率的贝叶斯决策两类问题最小错误率贝叶斯决策规则：基于最小错误率的贝叶斯决策两类问题最小错误率贝叶斯决策规则：基于最小错误率的贝叶斯决策例：假设在某个局部地区细胞识别中正常和异常两类的先验概率分别为正常状态：异常状态：现有一待识别的细胞，其观察值为x，类条件概率密度分别为试对该细胞x进行分类。解：基于最小错误率的贝叶斯决策例：假设在某个局部地区细胞识别中正基于最小错误率的贝叶斯决策关于错误率最小的讨论（一维情况）错误率是指平均错误率P(e)令每一个x都取使P(e|x)最小的值，则所有x产生的平均错误率最小。结论可推广至多类基于最小错误率的贝叶斯决策关于错误率最小的讨论（一维情况）令基于最小错误率的贝叶斯决策多类情况下的贝叶斯决策规则参照两类情况，也可得到平均错误率最小的分类结果基于最小错误率的贝叶斯决策多类情况下的贝叶斯决策规则参照两类基于最小风险的贝叶斯决策考虑风险，如癌症诊断问题空袭警报问题制药企业药品合格检定问题因此须考虑减小损失（或代价）最小风险贝叶斯决策是一种令各种错误造成的损失（风险）最小化的决策。基于最小风险的贝叶斯决策考虑风险，如基于最小风险的贝叶斯决策决策会带来相应的损失，以决策表来定义基于最小风险的贝叶斯决策决策会带来相应的损失，以决策表来定义基于最小风险的贝叶斯决策定义损失函数其表示真实状态为，而采取决策所带来的损失。针对特定x采取决策的条件期望损失（条件风险）为针对所有x的期望风险定义为欲令R最小，须令针对每一x的条件风险最小。基于最小风险的贝叶斯决策定义损失函数其表示真实状态为，基于最小风险的贝叶斯决策最小风险贝叶斯决策规则步骤：（1）计算后验概率（2）利用后验概率及决策表计算针对某一x采取a种决策的a个条件期望损失（3）取（2）中条件风险最小的决策，采取该行动。基于最小风险的贝叶斯决策最小风险贝叶斯决策规则步骤：（2）利基于最小风险的贝叶斯决策例：在最小错误率例题基础上，利用决策表按最小风险贝叶斯决策进行分类。0610解：前例已计算出结果与前例相反，Why?基于最小风险的贝叶斯决策例：在最小错误率例题基础上，利用决策基于最小风险的贝叶斯决策

两例结果相反的原因最小风险决策规则在考虑错误率的同时考虑了“损失”，而上例中将异常细胞判为正常的代价较大，占“主导”作用，故产生相反的结果。决策表直接影响决策结果，制定应慎重。基于最小风险的贝叶斯决策两例结果相反的原因最小风险决策与最小错误率决策的关系0-1损失下，最小风险决策等价于最小错误率决策最小风险决策与最小错误率决策的关系0-1损失下，最小风险决策基于最小风险的贝叶斯决策通信例题：下图为一信号通过受噪声干扰的信道判别结果x0,1信道分类器噪声输入信号为0或1，噪声为高斯型，其均值为0，方差为，信道输出为x（1）试求最优的判别规则，以区分输出x是0还是1？（2）若此通信系统为M进制，采用0-1代价函数重新求最优判别规则。基于最小风险的贝叶斯决策通信例题：判别结果x0,1信道分类器基于最小风险的贝叶斯决策解：最小风险决策的似然比形式基于最小风险的贝叶斯决策解：最小风险决策的似然比形式基于最小风险的贝叶斯决策直观上对数字信号的判断如下图信号受0均值高斯噪声影响，输入为0时，幅值的概率密度为输入为1时，幅值的概率密度为均值为真实信号，噪声在其上波动基于最小风险的贝叶斯决策直观上对数字信号的判断如下图信号受0基于最小风险的贝叶斯决策似然比若令，则0.5为阈值，符合直观判断。

基于最小风险的贝叶斯决策似然比若令基于最小风险的贝叶斯决策（2）∵0-1代价函数∴最小代价转化为最小错误率Bayes决策若判别结果x概率密度估计...最大值选择器M进制贝叶斯分类器基于最小风险的贝叶斯决策（2）∵0-1代价函数判别结果x.M2.3分类器设计决策面—划分决策域的边界判别函数—用以表达决策规则的函数决策面02.3分类器设计决策面—划分决策域的边界决策面02.3分类器设计多类情况下的4种贝叶斯决策规则定义判别函数，令2.3分类器设计多类情况下的4种贝叶斯决策规则定义判别函数2.3分类器设计可定义为：2.3分类器设计可定义为：2.3分类器设计决策面方程

相邻决策域在决策面上判别函数值相等，即决策面的形式

d=1—点

d=2—曲线

d=3—曲面

d>3—超曲面

2.3分类器设计决策面方程2.3分类器设计决策边界的形式一维点边界二维线边界2.3分类器设计决策边界的形式一维点边界二维线边界2.3分类器设计分类器—软硬件机器多类分类器的构成2.3分类器设计分类器—软硬件机器多类分类器的构成2.3分类器设计两类情况：判别函数决策规则判别函数形式决策面方程2.3分类器设计两类情况：判别函数决策规则判别函数形式决策2.3分类器设计两类分类器的构成2.3分类器设计两类分类器的构成2.3分类器设计例：写出最小错误率和最小风险例题的判别函数和决策面方程。（1）最小错误率例题，利用两类形式（2）

形式（2）判别函数决策面方程2.3分类器设计例：写出最小错误率和最小风险例题的判别函数2.3分类器设计（2）针对最小风险例题判别函数原形代入数据决策面方程2.3分类器设计（2）针对最小风险例题判别函数原形代入数据2.4正态分布时的统计决策前述是抽象的，此处代以正态分布为什么使用正态分布？（1）物理上的合理性

样本点较多地分布在均值附近，远离均值点较少，可用正态分布近似。（2）数学上比较简便

如表征模型的参数较少，抽取样本点方便。2.4正态分布时的统计决策前述是抽象的，此处代以2.4正态分布时的统计决策单变量正态分布2.4正态分布时的统计决策单变量正态分布2.4正态分布时的统计决策多元正态分布边缘分布2.4正态分布时的统计决策多元正态分布边缘分布2.4正态分布时的统计决策

d×11×d对称阵，对角线元素为方差，非对角线为协方差也叫相关矩，表示两个随机变量的相关程度2.4正态分布时的统计决策d×11×d对称阵，2.4正态分布时的统计决策多元正态分布的性质（1）决定了分布共有d+d(d+1)/2个参数，（2）等密度点轨迹——超椭球面等密度点为指数项为常数时所取得的点，即

x到u的马氏距离的平方，构成超椭球面2.4正态分布时的统计决策多元正态分布的性质x到u的马氏距离2.4正态分布时的统计决策区域中心由均值向量决定，大小由协方差矩阵决定椭圆的长短轴方向由∑特征向量方向确定，长度由确定为特征值，为马氏距离的平方。2.4正态分布时的统计决策区域中心由均值向量决定，大小由协方2.4正态分布时的统计决策多元正态分布的性质（3）不相关等价于独立不相关独立正态分布时，不相关等价于独立推论：如果多元正态随机向量的协方差矩阵是对角阵，则x的分量是相互独立的正态分布随机变量。2.4正态分布时的统计决策多元正态分布的性质2.4正态分布时的统计决策多元正态分布的性质（4）多元正态分布的边缘分布和条件分布仍然是正态分布。（5）线性变换的正态性多元正态随机向量的线性变换仍为多元正态分布的随机向量。可寻找线性变换A使为对角阵，则y各分量独立，可提高识别效率。2.4正态分布时的统计决策多元正态分布的性质可寻找线性变换A2.4正态分布时的统计决策多元正态分布的性质（6）线性组合的正态性2.4正态分布时的统计决策多元正态分布的性质2.4正态分布时的统计决策多元正态概率模型下的最小错误率贝叶斯判别函数和决策面对数单调递增分类性能不变去掉首项无关项

决策面方程

判别函数2.4正态分布时的统计决策多元正态概率模型下的最小错误率贝叶2.4正态分布时的统计决策特殊情况讨论：一、消去负号不等号变向最小距离分类器2.4正态分布时的统计决策特殊情况讨论：消去负号不等号变向2.4正态分布时的统计决策最小距离分类器为线性分类器定义：判别函数为线性函数的分类器为线性分类器。决策面方程2.4正态分布时的统计决策最小距离分类器为线性分类器决策面方2.4正态分布时的统计决策最小距离分类器的缺点基本思想：以均值点作为典型样本，用距离作为判别函数进行分类。可以正确分类不能正确分类分类效果不好（1）未考虑样本服从什么概率分布（2）只用了一个典型样本的信息2.4正态分布时的统计决策最小距离分类器的缺点可以正确分类不2.4正态分布时的统计决策当先验概率不等时的决策面∴第一种情况的决策面为超平面决策面远离先验概率大的一方，移动距离由方程决定2.4正态分布时的统计决策当先验概率不等时的决策面∴第一种情2.4正态分布时的统计决策特殊情况讨论：二、向先验概率小的方向偏移马氏距离的平方∴第二种情况的决策面为超平面2.4正态分布时的统计决策特殊情况讨论：向先验概率小的方向偏2.4正态分布时的统计决策特殊情况讨论：三、决策面方程决定决策面形状（超二次曲面）决定了决策面的具体形式2.4正态分布时的统计决策特殊情况讨论：决策面方程决定决策面2.4正态分布时的统计决策2.4正态分布时的统计决策2.5分类器的错误率按理论公式计算计算错误率上界实验估计（第3章讨论）2.5分类器的错误率按理论公式计算2.6基于贝叶斯分类器的遥感图像分类目视判读计算机分类

（1）数据准备

质量检查预处理（2）分类判决（3）输出2.6基于贝叶斯分类器的遥感图像分类目视判读2.6基于贝叶斯分类器的遥感图像分类原始图像数据的准备图像变换及特征选择分类判决函数的选择确定分类算法方案逐个像素分类判决形成分类编码图像分类结果输出准备阶段分类判决输出否是开始输入分类类别数令i=0i=i+1输入第i类先验概率输入第i类样本数据计算第i类数学期望向量和协方差矩阵i<c?利用判决函数对图像进行逐像素判决分类结果图像输出结束2.6基于贝叶斯分类器的遥感图像分类原始图像数据的准备图像变2.6基于贝叶斯分类器的遥感图像分类各类别高斯分布的期望向量与协方差矩阵的估计针对某一类为第k个样本的第i个特征值2.6基于贝叶斯分类器的遥感图像分类各类别高斯分布的期望向量2.6基于贝叶斯分类器的遥感图像分类

遥感图像分为森林、河流、峡谷三类，特征选取RGB三个分量构成的特征向量，已知其先验概率分别为0.34，0.33，0.33，每一类取64个样本的训练区。利用Beyes分类器进行分类，结果如下图所示。2.6基于贝叶斯分类器的遥感图像分类遥感图像分为2.7实验1—图像的贝叶斯分类实验目的将模式识别方法与图像处理技术相结合，掌握利用最小错分概率贝叶斯分类器进行图像分类的基本方法，通过实验加深对基本概念的理解。实验仪器设备及软件

HPD538（或兼容PC）、MATLAB（或C语言开发环境）实验原理利用最小错误率贝叶斯分类方法确定图像分割阈值。

2.7实验1—图像的贝叶斯分类实验目的2.7实验1—图像的贝叶斯分类基本原理：图像中目标与背景有一定的交错，会产生将目标错分为背景与将背景错分为目标两类错误，通过Bayes最小错误率分类器求取“最优阈值”可令总的错误率最小。图像直方图可作为对概率密度函数的近似。2.7实验1—图像的贝叶斯分类基本原理：图像直方图可作为对2.7实验1—图像的贝叶斯分类

假设目标与背景两类像素值均服从正态分布且混有加性高斯噪声，分类问题可以使用最小错分概率贝叶斯分类器来解决。图像的混合概率密度函数可用下式表示图像中背景的先验概率图像中目标的先验概率图像中背景的概率密度图像中目标的概率密度求一分割阈值T，使分类错误率最小。假定目标的灰度较亮，背景的灰度较暗，则有2.7实验1—图像的贝叶斯分类假设目标与背景两2.7实验1—图像的贝叶斯分类把目标错分为背景的概率可表示为把背景错分为目标的概率可表示为总的误差概率为为求得使误差概率最小的阈值T，将E(T)对T求导并令导数为0，得2.7实验1—图像的贝叶斯分类把目标错分为背景的概率可表示2.7实验1—图像的贝叶斯分类代换后，可得此时，若设，则有若还有，则这时的最优阈值就是两类区域灰度均值，实际运算依靠迭代算法进行。2.7实验1—图像的贝叶斯分类代换后，可得此时，若设，则2.7实验1—图像的贝叶斯分类最优阈值的迭代算法：设有一幅数字图像f(x,y)，混有0均值加性高斯噪声，可表示为

如果通过阈值分割将图像分为目标与背景两部分，则每一部分仍然有噪声点随机作用于其上，于是目标与背景可表示为迭代过程中，会多次地对和求均值，则

可见，随着迭代次数的增加，目标和背景的平均灰度都趋向于真实值。因此，用迭代算法求得的最佳阈值不受噪声干扰的影响。2.7实验1—图像的贝叶斯分类最优阈值的迭代算法：设有一幅2.7实验1—图像的贝叶斯分类，和利用最优阈值对实验图像进行分割的迭代步骤为：（1）确定一个初始阈值可取为

式中，为图像灰度的最小值和最大值。（2）利用第k次迭代得到的阈值将图像分为目标和背景两大区域，其中（3）计算区域和的灰度均值和（4）计算新的阈值，其中（5）如果小于允许的误差，则结束，否则，转步骤（2）。2.7实验1—图像的贝叶斯分类，和利用最优阈值对实验图像2.7实验1—图像的贝叶斯分类分割范例分割阈值1202.7实验1—图像的贝叶斯分类分割范例分割阈值1202.7实验1—图像的贝叶斯分类

实验步骤及程序理解最优阈值迭代算法，设计程序实现对自选图像的最优阈值分割。实验结果与分析要求写明实验得到的分割阈值，附分割效果图。对实验结果进行分析，说明实验结果好或者不好的原因，提出改进措施。

2.7实验1—图像的贝叶斯分类实验步骤及程序2.7实验1—图像的贝叶斯分类实验报告撰写要求：一、封皮的填写：实验课程名称模式识别二、实验名称：按顺序填写图像的贝叶斯分类、K均值聚类算法、神经网络模式识别三、年月：2013年4月四、纸张要求：统一采用A4大小纸张，左侧装订，装订顺序与实验顺序一致。五、书写要求：报告可以手写也可以打印。实验图像及结果图像打印，图像均位于实验结果与分析部分，图像打印于纸张上部，下部为实验分析。报告中图要有图序及名称，表要有表序及名称，每个实验的图序和表序单独标号，具体格式参照毕业设计手册。不合格者扣除相应分数。每个实验均需另起一页书写。六、关于雷同报告：报告上交后，如有雷同，则课程考核以不及格处理，不再另行通知修改。2.7实验1—图像的贝叶斯分类实验报告撰写要求：贝叶斯决策理论课件2.7实验1—图像的贝叶斯分类实验一、图像的贝叶斯分类一、实验目的将模式识别方法与图像处理技术相结合，掌握利用最小错分概率贝叶斯分类器进行图像分类的基本方法，通过实验加深对基本概念的理解。二、实验仪器设备及软件

PC机、MATLAB（或C语言开发环境）三、实验原理以自己的语言结合课堂笔记进行总结，要求过程推导清晰明了。四、实验步骤及程序实验步骤、程序流程、实验源程序齐全。五、实验结果与分析要求写明实验得到的分割阈值，附分割效果图。对实验结果进行分析，说明实验结果好或者不好的原因，提出改进措施。（另起一页）2.7实验1—图像的贝叶斯分类实验一、图像的贝叶斯分类一本章小结贝叶斯决策规则最小错误率决策规则、最小风险决策规则分类器设计正态分布情况的贝叶斯分类器贝叶斯分类器应用于遥感图像分类实验—图像的贝叶斯分类本章小结贝叶斯决策规则演讲完毕，谢谢观看！演讲完毕，谢谢观看！第2章贝叶斯决策理论

常用决策规则分类器设计正态分布情况下的贝叶斯决策实验内容第2章贝叶斯决策理论常用决策规则2.1引言

贝叶斯决策理论是统计模式识别的基本理论，其假设（1）各类别总体的概率分布是已知的；（2）要决策分类的类别数是一定的。贝叶斯决策理论研究了模式类的概率结构完全知道的理想情况。这种情况实际中极少出现，但提供了一个对比其它分类器的依据，即“最优”分类器。2.1引言贝叶斯决策理论是统计模式识别的基本理论，其假设符号规定

分类类别数：c

类别状态：

特征空间维数：dd维特征空间中的特征向量：

先验概率：类条件概率密度：2.1引言符号规定2.1引言2.2几种常用决策规则最小错误率的贝叶斯决策规则最小风险决策规则Neyman-Pearson决策规则极小极大决策规则2.2几种常用决策规则最小错误率的贝叶斯决策规则基于最小错误率的贝叶斯决策

基本思想：利用贝叶斯公式使分类错误率达到最小。癌细胞识别问题：选择癌细胞的d个特征

经调查统计，得先验概率

基于最小错误率的贝叶斯决策基本思想：利用贝叶斯公式使基于最小错误率的贝叶斯决策仅依靠先验概率进行判断，其决策规则为此种判断方法是否合理？利用信息太少！基于最小错误率的贝叶斯决策仅依靠先验概率进行判断，其决策规则基于最小错误率的贝叶斯决策加入特征—细胞光密度章前假设：各类总体概率密度为已知，即已知类条件概率密度此时已知分类类别数、先验概率及类条件概率密度，可重新进行决策。

基于最小错误率的贝叶斯决策加入特征—细胞光密度基于最小错误率的贝叶斯决策考虑贝叶斯公式癌细胞识别问题中c=2贝叶斯公式通过类条件概率密度形式的观察值，将先验概率转化为后验概率。基于最小错误率的贝叶斯决策考虑贝叶斯公式基于最小错误率的贝叶斯决策类条件概率密度与后验概率图示基于最小错误率的贝叶斯决策类条件概率密度与后验概率图示基于最小错误率的贝叶斯决策两类问题最小错误率贝叶斯决策规则：基于最小错误率的贝叶斯决策两类问题最小错误率贝叶斯决策规则：基于最小错误率的贝叶斯决策例：假设在某个局部地区细胞识别中正常和异常两类的先验概率分别为正常状态：异常状态：现有一待识别的细胞，其观察值为x，类条件概率密度分别为试对该细胞x进行分类。解：基于最小错误率的贝叶斯决策例：假设在某个局部地区细胞识别中正基于最小错误率的贝叶斯决策关于错误率最小的讨论（一维情况）错误率是指平均错误率P(e)令每一个x都取使P(e|x)最小的值，则所有x产生的平均错误率最小。结论可推广至多类基于最小错误率的贝叶斯决策关于错误率最小的讨论（一维情况）令基于最小错误率的贝叶斯决策多类情况下的贝叶斯决策规则参照两类情况，也可得到平均错误率最小的分类结果基于最小错误率的贝叶斯决策多类情况下的贝叶斯决策规则参照两类基于最小风险的贝叶斯决策考虑风险，如癌症诊断问题空袭警报问题制药企业药品合格检定问题因此须考虑减小损失（或代价）最小风险贝叶斯决策是一种令各种错误造成的损失（风险）最小化的决策。基于最小风险的贝叶斯决策考虑风险，如基于最小风险的贝叶斯决策决策会带来相应的损失，以决策表来定义基于最小风险的贝叶斯决策决策会带来相应的损失，以决策表来定义基于最小风险的贝叶斯决策定义损失函数其表示真实状态为，而采取决策所带来的损失。针对特定x采取决策的条件期望损失（条件风险）为针对所有x的期望风险定义为欲令R最小，须令针对每一x的条件风险最小。基于最小风险的贝叶斯决策定义损失函数其表示真实状态为，基于最小风险的贝叶斯决策最小风险贝叶斯决策规则步骤：（1）计算后验概率（2）利用后验概率及决策表计算针对某一x采取a种决策的a个条件期望损失（3）取（2）中条件风险最小的决策，采取该行动。基于最小风险的贝叶斯决策最小风险贝叶斯决策规则步骤：（2）利基于最小风险的贝叶斯决策例：在最小错误率例题基础上，利用决策表按最小风险贝叶斯决策进行分类。0610解：前例已计算出结果与前例相反，Why?基于最小风险的贝叶斯决策例：在最小错误率例题基础上，利用决策基于最小风险的贝叶斯决策

两例结果相反的原因最小风险决策规则在考虑错误率的同时考虑了“损失”，而上例中将异常细胞判为正常的代价较大，占“主导”作用，故产生相反的结果。决策表直接影响决策结果，制定应慎重。基于最小风险的贝叶斯决策两例结果相反的原因最小风险决策与最小错误率决策的关系0-1损失下，最小风险决策等价于最小错误率决策最小风险决策与最小错误率决策的关系0-1损失下，最小风险决策基于最小风险的贝叶斯决策通信例题：下图为一信号通过受噪声干扰的信道判别结果x0,1信道分类器噪声输入信号为0或1，噪声为高斯型，其均值为0，方差为，信道输出为x（1）试求最优的判别规则，以区分输出x是0还是1？（2）若此通信系统为M进制，采用0-1代价函数重新求最优判别规则。基于最小风险的贝叶斯决策通信例题：判别结果x0,1信道分类器基于最小风险的贝叶斯决策解：最小风险决策的似然比形式基于最小风险的贝叶斯决策解：最小风险决策的似然比形式基于最小风险的贝叶斯决策直观上对数字信号的判断如下图信号受0均值高斯噪声影响，输入为0时，幅值的概率密度为输入为1时，幅值的概率密度为均值为真实信号，噪声在其上波动基于最小风险的贝叶斯决策直观上对数字信号的判断如下图信号受0基于最小风险的贝叶斯决策似然比若令，则0.5为阈值，符合直观判断。

基于最小风险的贝叶斯决策似然比若令基于最小风险的贝叶斯决策（2）∵0-1代价函数∴最小代价转化为最小错误率Bayes决策若判别结果x概率密度估计...最大值选择器M进制贝叶斯分类器基于最小风险的贝叶斯决策（2）∵0-1代价函数判别结果x.M2.3分类器设计决策面—划分决策域的边界判别函数—用以表达决策规则的函数决策面02.3分类器设计决策面—划分决策域的边界决策面02.3分类器设计多类情况下的4种贝叶斯决策规则定义判别函数，令2.3分类器设计多类情况下的4种贝叶斯决策规则定义判别函数2.3分类器设计可定义为：2.3分类器设计可定义为：2.3分类器设计决策面方程

相邻决策域在决策面上判别函数值相等，即决策面的形式

d=1—点

d=2—曲线

d=3—曲面

d>3—超曲面

2.3分类器设计决策面方程2.3分类器设计决策边界的形式一维点边界二维线边界2.3分类器设计决策边界的形式一维点边界二维线边界2.3分类器设计分类器—软硬件机器多类分类器的构成2.3分类器设计分类器—软硬件机器多类分类器的构成2.3分类器设计两类情况：判别函数决策规则判别函数形式决策面方程2.3分类器设计两类情况：判别函数决策规则判别函数形式决策2.3分类器设计两类分类器的构成2.3分类器设计两类分类器的构成2.3分类器设计例：写出最小错误率和最小风险例题的判别函数和决策面方程。（1）最小错误率例题，利用两类形式（2）

形式（2）判别函数决策面方程2.3分类器设计例：写出最小错误率和最小风险例题的判别函数2.3分类器设计（2）针对最小风险例题判别函数原形代入数据决策面方程2.3分类器设计（2）针对最小风险例题判别函数原形代入数据2.4正态分布时的统计决策前述是抽象的，此处代以正态分布为什么使用正态分布？（1）物理上的合理性

样本点较多地分布在均值附近，远离均值点较少，可用正态分布近似。（2）数学上比较简便

如表征模型的参数较少，抽取样本点方便。2.4正态分布时的统计决策前述是抽象的，此处代以2.4正态分布时的统计决策单变量正态分布2.4正态分布时的统计决策单变量正态分布2.4正态分布时的统计决策多元正态分布边缘分布2.4正态分布时的统计决策多元正态分布边缘分布2.4正态分布时的统计决策

d×11×d对称阵，对角线元素为方差，非对角线为协方差也叫相关矩，表示两个随机变量的相关程度2.4正态分布时的统计决策d×11×d对称阵，2.4正态分布时的统计决策多元正态分布的性质（1）决定了分布共有d+d(d+1)/2个参数，（2）等密度点轨迹——超椭球面等密度点为指数项为常数时所取得的点，即

x到u的马氏距离的平方，构成超椭球面2.4正态分布时的统计决策多元正态分布的性质x到u的马氏距离2.4正态分布时的统计决策区域中心由均值向量决定，大小由协方差矩阵决定椭圆的长短轴方向由∑特征向量方向确定，长度由确定为特征值，为马氏距离的平方。2.4正态分布时的统计决策区域中心由均值向量决定，大小由协方2.4正态分布时的统计决策多元正态分布的性质（3）不相关等价于独立不相关独立正态分布时，不相关等价于独立推论：如果多元正态随机向量的协方差矩阵是对角阵，则x的分量是相互独立的正态分布随机变量。2.4正态分布时的统计决策多元正态分布的性质2.4正态分布时的统计决策多元正态分布的性质（4）多元正态分布的边缘分布和条件分布仍然是正态分布。（5）线性变换的正态性多元正态随机向量的线性变换仍为多元正态分布的随机向量。可寻找线性变换A使为对角阵，则y各分量独立，可提高识别效率。2.4正态分布时的统计决策多元正态分布的性质可寻找线性变换A2.4正态分布时的统计决策多元正态分布的性质（6）线性组合的正态性2.4正态分布时的统计决策多元正态分布的性质2.4正态分布时的统计决策多元正态概率模型下的最小错误率贝叶斯判别函数和决策面对数单调递增分类性能不变去掉首项无关项

决策面方程

判别函数2.4正态分布时的统计决策多元正态概率模型下的最小错误率贝叶2.4正态分布时的统计决策特殊情况讨论：一、消去负号不等号变向最小距离分类器2.4正态分布时的统计决策特殊情况讨论：消去负号不等号变向2.4正态分布时的统计决策最小距离分类器为线性分类器定义：判别函数为线性函数的分类器为线性分类器。决策面方程2.4正态分布时的统计决策最小距离分类器为线性分类器决策面方2.4正态分布时的统计决策最小距离分类器的缺点基本思想：以均值点作为典型样本，用距离作为判别函数进行分类。可以正确分类不能正确分类分类效果不好（1）未考虑样本服从什么概率分布（2）只用了一个典型样本的信息2.4正态分布时的统计决策最小距离分类器的缺点可以正确分类不2.4正态分布时的统计决策当先验概率不等时的决策面∴第一种情况的决策面为超平面决策面远离先验概率大的一方，移动距离由方程决定2.4正态分布时的统计决策当先验概率不等时的决策面∴第一种情2.4正态分布时的统计决策特殊情况讨论：二、向先验概率小的方向偏移马氏距离的平方∴第二种情况的决策面为超平面2.4正态分布时的统计决策特殊情况讨论：向先验概率小的方向偏2.4正态分布时的统计决策特殊情况讨论：三、决策面方程决定决策面形状（超二次曲面）决定了决策面的具体形式2.4正态分布时的统计决策特殊情况讨论：决策面方程决定决策面2.4正态分布时的统计决策2.4正态分布时的统计决策2.5分类器的错误率按理论公式计算计算错误率上界实验估计（第3章讨论）2.5分类器的错误率按理论公式计算2.6基于贝叶斯分类器的遥感图像分类目视判读计算机分类

（1）数据准备

质量检查预处理（2）分类判决（3）输出2.6基于贝叶斯分类器的遥感图像分类目视判读2.6基于贝叶斯分类器的遥感图像分类原始图像数据的准备图像变换及特征选择分类判决函数的选择确定分类算法方案逐个像素分类判决形成分类编码图像分类结果输出准备阶段分类判决输出否是开始输入分类类别数令i=0i=i+1输入第i类先验概率输入第i类样本数据计算第i类数学期望向量和协方差矩阵i<c?利用判决函数对图像进行逐像素判决分类结果图像输出结束2.6基于贝叶斯分类器的遥感图像分类原始图像数据的准备图像变2.6基于贝叶斯分类器的遥感图像分类各类别高斯分布的期望向量与协方差矩阵的估计针对某一类为第k个样本的第i个特征值2.6基于贝叶斯分类器的遥感图像分类各类别高斯分布的期望向量2.6基于贝叶斯分类器的遥感图像分类

遥感图像分为森林、河流、峡谷三类，特征选取RGB三个分量构成的特征向量，已知其先验概率分别为0.34，0.33，0.33，每一类取64个样本的训练区。利用Beyes分类器进行分类，结果如下图所示。2.6基于贝叶斯分类器的遥感图像分类遥感图像分为2.7实验1—图像的贝叶斯分类实验目的将模式识别方法与图像处理技术相结合，掌握利用最小错分概率贝叶斯分类器进行图像分类的基本方法，通过实验加深对基本概念的理解。实验仪器设备及软件

HPD538（或兼容PC）、MATLAB（或C语言开发环境）实验原理利用最小错误率贝叶斯分类方法确定图像分割阈值。

2.7实验1—图像的贝叶斯分类实验目的2.7实验1—图像的贝叶斯分类基本原理：图像中目标与背景有一定的交错，会产生将目标错分为背景与将背景错分为目标两类错误，通过Bayes最小错误率分类器求取“最优阈值”可令总的错误率最小。图像直方图可作为对概率密度函数的近似。2.7实验1—图像的贝叶斯分类基本原理：图像直方图可作为对2.7实验1—图像的贝叶斯分类

假设目标与背景两类像素值均服从正态分布且混有加性高斯噪声，分类问题可以使用最小错分概率贝叶斯分类器来解决。图像的混合概率密度函数可用下式表示图像中背景的先验概率图像中目标的先验概率图像中背景的概率密度图像中目标的概率密度求一分割阈值T，使分类错误率最小。假定目标的灰度较亮，背景的灰度较暗，则有2.7实验1—图像的贝叶斯分类假设目标与背景两2.7实验1—图像的贝叶斯分类把目标错分为背景的概率可表示为把背景错分为目标的概率可表示为总的误差概率为为求得使误差概率最小的阈值T，将E(T)对T求导并令导数为0，得