第4讲 统计分类(三)--贝叶斯分类器的设计和分析.ppt

1、0,1,回顾：,数理统计基础 贝叶斯分类的基本原理 最小错误率贝叶斯分类 最小风险贝叶斯分类 最大似然比贝叶斯分类,2,一、贝叶斯分类器设计,1、贝叶斯分类器设计的原理,贝叶斯分类器中只要知道先验概率，类条件概率密度 P(j)，P(x/j) 就可以设计分类器。而P(j)，P(x/j) 需要利用训练样本集的信息去进行估计。,3,2、参数估计与非参数估计 参数估计： 先假定研究的问题具有某种数学模型，如正态分布，二项分布，再用已知类别的学习样本估计里面的参数。 非参数估计： 不假定数学模型，直接用已知类别的学习样本的先验知识直接估计数学模型。,一、贝叶斯分类器设计,4,（1）最大似然估计 假定：

2、待估参数是确定的未知量 按类别把样本分成M类X1，X2，X3， XM 其中第i类的样本共N个 Xi = (X1,X2, XN)T 并且是独立从总体中抽取的 Xi中的样本不包含 (ij)的信息，所以可以对每一 类样本独立进行处理。 第i类的待估参数,3、类概率密度函数的估计,一、贝叶斯分类器设计,5,根据以上四条假定，我们只分别利用各类学习样 本来估计各类的概率密度函数。 一般方法 第i类样本的类条件概率密度： P(Xi/i)= P(Xi/ii) = P(Xi/i) 原属于i类的学习样本为Xi=(X1 , X2 ,XN,)T i=1,2,M 求i的最大似然估计就是把P(Xi/i)看成i的函数，求

3、出使它最大时的i值。,一、贝叶斯分类器设计,6,学习样本独立从总体样本集中抽取的 即 N个学习样本出现概率的乘积 取对数 ：,对i求导,并令它为0：,一、贝叶斯分类器设计,7,有时上式是多解的, 上图有5个解,只有一个解最大即,P(Xi/i),一、贝叶斯分类器设计,8,多维正态分布情况 已知, 未知,估计 服从正态分布 则有 最优值满足,得,一、贝叶斯分类器设计,9,所以 未知均值的最大似然估计是训练样本的算术平均值。, ， 均未知 A. 一维情况：n=1 对于每个学习样本只有一个特征的简单情况：,一、贝叶斯分类器设计,10,一、贝叶斯分类器设计,11,B多维情况：n维特征 估计值： 结论：的

4、估计即为学习样本的算术平均 估计的协方差矩阵是矩阵 的算术平均（nn阵列， nn个值）,一、贝叶斯分类器设计,12,（2）贝叶斯估计 最大似然估计是把待估的参数看作固定的未知量，而贝叶斯估计则是把待估的参数作为具有某种先验分布的随机变量，通过对第i类学习样本Xi的观察，使概率密度分布P(Xi/)转化为 后验概率P(/Xi) ，再求贝叶斯估计。 估计步骤: 确定的先验分布P(),待估参数为随机变量。 用第i类样本xi=(x1, x2,. xN)T求出样本的联合概率密度分布P(xi|)，它是的函数。 利用贝叶斯公式,求的后验概率 ,一、贝叶斯分类器设计,13,二、正态分布条件下的贝叶斯分类,1、贝

5、叶斯分类的判别函数和决策面,判别函数 假定有c类问题，用1， 2， .，c表示c个类型，则 对最小错误率判决规则，判别函数可定义为：,对于最小风险判别规则，判别函数可定义为：,对于最大似然比判别规则，判别函数可定义为：,14,假定c个类型区域均相邻，统一判决规则为 若 则 上式等效于 决策面方程 如果类型i和j的区域是相邻的，他们之间的决策面方程为,二、正态分布条件下的贝叶斯分类,一般地，x为一维时，决策面为一分界点； x为二维时，决策面为一曲线； x为三维时，决策面为曲面； x为d维时，决策面为一超曲面。,15,2、正态分布概率密度函数 为什么采用正态分布： a、正态分布在物理上是合理的、广

6、泛的。 b、正态分布数学上简单，N(, ) 只有均值和方差 两个参数。 （1）单变量正态分布：,二、正态分布条件下的贝叶斯分类,16,（2）多维正态分布 函数形式,二、正态分布条件下的贝叶斯分类,17,二、正态分布条件下的贝叶斯分类,18,性质 与对分布起决定作用, 由n个分量组成，由n(n+1)/2元素组成，所以多维正态分布由n+n(n+1)/2个参数组成。 等密度点的轨迹是一个超椭球面。区域中心由决定，区域形状由决定。 不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。 线性变换的正态性。Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。 线性组合的正态性。,二

7、、正态分布条件下的贝叶斯分类,19,（1）判别函数和决策面 假设类条件概率密度符合多维正态分布，则由最小错误率判别规则得到的判别函数为：,3、多维正态分布条件下的贝叶斯分类,其对数形式为：,二、正态分布条件下的贝叶斯分类,20,（2）第一种情况：,决策面方程为：,即,每类的协方差矩阵都相等，类内各特征间相互独立，且方差相同的情况。,二、正态分布条件下的贝叶斯分类,21,判别函数为：,都与类别无关，对分类无影响 所以，判别函数也可写为：,二、正态分布条件下的贝叶斯分类,22,称为 最小距离分类器 将待分类样本x分类到中心距离（欧式距离）最近的类中。,m个类的先验概率相等,二、正态分布条件下的贝叶

8、斯分类,23,m个类先验概率不相等,二、正态分布条件下的贝叶斯分类,24,二、正态分布条件下的贝叶斯分类,25,决策规则为： 为了对x进行分类，只要计算出x到每类的均值点ui的马氏距离平方2，最后把x归于最小2的类别。,（3）第二种情况：i 相等，即各类协方差相等。,m个类的先验概率相等,二、正态分布条件下的贝叶斯分类,26,m个类先验概率不相等,二、正态分布条件下的贝叶斯分类,27,二、正态分布条件下的贝叶斯分类,28,（4）第三种情况(一般情况)：为任意，各类协方差矩阵不等，二次项xT x与i有关。所以判别函数为二次型函数。,二、正态分布条件下的贝叶斯分类,29,上式所决定的决策面为超二次曲面，随着 的不同而呈现为某种超二次曲面，即超球面、超抛物面、超双曲面或超平面等。,二、正态分布条件下的贝叶斯分类,30,三、贝叶斯分类的错误率,1、错误率的概念,错误率就是根据判别