基于参数估计的分类方法演示文稿

基于参数估计的分类方法演示文稿当前第1页\共有80页\编于星期三\2点优选基于参数估计的分类方法当前第2页\共有80页\编于星期三\2点基本问题如果完全知道类先验概率和类条件概率，就可以利用它们来设计最优分类器。如果只是知道类先验概率和各类的一些样本，但仅仅知道类条件概率的数学形式，那么应该如何设计最优分类器？返回当前第3页\共有80页\编于星期三\2点基本问题的数学描述先验概率：P(i),i=1,2,…,c已知样本的描述类条件概率密度的描述关键问题的描述返回当前第4页\共有80页\编于星期三\2点已知样本的描述把已知样本按照类别分成c组，分别记为：

D1，D2，…，Dc

其中Dj的样本都属于j类，且都独立地从类条件概率分布p(X|j)中抽取。返回当前第5页\共有80页\编于星期三\2点类条件概率密度的描述类条件概率密度p(X|j)的数学形式已经知道，用p(X|j,j)或p(X|j)表示，其中j是未知参数集。样本集Di不包含关于j(ji)的信息，也就是说不同类的参数集是无关的。返回当前第6页\共有80页\编于星期三\2点关键问题的描述关键问题是利用每个类的样本集Dj去估计p(X|j,j)或p(X|j)中的参数集j。每个参数集j的估计可以独立进行。在估计j后，就可以在结合类先验概率和类条件概率的基础上利用最小错误率贝叶斯决策等方法来设计最优分类器。返回当前第7页\共有80页\编于星期三\2点极大似然估计似然函数的定义对数似然函数的定义极大似然估计的基本思想极大似然估计的求解方法极大似然估计的求解举例返回当前第8页\共有80页\编于星期三\2点似然函数的定义设某类的条件概率密度记为p(X|)，样本集D包含该类n个独立抽取的样本：

D={X1,X2,…,Xn}在样本集D下关于的似然函数定义为：返回当前第9页\共有80页\编于星期三\2点一维正态样本集举例图中样本都服从一个方差已知，而均值未知的一维正态分布。虚线表示4种可能的分布。返回当前第10页\共有80页\编于星期三\2点似然函数示意图表示使得似然函数取最大值的点。返回当前第11页\共有80页\编于星期三\2点对数似然函数的定义在样本集D下关于的对数似然函数l()定义为：返回当前第12页\共有80页\编于星期三\2点对数似然函数示意图表示使得对数似然函数取最大值的点。返回当前第13页\共有80页\编于星期三\2点极大似然估计的基本思想如果在一次观察中某事件出现，那么可以认为该事件出现的可能性很大。所以，问题转化为求p(D|)的极大值。将看作确定的参数，使p(D|)达到极大值的就是它的极大似然估计。求p(D|)的极大值等价于求l()=lnp(D|)的极大值。返回当前第14页\共有80页\编于星期三\2点极大似然估计的求解方法设有r个分量：定义梯度算子：极大似然估计

其中是下面方程组的解：返回当前第15页\共有80页\编于星期三\2点极大似然估计的求解举例正态分布：均值未知、方差已知一维正态分布：均值和方差均未知多维正态分布：均值和方差均未知返回当前第16页\共有80页\编于星期三\2点正态分布：均值未知、方差已知设正态分布的均值为，方差为。极大似然估计返回当前第17页\共有80页\编于星期三\2点正态分布的概率密度均值未知、方差已知时的正态分布密度：返回当前第18页\共有80页\编于星期三\2点一维正态分布：均值和方差均未知设一维正态分布的均值为，方差为2令极大似然估计的条件及结果。返回当前第19页\共有80页\编于星期三\2点一维正态分布的概率密度均值和方差均未知的一维正态分布密度：返回当前第20页\共有80页\编于星期三\2点极大似然估计的条件由得：返回当前第21页\共有80页\编于星期三\2点极大似然估计的结果均值和方差2的极大似然估计为返回当前第22页\共有80页\编于星期三\2点多维正态分布：均值和方差均未知设多维正态分布的均值为，方差为。和的极大似然估计为：返回当前第23页\共有80页\编于星期三\2点多维正态分布的概率密度均值和方差均未知的多维正态分布密度：返回当前第24页\共有80页\编于星期三\2点贝叶斯估计贝叶斯估计的基本问题贝叶斯估计的基本思想贝叶斯估计的核心公式贝叶斯估计举例贝叶斯学习返回当前第25页\共有80页\编于星期三\2点贝叶斯估计的基本问题利用样本集D=D1…Dc估计后验概率:p(i|X)p(i|X,D)

其中Di完全独立地从p(i|X)中抽取，且返回当前第26页\共有80页\编于星期三\2点贝叶斯估计的基本思想将类条件概率p(X|i,i)或p(X|i)中未知参数集i看作是随机向量。假定已知i的分布p(i)。关键在于利用上述条件估计：

p(X|Di)=p(X|i,Di)返回当前第27页\共有80页\编于星期三\2点贝叶斯估计的核心公式已知从类独立抽取的样本集D，则：其中（试证明）返回当前第28页\共有80页\编于星期三\2点证明由于测试样本X和训练样本集D是独立选取的，所以，从而返回当前第29页\共有80页\编于星期三\2点贝叶斯估计举例一维情况多维情况返回当前第30页\共有80页\编于星期三\2点一维情况前提条件计算p(|D)计算p(x|D)返回当前第31页\共有80页\编于星期三\2点前提条件假定总体概率密度是正态的，即：其中均值是未知参数，方差2是已知的。假设是随机变量，服从正态分布，即其中0和0都是已知的。返回当前第32页\共有80页\编于星期三\2点计算p(|D)基本公式中间结果最终结果一个特例返回当前第33页\共有80页\编于星期三\2点基本公式p(|D)可以利用下面的基本公式计算：返回当前第34页\共有80页\编于星期三\2点中间结果将正态密度代入整理得：返回当前第35页\共有80页\编于星期三\2点最终结果p(|D)仍是一个正态密度函数，即：其中返回当前第36页\共有80页\编于星期三\2点p(|D)的数学形式n表示在观察到一组样本后，对的最好推断，n反映了该推断的不确定性。因随n单调减小并趋于零，故增加样本可减少对的推断不确定性。当n增加时，p(|D)的峰会变得越来越突起，并逐步趋向狄拉克函数。返回当前第37页\共有80页\编于星期三\2点一个特例如果那么当方差2=1时，的贝叶斯估计为：估计方差为返回当前第38页\共有80页\编于星期三\2点计算p(x|D)基本公式最终结果返回当前第39页\共有80页\编于星期三\2点基本公式p(x|D)可以利用下面的基本公式计算：返回当前第40页\共有80页\编于星期三\2点最终结果p(x|D)仍是一个正态密度函数，即：其中返回当前第41页\共有80页\编于星期三\2点p(x|D)的数学形式其中返回当前第42页\共有80页\编于星期三\2点多维情况前提条件计算p(|D)计算p(X|D)返回当前第43页\共有80页\编于星期三\2点前提条件假定总体概率密度是正态的，即：其中未知，协方差阵已知。假设是随机向量，服从正态分布，即其中0和0都是已知的。返回当前第44页\共有80页\编于星期三\2点计算p(|D)基本公式最终结果返回当前第45页\共有80页\编于星期三\2点基本公式p(|D)可以利用下面的基本公式计算：返回当前第46页\共有80页\编于星期三\2点最终结果p(|D)仍是一个正态密度函数，即：其中返回当前第47页\共有80页\编于星期三\2点p(|D)的数学形式n表示在观察到一组样本后，对的最好推断，n反映了该推断的不确定性。因|n|随n单调减小并趋于零，故增加样本可减少对的推断不确定性。当n增加时，p(|D)的峰会变得越来越突起，并逐步趋向狄拉克函数。返回当前第48页\共有80页\编于星期三\2点计算p(X|D)基本公式辅助恒等式最终结果返回当前第49页\共有80页\编于星期三\2点基本公式p(X|D)可以利用下面的基本公式计算：返回当前第50页\共有80页\编于星期三\2点辅助恒等式为了简化p(X|D)的计算结果，需要用到下面的辅助恒等式：（试证明）其中A和B是可逆同阶方阵，且A+B可逆返回当前第51页\共有80页\编于星期三\2点证明同理:返回当前第52页\共有80页\编于星期三\2点最终结果p(X|D)仍是一个正态密度函数，即：其中返回当前第53页\共有80页\编于星期三\2点p(X|D)的数学形式返回当前第54页\共有80页\编于星期三\2点贝叶斯学习基本递推公式递归学习过程贝叶斯学习示意图贝叶斯学习举例返回当前第55页\共有80页\编于星期三\2点基本递推公式设Dn={X1,X2,…,Xn}，在n>0时有其中返回当前第56页\共有80页\编于星期三\2点递归学习过程利用基本递推公式，能够产生一系列的概率密度函数：这一过程称为参数估计的递归贝叶斯方法，或贝叶斯学习过程。返回当前第57页\共有80页\编于星期三\2点贝叶斯学习示意图一维正态分布均值的贝叶斯学习二维正态分布均值的贝叶斯学习返回当前第58页\共有80页\编于星期三\2点一维正态分布均值的贝叶斯学习每个估计曲线旁标有训练样本数。返回当前第59页\共有80页\编于星期三\2点二维正态分布均值的贝叶斯学习每个估计曲面旁标有训练样本数。返回当前第60页\共有80页\编于星期三\2点贝叶斯学习举例设一维样本服从均匀分布：其中知道010有界，但不知具体数值如果已有样本集D={4,7,2,8},试分析贝叶斯学习过程，并与极大似然估计比较。返回当前第61页\共有80页\编于星期三\2点贝叶斯学习过程没有样本到达前，p(|D0)=p()=U(0,10)第一个样本x1=4到达后:第二个样本x2=7到达后:第n个样本xn到达后:示意图，返回当前第62页\共有80页\编于星期三\2点贝叶斯学习过程示意图返回当前第63页\共有80页\编于星期三\2点与极大似然估计比较用极大似然估计得(为什么？)：比较示意图返回当前第64页\共有80页\编于星期三\2点为什么当时，似然函数为当时，似然函数为所以极大似然估计为返回当前第65页\共有80页\编于星期三\2点比较示意图返回当前第66页\共有80页\编于星期三\2点期望最大化算法丢失特征下的最小错误率分类期望最大化算法的基本问题期望最大化算法的基本思想期望最大化算法的基本步骤期望最大化算法举例返回当前第67页\共有80页\编于星期三\2点丢失特征下的最小错误率分类前提条件完好后验概率的计算基于完好后验概率的判别准则返回当前第68页\共有80页\编于星期三\2点前提条件样本由两种特征构成，即:

X=[Xg,Xb]

其中Xg表示已知或完好特征，Xb表示未知或丢失特征。已知后验概率密度或判别函数:gi(X)=gi(Xg,Xb)=p(i|X)=p(i|Xg,Xb)返回当前第69页\共有80页\编于星期三\2点完好后验概率的计算完好特征的后验概率可用下式计算：P(i|Xg)称为完好后验概率。返回当前第70页\共有80页\编于星期三\2点基于完好后验概率的判别准则在存在丢失特征的情况下，应采用下面的判别准则进行分类：如果，那么决策。返回当前第71页\共有80页\编于星期三\2点期望最大化算法的基本问题在丢失特征下进行最小错误率分类，需要用到后验概率密度p(i|X)，p(i|X)可以利用类条件概率密度p(X|i)来计算。如果在已知样本集D={X1,X2,…,Xn}中存在丢失特征，即Xk=[Xkg,Xkb]，那么在已知p(X|)的数学形式p(X|,)或p(X|)时应如何估计其中的参数向量？返回当前第72页\共有80页\编于星期三\2点期望最大化算法的基本思想将全部特征D表示为D=DgDb：Dg称为完好特征集，Db称为丢失特征集。构造辅助函