条件概率密度函数的最大似然估计ppt课件

任课教师：刘琼自动化学院,模式识别,条件概率密度函数的最大似然估计MaximumLikelihoodEstimationofClass-conditionalProbabilityDensityFunction,教材：模式识别（第三版）张学工编著清华大学出版社,1,讲授提纲,问题提出最大似然估计基于最大似然估计的模式分类实例,2,讲授提纲,问题提出贝叶斯决策论贝叶斯公式最大似然估计基于最大似然估计的模式分类实例,3,问题提出（1/4）,4,80条鲑鱼，20条多宝鱼,问题提出（2/4）,5,第一种情况：不知晓这条鱼的任何信息，判决依据P(i)的大小；结论：第二种情况：给你这条鱼的宽度值x，判决依据P(i|x)；,贝叶斯决策论,？,鲑鱼,问题提出（3/4）,贝叶斯公式用非正式的英语表述,6,后验概率,类条件概率密度,先验概率根据领域知识或大量样本中计算各类样本所占的比例得到,总体密度所有样本关于特征x的概率密度,问题提出（4/4）,7,讲授提纲,问题提出最大似然估计假设条件主要思想求解方法及解的分析正态分布参数的最大似然估计基于最大似然估计的模式分类实例,8,最大似然估计的假设条件,假设条件：类条件概率密度p(x|i)的函数形式是已知的，但是其中的某些参数是未知的待估计参数是确定性的未知量按类别将样本划分c类，第i样本都是从类条件概率密度p(x|i)的总体中独立地抽取出来的第i类的样本不包含有关j(ij)的信息。不同类别的函数在参数上相互独立，每一类样本可以独立进行处理,9,函数形式已知,参数确定但未知,样本独立同分布,类类互不干扰,设i类样本集有N个样本它们是独立地按照概率密度p(x|i，)抽取出来的（独立同分布样本）似然函数可以表示为：含义：从总体中抽取x1,xN这样N个样本的联合概率（可能性）,10,最大似然估计的主要思想,最大似然估计的主要思想：如果在一次观察中一个事件出现了，则我们可以认为这一事件出现的可能性很大。现在，样本集（x1,xN）在一次观察（从概率总体中抽取一组样本）中居然出现了，则我们认为似然函数l()应该达到最大值为了便于分析，可以取似然函数的对数，即对数函数是单调增函数，H()与l()的最大值点相同,11,求最大似然估计量的方法,如果H()满足连续可微的数学性质，可以直接应用高等数学的知识来求最大值点，即求梯度（偏导数）,并令其等于零，解线性或者非线性方程组得到估计量假设：有s个参数梯度算子,12,求解过程：,13,从中求解出的最大似然估计量,最大似然估计结果的分析,可能存在多个解解决方法：使得似然函数最大的解才是最大似然估计量,14,有可能求不出正确的解（比如均匀分布）,15,例：正态分布函数的最大似然估计,单变量正态分布的概率密度函数要求的未知参数（均值与方差）已知，利用最大似然估计法，针对上述样本集，求出均值与方差的估计值,16,17,对数似然函数,求偏导数,18,解释：正态分布总体均值的最大似然估计量是样本属性值的算术平均（无偏）正态分布总体方差的最大似然估计量是样本方差的算术平均（渐进无偏）推广到多元正态分布,（无偏）,讲授提纲,问题提出最大似然估计基于最大似然估计的模式分类实例,19,基于最大似然估计的模式分类实例,20,已知条件：80条鲑鱼，20条多宝鱼对于宽度特征，两类鱼均服从正态分布箱中这条鱼的宽度为10cm问题：对箱中的鱼进行贝叶斯分类决策,？,Step1：数据准备,数据获取：对80条鲑鱼和20条多宝鱼分别测得他们的宽度值数据预处理：剔除野值数据（如发育不正常的个例）特征形成：每一条鱼有两个数据：类别标识宽度（特征）,21,+16.2+15.7-18.9-19.5.,Step2：类条件概率密度函数估计,22,两类样本分别满足各自的正态分布，利用最大似然估计方法分别求出鲑鱼和多宝鱼关于宽度特征的均值和方差的最大似然估计量为鲑鱼关于宽度特征的均值和方差的最大似然估计结果：多宝鱼关于宽度特征的均值和方差的最大似然估计结果：,Step3：后验概率计算,23,关于宽度特征的类条件概率密度曲线,关于宽度特征的后验概率曲线,Step4：分类决策,当黑箱中鱼的宽度为10cm时,24,决策结果：该鱼为多宝鱼,小结,概率密度函数估计的目的与基本概念目的：用于最小错误率贝叶斯决策分类概念：某类关于特征x的概率分布，依据分布函数形式是否已知，可将估计方法分为两类最大似然函数参数估计方法,并应用于正态分布中的参数