第四讲概率密度估计

第四讲概率密度估计第一页，共四十三页，2022年，8月28日内容提要引言参数估计的方法高斯分布参数估计混合高斯分布参数估计第二页，共四十三页，2022年，8月28日一、引言问题形式的变化本章学习的主要内容参数估计的基本方法第三页，共四十三页，2022年，8月28日问题一已知：（1）样本总的类别数；（2）各样本类别的先验概率；（3）测量值的类条件概率；（4）样本特征矢量。求：给定样本特征矢量所属的类别第四页，共四十三页，2022年，8月28日求解方法（1）第五页，共四十三页，2022年，8月28日求解方法（2）第六页，共四十三页，2022年，8月28日问题二已知：（1）样本总的类别数；（2）各样本类别的先验概率；（3）类条件概率的分布形式及参数值；（如：正态分布及均值和协方差）（4）样本特征矢量。求：给定样本特征矢量所属的类别第七页，共四十三页，2022年，8月28日求解方法第八页，共四十三页，2022年，8月28日问题三—本讲拟解决的问题已知：（1）样本总的类别数；（2）若干训练样本特征矢量及其对应的类别（）（3）样本所服从的统计分布函数但参数未知（如：正态分布，但均值与协方差矩阵未知）（4）测试样本特征矢量：求：给定样本特征矢量所属的类别第九页，共四十三页，2022年，8月28日本章学习内容第十页，共四十三页，2022年，8月28日参数估计的分类监督参数估计（已知样本的特征矢量及类别，先估计分布参数，再计算条件概率，然后计算后验概率，最后决策。）非监督参数估计（已知样本的特征矢量没有告诉样本的类别，先估计分布参数，再计算条件概率，然后计算后验概率，最后进行决策。）非参数估计（不去估计概率，直接根据已有训练样本提供的类别信息进行分类决策）第十一页，共四十三页，2022年，8月28日二、未知概率密度函数估计参数估计的概念参数估计的方法最大似然参数估计(MaximumLikelihoodParameterEstimation)最大后验概率估计(MaximumAPosterioriProbabilityEstimation)贝叶斯推理(BayesianInference)最大熵估计(MaximumEntropyEstimation)第十二页，共四十三页，2022年，8月28日2.1基本概念（1）统计量：样本中包含着总体的信息，我们希望通过样本集把有关信息抽取出来，即针对不同要求构造出样本的某种函数，这种函数在统计学上叫做统计量。参数空间：在参数估计中，总是假定总体概率密度函数的形式已知，但分布中的参数未知，这些未知参数全部可容许的取值集合叫做参数空间。第十三页，共四十三页，2022年，8月28日2.1基本概念（2）点估计、估计量和估计值：第十四页，共四十三页，2022年，8月28日2.1基本概念（3）两点假设第十五页，共四十三页，2022年，8月28日2.2最大似然估计第十六页，共四十三页，2022年，8月28日第十七页，共四十三页，2022年，8月28日举例：正态分布函数的参数估计第十八页，共四十三页，2022年，8月28日结论第十九页，共四十三页，2022年，8月28日讨论ML估计是渐近无偏估计（asymptoticallyunbiased)ML估计也是渐近一致估计(asymptoticallyconsistent)ML估计是渐近有效的。满足Cramer-Rao准则ML估计当N趋近无穷大时，接近Gaussian分布。第二十页，共四十三页，2022年，8月28日2.3最大后验概率估计第二十一页，共四十三页，2022年，8月28日与ML的区别第二十二页，共四十三页，2022年，8月28日举例第二十三页，共四十三页，2022年，8月28日第二十四页，共四十三页，2022年，8月28日说明方差很大，说明高斯分布很宽，在某个范围内可近似为水平直线，即趋于均匀分布。所以MAP估计和ML估计两者近似相等。第二十五页，共四十三页，2022年，8月28日2.4贝叶斯推理前提变化：原来假定估计量是确定的但未知。现在假定估计量是随机变量且未知。第二十六页，共四十三页，2022年，8月28日讨论第二十七页，共四十三页，2022年，8月28日三高斯分布参数估计的改进第二十八页，共四十三页，2022年，8月28日问题的提出第二十九页，共四十三页，2022年，8月28日解决办法（1）第三十页，共四十三页，2022年，8月28日解决办法（2）正则化判别分析Fredman(1989)提出。第三十一页，共四十三页，2022年，8月28日改进后的判别函数第三十二页，共四十三页，2022年，8月28日讨论第三十三页，共四十三页，2022年，8月28日方法简评当协方差矩阵不是近似相等或样本规模太小，以至于二次判别函数不可行时，正则化判别方法对改进分类性能很有帮助。另有学者对非正态类型的线性和二次判别规则鲁棒性进行了研究。第三十四页，共四十三页，2022年，8月28日四高斯混合模型面临的问题前面我们只讨论样本特征矢量服从正态分布时我们如何进行判别决策。如果样本特征矢量不服从正态分布，我们怎么处理呢？第三十五页，共四十三页，2022年，8月28日数学表示方式第三十六页，共四十三页，2022年，8月28日数学问题第三十七页，共四十三页，2022年，8月28日解决方法第三十八页，共四十三页，2022年，8月28日EM算法原理第三十九页，共四十三页，2022年，8月28日