第四讲概率密度估计

第四讲概率密度估计第1页，共43页，2023年，2月20日，星期三内容提要引言参数估计的方法高斯分布参数估计混合高斯分布参数估计第2页，共43页，2023年，2月20日，星期三一、引言问题形式的变化本章学习的主要内容参数估计的基本方法第3页，共43页，2023年，2月20日，星期三问题一已知：（1）样本总的类别数；（2）各样本类别的先验概率；（3）测量值的类条件概率；（4）样本特征矢量。求：给定样本特征矢量所属的类别第4页，共43页，2023年，2月20日，星期三求解方法（1）第5页，共43页，2023年，2月20日，星期三求解方法（2）第6页，共43页，2023年，2月20日，星期三问题二已知：（1）样本总的类别数；（2）各样本类别的先验概率；（3）类条件概率的分布形式及参数值；（如：正态分布及均值和协方差）（4）样本特征矢量。求：给定样本特征矢量所属的类别第7页，共43页，2023年，2月20日，星期三求解方法第8页，共43页，2023年，2月20日，星期三问题三—本讲拟解决的问题已知：（1）样本总的类别数；（2）若干训练样本特征矢量及其对应的类别（）（3）样本所服从的统计分布函数但参数未知（如：正态分布，但均值与协方差矩阵未知）（4）测试样本特征矢量：求：给定样本特征矢量所属的类别第9页，共43页，2023年，2月20日，星期三本章学习内容第10页，共43页，2023年，2月20日，星期三参数估计的分类监督参数估计（已知样本的特征矢量及类别，先估计分布参数，再计算条件概率，然后计算后验概率，最后决策。）非监督参数估计（已知样本的特征矢量没有告诉样本的类别，先估计分布参数，再计算条件概率，然后计算后验概率，最后进行决策。）非参数估计（不去估计概率，直接根据已有训练样本提供的类别信息进行分类决策）第11页，共43页，2023年，2月20日，星期三二、未知概率密度函数估计参数估计的概念参数估计的方法最大似然参数估计(MaximumLikelihoodParameterEstimation)最大后验概率估计(MaximumAPosterioriProbabilityEstimation)贝叶斯推理(BayesianInference)最大熵估计(MaximumEntropyEstimation)第12页，共43页，2023年，2月20日，星期三2.1基本概念（1）统计量：样本中包含着总体的信息，我们希望通过样本集把有关信息抽取出来，即针对不同要求构造出样本的某种函数，这种函数在统计学上叫做统计量。参数空间：在参数估计中，总是假定总体概率密度函数的形式已知，但分布中的参数未知，这些未知参数全部可容许的取值集合叫做参数空间。第13页，共43页，2023年，2月20日，星期三2.1基本概念（2）点估计、估计量和估计值：第14页，共43页，2023年，2月20日，星期三2.1基本概念（3）两点假设第15页，共43页，2023年，2月20日，星期三2.2最大似然估计第16页，共43页，2023年，2月20日，星期三第17页，共43页，2023年，2月20日，星期三举例：正态分布函数的参数估计第18页，共43页，2023年，2月20日，星期三结论第19页，共43页，2023年，2月20日，星期三讨论ML估计是渐近无偏估计（asymptoticallyunbiased)ML估计也是渐近一致估计(asymptoticallyconsistent)ML估计是渐近有效的。满足Cramer-Rao准则ML估计当N趋近无穷大时，接近Gaussian分布。第20页，共43页，2023年，2月20日，星期三2.3最大后验概率估计第21页，共43页，2023年，2月20日，星期三与ML的区别第22页，共43页，2023年，2月20日，星期三举例第23页，共43页，2023年，2月20日，星期三第24页，共43页，2023年，2月20日，星期三说明方差很大，说明高斯分布很宽，在某个范围内可近似为水平直线，即趋于均匀分布。所以MAP估计和ML估计两者近似相等。第25页，共43页，2023年，2月20日，星期三2.4贝叶斯推理前提变化：原来假定估计量是确定的但未知。现在假定估计量是随机变量且未知。第26页，共43页，2023年，2月20日，星期三讨论第27页，共43页，2023年，2月20日，星期三三高斯分布参数估计的改进第28页，共43页，2023年，2月20日，星期三问题的提出第29页，共43页，2023年，2月20日，星期三解决办法（1）第30页，共43页，2023年，2月20日，星期三解决办法（2）正则化判别分析Fredman(1989)提出。第31页，共43页，2023年，2月20日，星期三改进后的判别函数第32页，共43页，2023年，2月20日，星期三讨论第33页，共43页，2023年，2月20日，星期三方法简评当协方差矩阵不是近似相等或样本规模太小，以至于二次判别函数不可行时，正则化判别方法对改进分类性能很有帮助。另有学者对非正态类型的线性和二次判别规则鲁棒性进行了研究。第34页，共43页，2023年，2月20日，星期三四高斯混合模型面临的问题前面我们只讨论样本特征矢量服从正态分布时我们如何进行判别决策。如果样本特征矢量不服从正态分布，我们怎么处理呢？第35页，共43页，2023年，2月20日，星期三数学表示方式第36页，共43页，2023年，2月20日，星期三数学问题第37页，共43页，2023年，2月20日，星期三解决方法第38页，共43页，2023年，2月20日，星期三EM算法原理第39页，共43页，2023年，2月20日，星期三EM