机器学习中的参数估计方法

Bayesianestimation。课后，又查了一些相关资料，以及老师推荐的LDA方面的论文《Parameterestimationfortextanalysis》。本文主要介绍文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计，以及三者之间的区别。首先回顾一下贝叶斯公式即最大似然估计就是要用似然函数取到最大值时的参数值作为估计值，似然函数可以写做这是一个关于的函数，求解这个优化问题通常对求导，得到导数为0的极值点。该函数取得最大值是对应的的取值就是我们估计的模型参数。发生的概率，不妨设为是得到正面的概率。为了估计P，采用最大似然估计，似然函数可以其中其中n表示实验结果为i的次数。下面求似然函数的极值点，有得到参数p的最大似然估计值为可以看出二项分布中每次事件发的概率p就等于做N次独立重复随机试验中事件发生的概率。那么根据最大似然估计得到参数值p为12/20=0.6。2、最大后验估计MAP注意这里P（X）与参数无关，因此等价于要使分子最大。与最大似然估计相比，现在需要这个概率在0.5处取得最大值，这个分布就是先验分布。先验分布的参数我们称为超参数(hyperparameter)即Beta分布的随机变量范围是[0,1],所以可以生成normalisedprobabilityvalues。下图给出了不同参数情况下的Beta分布的概率密度函数我们取α=β=5,这样先验分布在0.5处取得最大值，现在我们来求解MAP估计函数的极值点，同样对p求导数我们有得到参数得到参数p的的最大后验估计值为和最大似然估计的结果对比可以发现结果中多了这样的pseudo-counts,这就是先验在起作用。并且超参数越大，为了改变先验分布传递的belief所需要的观察值就越多，此时对应的Beta函数越聚集，紧缩在其最大值两侧。那么根据MAP估计出来的参数p为16/28=0.571,小于最大似然估计得到的值0.6，这也显示了“硬币一般是两面均匀的”这一先验对参数估计的影响。率分布。回顾一下贝叶斯公式现在不是要求后验概率最大，这样就需要求,即观察到的率分布。回顾一下贝叶斯公式现在不是要求后验概率最大，这样就需要求,即观察到的evidence的概率，由全概率公式展开可得那么如何用贝叶斯估计来做预测呢？如果我们想求一个新值的概率，可以由来计算。注意此时第二项因子在上的积分不再等于1，这就是和M我们仍然以扔硬币的伯努利实验为例来说明。和MAP中一样，我们假设先验分布为Beta分注意这里用到了公式根据结果可以知道，根据贝叶斯估计，参数p服从一个新的Beta分布。回忆一下，我们为p选取的先验分布是Beta分布，然后以p为参数的二项分布用贝叶斯估计得到的后验概率Topic分布服从Multinomial分布，其先验选取共轭分布即Dirichlet分布；每个Topic下词的分布服从Multinomial分布，其先验也同样选取共轭分布即Dirichlet分布。根据Beta分布的期望和方差计算公式，我们有可以看出此时估计的p的期望和MLE，MAP中得到的估计的Beta分布，其均值和方差分别是17/30=0.567,17*13/(31*30^2)=0.0079。可以看到此时求出的p的期望比MLE和MAP得到的估计综上所述我们可以可视化MLE,MAP和贝叶斯估计对参数的估计结果如下果也越来越接近0.5这个先验概率，越来越能够反映基于样本的真实参数情况。4.三者之间的区别参数π看做是一个固定的值，只是其取值未知。而最大似然是最简单的形式，其假定参数上的一个点，丢失了一些观察到的数据χ给予的信息（这也就是经典统计学派和贝叶斯学1.GregorHeinrich,Parameterestimationfortestanalysis,technicalreport计/ya