概率统计基础课件

Chp9：参数推断主要内容参数推断的基本概念参数推断的方法矩方法极大似然估计（MaximumLikelihoodEstimator,MLE）MLE的性质1Chp9：参数推断主要内容1参数推断假设已知模型的函数形式

其中为参数空间 目标：估计参数，2参数推断假设已知模型的函数形式，2例子一些流行的参数模型的例子：线性判别分别（LDA）(分类)混合高斯模型(密度估计)高斯噪声模型(回归)3例子一些流行的参数模型的例子：3参数估计假设有一类模型函数，如所有的高斯函数的集合，其参数参数空间为

。通常我们只对一些函数感兴趣，如均值或均值的函数。因此为感兴趣参数(parameterofinterest)，为冗余参量(nuisanceparameter)。有多种方法可用来估计模型的参数矩估计法极大似然估计：更流行贝叶斯方法4参数估计假设有一类模型函数，如所有的高斯函数的集合，其矩方法矩方法得到的估计虽然不是最优的，但是很容易计算当其他方法不可用时，可用矩方法可用作很多迭代算法的初始值基本思想：矩匹配对真正的矩和样本矩进行匹配5矩方法矩方法得到的估计虽然不是最优的，但是很容易计算5矩方法

j阶矩：j阶样本矩：

矩方法：取前k阶矩真正的矩样本矩6矩方法真正的矩样本矩6例：Bernoulli分布令，一阶矩一阶样本矩所以我们得到估计7例：Bernoulli分布令例：高斯分布令，参数为，一阶矩一阶样本矩二阶矩二阶样本矩所以

8例：高斯分布令极大似然估计（MLE）极大似然估计似然函数对似然函数求最大值极大似然估计的性质9极大似然估计（MLE）极大似然估计9似然函数令为IID，其PDF为，似然函数定义为有时也记为或，表示似然函数为在给定x的情况下，参数θ的函数。似然函数在数值上是数据的联合密度，但它是参数θ的函数，。因此似然函数通常不满足密度函数的性质，如它对θ的积分不必为1。10似然函数令为IID，其P似然的解释若X是离散的，则。如果我们比较两个参数θ1和θ2的似然值，如果则观测到的样本更可能发生在θ=θ1下，也就是说，相比θ2

，θ1是一个更可信的猜测。

对连续的X，但通常我们并不将似然解释为参数θ的概率11似然的解释若X是离散的，则极大似然估计极大似然估计（MLE）是使得最大的，即log似然函数定义为：，它和似然函数在相同的位置取极大值。同样，相差常数倍也不影响似然函数取极大值的位置。因此似然函数中的常数项也可以抛弃。12极大似然估计极大似然估计（MLE）是使得例：Bernoulli分布令，则概率函数似然函数为其中所以解方程13例：Bernoulli分布令例：高斯分布令，参数为，似然函数（忽略常数项）为其中为样本均值为样本方差

因为14例：高斯分布令例：高斯分布log似然函数为解方程得到可以证明，这是似然函数的全局最大值。15例：高斯分布log似然函数为15对似然函数求最大值对似然函数求极值（求导）解析法（如上例中的高斯模型）数值计算：优化算法如梯度下降法如EM算法（如下例中的混合高斯模型）需注意的问题：要找到似然函数的全局极大值一阶导数为0只是必要条件，非充分条件而且一阶导数为0只能找到函数定义域内部的局部极值点。如在边界上取极值，一阶导数可能不为0。因此还必须检验边界。16对似然函数求最大值对似然函数求极值（求导）16例：均匀分布令则概率函数考虑一个固定的值，假设对于某一个i，有，则

因此令则所以递减函数17例：均匀分布令递减函数17混合高斯模型(GMM)

(MixtureofGaussiansModel)假设有K个成分每个成分从均值为、协方差矩阵为的高斯分布产生数据假设每个数据点根据如下规则产生：随机选择一个成分，选择第k个成分的概率为从第k个成分产生数据：即18混合高斯模型(GMM)

(MixtureofGaussi混合高斯模型问题：给定IID数据，求参数MLE不能解析求得，因此我们通过数值计算（如EM算法）求解。将完整数据转换为非完整数据/缺失数据，其中为所属的类别。19混合高斯模型问题：给定IID数据EMEM用于混合模型参数推断的具体过程请参见参考文献和参考ppt再下次课上讲述Matlab函数：ecmnmle

[Mean,Covariance]=ecmnmle(Data,InitMethod,MaxIterations,Tolerance,Mean0,Covar0)20EMEM用于混合模型参数推断的具体过程请参见参考文献和参考pEMforGMM第t次的估计为则第t+1次的估计为E步M步21EMforGMM第t次的估计为E步M步21EM总结总结EM会收敛到局部极值，但不保证收敛到全局最优适合的情况 缺失数据不太多时数据维数不太高时（数据维数太高的话，E步的计算很费时）参考文献JeffA.Bilmes,AGentleTutorialoftheAlgorithmanditsApplicationtoParameterEstimationforGaussianMixtureandHiddenMarkovModels22EM总结总结22下节课内容MLE的性质23下节课内容MLE的性质23Chp9：参数推断主要内容参数推断的基本概念参数推断的方法矩方法极大似然估计（MaximumLikelihoodEstimator,MLE）MLE的性质24Chp9：参数推断主要内容1参数推断假设已知模型的函数形式

其中为参数空间 目标：估计参数，25参数推断假设已知模型的函数形式，2例子一些流行的参数模型的例子：线性判别分别（LDA）(分类)混合高斯模型(密度估计)高斯噪声模型(回归)26例子一些流行的参数模型的例子：3参数估计假设有一类模型函数，如所有的高斯函数的集合，其参数参数空间为

。通常我们只对一些函数感兴趣，如均值或均值的函数。因此为感兴趣参数(parameterofinterest)，为冗余参量(nuisanceparameter)。有多种方法可用来估计模型的参数矩估计法极大似然估计：更流行贝叶斯方法27参数估计假设有一类模型函数，如所有的高斯函数的集合，其矩方法矩方法得到的估计虽然不是最优的，但是很容易计算当其他方法不可用时，可用矩方法可用作很多迭代算法的初始值基本思想：矩匹配对真正的矩和样本矩进行匹配28矩方法矩方法得到的估计虽然不是最优的，但是很容易计算5矩方法

j阶矩：j阶样本矩：

矩方法：取前k阶矩真正的矩样本矩29矩方法真正的矩样本矩6例：Bernoulli分布令，一阶矩一阶样本矩所以我们得到估计30例：Bernoulli分布令例：高斯分布令，参数为，一阶矩一阶样本矩二阶矩二阶样本矩所以

31例：高斯分布令极大似然估计（MLE）极大似然估计似然函数对似然函数求最大值极大似然估计的性质32极大似然估计（MLE）极大似然估计9似然函数令为IID，其PDF为，似然函数定义为有时也记为或，表示似然函数为在给定x的情况下，参数θ的函数。似然函数在数值上是数据的联合密度，但它是参数θ的函数，。因此似然函数通常不满足密度函数的性质，如它对θ的积分不必为1。33似然函数令为IID，其P似然的解释若X是离散的，则。如果我们比较两个参数θ1和θ2的似然值，如果则观测到的样本更可能发生在θ=θ1下，也就是说，相比θ2

，θ1是一个更可信的猜测。

对连续的X，但通常我们并不将似然解释为参数θ的概率34似然的解释若X是离散的，则极大似然估计极大似然估计（MLE）是使得最大的，即log似然函数定义为：，它和似然函数在相同的位置取极大值。同样，相差常数倍也不影响似然函数取极大值的位置。因此似然函数中的常数项也可以抛弃。35极大似然估计极大似然估计（MLE）是使得例：Bernoulli分布令，则概率函数似然函数为其中所以解方程36例：Bernoulli分布令例：高斯分布令，参数为，似然函数（忽略常数项）为其中为样本均值为样本方差

因为37例：高斯分布令例：高斯分布log似然函数为解方程得到可以证明，这是似然函数的全局最大值。38例：高斯分布log似然函数为15对似然函数求最大值对似然函数求极值（求导）解析法（如上例中的高斯模型）数值计算：优化算法如梯度下降法如EM算法（如下例中的混合高斯模型）需注意的问题：要找到似然函数的全局极大值一阶导数为0只是必要条件，非充分条件而且一阶导数为0只能找到函数定义域内部的局部极值点。如在边界上取极值，一阶导数可能不为0。因此还必须检验边界。39对似然函数求最大值对似然函数求极值（求导）16例：均匀分布令则概率函数考虑一个固定的值，假设对于某一个i，有，则

因此令则所以递减函数40例：均匀分布令递减函数17混合高斯模型(GMM)

(MixtureofGaussiansModel)假设有K个成分每个成分从均值为、协方差矩阵为的高斯分布产生数据假设每个数据点根据如下规则产生：随机选择一个成分，选择第k个成分的概率为从第k个成分产生数据：即41混合高斯模型(GMM)

(MixtureofGaussi混合高斯模型问题：给定IID数据，求参数MLE不能解析求得，因此我们通过数值