概率统计基础课件_第1页
概率统计基础课件_第2页
概率统计基础课件_第3页
概率统计基础课件_第4页
概率统计基础课件_第5页
已阅读5页,还剩41页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

Chp9:参数推断主要内容参数推断的基本概念参数推断的方法矩方法极大似然估计(MaximumLikelihoodEstimator,MLE)MLE的性质1Chp9:参数推断主要内容1参数推断假设已知模型的函数形式

其中为参数空间 目标:估计参数,2参数推断假设已知模型的函数形式,2例子一些流行的参数模型的例子:线性判别分别(LDA)(分类)混合高斯模型(密度估计)高斯噪声模型(回归)3例子一些流行的参数模型的例子:3参数估计假设有一类模型函数,如所有的高斯函数的集合,其参数参数空间为

。通常我们只对一些函数感兴趣,如均值或均值的函数。因此为感兴趣参数(parameterofinterest),为冗余参量(nuisanceparameter)。有多种方法可用来估计模型的参数矩估计法极大似然估计:更流行贝叶斯方法4参数估计假设有一类模型函数,如所有的高斯函数的集合,其矩方法矩方法得到的估计虽然不是最优的,但是很容易计算当其他方法不可用时,可用矩方法可用作很多迭代算法的初始值基本思想:矩匹配对真正的矩和样本矩进行匹配5矩方法矩方法得到的估计虽然不是最优的,但是很容易计算5矩方法

j阶矩:j阶样本矩:

矩方法:取前k阶矩真正的矩样本矩6矩方法真正的矩样本矩6例:Bernoulli分布令,一阶矩一阶样本矩所以我们得到估计7例:Bernoulli分布令例:高斯分布令,参数为,一阶矩一阶样本矩二阶矩二阶样本矩所以

8例:高斯分布令极大似然估计(MLE)极大似然估计似然函数对似然函数求最大值极大似然估计的性质9极大似然估计(MLE)极大似然估计9似然函数令为IID,其PDF为,似然函数定义为有时也记为或,表示似然函数为在给定x的情况下,参数θ的函数。似然函数在数值上是数据的联合密度,但它是参数θ的函数,。因此似然函数通常不满足密度函数的性质,如它对θ的积分不必为1。10似然函数令为IID,其P似然的解释若X是离散的,则。如果我们比较两个参数θ1和θ2的似然值,如果则观测到的样本更可能发生在θ=θ1下,也就是说,相比θ2

,θ1是一个更可信的猜测。

对连续的X,但通常我们并不将似然解释为参数θ的概率11似然的解释若X是离散的,则极大似然估计极大似然估计(MLE)是使得最大的,即log似然函数定义为:,它和似然函数在相同的位置取极大值。同样,相差常数倍也不影响似然函数取极大值的位置。因此似然函数中的常数项也可以抛弃。12极大似然估计极大似然估计(MLE)是使得例:Bernoulli分布令,则概率函数似然函数为其中所以解方程13例:Bernoulli分布令例:高斯分布令,参数为,似然函数(忽略常数项)为其中为样本均值为样本方差

因为14例:高斯分布令例:高斯分布log似然函数为解方程得到可以证明,这是似然函数的全局最大值。15例:高斯分布log似然函数为15对似然函数求最大值对似然函数求极值(求导)解析法(如上例中的高斯模型)数值计算:优化算法如梯度下降法如EM算法(如下例中的混合高斯模型)需注意的问题:要找到似然函数的全局极大值一阶导数为0只是必要条件,非充分条件而且一阶导数为0只能找到函数定义域内部的局部极值点。如在边界上取极值,一阶导数可能不为0。因此还必须检验边界。16对似然函数求最大值对似然函数求极值(求导)16例:均匀分布令则概率函数考虑一个固定的值,假设对于某一个i,有,则

因此令则所以递减函数17例:均匀分布令递减函数17混合高斯模型(GMM)

(MixtureofGaussiansModel)假设有K个成分每个成分从均值为、协方差矩阵为的高斯分布产生数据假设每个数据点根据如下规则产生:随机选择一个成分,选择第k个成分的概率为从第k个成分产生数据:即18混合高斯模型(GMM)

(MixtureofGaussi混合高斯模型问题:给定IID数据,求参数MLE不能解析求得,因此我们通过数值计算(如EM算法)求解。将完整数据转换为非完整数据/缺失数据,其中为所属的类别。19混合高斯模型问题:给定IID数据EMEM用于混合模型参数推断的具体过程请参见参考文献和参考ppt再下次课上讲述Matlab函数:ecmnmle

[Mean,Covariance]=ecmnmle(Data,InitMethod,MaxIterations,Tolerance,Mean0,Covar0)20EMEM用于混合模型参数推断的具体过程请参见参考文献和参考pEMforGMM第t次的估计为则第t+1次的估计为E步M步21EMforGMM第t次的估计为E步M步21EM总结总结EM会收敛到局部极值,但不保证收敛到全局最优适合的情况 缺失数据不太多时数据维数不太高时(数据维数太高的话,E步的计算很费时)参考文献JeffA.Bilmes,AGentleTutorialoftheAlgorithmanditsApplicationtoParameterEstimationforGaussianMixtureandHiddenMarkovModels22EM总结总结22下节课内容MLE的性质23下节课内容MLE的性质23Chp9:参数推断主要内容参数推断的基本概念参数推断的方法矩方法极大似然估计(MaximumLikelihoodEstimator,MLE)MLE的性质24Chp9:参数推断主要内容1参数推断假设已知模型的函数形式

其中为参数空间 目标:估计参数,25参数推断假设已知模型的函数形式,2例子一些流行的参数模型的例子:线性判别分别(LDA)(分类)混合高斯模型(密度估计)高斯噪声模型(回归)26例子一些流行的参数模型的例子:3参数估计假设有一类模型函数,如所有的高斯函数的集合,其参数参数空间为

。通常我们只对一些函数感兴趣,如均值或均值的函数。因此为感兴趣参数(parameterofinterest),为冗余参量(nuisanceparameter)。有多种方法可用来估计模型的参数矩估计法极大似然估计:更流行贝叶斯方法27参数估计假设有一类模型函数,如所有的高斯函数的集合,其矩方法矩方法得到的估计虽然不是最优的,但是很容易计算当其他方法不可用时,可用矩方法可用作很多迭代算法的初始值基本思想:矩匹配对真正的矩和样本矩进行匹配28矩方法矩方法得到的估计虽然不是最优的,但是很容易计算5矩方法

j阶矩:j阶样本矩:

矩方法:取前k阶矩真正的矩样本矩29矩方法真正的矩样本矩6例:Bernoulli分布令,一阶矩一阶样本矩所以我们得到估计30例:Bernoulli分布令例:高斯分布令,参数为,一阶矩一阶样本矩二阶矩二阶样本矩所以

31例:高斯分布令极大似然估计(MLE)极大似然估计似然函数对似然函数求最大值极大似然估计的性质32极大似然估计(MLE)极大似然估计9似然函数令为IID,其PDF为,似然函数定义为有时也记为或,表示似然函数为在给定x的情况下,参数θ的函数。似然函数在数值上是数据的联合密度,但它是参数θ的函数,。因此似然函数通常不满足密度函数的性质,如它对θ的积分不必为1。33似然函数令为IID,其P似然的解释若X是离散的,则。如果我们比较两个参数θ1和θ2的似然值,如果则观测到的样本更可能发生在θ=θ1下,也就是说,相比θ2

,θ1是一个更可信的猜测。

对连续的X,但通常我们并不将似然解释为参数θ的概率34似然的解释若X是离散的,则极大似然估计极大似然估计(MLE)是使得最大的,即log似然函数定义为:,它和似然函数在相同的位置取极大值。同样,相差常数倍也不影响似然函数取极大值的位置。因此似然函数中的常数项也可以抛弃。35极大似然估计极大似然估计(MLE)是使得例:Bernoulli分布令,则概率函数似然函数为其中所以解方程36例:Bernoulli分布令例:高斯分布令,参数为,似然函数(忽略常数项)为其中为样本均值为样本方差

因为37例:高斯分布令例:高斯分布log似然函数为解方程得到可以证明,这是似然函数的全局最大值。38例:高斯分布log似然函数为15对似然函数求最大值对似然函数求极值(求导)解析法(如上例中的高斯模型)数值计算:优化算法如梯度下降法如EM算法(如下例中的混合高斯模型)需注意的问题:要找到似然函数的全局极大值一阶导数为0只是必要条件,非充分条件而且一阶导数为0只能找到函数定义域内部的局部极值点。如在边界上取极值,一阶导数可能不为0。因此还必须检验边界。39对似然函数求最大值对似然函数求极值(求导)16例:均匀分布令则概率函数考虑一个固定的值,假设对于某一个i,有,则

因此令则所以递减函数40例:均匀分布令递减函数17混合高斯模型(GMM)

(MixtureofGaussiansModel)假设有K个成分每个成分从均值为、协方差矩阵为的高斯分布产生数据假设每个数据点根据如下规则产生:随机选择一个成分,选择第k个成分的概率为从第k个成分产生数据:即41混合高斯模型(GMM)

(MixtureofGaussi混合高斯模型问题:给定IID数据,求参数MLE不能解析求得,因此我们通过数值

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论