最大可能性估计_第1页
最大可能性估计_第2页
最大可能性估计_第3页
最大可能性估计_第4页
最大可能性估计_第5页
已阅读5页，还剩10页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

关于最大可能性估计第1页，课件共15页，创作于2023年2月上节课内容假定知道了先验概率p(ωi)和类条件概率密度p(x|ωi)。这节课介绍的内容是：在知道类条件概率密度服从某种分布的前提下，估算该分布的参数。比如在知道类条件概率密度服从正态分布的前提下，估算正态分布的参数μ和Σ。第2页，课件共15页，创作于2023年2月一基本原理设：有c个类别。每一个类别有一些属于这个类别的训练样例：D1,…,Dc。第j个类别的参数向量(比如均值，方差)表示为θj。一个类别的参数向量只与属于这个类别的训练样例有关，而与其它类别的训练样例无关。问题：怎么使用每个类别的训练样例Di来估算这个类别的参数向量θi。第3页，课件共15页，创作于2023年2月下面分别使用每个训练样例Di来估算这个类别的参数向量θi。每个类别的参数向量的求解方式都是一样的。下面就忽略i。第4页，课件共15页，创作于2023年2月设样例集合D里面有n个训练样例，x1,…,xn。设这些样例抽取的时候是独立的，那么这么多样例一起出现的概率可以写成：因为目前这个类别的参数向量θ还没有确定，所以在参数向量是θ的情况下，这些样例一起出现的概率是：第5页，课件共15页，创作于2023年2月使得p(D|θ)取最大值的θ值就是最合理的θ值。这就转换成了一个求极值的问题。求p(D|θ)的极值点，等价于求它的自然对数lnp(D|θ)的极值点，等价于对lnp(D|θ)的梯度等于0的点：第6页，课件共15页，创作于2023年2月gradθ[f(θ)]，相当于使用θ的每个分量对f(θ)求偏导，然后组合成一个向量。第7页，课件共15页，创作于2023年2月二求正态分布的参数μ假定知道当前类别中的样例服从正态分布，但是不知道正态分布的参数μ。单变量正态分布的概率密度函数：多变量正态分布的概率密度函数：第8页，课件共15页，创作于2023年2月前面求最合理的θ值的公式：p(xk|θ)就是正态分布的概率密度函数。因此进行公式带入：第9页，课件共15页，创作于2023年2月第10页，课件共15页，创作于2023年2月三求正态分布的参数μ和Σ假定知道当前类别中的样例服从正态分布，但是不知道正态分布的参数μ和Σ。第11页，课件共15页，创作于2023年2月单变量正态分布

此时θ=(μ,σ2)第12页，课件共15页，创作于2023年2月多变量正态分布

此时θ=(μ,Σ)第13页，课件共15页，创作于2023年2月四偏差上面使用n个(有限个)样本估算出来的方差经常会有偏差，总是发现估算的值小了：因此使用n个(有限个)样本估算方差的时候：

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论