贝叶斯学习过程课件

1、贝叶斯学习过程贝叶斯学习过程Part 1 最大似然估计Part 1 最大似然估计模式分类的途径途径1：估计类条件概率密度通过 和 ，利用贝叶斯规则计算后验概率 ，然后通过最大后验概率做出决策两种方法方法1a：概率密度参数估计基于对 的含参数的描述方法1b：概率密度非参数估计基于对 的非参数的描述途径2：直接估计后验概率不需要先估计途径3：直接计算判别函数不需要估计 或者模式分类的途径途径1：估计类条件概率密度概率密度函数估计与参数估计参数估计基于对 用已知函数形式的参数化表示估计未知概率密度函数 的问题被简化为估计已知函数形式中的未知参数 中的所有未知参数可以写成向量形式，称为参数向量 ，含有

2、未知参数的概率密度函数 可以表示为高斯密度函数中的参数向量概率密度函数估计与参数估计参数估计基于对 用贝叶斯决策中的参数估计贝叶斯决策为最优决策（最小总风险、最小误差概率）前提条件已知先验概率已知类条件概率密度不幸的是多数情况下，先验概率和类条件概率密度未知我们可利用的有关模式识别问题的一些模糊而笼统的知识一些设计样本（训练样本），构成待分类的模式的一个特定的子集，作为该模式的代表贝叶斯决策中的参数估计贝叶斯决策为最优决策（最小总风险、最小贝叶斯决策中的参数估计解决方案假设类条件概率密度为某种含参数的概率密度分布函数，通过训练数据来估计该函数中未知的参数将参数估计后的概率密度函数作为类条件概率

3、密度，利用贝叶斯决策进行分类有监督学习训练集中每个样本的真实类别已知贝叶斯决策中的参数估计解决方案参数估计方法最大似然估计（ML估计）假设将待估计的参数看作确定的量，只是值未知估计方式将使得产生训练样本的概率最大的参数值作为这些参数的最佳估计贝叶斯估计（贝叶斯学习）假设将待估计的参数看作符合某种先验概率分布的随机变量估计方式通过观察样本，将先验概率密度通过贝叶斯规则转化为后验概率密度参数估计方法最大似然估计（ML估计）参数估计方法ML估计与贝叶斯估计的关系ML估计通常比贝叶斯估计简单ML估计给出参数的值，而贝叶斯估计给出所有可能的参数值的分布当可用数据很多以至于减轻了先验知识的作用时，贝叶斯估

4、计可以退化为ML估计参数估计方法ML估计与贝叶斯估计的关系最大似然估计给定c个类：假设所有的类条件概率密度函数 都具有已知的参数化形式假设每个参数向量 对它所属的类别起的作用都是相互独立的例如：给定c个数据集（每个数据集对应一个类别）：每个数据集 中的样本为独立同分布（independent and identically distributed，缩写为i.i.d.）的随机变量，这些随机变量均从某个概率密度函数 独立抽取由于不同类的参数相互独立， 无法为 ， 的估计提供任何信息因此，可以对每个类别分别估计参数，类别下标可以省略最大似然估计给定c个类：最大似然估计 相对于数据集 的似然函数对 的

5、ML估计即使得似然函数 最大的值直观上讲， 是使得观察到D中样本的可能性最大化的值最大似然估计 相对于数据集 最大似然估计完成ML估计后，概率密度函数 完全已知，即其参数的形式和值都已知类 的后验概率可由贝叶斯公式计算基于后验概率可做出贝叶斯决策显式表示数据集 在参数估计中的作用：最大似然估计完成ML估计后，概率密度函数 似然函数和对数似然函数给定数据集D，定义似然函数 为： 也可写为 ，以强调其依赖于数据集D对数似然函数对数似然函数的计算常常较似然函数更为简单最大似然估计log(x)是单调递增函数似然函数和对数似然函数给定数据集D，定义似然函数 最大化问题ML估计的解通过最大化似然函数或对数

6、似然函数实现最大化问题ML估计的解通过最大化似然函数或对数似然函数实现最大化问题记 表示p维参数向量 ， 表示梯度算子全局最大值的必要条件（似然方程） 或等价的（对数似然方程）似然方程或对数似然方程的解并不是获得全局最大值的充分条件可能为：全局最大/最小、局部最大/最小、拐点极值最大化问题记 表示p维参数向量 ML估计-高斯情况： 未知 在 下的对数似然对数似然方程 的ML估计数据集D的样本均值ML估计-高斯情况： 未知 数据集D的样本均值ML估计-高斯情况： 和 均未知x为单变量情况参数向量 在 下的对数似然对数似然方程ML估计-高斯情况： 和 均未知x为单变量情况ML估计-高斯情况： 和

7、均未知x为单变量情况 的ML估计ML估计-高斯情况： 和 均未知x为单变量情况ML估计-高斯情况： 和 均未知x为多元变量情况参数向量 在 下的对数似然 的ML估计数据集D的样本均值ML估计-高斯情况： 和 均未知x为多元变量情况数据集估计的偏差 的ML估计是有偏估计，即对所有可能的大小为n的样本集进行协方差矩阵的ML估计，其数学期望并不等于实际的协方差矩阵 的无偏估计由于ML估计 为渐进无偏估计，即随着样本数n的增大， 趋近于C数据集D的样本协方差矩阵估计的偏差 的ML估计是有偏估计，即对所有可能的大小为n参数估计方法最大似然估计（ML估计）假设将待估计的参数看作确定的量，只是值未知估计方式

8、将使得产生训练样本的概率最大的参数值作为这些参数的最佳估计贝叶斯估计（贝叶斯学习）假设将待估计的参数看作符合某种先验概率分布的随机变量估计方式通过观察样本，将先验概率密度通过贝叶斯规则转化为后验概率密度参数估计方法最大似然估计（ML估计）Part 2 贝叶斯估计Part 2 贝叶斯估计贝叶斯估计给定参数形式的概率密度函数 ，其中的未知参数表示为向量有关 的先验概率密度数据集求解参数向量 的后验概率密度x的后验概率密度贝叶斯估计给定贝叶斯估计贝叶斯估计最大似然估计贝叶斯估计贝叶斯估计贝叶斯估计为明确数据集D的作用，类似于ML估计，贝叶斯决策所需后验概率可重新写作简化贝叶斯估计为明确数据集D的作用

9、，类似于ML估计，贝叶斯决策所贝叶斯估计核心问题已知一组训练样本D，这些样本都是从固定但未知的概率密度函数p(x)中独立抽取的，要求根据这些样本估计基本思路假设 为已知参数形式的概率密度 是 在D下的后验概率密度通过贝叶斯估计得到的如果 在某一个值 附近形成最显著的尖峰，则贝叶斯估计核心问题贝叶斯估计通过观察数据集D，将先验概率密度 转化为后验概率密度 ，并期望其在真实的 值处有一个尖峰贝叶斯估计通过观察数据集D，将先验概率密度 转化为后高斯情况：单变量， 未知， 已知目标概率密度函数 未知，但是其分布 已知 已知， 可简化为根据 选择某个具体的 值高斯情况：单变量， 未知， 已知目标概率密度

10、函数根据 高斯情况：单变量， 未知， 已知应用贝叶斯规则计算 的后验概率其中， 是一个依赖于样本集 的归一化系数，该系数不依赖于假设 ，其中 和 均已知高斯情况：单变量， 未知， 已知应用贝叶斯规则计算 高斯情况：单变量， 未知， 已知 也呈高斯分布 称为共轭先验（conjugate prior）， 称为复制密度（reproducing density）计算样本均值高斯情况：单变量， 未知， 已知 也呈高斯情况：单变量， 未知， 已知观察结论 如果 当 时，如果退化情况：如果 样本均值和为1，说明 位于 和 的连线上ML估计当获得足够多的样本后， 和 的具体数值的精确假定变得无关紧要， 将收敛

11、于样本均值先验知识和经验数据各自的贡献取决于 和 的比值，这个比值称为决断因子（dogmatism）高斯情况：单变量， 未知， 已知观察结论 样本均值和为高斯情况：单变量， 未知， 已知观察结论 随着样本数n的递增， 单调递减，即新增的样本能够减少关于 的估计的不确定性。随着n的增大， 的波形变得越来越尖。贝叶斯学习过程高斯情况：单变量， 未知， 已知观察结论 贝叶斯学习过高斯情况：单变量， 未知， 已知观察结论 随着样本数n的递增， 单调递减，即新增的样本能够减少关于 的估计的不确定性。随着n的增大， 的波形变得越来越尖。贝叶斯学习过程高斯情况：单变量， 未知， 已知观察结论 贝叶斯学习过高

12、斯情况：单变量， 未知， 已知类条件概率密度 高斯情况：单变量， 未知， 已知类条件概率密度 高斯情况：单变量， 未知， 已知类条件概率密度 的参数形式为贝叶斯估计的结果为对 估计的不确定性增加了x的不确定性（ ） ）贝叶斯决策规则高斯情况：单变量， 未知， 已知类条件概率密度 高斯情况：多变量， 未知， 已知假设所以已知未知高斯情况：多变量， 未知， 已知假设已知未知高斯情况：多变量， 未知， 已知类条件概率密度一种较简单的理解视角高斯情况：多变量， 未知， 已知类条件概率密度贝叶斯估计的一般过程第一阶段第二阶段第一阶段第二阶段贝叶斯估计的一般过程第一阶段第二阶段第一阶段第二阶段递归的贝叶斯

13、学习明确样本集中的样本个数贝叶斯学习 在n个样本下的后验概率密度 在n-1个样本下的后验概率密度递归的贝叶斯学习明确样本集中的样本个数 在n个样本下的递归的贝叶斯学习递归学习过程观察样本前 观察样本 观察样本 n. 观察样本每一步中，仅需要知道当前样本 和上一步的结果增量学习（incremental learning）递归的贝叶斯学习递归学习过程每一步中，仅需要知道当前样本 例子问题一维样本服从均匀分布已知：参数 有界，假设已有样本集用递归贝叶斯求解例子问题例子解观察样本之前观察样本观察样本例子解例子解观察样本观察样本例子解例子解例子解例子解例子解贝叶斯估计 vs. ML估计样本数量趋于无穷时计算复杂度可理解性先验知识的灵活运用理论基础贝叶斯估计=ML估计贝叶斯估计ML估计贝叶斯估计ML估计贝叶斯估计ML估计贝叶斯估计 vs. ML估计样本数量趋于无穷时贝叶斯估计=M基于参数估计的贝叶斯决策假设类条件概率密度的参数形式用ML估计或贝叶斯估计对类条件概率密度进行模型估计利用贝叶斯公式计算后验概率根据最大后