模式识别-参数估计统计决策法.ppt

模式识别PatternClassification 第四章 参数估计统计决策法 模式识别 第四章 3 参数估计 原理对于绝大多数的识别问题 类概率密度函数已知的条件并不成立 而通常只知类概率密度的函数形式 其参数未知 参数估计法即是利用学习样本来估计类概率密度参数的方法 模式识别 第四章 4 参数估计 两种方法原理不同 但结果是一致的 模式识别 第四章 5 参数估计 原理最大似然估计法 将待估参数视为确定的未知量进行估计Bayes估计法 将待估参数视为随机变量进行估计 模式识别 第四章 6 最大似然估计法 ML 已知条件拥有一批已知类别的学习样本 并知第j类的类概率密度的函数形式 参数未知 问题由学习样本估计最佳参数 模式识别 第四章 7 最大似然估计法 解决方案 模式识别 第四章 8 最大似然估计法 解决方案 模式识别 第四章 9 最大似然估计法 设有6个学习样本如下图所示 样本分布满足正态分布 且方差已知 现需估计最佳的均值 可以看出 取A和B对似然函数的影响 模式识别 第四章 10 最大似然估计法 P x 模式识别 第四章 11 最大似然估计法 设有6个学习样本如下图所示 样本分布满足正态分布 且均值已知 现需估计最佳的方差 可以看出 的变化对似然函数的影响 参数 1优于 2 模式识别 第四章 12 最大似然估计法 如何寻求最优参数 模式识别 第四章 13 解决方案用求极值的方法求最佳 值为计算方便 对似然函数求自然对数 最大似然估计法 模式识别 第四章 14 最大似然估计法 解决方案定义梯度算子 为 模式识别 第四章 15 最大似然估计法 解决方案则令 模式识别 第四章 16 最大似然估计法 解决方案即 可得到r个关于参数 的方程组 求解方程组 即可求得最佳估计值 模式识别 第四章 17 最大似然估计法 例一 设样本满足一维正态分布 现已知n个学习样本 试用最大似然估计法估计其均值 和方差 解 对于一维正态分布待估参数为其中 模式识别 第四章 18 最大似然估计法 可记为 则似然函数为 模式识别 第四章 19 最大似然估计法 令 即 模式识别 第四章 20 最大似然估计法 得 解得 模式识别 第四章 21 最大似然估计法 例二 设样本满足d维正态分布 其中协方差矩阵 已知 且已知n个学习样本 试用最大似然估计法估计均值向量 模式识别 第四章 22 最大似然估计法 解 样本满足正态分布 则似然函数 模式识别 第四章 23 最大似然估计法 协方差矩阵已知 仅有一个待参数均值向量 即 令得 模式识别 第四章 24 最大似然估计法 即 可得 的最佳估计值为 即最佳均值向量是n个学习样本的重心 算数平均 最佳估计值 模式识别 第四章 25 最大似然估计法 例三 设为多维正态分布 现已知n个学习样本 试用最大似然估计法估计和 解 与前述方法相同 即 模式识别 第四章 26 最大似然估计法 似然函数令 模式识别 第四章 27 最大似然估计法 得 模式识别 第四章 28 最大似然估计法 基于最大似然估计法的分类器设计确定样本类概率密度函数形式确定待估参数根据学习样本 用最大似然估计法估计概率密度函数的参数估计样本先验概率用Bayes方法设计分类器 模式识别 第四章 29 Bayes估计 原理 将待估参数视为具有某种先验分布的随机变量 通过学习样本的观察 将先验分布转换为后验概率 并以此来修正参数的估计值 模式识别 第四章 30 Bayes估计 实现过程将待估参数视为随机变量 并由先验只是得到粗略分布 模式识别 第四章 31 Bayes估计 为已知函数形式的类概率密度 待估 且知n个学习样本 记为 j为类别 由Bayes公式有 其中为的后验概率 表示在观察了n个学习样本后对的修正分布 模式识别 第四章 32 Bayes估计 则表示在参数为的条件下 n个样本出现的概率 为待估随机参数的先验概率分布 与无关 可用系数代替即 模式识别 第四章 33 Bayes估计 显然 由于n个学习样本是独立抽取的 则可得 观察了n个样本后 的修正分布 模式识别 第四章 34 Bayes估计 合理的估计方法是 在修正的分布中 使得取值最大的值即是的最佳估计值 模式识别 第四章 35 Bayes估计 P X j 0 P n 模式识别 第四章 36 Bayes估计 例 已知类概率密度为一维正态分布 其中方差已知 均值参数待估 试用Bayes估计法估计均值 模式识别 第四章 37 Bayes估计 解 对一维正态分布 模式识别 第四章 38 Bayes估计 首先 将待估参数 视为随机变量 并具有一定的初始分布 假设其具有正态分布 模式识别 第四章 39 Bayes估计 模式识别 第四章 40 Bayes估计 观察了n个学习样本后 的后验概率 修正分布 为 模式识别 第四章 41 Bayes估计 可见 修正后 的分布仍为正态分布 其均值为 n 方差为 n2其中 模式识别 第四章 42 Bayes估计 即 n表示在观察了一组样本后 对 的最好的推断 而 n2则反映了这个推断的不确定性 模式识别 第四章 43 Bayes估计 模式识别 第四章 44 Bayes估计 待估的最佳均值 答案 n 模式识别 第四章 45 Bayes估计 考虑样本数对估计值的影响当时