参数估计统计决策法课件

模式识别

PatternClassification

模式识别

PatternClassification

1第四章:参数估计统计决策法第四章:参数估计统计决策法2参数估计原理对于绝大多数的识别问题，类概率密度函数已知的条件并不成立，而通常只知类概率密度的函数形式，其参数未知。参数估计法即是利用学习样本来估计类概率密度参数的方法。3AppliedPatternRecognitionCSE616参数估计原理3AppliedPatternRecogni参数估计参数估计法最大似然估计法Bayes估计法两种方法原理不同，但结果是一致的！4AppliedPatternRecognitionCSE616参数估计参数估计法最大似然估计法Bayes估计法4Appli参数估计原理

最大似然估计法：将待估参数视为确定的未知量进行估计Bayes估计法：将待估参数视为随机变量进行估计5AppliedPatternRecognitionCSE616参数估计原理5AppliedPatternRecogni最大似然估计法（ML）已知条件拥有一批已知类别的学习样本，并知第j类的类概率密度的函数形式，参数未知。问题由学习样本估计最佳参数。6AppliedPatternRecognitionCSE616最大似然估计法（ML）已知条件6AppliedPatter最大似然估计法解决方案7AppliedPatternRecognitionCSE616最大似然估计法解决方案7AppliedPatternRe最大似然估计法解决方案8AppliedPatternRecognitionCSE616最大似然估计法解决方案8AppliedPatternRe最大似然估计法设有6个学习样本如下图所示，样本分布满足正态分布，且方差已知，现需估计最佳的均值μ可以看出，μ取A和B对似然函数的影响由于μ取B是似然函数更大，参数B优于AP(x/μ

)

x

ABμ=Bμ=A9AppliedPatternRecognitionCSE616最大似然估计法设有6个学习样本如下图所示，样本分布满足正态分最大似然估计法P(x/θ)10AppliedPatternRecognitionCSE616最大似然估计法P(x/θ)10AppliedPa最大似然估计法设有6个学习样本如下图所示，样本分布满足正态分布，且均值已知，现需估计最佳的方差σ可以看出，σ的变化对似然函数的影响P(x/σ)

x

σ1σ2参数σ1优于σ211AppliedPatternRecognitionCSE616最大似然估计法设有6个学习样本如下图所示，样本分布满足正态分最大似然估计法如何寻求最优参数？12AppliedPatternRecognitionCSE616最大似然估计法如何寻求最优参数？12AppliedPatt解决方案用求极值的方法求最佳θ值

为计算方便，对似然函数求自然对数:

最大似然估计法13AppliedPatternRecognitionCSE616解决方案最大似然估计法13AppliedPatternR最大似然估计法解决方案定义梯度算子▽为：14AppliedPatternRecognitionCSE616最大似然估计法解决方案14AppliedPatternR最大似然估计法解决方案则令：15AppliedPatternRecognitionCSE616最大似然估计法解决方案15AppliedPatternR最大似然估计法解决方案即：可得到r个关于参数θ的方程组，求解方程组，即可求得最佳估计值。16AppliedPatternRecognitionCSE616最大似然估计法解决方案16AppliedPatternR最大似然估计法例一：设样本满足一维正态分布，现已知n个学习样本，试用最大似然估计法估计其均值μ和方差σ２。解：对于一维正态分布

待估参数为其中

17AppliedPatternRecognitionCSE616最大似然估计法例一：设样本满足一维正态分布，现已知n个学习样最大似然估计法可记为:则似然函数为：18AppliedPatternRecognitionCSE616最大似然估计法可记为:18AppliedPatternR最大似然估计法令:即:19AppliedPatternRecognitionCSE616最大似然估计法令:19AppliedPatternRec最大似然估计法得:解得:20AppliedPatternRecognitionCSE616最大似然估计法得:20AppliedPatternRec最大似然估计法例二：设样本满足d维正态分布，其中协方差矩阵Σ已知，且已知n个学习样本，试用最大似然估计法估计均值向量μ。21AppliedPatternRecognitionCSE616最大似然估计法例二：设样本满足d维正态分布，其中协方差矩阵Σ最大似然估计法解：样本满足正态分布，则似然函数22AppliedPatternRecognitionCSE616最大似然估计法解：22AppliedPatternRec最大似然估计法协方差矩阵已知，仅有一个待参数均值向量，即θ=μ令得：23AppliedPatternRecognitionCSE616最大似然估计法协方差矩阵已知，仅有一个待参数均值向量，即θ=最大似然估计法即：可得θ=μ的最佳估计值为：即最佳均值向量是n个学习样本的重心（算数平均）。最佳估计值24AppliedPatternRecognitionCSE616最大似然估计法即：最佳估计值24AppliedP最大似然估计法例三:设为多维正态分布，现已知n个学习样本，试用最大似然估计法估计和。

解:与前述方法相同，即：25AppliedPatternRecognitionCSE616最大似然估计法例三:设最大似然估计法似然函数令:26AppliedPatternRecognitionCSE616最大似然估计法似然函数26AppliedPatternR最大似然估计法得:27AppliedPatternRecognitionCSE616最大似然估计法得:27AppliedPatternRec最大似然估计法基于最大似然估计法的分类器设计确定样本类概率密度函数形式确定待估参数根据学习样本，用最大似然估计法估计概率密度函数的参数估计样本先验概率用Bayes方法设计分类器28AppliedPatternRecognitionCSE616最大似然估计法基于最大似然估计法的分类器设计28ApplieBayes估计原理：

将待估参数视为具有某种先验分布的随机变量，通过学习样本的观察，将先验分布转换为后验概率，并以此来修正参数的估计值。29AppliedPatternRecognitionCSE616Bayes估计原理：29AppliedPatternReBayes估计实现过程将待估参数视为随机变量，并由先验只是得到粗略分布

P(θ)θ30AppliedPatternRecognitionCSE616Bayes估计实现过程P(θ)θ30AppliedPattBayes估计

为已知函数形式的类概率密度，待估，且知n个学习样本，记为，j为类别。由Bayes公式有：其中为的后验概率，表示在观察了n个学习样本后对的修正分布。31AppliedPatternRecognitionCSE616Bayes估计为已知函数形式Bayes估计则表示在参数为的条件下，n个样本出现的概率。为待估随机参数的先验概率分布。与无关，可用系数代替即：32AppliedPatternRecognitionCSE616Bayes估计则表示在参数Bayes估计显然，由于n个学习样本是独立抽取的，则可得：观察了n个样本后θ的修正分布33AppliedPatternRecognitionCSE616Bayes估计显然，由于n个学习样本是独立抽取的，则观察了nBayes估计合理的估计方法是：在修正的分布中，使得取值最大的值即是的最佳估计值。34AppliedPatternRecognitionCSE616Bayes估计合理的估计方法是：在修正的分布Bayes估计P(θ/X(j))θθ0P(θ)θn35AppliedPatternRecognitionCSE616Bayes估计P(θ/X(j))θθ0P(θ)θn35AppBayes估计例：已知类概率密度为一维正态分布，其中方差已知，均值参数待估。试用Bayes估计法估计均值36AppliedPatternRecognitionCSE616Bayes估计例：已知类概率密度为一维正态分布，其中方差Bayes估计解：对一维正态分布P(x/μ)xμ37AppliedPatternRecognitionCSE616Bayes估计解：P(x/μ)xμ37AppliedPatBayes估计首先，将待估参数μ

视为随机变量，并具有一定的初始分布。假设其具有正态分布：38AppliedPatternRecognitionCSE616Bayes估计首先，将待估参数μ视为随机变量，并具有一定Bayes估计P(μ)μμ039AppliedPatternRecognitionCSE616Bayes估计P(μ)μμ039AppliedPatterBayes估计观察了n个学习样本后，μ的后验概率(修正分布)为：40AppliedPatternRecognitionCSE616Bayes估计观察了n个学习样本后，μ的后验概率(修正分布)Bayes估计可见：修正后μ的分布仍为正态分布！其均值为μn，方差为σn2其中：41AppliedPatternRecognitionCSE616Bayes估计可见：修正后μ的分布仍为正态分布！其均值为μnBayes估计即：

μn表示在观察了一组样本后，对μ的最好的推断，而σn2则反映了这个推断的不确定性!42AppliedPatternRecognitionCSE616Bayes估计即：42AppliedPatternRecBayes估计P(μ/X(j))μμ0P(μ)μn43AppliedPatternRecognitionCSE616Bayes估计P(μ/X(j))μμ0P(μ)μn43AppBayes估计待估的最佳均值μ=？答案：μ=μn44AppliedPatternRecognitionCSE616Bayes估计待估的最佳均值μ=？44AppliedPatBayes估计考虑样本数对估计值的影响当时,,Bayes估计与最大似然估计的结果相同!

45AppliedPatternRecognitionCSE616Bayes估计考虑样本数对估计值的影响45AppliedPBayes估计此时,为δ函数。即随着样本数的增加，μ的初始分布p(μ)对μ的估计影响越来越小。反映了对参数μ估计的不确定性，当时，46AppliedPatternRecognitionCSE616Bayes估计此时,为Bayes估计47AppliedPatternRecognitionCSE616Bayes估计47AppliedPatternRecog演讲完毕，谢谢观看！演讲完毕，谢谢观看！48模式识别

PatternClassification

模式识别

PatternClassification

49第四章:参数估计统计决策法第四章:参数估计统计决策法50参数估计原理对于绝大多数的识别问题，类概率密度函数已知的条件并不成立，而通常只知类概率密度的函数形式，其参数未知。参数估计法即是利用学习样本来估计类概率密度参数的方法。51AppliedPatternRecognitionCSE616参数估计原理3AppliedPatternRecogni参数估计参数估计法最大似然估计法Bayes估计法两种方法原理不同，但结果是一致的！52AppliedPatternRecognitionCSE616参数估计参数估计法最大似然估计法Bayes估计法4Appli参数估计原理

最大似然估计法：将待估参数视为确定的未知量进行估计Bayes估计法：将待估参数视为随机变量进行估计53AppliedPatternRecognitionCSE616参数估计原理5AppliedPatternRecogni最大似然估计法（ML）已知条件拥有一批已知类别的学习样本，并知第j类的类概率密度的函数形式，参数未知。问题由学习样本估计最佳参数。54AppliedPatternRecognitionCSE616最大似然估计法（ML）已知条件6AppliedPatter最大似然估计法解决方案55AppliedPatternRecognitionCSE616最大似然估计法解决方案7AppliedPatternRe最大似然估计法解决方案56AppliedPatternRecognitionCSE616最大似然估计法解决方案8AppliedPatternRe最大似然估计法设有6个学习样本如下图所示，样本分布满足正态分布，且方差已知，现需估计最佳的均值μ可以看出，μ取A和B对似然函数的影响由于μ取B是似然函数更大，参数B优于AP(x/μ

)

x

ABμ=Bμ=A57AppliedPatternRecognitionCSE616最大似然估计法设有6个学习样本如下图所示，样本分布满足正态分最大似然估计法P(x/θ)58AppliedPatternRecognitionCSE616最大似然估计法P(x/θ)10AppliedPa最大似然估计法设有6个学习样本如下图所示，样本分布满足正态分布，且均值已知，现需估计最佳的方差σ可以看出，σ的变化对似然函数的影响P(x/σ)

x

σ1σ2参数σ1优于σ259AppliedPatternRecognitionCSE616最大似然估计法设有6个学习样本如下图所示，样本分布满足正态分最大似然估计法如何寻求最优参数？60AppliedPatternRecognitionCSE616最大似然估计法如何寻求最优参数？12AppliedPatt解决方案用求极值的方法求最佳θ值

为计算方便，对似然函数求自然对数:

最大似然估计法61AppliedPatternRecognitionCSE616解决方案最大似然估计法13AppliedPatternR最大似然估计法解决方案定义梯度算子▽为：62AppliedPatternRecognitionCSE616最大似然估计法解决方案14AppliedPatternR最大似然估计法解决方案则令：63AppliedPatternRecognitionCSE616最大似然估计法解决方案15AppliedPatternR最大似然估计法解决方案即：可得到r个关于参数θ的方程组，求解方程组，即可求得最佳估计值。64AppliedPatternRecognitionCSE616最大似然估计法解决方案16AppliedPatternR最大似然估计法例一：设样本满足一维正态分布，现已知n个学习样本，试用最大似然估计法估计其均值μ和方差σ２。解：对于一维正态分布

待估参数为其中

65AppliedPatternRecognitionCSE616最大似然估计法例一：设样本满足一维正态分布，现已知n个学习样最大似然估计法可记为:则似然函数为：66AppliedPatternRecognitionCSE616最大似然估计法可记为:18AppliedPatternR最大似然估计法令:即:67AppliedPatternRecognitionCSE616最大似然估计法令:19AppliedPatternRec最大似然估计法得:解得:68AppliedPatternRecognitionCSE616最大似然估计法得:20AppliedPatternRec最大似然估计法例二：设样本满足d维正态分布，其中协方差矩阵Σ已知，且已知n个学习样本，试用最大似然估计法估计均值向量μ。69AppliedPatternRecognitionCSE616最大似然估计法例二：设样本满足d维正态分布，其中协方差矩阵Σ最大似然估计法解：样本满足正态分布，则似然函数70AppliedPatternRecognitionCSE616最大似然估计法解：22AppliedPatternRec最大似然估计法协方差矩阵已知，仅有一个待参数均值向量，即θ=μ令得：71AppliedPatternRecognitionCSE616最大似然估计法协方差矩阵已知，仅有一个待参数均值向量，即θ=最大似然估计法即：可得θ=μ的最佳估计值为：即最佳均值向量是n个学习样本的重心（算数平均）。最佳估计值72AppliedPatternRecognitionCSE616最大似然估计法即：最佳估计值24AppliedP最大似然估计法例三:设为多维正态分布，现已知n个学习样本，试用最大似然估计法估计和。

解:与前述方法相同，即：73AppliedPatternRecognitionCSE616最大似然估计法例三:设最大似然估计法似然函数令:74AppliedPatternRecognitionCSE616最大似然估计法似然函数26AppliedPatternR最大似然估计法得:75AppliedPatternRecognitionCSE616最大似然估计法得:27AppliedPatternRec最大似然估计法基于最大似然估计法的分类器设计确定样本类概率密度函数形式确定待估参数根据学习样本，用最大似然估计法估计概率密度函数的参数估计样本先验概率用Bayes方法设计分类器76AppliedPatternRecognitionCSE616最大似然估计法基于最大似然估计法的分类器设计28ApplieBayes估计原理：

将待估参数视为具有某种先验分布的随机变量，通过学习样本的观察，将先验分布转换为后验概率，并以此来修正参数的估计值。77AppliedPatternRecognitionCSE616Bayes估计原理：29AppliedPatternReBayes估计实现过程将待估参数视为随机变量，并由先验只是得到粗略分布

P(θ)θ78AppliedPatternRecognitionCSE616Bayes估计实现过程P(θ)θ30AppliedPattBayes估计

为已知函数形式的类概率密度，待估，且知n个学习样本，记为，j为类别。由Bayes公式有：其中为的后验概率，表示在观察了n个学习样本后对的修正分布。79AppliedPatternRecognitionCSE616Bayes估计为已知函数形式Bayes估计则表示在参数为的条件下，n个样本出现的概率。为待估随机参数的先验概率分布。与无关，可用系数代替即：80AppliedPatternRecognitionCSE616Bayes估计则表示在参数Bayes估计显然，由于n个学习样本是独立抽取的，则可得：观察了n个样本后θ的修正分布81AppliedPatternRecognitionCSE616Bayes估计显然，由于n个学习样本是独立抽取的，则观察了nBayes估计合理的估计方法是：在修正的分布中，使得取值最大的值即是的最佳估计值。82AppliedPatternRecognitionCSE616Bayes估计合理的估计方法是：在修正的分布Bayes估计P(θ/X(j))θθ0P(θ)θn83AppliedPatternRecognitionCSE616Bayes估计P(θ/X(j))θθ0P(θ)θn35AppBayes估计例：已知类概率密度为一维正态分布，其中方差已知，均值参数待估。试用Bayes估计法估计均值84AppliedPatternRecognitionCSE616Bayes估计例：已知类概率密度为一维正态分布，其中方差Bayes估计解：对一维正态分布P(x/μ)xμ85AppliedPatternRecognitionCSE616Bayes估计解：P(x/μ)xμ37AppliedPatBayes估计首先，将待估参数μ

视为随机变量，并具有一定的初始分布。假设其具有正态分布：86A