第三章-概率密度函数的估计

1、山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 1第第三三章章概率密度函数的估计概率密度函数的估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 2主要内容主要内容3.1 引言引言3.2 参数估计参数估计 基本概念基本概念 最大似然估计最大似然估计 最大似然估计举例最大似然估计举例 贝叶斯估计贝叶斯估计3.3 非参数估计非参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 3在设计贝叶斯分类器时，需要已知先验概率和类条在设计贝叶斯分类器时，需要已知先验概

2、率和类条件概率密度，并按一定的决策规则确定判别函数和件概率密度，并按一定的决策规则确定判别函数和决策面。但实际工作中，决策面。但实际工作中，类条件概率密度常常是未类条件概率密度常常是未知的知的。3.1 引言引言3.1 引言引言山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 4以癌细胞识别为例，医生有可能从他的经验中根据细胞病以癌细胞识别为例，医生有可能从他的经验中根据细胞病理检查的结果告诉我们正常与异常细胞的大致比例，使得理检查的结果告诉我们正常与异常细胞的大致比例，使得我们有可能推断先验概率我们有可能推断先验概率 P(wi) ；另外，医生还有可能

3、给我们提供一些正常细胞和癌细胞染另外，医生还有可能给我们提供一些正常细胞和癌细胞染色涂片的样本，但不可能给出类条件概率密度色涂片的样本，但不可能给出类条件概率密度P(x|wi) 。这就需要我们从医生提供的正常和异常两类细胞样本中去这就需要我们从医生提供的正常和异常两类细胞样本中去估计出正常类概率密度和异常类概率密度。估计出正常类概率密度和异常类概率密度。 3.1 引言引言山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 5在实际中，我们能收集到的是有限数目的样本，而未在实际中，我们能收集到的是有限数目的样本，而未知的可能是：知的可能是：1) 先验概率

4、先验概率P(wi)2) 类条件概率密度类条件概率密度p(x|wi)3.1 引言引言山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 6任务是利用样本集设计分类器，一个很自然的想法是任务是利用样本集设计分类器，一个很自然的想法是把分类器设计分成两步：把分类器设计分成两步：1) 利用样本集估计先验概率利用样本集估计先验概率P(wi)和类条件概率密度和类条件概率密度p(x|wi)，分别记为，分别记为 。2) 利用估计的概率密度设计贝叶斯分类器。利用估计的概率密度设计贝叶斯分类器。基于样本的两步贝叶斯决策基于样本的两步贝叶斯决策3.1 引言引言山东经济学院

5、计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 7理想情况，当样本个数理想情况，当样本个数N趋向于无穷大时，该方法设计趋向于无穷大时，该方法设计的分类器能收敛于理论上的结果。的分类器能收敛于理论上的结果。为此目标，需要：为此目标，需要：本章主要内容：如何利用样本集估计概率密度函数。本章主要内容：如何利用样本集估计概率密度函数。3.1 引言引言山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 8从样本集推断概率密度函数的两种基本方法：从样本集推断概率密度函数的两种基本方法：参数估计参数估计(parametric esti

6、mation) 已知类条件概率密度函数的形式，而参数未知。如已知类条件概率密度函数的形式，而参数未知。如已知样本总体符合正态分布，而正态分布的参数均值已知样本总体符合正态分布，而正态分布的参数均值和方差未知。和方差未知。 已知样本所在类别：监督参数估计。已知样本所在类别：监督参数估计。 未知样本所在类别：非监督参数估计。未知样本所在类别：非监督参数估计。3.1 引言引言山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 9从样本集推断概率密度函数的两种基本方法：从样本集推断概率密度函数的两种基本方法：参数估计参数估计(parametric estima

7、tion) 参数估计是统计学中的经典问题，本章只讨论两种参数估计是统计学中的经典问题，本章只讨论两种方法：方法：1) 最大似然估计最大似然估计2) 贝叶斯估计方法贝叶斯估计方法3.1 引言引言山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 10从样本集推断概率密度函数的两种基本方法：从样本集推断概率密度函数的两种基本方法：参数估计参数估计(parametric estimation)非参数估计非参数估计(nonparametric estimation) 已知样本所在类别，未知类条件概率密度函数的形已知样本所在类别，未知类条件概率密度函数的形式，要

8、求直接推断函数本身。式，要求直接推断函数本身。 一些常见典型的分布形式并不能总是满足实际需求。一些常见典型的分布形式并不能总是满足实际需求。因此，有些实际问题需要根据样本推断总体分布。因此，有些实际问题需要根据样本推断总体分布。3.1 引言引言山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 11基本概念基本概念统计量统计量 样本中包含着总体的信息，我们希望通过样本集把样本中包含着总体的信息，我们希望通过样本集把有关信息抽取出来，就是说针对不同要求构造出样本有关信息抽取出来，就是说针对不同要求构造出样本的某种函数，这种函数在统计学中称为统计量。的某种

9、函数，这种函数在统计学中称为统计量。3.2 参数估计参数估计3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 12基本概念基本概念参数空间参数空间 在参数估计中，未知量为总体概率密度函数的某些在参数估计中，未知量为总体概率密度函数的某些参数，将未知参数记为参数，将未知参数记为，将未知参数所有可能取值组，将未知参数所有可能取值组成的集合称为参数空间，记作：成的集合称为参数空间，记作：。3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 13基本概念基本概念点估计，

10、估计量和估计值点估计，估计量和估计值 点估计问题就是要构造一个统计量点估计问题就是要构造一个统计量d(x1,x2,xN)作作为参数为参数的估计值的估计值 ，在统计学中称，在统计学中称 为为的估计量。的估计量。 如果如果x1(i)，,xN(i)是属于类别是属于类别wi的几个样本观察值，的几个样本观察值，代入统计量代入统计量d就得到对于第就得到对于第i类的类的 的具体数值，这个数的具体数值，这个数值在统计学中称为的估计值。值在统计学中称为的估计值。3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 14基本概念基本概念区间估计区间估

11、计 区间估计要求用区间区间估计要求用区间(d1,d2)作为参数作为参数可能取值范围可能取值范围的一种估计。这个区间成为置信区间，这类估计问题的一种估计。这个区间成为置信区间，这类估计问题成为区间估计。成为区间估计。3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 15最大似然估计假设条件：最大似然估计假设条件：(1) 参数参数是确定的未知量，不是随机量是确定的未知量，不是随机量(2) 各类样本集各类样本集Xi，i=1, , c中的样本都是从密度为中的样本都是从密度为p(x|wi)的总体分布中独立抽取出来的。的总体分布中独立抽取

12、出来的。(3) p(x|wi)具有某种确定的函数形式，仅其参数具有某种确定的函数形式，仅其参数未知。未知。(4) 各类样本只包含了本类分布的信息。各类样本只包含了本类分布的信息。3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 16最大似然估计最大似然估计在上述假设前提下，可以分别处理在上述假设前提下，可以分别处理c个独立的问题。独个独立的问题。独立地按照概率密度立地按照概率密度p(x|)抽取样本集抽取样本集 X ，用，用X去估计参去估计参数数 。3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pa

13、ttern Recognition) 17最大似然估计最大似然估计已知某一类样本集包含有已知某一类样本集包含有N个样本，即：个样本，即： X=x1, x2, , XN由于假设样本是独立抽取的，所以：由于假设样本是独立抽取的，所以：是是的函数。的函数。121(| )(,.,| )(| )NNiip Xp xxxp x 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 18最大似然估计最大似然估计 P(X|)就叫做相对于样本集就叫做相对于样本集X的的的似然函数，统计学的似然函数，统计学中似然函数定义如下：中似然函数定义如下：N个随

14、机变量个随机变量x1,x2,xN的似然函数就是这的似然函数就是这N个变量的联个变量的联合密度合密度这个密度可以看成这个密度可以看成的函数。的函数。121(| )(,.,| )(| )NNiip Xp xxxp x 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 19最大似然估计最大似然估计如果如果x1,x2,xN是独立地抽自密度是独立地抽自密度p(x|)总体的样本，那么总体的样本，那么似然函数就是：似然函数就是： l() = p(x1,x2,xN| ) = p(x1| ) p(x2| ) p(x3| )p(xN| )3.2

15、参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 20最大似然估计最大似然估计似然函数似然函数l()给出的是从总体中抽出给出的是从总体中抽出x1, x2, , xN这样这样N个样本的概率。个样本的概率。假定假定 = 0，则最有可能出现的，则最有可能出现的N个样本是使得个样本是使得l()为最为最大值的样本大值的样本x1, x2, , xN。3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 21最大似然估计最大似然估计在在未知时，从一次抽样中得到未知时，从一次抽样中得到N

16、个样本个样本x1, x2, , xN。这些样本这些样本“最有可能最有可能”来自哪个密度函数？或者说这组来自哪个密度函数？或者说这组样本，来自哪个密度函数（样本，来自哪个密度函数（ 取什么值）的可能性最大？取什么值）的可能性最大？即要在参数空间即要在参数空间中找到一个中找到一个值（用值（用 表示）表示），使得似使得似然函数然函数l()极大化。极大化。 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 22最大似然估计最大似然估计一般说来，使得似然函数一般说来，使得似然函数l()极大化的极大化的 是样本是样本x1, x2, , x

17、N的函数，记作：的函数，记作： =d(x1,x2,xN) 。我们把它叫做。我们把它叫做的最的最大似然估计量大似然估计量。 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 23最大似然估计最大似然估计最大似然估计量定义：令最大似然估计量定义：令l()为样本集为样本集X的似然函数，其的似然函数，其中中 X=x1,x2,xN，如果，如果 =d(x1,x2,xN)是参数空间中能是参数空间中能使似然函数使似然函数l()极大化的值极大化的值 ，那么，那么 就是就是的最大似然的最大似然估计量估计量。为了便于分析，还可以定义对数似然函数为了

18、便于分析，还可以定义对数似然函数H()=lnl() 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 24最大似然估计最大似然估计求解最大似然估计量：如果未知参数只有一个，即求解最大似然估计量：如果未知参数只有一个，即为标为标量，在似然函数满足连续、可微的条件下，最大似然估量，在似然函数满足连续、可微的条件下，最大似然估计量是下面微分方程的解，即：计量是下面微分方程的解，即：( )( )0 0dldHordd3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 2

19、5最大似然估计最大似然估计如果未知参数不止一个，设有如果未知参数不止一个，设有S个，则个，则可以表示为有可以表示为有S个个分量的未知向量，即：分量的未知向量，即：12,.,Ts 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 26最大似然估计最大似然估计记如下梯度因子：记如下梯度因子：12,.,Ts 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 27最大似然估计最大似然估计已知已知H()为对数似然函数。为对数似然函数。在在N个样本独立抽取的条件下，上式可

20、以写成：个样本独立抽取的条件下，上式可以写成：有：有：1212( )ln ( )ln (| )ln (,.,|,.,)NsHlp Xp xxx 11( )ln(| )ln (| )NNkkkkHp xp x1( )ln (| )0NkkHp x 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 28正态分布的最大似然估计举例正态分布的最大似然估计举例212122, ,11(| )exp22Txp x 样本集为：样本集为：X=x1, x2, , xN3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pa

21、ttern Recognition) 29正态分布的最大似然估计举例正态分布的最大似然估计举例 1(| )(| )Nkkl xp Xp x 1ln ( )ln (| )NkkHl xp x 似然函数：似然函数：对数似然函数：对数似然函数： 1ln ( )ln (| )NkkHl xp x 最大似然估计量最大似然估计量 满足方程：满足方程： 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 30正态分布的最大似然估计举例正态分布的最大似然估计举例 2212122122211ln (| )ln2221ln|1122kkkkkp x

22、xxp xx 212122, ,11(| )exp22Txp x 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 31正态分布的最大似然估计举例正态分布的最大似然估计举例 112212112210()10NkkNNkkkxx 1122211 1()NkkNkkxNxN 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 32最大似然估计举例最大似然估计举例3.2 参数估计参数估计期刊：期刊：IEEE TRANSACTIONS ON CIRCUITS AND S

23、YSTEMS FOR VIDEO TECHNOLOGY, VOL. 16, NO. 10, OCTOBER 2006文章名：文章名：Fast Variable Block Size Motion Estimation for H.264 Using Likelihood and Correlation of Motion Field作者：作者：Tien-Ying Kuo, Member, IEEE, and Chen-Hung Chan山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 333.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆

24、广 模式识别(Pattern Recognition) 34(a) 参考帧参考帧(b) 编码帧编码帧3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 35(a) 参考帧参考帧(b) 编码帧编码帧3.2 参数估计参数估计211238132337214223山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 363.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 37符号表示：符号表示：Ti(i=1,2,3,4)表示四种类型

25、，分别如下：表示四种类型，分别如下： T1: P16x16, T2:P16x8, T3:P8x16, T4:P8x8.3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 38本例中模式识别的目标就是为当前宏块选择一个类别本例中模式识别的目标就是为当前宏块选择一个类别Tx, x=1或或2或或3或或4。第一步：将第一步：将16x16的宏块分成的宏块分成16个个4x4子块，每个子块子块，每个子块搜索最佳的运动矢量，记录运动矢量搜索最佳的运动矢量，记录运动矢量(mv)和残差数据和残差数据(r)。3.2 参数估计参数估计山东经济学院 计算

26、机科学与技术学院刘兆广 模式识别(Pattern Recognition) 393.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 40第二步：将第一步得到的第二步：将第一步得到的mv和和r作为分类用到的原始样作为分类用到的原始样本数据（特征），根据这些样本将宏块分到某一类。本数据（特征），根据这些样本将宏块分到某一类。3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 41第二步：决策规则如下：第二步：决策规则如下：与选择哪个与选择哪个Tj无无关关假定每种类型出

27、现概假定每种类型出现概率一样，也可以经过率一样，也可以经过统计得到先验数据统计得到先验数据3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 42第二步：决策规则如下：第二步：决策规则如下：3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 43第二步：决策规则如下：第二步：决策规则如下：Nj：Tj类别下子类别下子块个数，取值为：块个数，取值为：1，2，2，43.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recogni

28、tion) 44T1：P16x16，N1=1Mk,1，k=1。mv1包含了所有包含了所有mvrk包含了所有包含了所有r3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 45T2：P16x8，N2=2Mk,2，k=1，2。M1,2M2,2mv1mv23.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 46T3：P8x16，N3=2Mk,3，k=1，2。M1,3mv1M2,3mv23.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Patte

29、rn Recognition) 47T4：P8x8，N4=4Mk,4，k=1,2,3,4。M2,4 mv2M4,4 mv4M1,4, mv1M3,4 mv33.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 48第三步：极大似然估计计算概率第三步：极大似然估计计算概率3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 49第三步：极大似然估计计算概率第三步：极大似然估计计算概率3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Patter

30、n Recognition) 50第三步：极大似然估计第三步：极大似然估计k=1: 111110,20,16,12(20 16)/2188,0,8,1(8 1)/24.5110 1820 1816 1812 1854184.504.584.51 4.53.754xyxymedianmedian 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 51第三步：极大似然估计第三步：极大似然估计k=1: j=4, 类别：T4 P8x811111111111111113.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式

31、识别(Pattern Recognition) 52第三步：极大似然估计第三步：极大似然估计计算计算k=1，2，3，4时，得到所有的时，得到所有的P(mvk|Mk,4)的值。的值。3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 53第三步：极大似然估计第三步：极大似然估计残差的分布与运动矢量类似：残差的分布与运动矢量类似：3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 54贝叶斯估计贝叶斯估计贝叶斯决策的过程回顾：贝叶斯决策的过程回顾：12121,.,.,

32、(,) (|)(,) (|)cTdjiijiciijjjxxxxxRxPx 设 设状状态态空空间间 识 识别别对对象象 设设真真实实状状态态为为而而采采取取了了决决策策所所造造成成的的损损失失为为：对对特特定定的的 采采取取决决策策所所造造成成的的平平均均损损失失（条条件件风风险险）为为：3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 55贝叶斯估计贝叶斯估计x是特征空间中的一个随机变量，是特征空间中的一个随机变量，x取值不同时，条件风取值不同时，条件风险的值也随之不同，若要描述采用决策险的值也随之不同，若要描述采用决策i总

33、的平均风险，总的平均风险，就要计算条件风险的期望，即：就要计算条件风险的期望，即：11(|) ( )(,) (|) ( )(,) ( ,) dddciijjjEEcijjjERRx p x dxPx p x dxP xdx (|) ( )( ,)djjEPx p xP x : 特: 特征征空空3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 56贝叶斯估计贝叶斯估计R也称为贝叶斯风险，使得也称为贝叶斯风险，使得R最小的贝叶斯决策最小的贝叶斯决策k成为贝成为贝叶斯决策。即：若决策空间叶斯决策。即：若决策空间A=1, 2, a)，

34、当：，当：而采取决策而采取决策k。这是一个典型的统计决策问题。这是一个典型的统计决策问题。1,2,.,(|) ( )min(|) ( )ddkiiaEERx p x dxRx p x dx 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 57贝叶斯估计贝叶斯估计参数估计问题：设有一个样本集参数估计问题：设有一个样本集X（而不是一个特征向量（而不是一个特征向量x)，要求我们找出估计量，要求我们找出估计量 （而不是选出最佳决策（而不是选出最佳决策k），），用来估计用来估计X所属总体分布的某个真实参数所属总体分布的某个真实参数（而

35、不是具体（而不是具体状态状态wk)，使得所带来的贝叶斯风险最小。，使得所带来的贝叶斯风险最小。 - 贝叶斯估计贝叶斯估计3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 58贝叶斯估计贝叶斯估计贝叶斯决策和贝叶斯估计都立足于使得贝叶斯风险最小贝叶斯决策和贝叶斯估计都立足于使得贝叶斯风险最小化，前者要决策化，前者要决策x的真实状态，后者是估计样本集所属总的真实状态，后者是估计样本集所属总体分布的参数。体分布的参数。3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition)

36、 59贝叶斯估计贝叶斯估计贝叶斯估计中，计算贝叶斯风险的公式：贝叶斯估计中，计算贝叶斯风险的公式：( , ) ( , )dERp xd dx 特征空间特征空间参数空间参数空间3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 60贝叶斯估计贝叶斯估计(| ) ( )(| ) ( )( |)( )(| ) ( )( , ) ( , )( , ) ( |) ( )( )( , ) ( |)( |) ( )ddddEEEEp xpp xppxp xp xpdRp xd dxpx p x d dxp xpx d dxRx p x dx

37、( |)( , ) ( |)Rxpx d 贝叶斯公式贝叶斯公式3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 61贝叶斯估计贝叶斯估计( |)(|)( |)( |)iiRxxxRxRxRx是是给给定定 条条件件下下估估计计量量 的的条条件件风风险险，它它与与贝贝叶叶斯斯决决策策中中给给定定 时时决决策策的的条条件件风风险险是是对对应应的的。同同贝贝叶叶斯斯决决策策一一样样，使使得得条条件件风风险险最最小小的的估估计计量量也也一一定定能能使使贝贝叶叶斯斯风风险险最最小小。定定义义：如如果果 的的估估计计量量 使使得得条条件件风

38、风险险最最小小，则则称称 是是关关于于 的的贝贝叶叶斯斯估估计计。3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 62贝叶斯估计贝叶斯估计求解贝叶斯估计量求解贝叶斯估计量 首先需要定义损失函数，一般来说损失函数可以定义成首先需要定义损失函数，一般来说损失函数可以定义成不同的形式，从而得到不同的估计量。不同的形式，从而得到不同的估计量。这里规定损失函数如下：这里规定损失函数如下：则贝叶斯估计量为：则贝叶斯估计量为： 2( , )() 二次损失二次损失函数函数( |)pd 一个定理的一个定理的结论，不做结论，不做证明证明3.2

39、参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 63贝叶斯估计举例贝叶斯估计举例以单变量正态分布为例，假定总体方差以单变量正态分布为例，假定总体方差2已知，待估计已知，待估计参数为均值参数为均值。设总体分布密度为：。设总体分布密度为：其中均值其中均值未知，方差未知，方差2已知。已知。2(|) ( ,)p xN 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 64贝叶斯估计举例贝叶斯估计举例假定已知关于均值假定已知关于均值的先验知识可以用一个已知的先验密的先验知识可

40、以用一个已知的先验密度度p()来表示，且假定该概率密度符合均值为来表示，且假定该概率密度符合均值为0态方差为态方差为02分另一个正态分布。分另一个正态分布。此假设只为简化此假设只为简化后续计算后续计算200( ) (,)pN 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 65贝叶斯估计举例贝叶斯估计举例问题总括：设问题总括：设 =x1,x2,xN是取自正态分布是取自正态分布N(， 2)的的样本集，其中为未知参数，且假定其是随机参数，并有样本集，其中为未知参数，且假定其是随机参数，并有先验分布先验分布N(0， 02)，要求用

41、贝叶斯估计的方法求出均值，要求用贝叶斯估计的方法求出均值的估计量。的估计量。3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 66贝叶斯估计举例贝叶斯估计举例求解过程：求解过程：对于二次损失函数的贝叶斯估计，有：对于二次损失函数的贝叶斯估计，有：样本集样本集参数空间参数空间( |)pd 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 67贝叶斯估计举例贝叶斯估计举例1( |)(|)(|) ( )(|)(|) ( )(|) ( )1(|) ( )Nkkpdpd

42、ppap xppdappd 仅与样本集仅与样本集有关，与均有关，与均值无关值无关3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 68贝叶斯估计举例贝叶斯估计举例22001220100202222100(|) ( ,), ( ) (,):(|)(|) ( )1111expexp2222111exp22kNkkNkkkNkkp xNpNpap xpxxaNax 有有 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 69贝叶斯估计举例贝叶斯估计举例因此因此 符合

43、另外一个正态分布。符合另外一个正态分布。2NN2202222100(|) (,)11(|)exp22111exp22NNNNkkpNpNax (|)p 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 70贝叶斯估计举例贝叶斯估计举例对应项相等，求得：对应项相等，求得：220222210011111expexp2222NNkkNNNax 2220022201111NNNNNNkkNNmmxN 220022220022202201 1NNNNNkkNmNNNmxN 3.2 参数估计参数估计山东经济学院 计算机科学与技术学院刘兆广

44、 模式识别(Pattern Recognition) 713.3 非参数估计非参数估计参数估计中需要已知总体分布的形式，仅参数未知，而很参数估计中需要已知总体分布的形式，仅参数未知，而很多实际问题并不知道总体分布形式，或者总体分布不是一多实际问题并不知道总体分布形式，或者总体分布不是一些通常遇到的典型分布，或者不能写成某些参数的函数。些通常遇到的典型分布，或者不能写成某些参数的函数。为了设计贝叶斯分类器，仍然需要总体分布的知识，于是为了设计贝叶斯分类器，仍然需要总体分布的知识，于是提出一些直接用样本来估计总体分布的方法，称之为：估提出一些直接用样本来估计总体分布的方法，称之为：估计分布的非参数

45、法。计分布的非参数法。3.3 非参数估计非参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 72估计的目的：从样本集（有限个样本数目）中估计样本空估计的目的：从样本集（有限个样本数目）中估计样本空间（无限个样本）中任何一点的概率密度间（无限个样本）中任何一点的概率密度p(x)。如果样本集来自某个固定类别（如如果样本集来自某个固定类别（如wi类），则估计的结果类），则估计的结果为该类的类条件概率密度为该类的类条件概率密度p(x|wi)。如果样本集来自多个类。如果样本集来自多个类别，且不能分清哪个样本来自哪个类别，则估计结果为混别，且不能分清哪个

46、样本来自哪个类别，则估计结果为混合概率密度合概率密度p(x)。3.3 非参数估计非参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 73假如样本集由三个一维的样本组成假如样本集由三个一维的样本组成x1,x2,x3，每个样本，每个样本xi在以在以xi为中心，宽度为为中心，宽度为h的范围内，对分布的贡献为的范围内，对分布的贡献为a。若。若要估计要估计xi点的密度点的密度p(xi),可以把每个样本在可以把每个样本在xi点的点的“贡献贡献”相加近似作为这点的密度相加近似作为这点的密度p(xi)。对所有的。对所有的x都这么做，就都这么做，就可以得到总体

47、分布可以得到总体分布p(x)的估计值。的估计值。当然也可以认为每个样本对自己所在位置的分布当然也可以认为每个样本对自己所在位置的分布“贡献贡献”最大，离的越远，贡献越小。最大，离的越远，贡献越小。3.3 非参数估计非参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 74非参数估计的一般方法：非参数估计的一般方法：最根本出发点：随机向量最根本出发点：随机向量x落入区域落入区域R的概率的概率P是：是：其中其中p(x)是是x的总体概率密度函数。的总体概率密度函数。( )RPp x dx 3.3 非参数估计非参数估计山东经济学院 计算机科学与技术学院

48、刘兆广 模式识别(Pattern Recognition) 75设当前有设当前有N个样本个样本x1,x2,xN，它们是从密度为，它们是从密度为p(x)的总的总体分布中独立抽取的，这些样本中有体分布中独立抽取的，这些样本中有k个样本落入了区域个样本落入了区域R，则随机向量则随机向量x落入区域落入区域R的估计为：的估计为：kPN 3.3 非参数估计非参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 76设总体概率密度设总体概率密度p(x)是连续的，而且区域是连续的，而且区域R足够小，以至于足够小，以至于p(x)在区域在区域R中没有变化，那么我们可

49、得：中没有变化，那么我们可得：( )( )RPp x dxp x V 区域区域R的体积的体积区域区域R中的点中的点3.3 非参数估计非参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 77同样，针对总体概率密度的估计值，也有如下等式：同样，针对总体概率密度的估计值，也有如下等式：( )( )RPp x dxp x V kPN /( )k Np xV 3.3 非参数估计非参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 78问题总结：问题总结：已知已知N个样本个样本x1,x2,xN,其中其中k

50、个样本落入区域个样本落入区域R，则随机，则随机变量的总体概率密度估计为：变量的总体概率密度估计为：因为因为R有体积有体积V，该估计结果实际上是估计值在区域，该估计结果实际上是估计值在区域R上平上平均。均。/( )k Np xV 3.3 非参数估计非参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 79如果希望得到的估计不是区域如果希望得到的估计不是区域R上平均值，体积上平均值，体积V就需要趋就需要趋向于零，则样本数目需要趋向于无穷，否则会出现落入区域向于零，则样本数目需要趋向于无穷，否则会出现落入区域R的样本个数为零的情况的样本个数为零的情况

51、(k=0)，则估计出的结果恒等于零，则估计出的结果恒等于零，无任何意义。无任何意义。事实上样本个数总是有限，因此区域事实上样本个数总是有限，因此区域R的体积不能为任意小。的体积不能为任意小。3.3 非参数估计非参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 80仅从理论上考虑，假设有无穷多个样本，我们可以采取如下仅从理论上考虑，假设有无穷多个样本，我们可以采取如下措施：为了估计措施：为了估计x点的概率密度点的概率密度p(x)，可以构造一个区域序，可以构造一个区域序列列R1,R2,RN,对对R1采用一个样本进行估计，对采用一个样本进行估计，对

52、R2采用采用2个个样本进行估计，依次类推，对样本进行估计，依次类推，对RN采用采用N个样本进行估计。设个样本进行估计。设VN是区域是区域RN的体积，的体积，kN是落入是落入RN的样本个数。的样本个数。3.3 非参数估计非参数估计山东经济学院 计算机科学与技术学院刘兆广 模式识别(Pattern Recognition) 81第第N次估计的总体概率密度为：次估计的总体概率密度为：若满足以下三个条件：若满足以下三个条件：则总体概率密度的估计值收敛于实际值则总体概率密度的估计值收敛于实际值p(x)/ ( )NNNkNpxV (1) lim0; (2) lim; (3) lim0NNNNNNNkVkV 3.3 非参数估计非参数估计山东经济学院 计算机科学与技术学院