模式识别4概率密度函数的估计学习教案

1、会计学1模式识别模式识别(m sh sh bi)4概率密度函数概率密度函数的估计的估计第一页，共51页。的学习样本估计里面的参数。的学习样本估计里面的参数。非参数估计：不假定数学模型，非参数估计：不假定数学模型，直接用已知类别的学习样本的直接用已知类别的学习样本的先验知识直接估计数学模型。先验知识直接估计数学模型。第1页/共50页第二页，共51页。第2页/共50页第三页，共51页。参数参数的全部可容许值组成的的全部可容许值组成的集合称为参数空间，记为集合称为参数空间，记为。3. 点估计、估计量和估计值：点估计、估计量和估计值：点估计问题就是构造一个统计点估计问题就是构造一个统计量量作为参数作为

2、参数的的估计估计，在统计学中称，在统计学中称为为的估计量。若的估计量。若是属是属于类别于类别的几个样本观察值，的几个样本观察值，代入统计量代入统计量d就得到对于第就得到对于第i类类的的 的具体数值，该数值就称的具体数值，该数值就称为为 的估计值。的估计值。第3页/共50页第四页，共51页。第4页/共50页第五页，共51页。类样本独立进行处理。类样本独立进行处理。 第第i类的待估参数类的待估参数根据以上四条假定，我们下边根据以上四条假定，我们下边就可以只利用第就可以只利用第i类学习样类学习样本来估计本来估计(gj)第第i类的概率密度，类的概率密度，其它类的概率密度由其它类其它类的概率密度由其它类

3、的学习样本来估计的学习样本来估计(gj)。第5页/共50页第六页，共51页。第6页/共50页第七页，共51页。P(Xi/i)第7页/共50页第八页，共51页。代入上式得所以(suy)，有这说明(shumng)未知均值的极大似然估计正好是训练样本的算术平均。第8页/共50页第九页，共51页。第9页/共50页第十页，共51页。第10页/共50页第十一页，共51页。xN)T求出样本的联合概率密度求出样本的联合概率密度分布分布P(xi|)，它是，它是的函数。的函数。 利用贝叶斯公式利用贝叶斯公式,求求的后验概的后验概率率第11页/共50页第十二页，共51页。第12页/共50页第十三页，共51页。第13

4、页/共50页第十四页，共51页。第14页/共50页第十五页，共51页。第15页/共50页第十六页，共51页。 第16页/共50页第十七页，共51页。真正的真正的靠的更近；靠的更近；当观察当观察N个样本后个样本后,N就反映了观就反映了观察到察到N个样本后对个样本后对的最好推测，的最好推测，而而N2反映了这种推测的不确定反映了这种推测的不确定性。性。N, N2,N2 随观察样本随观察样本增加而单调减小，且当增加而单调减小，且当N, N2 0 ；当当N，P(|xi)越来越尖峰突起，越来越尖峰突起，于是于是 N, P(|xi) 函数，即收敛函数，即收敛于一个以真实参数为中心的于一个以真实参数为中心的函

5、函数，这个过程成为贝叶斯学习。数，这个过程成为贝叶斯学习。第17页/共50页第十八页，共51页。第18页/共50页第十九页，共51页。第19页/共50页第二十页，共51页。第20页/共50页第二十一页，共51页。实值实值，将引起不确定性增加。，将引起不确定性增加。第21页/共50页第二十二页，共51页。其中(qzhng)a与无关第22页/共50页第二十三页，共51页。第23页/共50页第二十四页，共51页。度度p(x|i)以此来设计分类器以此来设计分类器, 如窗口估计如窗口估计 用学习样本直接估计后验概用学习样本直接估计后验概率率p(i|x)作为分类准则作为分类准则来设计分类器，如来设计分类器

6、，如KN近邻法。近邻法。1. 密度估计原理：一个随机变量密度估计原理：一个随机变量X落在区域落在区域R的概率为的概率为P P(X)为为P(X)在在R内的变化值，内的变化值，P(X)就是要求的总体概率密度就是要求的总体概率密度RP(x)第24页/共50页第二十五页，共51页。第25页/共50页第二十六页，共51页。第26页/共50页第二十七页，共51页。第27页/共50页第二十八页，共51页。第28页/共50页第二十九页，共51页。第29页/共50页第三十页，共51页。 方窗函数(hnsh)指数(zhsh)窗函数正态窗函数(u) (u)(u)hN 正态窗函数第30页/共50页第三十一页，共51页

7、。第31页/共50页第三十二页，共51页。第32页/共50页第三十三页，共51页。第33页/共50页第三十四页，共51页。0123456x6x5x3x1x2x4x第34页/共50页第三十五页，共51页。第35页/共50页第三十六页，共51页。第36页/共50页第三十七页，共51页。第37页/共50页第三十八页，共51页。v用 窗法估计单一正态分布的实验Parzen001.001.01.00.10.10001.001.01.00.10.10001.001.01.00.10.1025.01h202202202001.001.01.00.10.1011h41hN=N=256N=16N=1第38页/共

8、50页第三十九页，共51页。第39页/共50页第四十页，共51页。-2.5x-20 x2其它(qt)x-2.5-210.2502P(x)第40页/共50页第四十一页，共51页。001.001.01.00.10.10001.001.01.00.10.10001.001.01.00.10.1025.01h202202202001.001.01.00.10.1011h41hN=N=256N=16N=1v用 窗法估计两个均匀分布的实验Parzen第41页/共50页第四十二页，共51页。结论：结论： 由上例知窗口法的优点是应用的普遍性。对规则分布，由上例知窗口法的优点是应用的普遍性。对规则分布，非规则分

9、布，单锋或多峰分布都可用此法进行密度估计非规则分布，单锋或多峰分布都可用此法进行密度估计。 要求样本要求样本(yngbn)足够多，才能有较好的估计。因此使足够多，才能有较好的估计。因此使计算量，存储量增大。计算量，存储量增大。第42页/共50页第四十三页，共51页。第43页/共50页第四十四页，共51页。V1为N=1时的VN值第44页/共50页第四十五页，共51页。第45页/共50页第四十六页，共51页。 第46页/共50页第四十七页，共51页。P*PK 第47页/共50页第四十八页，共51页。PP(e)BayesK近邻(jn ln)最近(zujn)邻第48页/共50页第四十九页，共51页。第49页/共50页第五十页，共51页。NoImage内容(