模式识别非参数估计

模式识别非参数估计第一页，共四十九页，2022年，8月28日第五章:非参数估计第二页，共四十九页，2022年，8月28日非参数估计原理在实际应用中，类概率密度函数形式已知的条件并不一定成立，特别是多峰的概率分布，用普通函数难以拟合，这就需要用非参数估计技术。非参数估计的原理是：不需获取类类概率密度的函数形式，而是直接利用学习样本估计特征空间任意点的类概率密度的值。即直接由学习样本来直接设计分类器。第三页，共四十九页，2022年，8月28日非参数估计方法直接由学习样本估计类概率密度P(X/ωi)，Parzen窗口法直接由学习样本估计后验概率P(ωi/X)，

Kn近邻法非参数估计法Parzen窗口法Kn近邻法第四页，共四十九页，2022年，8月28日非参数估计思路鲑鱼鲈鱼第五页，共四十九页，2022年，8月28日非参数估计思路用已知类别的学习样本在x处出现的频度来近似P(X/ωi)，即：其中：v为包含X点的区域第六页，共四十九页，2022年，8月28日非参数估计K为n个样本中落入体积v的样本数。故：表示单位体积内落入x点邻域的样本在总样本中的比例，可以此来近似样本在X点处的类概率密度值。第七页，共四十九页，2022年，8月28日非参数估计第八页，共四十九页，2022年，8月28日非参数估计问题一若v固定，则当n增大时，只能表示平均概率，而不是点概率密度因此，为保证为点概率密度，必须有第九页，共四十九页，2022年，8月28日非参数估计第十页，共四十九页，2022年，8月28日非参数估计问题二若样本数n固定，则当时，则会出现x邻域内不包含任何样本，得出的错误估计第十一页，共四十九页，2022年，8月28日非参数估计第十二页，共四十九页，2022年，8月28日非参数估计解决方案考虑让v和k都随n的变化进行调整，即：第十三页，共四十九页，2022年，8月28日非参数估计显然为保证的合理性，应满足如下条保证时，收敛于点概率密度

保证不出现0概率密度

保证收敛第十四页，共四十九页，2022年，8月28日非参数估计基本方法Parzen窗口法：主动选择vn与n的关系，kn被动确定，指n个样本中落入区域v的样本数kn近邻法：主动选择kn与n的关系，vn被动确定，指包含kn个样本的x邻域第十五页，共四十九页，2022年，8月28日Parzen窗口法设样本特征空间为d维，Rn为d维超球体，vn为其体积，hn为其直径第十六页，共四十九页，2022年，8月28日Parzen窗口法可以证明，满足前述三个条件的等效条件为：

第十七页，共四十九页，2022年，8月28日Parzen窗口法因此，可选择均能满足条件，其中h1为可调常数主动选择vn与n的关系后，kn如何确定？第十八页，共四十九页，2022年，8月28日Parzen窗口法如前所述，kn即为n个样本中落入体积中的样本数定义窗函数如下：

其中，Xi(i=1,2,…,n)为学习样本,X为特征空间中的待估密度点第十九页，共四十九页，2022年，8月28日Parzen窗口法第二十页，共四十九页，2022年，8月28日Parzen窗口法矩形窗

第二十一页，共四十九页，2022年，8月28日Parzen窗口法则有上式即是由学习样本直接估计特征空间X点处概率密度的方法，称为Parzen窗口法第二十二页，共四十九页，2022年，8月28日Parzen窗口法一种更为合理的窗函数为正态窗第二十三页，共四十九页，2022年，8月28日Parzen窗口法正态窗

第二十四页，共四十九页，2022年，8月28日Parzen窗口法若采用正态窗，则第二十五页，共四十九页，2022年，8月28日Parzen窗口法例：已知某一维模式类的实际概率密度函数为：试用Parzen窗口法对n=1、n=16、n=256及情况下的概率密度进行估计。

第二十六页，共四十九页，2022年，8月28日Parzen窗口法解：采用正态窗函数

令则对一维空间其中为可调常数第二十七页，共四十九页，2022年，8月28日Parzen窗口法第二十八页，共四十九页，2022年，8月28日Parzen窗口法可以看出：当时，可以收敛于任何复杂形式的当n=1时，即是窗函数的形式当n较小时，对的大小较为敏感，过小则产生噪声性误差，过大则又产生平均性误差第二十九页，共四十九页，2022年，8月28日Parzen窗口法所需样本数较多，计算量大，不易求得的解析表达式当特征空间的维数较大时，实用性差第三十页，共四十九页，2022年，8月28日Parzen窗口法如何用Parzen窗口法进行分类器设计？获取n个学习样本令或令第三十一页，共四十九页，2022年，8月28日Parzen窗口法当待识别样本到来时，分别计算每一类样本的，即计算对每一类样本重复上述过程，得各类的类概率密度将样本归类到最大的类别中去第三十二页，共四十九页，2022年，8月28日Kn近邻法Parzen窗口法的估计效果取决于样本总数n及，当n较小时，对较为敏感，即：第三十三页，共四十九页，2022年，8月28日Kn近邻法其原因是由于只与总样本数有关，即进行概率密度估计时，任何x点处的都是相同的一种合理的选择是对样本出现密度大的x处，可较小，而对样本密度较小的x处，则相对大一些，这就是近邻法。

第三十四页，共四十九页，2022年，8月28日Kn近邻法第三十五页，共四十九页，2022年，8月28日Kn近邻法基本原理主动选择与n的关系，被动确定，即使得体积为样本密度的函数，而不是样本总数的函数。可选择，该条件可满足：

第三十六页，共四十九页，2022年，8月28日Kn近邻法

Kn近邻法，有效地解决了Parzen存在的问题，对平均误差和噪声性误差均有较好的改善

选择后，如何计算？

第三十七页，共四十九页，2022年，8月28日Kn近邻法为与x点相邻的个近邻样本中，与x距离最远的样本所构成的区域，即第三十八页，共四十九页，2022年，8月28日Kn近邻法第三十九页，共四十九页，2022年，8月28日Kn近邻法用Kn近邻法设计分类器的过程：获取n个学习样本令找到待识样本X处的Kn个近邻计算Kn个邻近到X的距离，找到最远距离的样本计算邻域的直径，计算邻域的体积

第四十页，共四十九页，2022年，8月28日Kn近邻法则对每一类样本重复上述过程，得各类的类概率密度将样本X归类到最大的类别中去第四十一页，共四十九页，2022年，8月28日用Kn近邻法估计后验概率非参数估计法的基本思想是：上式即可以用来估计各类样本的类概率密度，也可以用来估计所有类别样本的概率密度分布。

第四十二页，共四十九页，2022年，8月28日用Kn近邻法估计后验概率设共有C个待识类别，各个类别的学习样本数分别为n1,n2,……,nC

总的学习样本数为N=n1+n2+……+nC则

表示所有类别样本在特征空间X处的概率密度其中为落入体积中的样本数

第四十三页，共四十九页，2022年，8月28日用Kn近邻法估计后验概率而联合概率密度为N个落入中的样本中属于第i类的样本数

第四十四页，共四十九页，2022年，8月28日用Kn近邻法估计后验概率又由于则后验概率上式表明，待识样本在x点处属于第i类的后验概率即是落入其近邻体积内第i类样本与落入总样本数之比

第四十五页，共四十九页，2022年，8月28日用Kn近邻法估计后验概率Kn近邻准则：设各类总的学习样本为N,令当待识样本x到来时，找出x的个近邻，其中属于第i类的样本为，则：

取最大的一类为识别结果第四十六页，共四十九页，2022年，8月28日用Kn近邻法估计后验概率近邻法的特点简单，容易实现计算量和计算