Ch05非参数方法PPT课件

1、Ch 05. 非参数方法Part 1 Parzen窗估计模式分类的途径 途径途径1：估计类条件概率密度 通过 和 ，利用贝叶斯规则计算后验概率 ，然后通过最大后验概率做出决策 两种方法 方法方法1a：概率密度参数估计基于对 的含参数的描述 方法方法1b：概率密度非参数估计基于对 的非参数的描述 途径途径2：直接估计后验概率 不需要先估计 途径途径3：直接计算判别函数 不需要估计 或者参数估计可能存在的问题 概率密度函数的形式未知 经典的密度函数往往不能很好的描述现实数据 经典密度函数的参数形式一般都是单模的 现实数据往往是多模的 有些复杂数据很难用参数形式建模 解决办法：非参数方法非参数方法（

2、non-parametric method）非参数方法 能处理任意的概率密度 不必假设密度函数的参数形式 No Free Lunch! 非参数方法取得较好结果所需训练样本训练样本一般远远大于参数化方法非参数密度估计 假设x的概率密度为p(x)，则任一x 落入区域R的概率为 非参数密度估计的基本思想基本思想 通过估计通过估计x周围一个小区域周围一个小区域R的概率来估计的概率来估计p(x) 假设n个i.i.d.样本，其中k个样本落入R中的概率 k的期望值 当数据量n很大时，Pk在nP附近有非常显著的高峰，可以用k的观察值代替E(k) 二项分布二项分布非参数密度估计非参数密度估计 积分中值定理 为区

3、域R大小的度量（长度、面积、体积等） x是R中某个点 如果R足够小，使得p(x)在R内的变化很小，则x为R中任一点 把 代入，得到V的选择 在样本数量n有限的情况下 V过大过大得到空间平滑后的p(x) V趋近于趋近于0 如果R内没有样本点，则 如果R内碰巧有一个样本，则 假设样本数可以无限多 构造一系列包含x的区域 使用一个样本 使用两个样本 /( )0k npVx/( )k npV x12,R R 1R2R用 得到的估计nR落入 中的样本个数nR的体积nRV的选择 如果要使 ，则如下条件必须满足 空间平滑了的P/V能够收敛到p(x) 频率之比k/n能够收敛到P 即使落在R中的样本点趋于无穷大

4、，其在整个数据集中的比例仍然很小( )( )npxp xV的选择 两种途径 根据某个确定的体积函数，如 ，来逐渐收缩一个给定的初始区间Parzen窗方法窗方法 确定kn为n的某个函数，如kn-近邻方法近邻方法一个简单实例 给定包含n个样本的数据集 用直方图来模拟p(x) 假设k个样本落入以x为中点的小条（宽度为h）中，如果n足够大，则有 根据以上两种近似，得到一个简单实例 定义窗函数窗函数（核函数核函数、势函数势函数） 落入宽度为h，中点为x的小条中的样本个数 对p(x)的非参数化模拟xj的某个函数的均值的某个函数的均值Parzen窗方法 假设R为边长为h的d维超立方体，则R的体积 定义窗函数

5、 落入R中的样本个数 用n个样本来近似p(x)Parzen窗方法 定义则对p(x)的近似可重写为 基本思想 每个样本xj都对p(x)的估计产生一定的贡献，这种贡献根据xj到x的距离，通过某种形式的插值函数表现出来 泛化：插值函数的例子插值函数插值函数Parzen窗方法 由于 ，并且 ，所以说明估计得到的 是一个合理的概率密度函数 离散性 如果 是离散的，则 也是离散的 如果 是连续的，则 也是连续的Parzen窗方法二维圆周对称正态Parzen窗Parzen窗方法 h（或者V）对 的影响 h非常大非常大时， xj到x的距离对 的影响不大 为n个宽的、慢变的函数相加 是对p(x)的非常平滑的估计

6、散焦估计 估计结果的分辨率低 h非常小非常小时， 的峰很尖锐 为n个以样本点为中心的尖脉冲的叠加 是对p(x)的充满噪声的估计 估计结果的统计稳定性不足Parzen窗方法 在有限样本个数n的约束下，h（或V）应取某种可接受的折中。 随着n的增大，h （或V）应逐渐减小，以使得对p(x)的估计更为精确Parzen窗方法 窗函数窗函数的泛化 不必规定R为超立方体，而是某种由窗函数定义的一般化的形式，仅需窗函数满足以使得 为一个合理的概率密度函数 h：窗的宽度窗的宽度举例1 p(x)为零均值、单位方差、单变量的正态分布 窗函数为 体积 Parzen窗估计1/nnVhhn举例1举例1：二维情况举例1：

7、二维情况举例2 p(x)为一个均匀分布与一个三角分布的混合分布 窗函数 窗宽度 1/nhhn举例2分类 基于Parzen窗估计的分类器 对每一个类，用Parzen窗估计其类条件概率密度 然后，利用贝叶斯公式求后验概率 根据“最大后验概率”（MAP）原则进行分类( |)ipx(| )ipx分类 Parzen窗分类器的决策域决策域与窗函数窗函数窗宽度较小窗宽度较小窗宽度较大窗宽度较大优点 vs. 缺点 非参数方法 优点优点 通用性：不必了解分布的形式就能对其作出估计 在训练样本足够多的情况下，无论实际的概率密度函数的形式如何，最终肯定能得到一个可靠的收敛的结果 缺点缺点 需要大量训练样本，往往比已知分布的参数形式而