基于K-L展开式的特征提取.ppt

1、模式识别 第九章特征的选择与提取,回顾,两类提取有效信息、压缩特征空间的方法： 特征提取 (extraction)：用映射（或变换）的方法把原始特征变换为较少的新特征 特征选择(selection) ：从原始特征中挑选出一些最有代表性，分类性能最好的特征 常见类别可分离性判据： 基于距离的可分性判据 基于概率密度分布的判据,9.3 基于KL展开式的特征提取,K-L变换，是一种常用的正交变换，K-L变换常用来作为数据压缩，这里我们用它作降维。 学习这一节主要要掌握以下几个问题： 1什么是正交变换； 2K-L变换是一种最佳的正交变换，要弄清是什么意义的最佳，也就是说它最佳的定义； 3K-L变换的性

2、质； 4K-L变换的重要应用,9.3 基于KL展开式的特征提取,正交变换概念 变换是一种工具，它的用途归根结底是用来描述事物，特别是描述信号用的。例如我们看到一个复杂的时序信号，希望能够对它进行描述。描述事物的基本方法之一是将复杂的事物化成简单事物的组合, 或对其进行分解，分析其组成的成分。 例如对一波形，我们希望知道它是快速变化的(高频)，还是缓慢变化的(低频)，或是一成不变的(常量)。如果它既有快速变化的成分，又有缓慢变化的成分，又有常量部分，那么我们往往希望将它的成分析取出来。这时我们就要用到变换,9.3 基于KL展开式的特征提取,正交变换概念 变换的实质是一套度量用的工具，例如用大尺子

3、度量大的东西，用小尺子度量小的东西，在信号处理中用高频，低频或常量来衡量一个信号中的各种不同成分。对某一套完整的工具就称为某种变换。 如傅里叶变换就是用一套随时间正弦、余弦变化的信号作为度量工具，这些正弦，余弦信号的频率是各不相同的，才能度量出信号中相应的不同频率成分,9.3 基于KL展开式的特征提取,图6-1,图6-2a,图6-2b,例如，图6-1中的信号只有一个单一频率的简谐信号，而图6-2(a)中信号就不是一个简谐信号所描述的，它起码可以分解成图6-2中的两个成分，一是基波，另一是三次谐波,9.3 基于KL展开式的特征提取,图6-3(b)中的向量A与B在一个二维空间定义，它们两者分别含有

4、成分为(a1,a2)与(b1,b2)，a1与b1是两者的同一种成分，a2与b2则是另一种成分。故它们的点积定义为a1b1+a2b2，在这种条件下就不需要积分，而只是简单求和,图6-3b,9.3 基于KL展开式的特征提取,点积运算的结果是一个数值，或大于零，小于零或等于零,等于零的情况在图6-3(b)中出现在A与B之间夹角为90的情况，这表明B中没有A的成分，A中也没有B的成分，因此又称相互正交,由此我们知道作为一种变换，如果这种变换中的每一种成分与其它成分都正交时，它们之间的关系就相互独立了，每一种成分的作用是其它成分所不能代替的。拿傅里叶变换来说，频率为f的成分只能靠变换频率为f的成分去析取

5、,另一方面也说明了这套变换必须是完备的，也就是它必须包含一切必要的成分，例如必须有基波的任何一次整数倍频率的谐波，否则就会对信号分析不全面,9.3 基于KL展开式的特征提取,上式中要求uiTuj=1，是考虑到ui是作为度量事物的单位应用的，它本身的模应该为1，ui又称为某一个基。而被分解后的任何事物(在此指信号)可等成各种成分之和。故任一信号X可表示成： 其中ci是相应基ui的相应成分,综合以上分析，我们可以将对这种变换的定义总结为：如果将这种变换中的每一成分，用一个向量ui表示，i是其下标，原理上可以到，则我们要求的正交变换可表示成,9.3 基于KL展开式的特征提取,基于Karhunen-L

6、oeve变换的特征提取方法是以在特征空间分布的样本特征向量为原始数据，通过实行K-L变换，找到维数较少的组合特征，达到降维的目的。由于样本的描述都是离散的向量，因此我们只讨论K-L变换的离散情况。 K-L变换：对给定一个D维训练样本集（原始特征空间），进行特征空间的降维，降到d维，dD。也就是说将d+1维以上的成分略去，显然原信号会因此受到一些损失,9.3 基于KL展开式的特征提取,K-L变换的最佳体现在对给定一个训练样本集条件下，能使这种误差从总体上来说是最小。注意这里讲的是总体，这是因为降维以后，训练样本集中的每个样本数据都受到损失，要衡量的是总体效果。这种情况下最常用的指标是均方误差最小

7、，或称均方误差的期望值最小。这就是说要找的正交变换能使一组样本集的均方误差的期望值为最小,9.3 基于KL展开式的特征提取,K-L变换是一种正交变换，即将一个向量x，在某一种坐标系统中的描述，转换成用另一种基向量组成的坐标系来表示。这组基向量是正交的，其中每个坐标基向量用uj表示，j=1,，因此，一个向量x可表示成,我们将表示的无限多维基向量坐标系统改成有限维坐标系近似，即,9.3 基于KL展开式的特征提取,我们希望在同样维数条件下，使向量X的估计量误差最小。确切地说是使所引起的均方误差为最小,X,9.3 基于KL展开式的特征提取,要使均方误差最小是一个求极值的问题，即求最佳的正交变换的基ui

8、，i=1,。因此还要满足变换是正交归一这个条件，因此这是一个求条件极值的问题，一般方法是利用拉格朗日乘子法将条件数值转换成一个求无条件极值的问题，实质求解过程是对拉格朗日函数g(ui)求偏导而得出的结果,9.3 基于KL展开式的特征提取,9.3 基于KL展开式的特征提取,9.3 基于KL展开式的特征提取,用矩阵 = ExxT 的前d 个本征值（从大到小排列）对应的本征向量作为基来展开x 时，截断误差在所有用d 维正交坐标系展开中是最小的。 u j ， j = 1,2,d 张成了新的特征空间. 展开系数cj=ujTx, j = 1,2,d 则组成了新的特征向量,9.3 基于KL展开式的特征提取,

9、向量 应是 矩阵的特征值 的特征向量，而此时截断误差为 。如将 按其大小顺序排列，即 则取前d项特征值对应的特征向量组成的坐标系，可使向量的均方误差为最小。满足上述条件的变换就是K-L变换,9.3 基于KL展开式的特征提取,K-L变换的基并没有固定的形式，它是从对给定数据集x进行计算产生的。换句话说，给定的数据集不同，得到的K-L变换基函数也因此而不同。正是因为它对给定数据集x存在依赖关系，它在降低维数时仍能较好地描述数据，因此是模式识别中降低特征空间维数的有效方法。 但是由于它的正交基函数族是从训练样本集中计算出来的，因此并不存在一种对任何数据都适用的K-L变换基，一般的作法是先用一组训练数

10、据计算出K-L变换基，然后用这组基来分析其它数据,KL变换的性质,KL变换的性质,KL变换的性质,KL变换的产生矩阵,当样本所属类别未知时： x的相关函数矩阵 x的协方差矩阵,KL变换的产生矩阵,未知类别样本的KL变换举例,用总体样本的协方差矩阵C=E(x-) (x-)T进行K-L变换，K-L坐标系U=u1,u2,.,ud按照C的本征值的下降次序选择 例：设一样本集的协方差矩阵是：求最优2x1特征提取器U解：计算特征值及特征向量V, D=eig(C);特征值D=24.736, 2.263T,特征向量:由于12，故最优2x1特征提取器此时的K-L变换式为,基于KL变换的数据压缩举例,给出样本数据

11、如下： 试用K-L变换作一维数据压缩。 思路：1）求总体均值向量；2）求产生矩阵 ； 3）求产生矩阵的特征值i 及特征向量 ； 4）按i排序，确定变换矩阵W； 5）利用 求新的一维样本,KL变换的一些典型应用,上面我们从数学的角度分析了K-L变换的性质。归结起来，它消除了各分量之间的相关性，因而用它来描述事物时，可以减少描述量的冗余性，做到用最经济有效的方法描述事物。下面结合一些应用实例来说明如何运用K-L变换的这一性质,KL变换的一些典型应用,以人脸图象这个例子看，K-L变换的降维效果是十分明显的。对一幅人脸图象，如果它由M行与N列象素组成，则原始的特征空间维数就应为MN。而如果在K-L变换

12、以后只用到30个基，那么维数就降至30，由此可见降维的效果是极其明显的,另一方面降维与数据压缩又是紧密联系在一起的。譬如原训练样本集的数量为V，而现采用30个基，每个基实质上是一幅图象，再加上每幅图像的描述参数，数据量是大大降低，尤其是图象数很大时，压缩量是十分明显的,1降维与压缩,KL变换的一些典型应用,使用K-L变换不仅仅起到降维与压缩数据的作用，更重要的是每个描述量都有明确的意义，因而改变某一个参数就可让图象按所需要的方向变化。在没有使用K-L变换的原数据集中对图象的描述量是每个象素的灰度值，而孤立地改变某个象素的灰度值是没有意义的,而在使用K-L变换后，每个描述量都有其各自的作用。因此

13、通过改变这些参数的值就可实现对模型的有效描述，这在图象生成中是很有用的。因此利用K-L变换构造出可控制的，连续可调的参数模型，这在人脸识别与人脸图象重构采方面的应用是十分有效的,2构造参数模型,KL变换的一些典型应用,图像重构,KL变换的一些典型应用,利用K-L变换进行人脸图象识别是一个著名的方法。其原理： 首先搜集要识别的人的人脸图象，建立人脸图象库； 利用K-L变换确定相应的人脸基图象， 再反过来用这些基图象对人脸图象库中的人脸图象进行K-L变换，从而得到每幅图象的参数向量，并将每幅图的参数向量存起来。 在识别时，先对一张所输入的脸图象进行必要的规范化，再进行K-L变换分析，得到其参数向量。 将这个参数向量与库中每幅图的参数向量进行比较，找到最相似的参数向量，也就等于找到最相似的人脸，从而认为所输入的人脸图象就是库内该人的一张人脸, 完成了识别过程,3人脸识别,KL