第7章 基于K-L变换的特征提取

第7章基于K—L变换的特征提取7.1

离散的卡洛南—洛伊(K—L)变换7.2

采用K—L变换的分类特征提取7.3

鉴别向量和鉴别平面上一章讨论的特征选择是在一定的准则下从n个特征中选出m个来反映原来的模式，这种简单的删掉某个特征总是不十分理想的，因为一般来说，原来的n个数据各自在不同程度上反映了识别对象的某些特性，简单的删掉可能会丢失较多的信息。这时，若将原来的特征作正交变换，获得的每个数据都是原来的n个数据的线性组合，然后从新的数据中选出少数几个，使它们尽可能多地反映各类模式之间的差异，又尽可能的相互独立，这比单纯的选择方法更灵活，效果更好，这就是将要介绍的K—L变换，它适用于任何的概率密度函数。K—L变换实际上是一种最佳的特征压缩。返回本章首页7.1离散的卡洛南—洛伊（K—L）变换返回本章首页设是一个维的随机向量，则它可以用下式无误差的展开：返回本章首页是线性独立的，其构成了包含的维空间，这些向量就是这个空间的一个基组。进一步它还满足以下性质：假定我们只保留向量的分量的一个子集，就用这些分量估计出。返回本章首页下面讨论最佳子集的选取

若用的分量来恢复原始模式，不应使模式产生明显的畸变。实际上我们的任务就是要选择一个最佳的变换使得模式向量的维数降低后仍能保留模式的最重要的特征。若保留，不保留的用预先选定的常数来代替，这时对的估计值为：返回本章首页注意到和都是随机向量，用的均方误差作为选取个特征的子集的有效性的判据，则是和的函数，要使最小，就是求使取极小值的最佳的和的值。对的选择返回本章首页也就是说，对于省略掉的那些分量，应当用它们的期望值来代替。这时的均方误差对的最佳选择（）实际上要在的条件下，找出使最小的，构造Lagrange函数：返回本章首页L极小的必要条件为该式表示，是协方差矩阵的第i

个本征值，而是与对应的本征向量。这时，最小均方误差为：式中所选的愈小，误差愈小。从以上可以得出结论：返回本章首页（1）为使误差最小，不采用的本征向量，其对应的本征值应尽可能小。将本征值按大小次序标号，即应首先采用前面的本征向量。这时的变换矩阵为（2）K—L变换是在均方误差最小的意义下获得的数据压缩的最佳变换，它消除模式特征之间的相关性，突出其差异性，且不受模式分布的限制。返回本章首页例题7-1两组二维空间的数据（a）（b）如图所示，

试用K—L变换来做一维的特征提取。（a）（b）返回本章首页解：这两种情况下的期望向量

对于数据（a），有对于数据（b），有返回本章首页计算协方差矩阵的本征值和本征向量：对于数据（a）:对于数据（b）:返回本章首页期末测试1试列举线性分类器中你所学过的最佳准则以及它们各自的原理。2试说明用监督学习与非监督学习两种方法对道路图像中道路区域的划分的基本做法，以说明这两种学习方法的定义与它们间的区别。3试说明Mahalanobis距离平方的定义，到某点的Mahalanobis距离平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。4

已知一组数据的协方差矩阵为

试问（1）协方差矩阵中各元素的含义。（2）求该数组的两个主分量。（3）主分量分析或称K-L变换，它的最佳准则是什么？（4）为什么说经主分量分析后，消除了各分量之间的相关性。返回本章首页设有两类二维正态分布的样本基于最小错误率的贝叶斯决策分界面方程为

，其中两类的协方差矩阵先验概率，并且有。试求：之值。考虑基于具有先验知识和分布和

的样本的分类器。（1）在这种情况下，求Bayes判定规则和Bayes错误率；（2）求按最近邻法决策的渐近平均错误率。返回本章首页1试列举线性分类器中你所学过的最佳准则以及它们各自的原理。

答：Fisher准则：根据两类样本一般类内密集,类间分离的特点，寻找线性分类器最佳的法线向量方向，使两类样本在该方向上的投影满足类内尽可能密集，类间尽可能分开。

该种度量通过类内离散矩阵和类间离散矩阵实现。

感知准则函数：准则函数以使错分类样本到分界面距离之和最小为原则，即

通过错分类样本提供的信息对分类器函数进行修正，这种准则是人工神经元网络多层感知器的基础。

最小平方误差准则函数：使平方误差最小，即

解线性不等式的问题转化为解线性等式的问题，求得的伪逆解使平方误差最小。返回本章首页2试说明用监督学习与非监督学习两种方法对道路图像中道路区域的划分的基本做法，以说明这两种学习方法的定义与它们间的区别。答：监督学习方法用来对数据实现分类，分类规则通过训练获得。该训练集由带分类号的数据集组成，因此监督学习方法的训练过程是离线的。

非监督学习方法不需要单独的离线训练过程，也没有带分类号（标号）的训练数据集，一般用来对数据集进行分析，如聚类，确定其分布的主分量等。

就道路图像的分割而言，监督学习方法则先在训练用图像中获取道路象素与非道路象素集，进行分类器设计，然后用所设计的分类器对道路图像进行分割。

使用非监督学习方法，则依据道路路面象素与非道路象素之间的聚类分析进行聚类运算，以实现道路图像的分割。返回本章首页3试说明Mahalanobis距离平方的定义，到某点的Mahalanobis距离平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。答：Mahalanobis

距离的平方定义为：

其中，、为两个向量，是一个正定对称矩阵（一般为协方差矩阵）。根据定义，距某一点的Mahalanobis距离相等点的轨迹是超椭球，如果是单位矩阵，则Mahalanobis距离就是通常的欧氏距离。

返回本章首页4

已知一组数据的协方差矩阵为

试问（1）协方差矩阵中各元素的含义。（2）求该数组的两个主分量。（3）主分量分析或称K-L变换，它的最佳准则是什么？（4）为什么说经主分量分析后，消除了各分量之间的相关性。答：1）对角元素是各分量的方差，非对角元素是各分量之间的协方差。

2）主分量，求协方差矩阵的特征值，

相应的特征向量为：;

对应特征向量为，

这两个特征向量即为主分量。返回本章首页

3）K-L变换的最佳准则为：

对一组数据进行按一组正交基分解，在只取相同数量分量的条件下，以均方误差计算截尾误差最小。

4）在经主分量分解后，协方差矩阵成为对角矩阵，因而各主分量间相关消除。返回本章首页设有两类二维正态分布的样本基于最小错误率的贝叶斯决策分界面方程为

，其中两类的协方差矩阵先验概率，并且有。试求：之值。解：决策面方程为

返回本章首页返回本章首页返回本章首页6考虑基于具有先验知识和分布和

的样本的分类器。（1）在这种情况下，求Bayes判定规则和Bayes错误率；（2）求按最近邻法决策的渐近平均错误率。解：返回本章首页返回本章首页返回本章首页一般的多类问题中，设损失函数为0-1损失函数返回本章首页返回本章首页