基于K-L展开式的特征提取

1、实现特征提取的途径n考虑利用线性变换的方式实现降维q本质上说是高维低维的投影q形式上可看是原始向量各分量的线性组合n由上章内容，此处关键是选择合适的变换，使变换之后的数据保持足够的类别可分性TWxy111111DdddDDxwwyxwwy1122TiiiiDDixw yw yw yw y实现特征提取的途径n两类经典的处理方法q多重判别分析：考虑模式类可分离性q成分分析：用较少数量的特征对样本进行描述，减少或去除冗余信息（去相关、信息压缩）n所谓成分分析，即有可能将认为是不重要的成分去除或用较少数据粗略表示，从而减少数据量，实现特征降维DKLT的性质：的性质：1. 使变换后产生的新的分量不相关使

2、变换后产生的新的分量不相关2. 以部分新分量表示原向量均方误差最小以部分新分量表示原向量均方误差最小3. 使变换向量更趋确定、能量更趋集中使变换向量更趋确定、能量更趋集中离散离散K-L变换（变换（DKLT），又称霍特林），又称霍特林(Hotelling)变换或主分量分解，它是一种基变换或主分量分解，它是一种基于目标统计特性的最佳正交变换于目标统计特性的最佳正交变换7.1 K-L变换的定义与性质设设n维随机向量维随机向量r rxx xxn (,)12T，其均，其均值向量值向量 r rr rxE x ，相关矩阵，相关矩阵 RE x xxr rr r r r T，协方，协方差矩阵差矩阵 CE xxx

3、xxr rr rr rr rr r - - -()()T ，r rx经正交变换后经正交变换后产生向量产生向量r ryyyyn (,)12T设有标准正交变换矩阵设有标准正交变换矩阵T，（即，（即 TT=I）),( )(2121nnyyyxtttxTyrrrrrr-niiityyTyTx11) (rrrrxtyiirr),2 , 1(ni取前取前m项为项为 的估计值的估计值xrrrxy tiiim1nm 1（称为（称为 的的K-L展开式）展开式）xr其均方误差为其均方误差为2T( )() ()mExxxx-rrrr211nniiii mi mE yE y ynmiiinmiiyyEyE112nmi

4、ixinmiiitRttxxEt11)(rrrrrr2( )mxtyiir rr r 在在TT=I的约束条件下的约束条件下,要使均方误差要使均方误差21( )()()minnix ii mmE xxxxt R t-rrrrrrr-nmiiiinmiixitttRtJ11) 1(rrrrr为此设定准则函数为此设定准则函数nmi,.,10itJr0)(-iixtIRrr由由 可得可得iiixttRrrrnmi,.,1即即iiixttRrrrnmi,.,1xRritr i是是 的特征值，而的特征值，而 是相应的特征向量。是相应的特征向量。由由表明表明:2111( )nnnix iii iii mi

5、mi mmt R tttrrrrr利用上式有利用上式有:用用“截断截断”方式产生方式产生x的估计时，使均方误差最的估计时，使均方误差最小的正交变换矩阵是其相关矩阵小的正交变换矩阵是其相关矩阵Rx的前的前m个特征个特征值对应的特征向量构成的。值对应的特征向量构成的。DKLT的性质的性质(1) 变换后各特征分量不相关变换后各特征分量不相关 的自相关矩阵和协方差矩阵为变换后的向量的各分量不相关的i=E(yi2)，或i=Eyi -E(yi)2 (含义：方差)yrnxyTRTxTxTEyyERrrrrrr21T )(-nxyTCTyyyyECrrrrrr21 )(1x2x1y2y1tr2trDKLT使新

6、的分量y1和y2不相关两个新的坐标轴方向分别由 和 确定1tr2tr通过K-L变换，消除了原有向量x的各分量之间的相关性，从而有可能去掉那些带有较少信息的坐标轴以达到降低特征空间维数的目的。(2)(2)最佳逼近性最佳逼近性(3)(3)使能量向某些分量相对集中，增强随机使能量向某些分量相对集中，增强随机向量总体的确定性（即得到主要成分）向量总体的确定性（即得到主要成分）min)(12nmiimnmmixtyii;, 2 , 1 rrDKLT的性质的性质采用同等维数进行表示，该结果与原始数据的均方误差最小何谓主轴及主成分表示n主轴q特征值大q方差大n主成分表示与类可分性qOqQ例例: 已知两类样本

7、已知两类样本 试用试用K-L变换变换做一维特征提取。做一维特征提取。)5, 6( ,)6, 5( ,)5, 4( ,)4, 5( ,)5, 5(:1-)5 , 4( ,)4 , 5( ,)5 , 6( ,)6 , 5( ,)5 , 5(:20515151)2(51)1(rrrriiiixxm解：解：（1 1）4 . 0 , 4 .50 025)4 .25(|2122-IR-1121 ,1121 21,21tt,jt tRjjjrrrr（3）求R的特征值、特征向量2/110/5)()(21PP4 .2525254 .25 5121 5121 )( 51)2()2(51)1()1()()(21ii

8、iiiiiiiixxxxxxEPxxERrrrrrrrr（2 2）（4）选选 1对应的对应的 作为变换矩阵作为变换矩阵1tr11211tTr得211,211,29,29,210:1-29,29,211,211,210:21x2x1tr2tr55-5-50yxTyr21055) 1 , 1 (21)1(1)1(1-xTyr211)1(5)1(5-xTyr由由 得变换后的一维模式特征为得变换后的一维模式特征为两组二维空间的数据（两组二维空间的数据（a）（）（b）如图所示，）如图所示， 试用试用K-L变变换来做一维的特征提取。换来做一维的特征提取。（a）（b）解：这两种情况下的期望向量 对于数据（a），有41( )( )1 4 121211 12211221212 4 101011010 4 55155 2 TTTiiiEEEE- - - xaxxxxxxx x 0E x对于数据（b），有计算协方差矩阵的特征值和特征向量：计算协方差矩阵的特征值和特征向量：对于数据（对于数据（a）: 对于数据（对于数据（b）:411