一种结合releyff和mrmr算法的特征降维方法

一种结合releyff和mrmr算法的特征降维方法

0遥感图像特征的降维在战场环境中，地面是一个重要的军事活动场所，地面环境的红外辐射特征是军事应用的研究和重要组成部分。基于可见光遥感图像进行地面背景红外辐射特性模拟的方法能大大提高解算效率,为快速的大规模场景红外辐射解算提供可能,遥感图像分类是其关键的第一步。传统的基于像元光谱特征的遥感图像分类主要借助统计模式识别理论和方法,在技术上和应用上已经很成熟。但是随着图像分辨率的提高,遥感影像能够提供丰富的地物细节,各种地物空间分布复杂,同类地物呈现出很大的光谱异质性,具体表现为特征类内方差变大,类间方差减小,不同地物的光谱相互重叠,使得传统的基于像元的分类技术容易造成较多的错分现象,从而导致分类精度较低。由于高分辨率遥感图像表现出较多的地物信息(如颜色、纹理、形状等),并且不同特征的作用各不相同,彼此存在互补的现象。因此,综合利用多种不同类型的特征进行分类,成为一种能提高分类精度的有效方法。然而,特征维数的增大又会对分类器的训练学习造成不利影响,并不是所有的特征都对分类有积极作用,高维特征集中必定含有与分类目的无关的特征和互相关性较高的冗余特征。为了能实现遥感图像的准确分类,首先就要进行特征降维,即从所提取的特征中挑选出一组最优特征,形成最优特征子集(子空间),降低特征空间维数。目前,在遥感图像的特征降维中,PCA(主成分分析)是应用最为成熟和广泛的一种基于特征变换的降维方法,其基本思想是搜索使得样本散度最大的方向矢量,由于PCA并不考虑样本类别,因此得到的低维空间相对判别分类而言并不是最优的。Relief和mRMR算法是基于特征选择的降维算法。Relief算法考虑特征与类别的相关性,通过计算各特征的权重,能选出与分类相关性高的最优特征,但是由于其并不考虑特征之间的相关性,故其得到的特征子集也并不是最优的。mRMR算法考虑特征与分类的相关性及特征之间的独立性,因此能选出最优特征子集,但对于分类器来说,mRMR选择的每维特征对分类的贡献是均匀的。而且其选出的特征子集为原始特征集的一部分,存在量纲差异,精度及可靠性也不同。基于此,本文提出结合ReliefF和mRMR算法对遥感图像的特征进行特征降维,利用ReliefF算法计算图像特征权重,为图像特征向量指定相匹配的特征向量。权重越大的特征向量越能够作为该分类集的支配向量,权重越小的特征向量对分类结果的影响越小,然后利用mRMR算法选择与目标类别相关性最大且相互之间冗余性最小的特征子集。1ga三大多方向弹性特征提取本文综合提取颜色特征,纹理特征和形状特征用于遥感图像自动分类,每一种特征以特征向量来描述。颜色特征采用小波变换颜色特征,其方法是将图像从RGB颜色空间转化成视觉均衡的HSV颜色空间,对图像的H、S、V分量进行二级小波变换,再将图像灰度化,对灰度图像进行二级小波变换,分别提取其低频子带的平均能量作为颜色特征。其表达式为:LL2为二级小波变换低频系数,由此得到图像的小波变换颜色特征:纹理特征采用灰度共生矩阵(GLCM)和Gabor小波两种纹理特征。灰度共生矩阵能反映出图像灰度关于方向、相邻间隔、变化幅度的综合信息,其实质是图像中两个位置的像素的联合概率密度。一幅二维数字图像f(x,y)的灰度共生矩阵为式中:Card{x}表示集合x中元素的个数;x,y=1,2,3,…;N是图像中的像素坐标,i,j=1,2,3,…;L是灰度级;若(x1,y1)与(x2,y2)间距离为d,两者与坐标横轴的夹角为θ,则可以得到不同间距及角度的灰度共生矩阵Qd,θ(i,j)。灰度共生矩阵不同的统计测度表征纹理特性。常用的统计测度有能量ASM、熵ENT、对比度CON、同质性HOM、逆差距DIS和方差VAR。取d=1,L=16,θ=0°,45°,90°,135°由此得到4个方向灰度共生矩阵,分别计算每个方向的统计测度ASM、ENT、CON、HOM、DIS和VAR。然后取平均得到灰度共生矩阵纹理特征向量:Gabor特征利用Gabor小波自身具有的多尺度多方向分析能力,在周期性或方向性纹理上具有良好的描述性。一个二维Gabor函数可以表示为:其中为频域向量,s为尺度数,d为方向数,f为频率。图像在一定尺度和方向上的Gabor变换是由其灰度图I(x,y)与相应参数s和d下Gabor小波函数的卷积这样就得到图像的Gabor纹理特征向量:在本文中,取s=3,d=4,得到3尺度4方向共12种方向和尺度组合的Gabor小波纹理特征量。形状特征采用PSI形状特征提取,PSI是一种描述局域形状特征的空间指数,计算具备光谱相似性的邻接像元组的维数,其方法是计算中心像元x的全部d条方向线的长度Ld(x),从得到的p条方向线中提取长度、宽度、形状指数和方向线标准差4维形状特征在本文中取D=20,得到4维形状特征向量综合颜色特征,纹理特征和形状特征,得到遥感图像的全特征向量V=[VcolorVglcmVgaborVPSI]。2基于relif-f的多值分类算法原始的Relief算法是Kira和Rendell于1992年提出的,解决二值分类的特征降维问题,算法简单高效,主要思想是根据特征区分相邻样本的能力来决定特征重要度,重要的特征应该使同类样本邻近,使不同的样本远离。对任一样本,Relief算法搜索这个样本的两个最近邻,一个是同类样本集中的最近邻,一个是不同类样本集中的最近邻。Relief关于特征fi的特征重要度估计逼近下述两个概率的差:不同类最近邻在特征fi上取不同值的概率-同类最近邻在特征fi上取不同值的概率。Kononenko于1994年对Relief算法进行扩展,得到Relief-F算法,解决多值分类的特征降维问题,其在处理多类问题时,不是从所有不同类样本集合中统一选择最近邻样本,而是从每个不同类别的样本集合中选择最近邻样本,通过计算分离任意两两类别之间最近距离的能力评估特征的重要程度,ReliefF算法流程见表1。在所有与样本x不同的类c中选择非同类k最近邻mj(c);其中diff(a,X,Y)表示样本X和样本Y关于特征a的距离;P(c)表示第c类目标的概率,其可由该类目标样本数除以样本总数来确定,mj(c)表示第c类目标的第j个样本;m为迭代次数,k为最近邻样本个数。3多元变量sm与目标类别的互信息mRMR(最大相关最小冗余)算法是基于信息理论的典型特征降维算法,主要思想是从特征空间中寻找与目标类别有最大相关性且相互之间具有最少冗余性的m个特征。利用互信息衡量特征子集中特征与类别之间、特征与特征之间的相关度:式中,S为特征集合,c为目标类别,I(xi;c)为特征i和目标类别c之间的互信息,I(xi,xj)为特征i与特征j之间的互信息。最大化式(22)意味着最大化特征子集S中特征与类别的相关度,最小化式(23)意味着最小化特征子集S中特征的互相关度。给定两个随机变量x和y,它们之间的互信息根据其概率密度函数p(x)、p(y)和p(x,y)定义为多元变量Sm和目标类别c的互信息定义为将式(22)和式(23)根据差准则进行组合,得到“最小冗余最大相关”(mRMR)的特征选择标准:在此特征选择准则下,采用序贯前向查找法获得最优特征子集,首先根据式(22)确定第一个与类别最相关的特征加入到子集Sm中,其他的特征以此计算后加入。设m个特征已经在子集Sm中,在数据集{S-Sm}中根据式(27)选择下一个特征4基于relesf-mrmr算法的特征算子ReliefF算法运行效率高,属于一种特征权重算法,算法会赋予分类能力强的特征较高的权重,但是由于其不考虑特征之间的相关性,故其不能去除冗余特征;mRMR算法可以得出与目标类别有最大相关性且相互之间具有最少冗余性的特征子集,但是其无法得到各个特征的权重系数,提取出来的特征子集无法体现不同特征对分类作用的差异,因此,通过将ReliefF算法和mRMR算法结合来进行特征降维,同时对不同的特征赋予不同的权重,相对提高区分度好的特征的权值,可以得到最优组合的特征子集。结合ReliefF算法和mRMR算法进行特征的方法如下所述:输入:数据集S,迭代次数m,最近邻样本个数k,阈值d(目标维数)。步骤1对于样本集S,用ReliefF算法计算出样本集的各个特征与目标类的相关性权值w。剔除权重值最小的特征,得到一个特征子集Sn及其权重矩阵wn;步骤2对特征子集Sn进行加权处理,得到加权后的特征子集Sm=Sn·wn;步骤5设定阈值d(目标维数),通过求解式子,确定第一个与类别最相关的特征加入到特征子集S中;步骤6依据mRMR特征选择法则,通过求解式子,选择下一个特征加入到S,直至选出d个特征为止;输出:输出经过特征加权后与目标类别有最大相关性且相互之间具有最小冗余性的d个特征构成的特征子集S。5特征参数检测实验数据概述于表2中,具体如:本文实验所用影像分辨率为0.61m的可见光遥感影像,根据实验数据的特点,确定分类类别为7类,分别为枯林、裸地、裸林、绿地、绿林、密林、水体。通过特征提取算法提取颜色、纹理、形状等共26维特征向量。每类取50个样本,构成训练样本集。每类取150个,组成测试集。分类器采用SVM(支持向量机)对数据进行分类实验。参数设置:k和m为ReliefF算法中的最近邻样本数和迭代次数。ReliefF算法对于参数m和k的鲁棒性很强,其值可依据样本数量和特征维数进行设定。在此取k=10,m=20;d为目标维数,实验通过不同特征降维算法在阈值d下的分类准确率来反映算法的性能,从而证明本文算法的有效性和优越性。考虑到ReliefF算法在运行过程中会选择随机样本,导致结果权重有一定的出入,为使实验结果更加可靠,所有实验结果取20次实验结果的均值。图1为4种特征降维方法在不同特征维数下分类精度的比较,表2为4种特征降维方法的最佳阈值与精度以及对测试集进行分类的时间。ReliefF+mRMR在特征维数为9时,分类精度达到最高93.1%,而实验测得全特征分类的精度为87.1%,分类精度得到了很大的提高。且在特征维数相同时,其分类精度比pca,ReliefF和mRMR的分类精度高。从效率方面来看,实验测得利用全特征对测试集进行分类的时间为3.2s,ReliefF+mRMR通过降低特征集的维度,减小了计算代价,其达到最高分类精度时的时间为1.83s,效率得到大大提高。且在达到最高分类精度时,其效率比pca,和mRMR的效率高,和ReliefF的效率相差无几。由此表明,采用ReliefF+mRMR特征降维算法的分类精度要优于其他3种方法,且其在特征维数比较少的时候就达到稳定的分类精度,提高了效率。表4中,(a),(b),(c),(d)为4种特征降维算法取最佳阈值时,对7类地物分类的混淆矩阵,(e)为在全特征下对7类地物分类的混淆矩阵,(f)为测试数据在5种不同的特征集下各类别的分类精度。由表4可知,ReliefF+mRMR能在一定程度上减少错分现象(如裸林-密林,绿林-绿地),其对7类地物都达到了较高的分类精度,说明ReliefF+mRMR能更好的组合优化特征集,提高特征集对各地物的区分能力。将各特征降维算法用于实际的遥感图像分类识别中进行实验,得其效果图如图2所示,从效果图中也可以看出,ReliefF+mRMR的分类效果要优于ReliefF、mRMR、pca和全特征分类的效果。6特征与类别的相关性本文针对遥感图像自动分类的特征降维问题,提出了一种ReliefF与mRMR相结合的算法。该方法利用ReliefF算法计算图像特征权重,为图像特征