ICA纹理分类中特征提取和滤波器独立性的研究_图文

1、第40卷第8期Vol.40,No.82010年8月J OURNAL OF UNIVE RSITY OF SCIE NCE AND TECHNOLO GY OF CHINAAug.2010 文章编号:025322778(20100820835206收稿日期:2009204203;修回日期:2009208221基金项目:国家自然科学基金(60672120,60875012,合肥工业大学博士学位人员专项基金(GDBJ 20092061,GDBJ 20082029,合肥工业大学科学研究发展基金(080503F 资助.作者简介:徐小红(通讯作者,男,1976年生,博士/讲师.研究方向:图像处理与模式识别

2、.E 2mail :xuxiaohong0406ICA 纹理分类中特征提取和滤波器独立性的研究徐小红,杨学志,高隽,杨德美(合肥工业大学计算机与信息学院图像信息处理研究室,安徽合肥230009摘要:根据独立成分分析系数满足非高斯分布的特点,提出了一种新的对野值鲁棒的纹理特征提取方法,该方法较好地描述了独立分量分析系数分布的反对称性和稀疏性,在仿真实验中取得了较好的分类效果.同时针对不同的特征提取方法,利用独立性不同的滤波器研究了滤波器独立性对分类性能的影响,进一步揭示了独立成分分析系数的非高斯性与特征辨识能力之间的关系.关键词:纹理分类;独立成分分析;非高斯分布;独立性中图分类号:TP391.

3、41文献标识码:A doi :10.3969/j.issn.025322778.2010.08.00R esearch on feature extraction and f ilter independencein ICA 2based texture classif icationXU Xiaohong ,YAN G Xuezhi ,GAO J un ,YAN G Demei(L aboratory of Image Inf ormation Processing ,School of Computer and Inf ormation ,Hef ei University of T ec

4、hnology ,Hef ei 230009,China Abstract :A new feat ure extraction met hod was p roposed by exploring non 2gaussianity of ICA coefficient s.Feat ures wit h respect to asymmetry and sparsity of ICA coefficient s were ext racted ,which were shown to be robust to o utliers and achieve better classificati

5、o n performance t han p reviously reported ICA feat ures.Furt hermore ,t he impact of filter independence on various text ure feat ures was investigated ,and t he relationship between t he non 2gaussianity of ICA coefficient s and t he discriminating power of feat ures were f urt her revealed.K ey w

6、 ords :text ure classification ;independent compo nent analysis (ICA ;non 2gauss distribution ;independent0引言纹理是表征图像的一个重要特征,它广泛存在于各类图像中.纹理图像的分类在图像处理、计算机视觉和模式识别中有着极其重要的作用.目前主要有四类常用的纹理特征表达方法1:基于统计分析、基于几何结构分析、基于模型以及基于信号处理等方法.其中,基于信号处理的方法又称为基于滤波器组的方法,受到广泛关注,其实质是采用滤波器或滤波器组对纹理图像进行分解变换,获得纹理在不同分辨率或者不同频谱范围内的

7、特征表现2,本文所研究的基于独立成分分析的纹理分类方法属于信号处理方法.纹理图像含有丰富的结构信息3,鉴别不同纹理的重要信息往往存在于像素间的高阶统计关系,ICA 是这种高阶统计方法中的一种,近年来,ICA滤波器组开始应用于纹理分析427.将ICA滤波器组与纹理图像进行滤波(卷积得到ICA系数(又称滤波图像或特征图像,对ICA系数的描述就能得到用于纹理分析的特征向量.现有的方法主要采用ICA系数的频谱直方图8210和二阶矩(即方差6,11,12作为特征.ICA系数的直方图能较好地近似表示出ICA系数的分布特征,但用直方图描述时直方图的量化阶数不能过小,存在特征向量的维数较高的问题,使得有限样本

8、情况下,ICA系数的统计特性估计稳定性受到影响.因此希望使用更加紧凑的表示方法来描述.使用ICA系数方差的方法是基于二阶统计量的方法.ICA是从多维数据中寻找既统计独立又非高斯的成分,ICA系数满足非高斯分布,需要考虑含有重要信息的高阶统计量13.通常使用的高阶统计量包括偏度和峭度.偏度表征分布相对于平均值不对称程度的特征数,峭度是对信号非高斯性(稀疏性的一个定量度量.由于ICA系数满足非高斯分布,不可避免地存在野值(outliers,同时在特征图像中取的图像块不可能非常大,在样本数量有限的情况下,常规矩的方法估计出的偏度和峭度有时给出的ICA系数分布特征是一种非常差的逼近.针对常规矩估计对野

9、值影响较大,本文提出了一种新的对野值具有鲁棒性的纹理分类方法,该方法较好地描述了系数分布的反对称性和稀疏性,在ICA纹理分类中取得了较好的分类效果.针对不同特征提取方法,本文研究了滤波器独立性对分类性能的影响.利用主成分分析(principal component analysis,PCA滤波器和独立性不同的ICA滤波器,对比了频谱直方图、常规矩以及本文提出的新函数的特征提取方法对分类性能的影响,进一步揭示了ICA系数的非高斯性与特征辨识能力之间的关系.实验结果表明,ICA系数的非高斯性越强,其对高阶统计量的辨识能力就越强.1ICA的纹理分类基于ICA的纹理分类主要包括以下过程:从纹理图像中取

10、图像块,通过Fast ICA算法5学习得到一组滤波器构成滤波器组;将纹理图像与滤波器组卷积得到特征图像,在特征图像中取图像块并描述得到特征向量;利用分类器进行训练与测试.1.1纹理的ICA特征提取用x=x1,x MT表示一幅图像或者图像块按行展开成一个列向量,在ICA中,x可以表示成一些特征或者基函数的线性组合x=Ni=1a i s i=As(1式中,a i(i=1,N为基函数,是(M×N的矩阵A的列;s=s1,s2,s NT是用基函数A表示x时的系数,其各分量间相互统计独立.这种模型还与视觉系统中冗余度最小的编码策略一致14.利用ICA学习得到基函数A和系数s,即利用训练数据x找到

11、一个线性变换矩阵W使得y=Wx(2式中,分量y之间尽可能统计独立,y是s的估计.矩阵A是W的广义逆.将纹理图像与滤波器组中的每个滤波器w1, w2,w N分别作卷积,即U i(k,l=I(k,l3w i(k,l(3式中,i表示ICA滤波器w i的通道序号,(k,l表示空间位置,I表示纹理图像,(3表示卷积运算,U i 为ICA系数(又称滤波图像或特征图像.每一个滤波器具有特定的频率和方向特征,原纹理图像中与滤波器相调谐的部分,在滤波图像将产生较强的能量,不相调谐的部分将产生较弱的能量.从N幅特征图像中取某一相同位置的像素点,从该像素点开始得到一特征图像块;描述图像块的特征得到一个或多个特征值;

12、按照滤波器的顺序将特征值串联组成一向量,此向量即为特征向量.图像块的特征可以采用频谱直方图、常规矩的方法以及本文引入的估计方法.考虑到去除光照的影响,这里的图像块均已去均值.1.2分类将得到的特征向量用分类器进行分类,用训练样本进行训练,最后用测试样本进行测试.本文采用最近邻分类器.最近邻分类器是采用各类中全部样本都作为代表点,将未知样本X判别为与它最近的样本同类.因此,最近邻分类器可在一定程度上克服各类样本均值向量的偏差所造成的影响.2特征提取方法研究特征提取是纹理分类中一个非常重要的环节,期望所提取的特征能有效地刻画纹理结构、辨别不同类别的纹理.基于ICA滤波器组的纹理分类方法中,现有的方

13、法主要采用ICA系数的频谱直方图或常规矩作为特征,本节主要介绍频谱直方图、常规矩638中国科学技术大学学报第40卷的方法以及本文方法,并对三类方法进行比较.2.1频谱直方图频谱直方图是Liu等提出8210,主要思想是使用每个通道的直方图的串联来表征图像.根据滤波器组输出的相应通道直方图H i,可以按经验估计出ICA系数的分布H i(v k=n kn,k=1,2,L(4式中,n表示像素点总数,L表示直方图量化阶数, n k表示U i中值为v k的像素总数.ICA系数的直方图能较好地近似表示出ICA 系数的分布特征,直方图的量化阶数不能太小,存在特征向量的维数较高的问题,使得在有限样本情况下,IC

14、A系数的统计特性估计稳定性受到影响,因此希望使用更加紧凑的表示方法来描述.2.2常规矩用ICA系数的矩来表示分布特征.常用的有方差、偏度和峭度Var i=EU2iskewness i=EU3i/Var3/2ikurto sis i=(EU4i/Var2i-3(5则纹理图像可以用滤波器组各通道的矩所组成的特征向量来表征.方差表征信号偏离均值的程度.偏度表征密度分布相对于平均值不对称程度的特征数;高斯分布的偏度为零,偏度小于零称分布具有负偏度,偏度大于零称分布具有正偏度峭度是对信号非高斯性的一个定量度量,高斯分布的峭度为零;一般地,具有负峭度的分布称为亚高斯分布,正峭度的分布称为超高斯分布,峭度也

15、可作为稀疏性的度量方法.本文采用ICA系数的方差、偏度、峭度的联合矩来描述ICA系数的概率密度.在训练样本较少的情况下,相对于频谱直方图的方法,联合矩的特征向量的维数较低,已有实验表明,基于联合矩估计的稳定性较好.2.3新的纹理特征提取方法由于ICA系数满足非高斯分布,不可避免地存在野值.同时在在特征图像中提取的图像块不可能非常大,数据量较小.在样本数量有限的情况下,常规矩的方法估计出的偏度和峭度有时给出ICA系数分布特征的一种非常差的逼近.首先,常规矩中的高阶矩对野值极其敏感,它们的值可能只依赖于少数几个可能错误但很大的观测值.这意味着,野值可能完全确定了矩估计.同时,高阶矩估计中的幂次较高

16、,远离零的数据对它们的影响,比靠近零的数据对它们的影响要强得多,这样度量的是分布的尾部,基本上不受分布中心附近结构的影响.这意味着,野值或者远离零的数据可能完全确定了矩估计,因而使得这些估计毫无用处.为了更好地描述ICA系数的非高斯分布特征,本文提出了一种的新的纹理特征提取方法,该方法较好地描述了ICA系数概率密度分布的反对称性(asymmet ry和稀疏性(sparity.描述ICA系数概率密度分布的反对称性的度量函数为Asy i=EU i exp(-U2i/2(6描述ICA系数概率密度分布的稀疏性的度量函数为Spa i=Eexp(-U2i/2(7这两个函数都是光滑的,而且对野值具有鲁棒性.

17、式(6用于描述ICA系数的概率密度分布的反对称性,本文将该式作为与偏度相对应的估计;式(7作为ICA系数的稀疏性度量,可作为峭度相对应的估计.由于数据的均值为零,式(6的取值范围为-exp(-0.5,exp(-0.5,式(7的取值范围为(0,1.两式主要度量的是均值附近数据的反对称性和稀疏性,远离均值的数据对这两式的影响较小,克服了常规矩估计中由于幂次较高,远离均值的大观测值的影响.例如,假定在一个具有零均值和单位方差的随机变量的1000个样本值中有一个为10,那么常规矩估计中的峭度最少为104/1000-3=7,也就是说一个单样本可以使峭度变得很大.这样我们可以看到,峭度的值可能只取决于边缘

18、的少量观测值,而这些观测可能是错误的或与问题无关的.换句话说,常规矩估计中的峭度并不是非高斯性的一个鲁棒度量.利用式(7进行估计,变化量仅为exp(-102/2/1000=1.9287×10-250,由于该值离均值较远,对整体估计的影响几乎为零.采用ICA系数的方差(式(5的第一个式子、式(6、式(7的联合矩来描述ICA系数的概率密度分布特征,这样得到的特征向量更加紧凑,且具有较好的鲁棒性.当均值为零时,方差反映信号的能量信息,一般取值较大.而式(6,(7的取值范围较小,不同特征提取方法提取的值有较大差异,在使用分类738第8期ICA纹理分类中特征提取和滤波器独立性的研究器进行训练和

19、测试时,需要对这三类特征进行归一化处理,本文采用的是L 2范数的归一化处理.3滤波器独立性对分类性能的影响在ICA 滤波器的学习过程中,为了减少计算量,加快ICA 算法的收敛速度,采用PCA 去除图像的二阶统计特征相关性,其余的高阶统计特征由ICA 分离,得到的PCA 滤波器组如图1(a 所示.图像经PCA 处理后,利用ICA 算法得到独立的滤波器.在ICA 学习过程中,由于ICA 初始化矩阵是随机的,一开始得到的滤波器基本上无结构和方向信息;随着迭代次数的增多,得到的滤波器的结构和方向信息越来越明显.图1(b 为迭代50步得到的ICA 滤波器,表现出多方向性、多频率性.图1(c 为迭代100

20、0步得到的ICA 滤波器,方向性和频率性表现得更加明显.PCA 通过把样本点投影到相互正交的坐标轴上来减少数据的维数,PCA 是基于二阶统计特性的,它只表征图像的二阶属性,没有涉及高阶统计特性.二阶统计特性只能表征信号的振幅特性,因此,它只能局限于表征多元高斯分布的特征.ICA 是从多维数据中寻找既统计独立又非高斯的成分.ICA 的基函数表现出多方向性、多频率性,能更准确地捕获纹理图像中的细微特征.ICA 可以看作PCA 的一种推广,它可以将原来的多维变量分离成一个新的变量集,其分量间尽可能相互独立,而不仅仅只是不相关.基于滤波器组的纹理分类中,使用PCA 滤波器得到的系数具有高斯性,而使用I

21、CA 滤波器得到的系数具有非高斯性.实验结果表明:采用方差或者频谱直方图作为特征提取方法时,使用PCA 滤波器和ICA 滤波器的实验结果相近; 采用偏度和峭度这些图1经PCA 以及ICA 迭代50、1000次后得到的滤波基(12×12Fig.1PCA f ilter and ICA f ilter b anks (12×12after 50and 1000iterations高阶统计量提取特征时,使用ICA 滤波器明显优于PCA 滤波器.并且ICA 系数的非高斯性越强,其对高阶统计量的辨识能力就越强,采用联合矩获得的效果最理想.4仿真实验对25类Brodatz 纹理图像15

22、进行分类,按其分类结果来评估ICA 系数的各特征提取方法的效果.每一幅纹理图像的大小为512×512,平均分为两个部分,分别用于训练和测试.从训练部分提取12×12的图像块,每个图像块按行展开成一列向量,得到一个数据矩阵.利用白化(或PCA 将数据维数由144维降至100维,然后采用ICA 进行学习,得到100个滤波器构成的滤波器组.利用滤波器组与纹理图像进行卷积得到特征图像,在特征图像中提取ICA 统计量的窗口大小选为64×64,分别利用频谱直方图、常规矩和本文引入的方法进行特征提取,分别得到78个训练样本和78个测试样本,最后用最近邻分类器进行训练与测试.实验

23、411采用频谱直方图、常规矩和式(6,(7对ICA 系数进行特征提取的纹理分类采用频谱直方图、常规矩以及式(6,(7对ICA 系数进行特征提取的分类性能如表1所示,这里2nd ,3rd 和4t h 分别表示常规矩的方差、偏度和峭度,它们相应的联合矩表示为2nd3rd4t h.描述分布反对称性的式(6表示为Asy ,描述稀疏性的式(7的特征提取方法表示为Spa ,使用方差、反对称性、稀疏性的联合矩表示为2nd_asy_spa.用频谱直方图描述图像块时直方图的量化阶数取10.为比较不同窗口大小的滤波器对特征提取的影响,使用4×4到16×16的不同窗口大小的滤波器进行了对比,滤波

24、器的个数如括号内所示.838中国科学技术大学学报第40卷表1ICA 特征的分类性能T ab.1Classif ication perform ance of ICA features滤波器窗口大小/个数频谱直方图2nd 3rd 4t h 2nd3rd4t h Asy Spa 2nd_asy_spa 4×4(100.948210.853330.350260.435380.892820.50.871790.940516×6(300.937950.863590.383080.612820.908210.717440.880510.942318×8(500.940510.

25、895380.442560.604620.920.70410.907180.9471810×10(800.943080.885130.367690.563590.882050.666670.903080.9479512×12(1000.952820.904620.561030.596410.946670.60.909740.9543616×16(1000.953850.906150.525640.551280.886670.543590.915380.95692从表1可以看出,采用系数的频谱直方图、方差获得了较好的分类效果.采用系数的偏度和峭度时,尽管效果没有采用

26、系数方差时理想,但也获得了较好的效果,这说明系数的高阶统计特征中含有纹理图像的重要信息,较好地描述了ICA 系数的分布特征.从表中ICA 系数的常规矩估计出的偏度、峭度与由式(6,(7提供的估计函数的分类结果来看,式(6,(7.尤其是由式(7提供的新的峭度估计函数获得与方差类似的较高的分类效果.这主要是由于新的函数对样本数据的野值具有更好的鲁棒性,在样本有限的情况下,估计产生的偏差更小.因此采用式(6,(7估计能较好地描述图像块的概率密度函数分布特征,在分类中获得较好的效果.从表1中还可以看出,采用方差、偏度和峭度的联合矩,如表1中的2nd3rd4t h 、2nd_asy_spa ,能获得较高

27、的分类正确率,是一种更为理想的方法.这说明了多个矩构成特征的联合较好地描述了系数的分布特征,知道了矩的信息,就等于知道了对应的概率密度.通道直方图综合了方差和高阶统计量辨识信息的能力,因此取得的效果比他们任意单独的一种都更为理想.不过,这种方法非常繁杂.已有实验表明,当每类的训练样本数量较少时,会限制其纹理辨识的效率;而采用方差和高阶统计量的联合矩,比较紧凑,对训练样本个数影响相对较小.同时,在大多数情况下,采用方差、偏度和峭度的联合矩都能获得最佳的分类效果.实验412不同特征提取方法中滤波器独立性对分类性能的影响在得到ICA 滤波基的迭代学习过程中,随着迭代次数的增加,基函数之间的互信息逐步

28、降低,系数越来越稀疏,非高斯性越来越强,所以表现出的平均峭度值越来越大.图2的横轴是利用ICA 求滤波器的迭代次数,纵轴是分类的正确率.随着迭代次数的增加,图2 (a 从上到下分别为利用谱直方图、常规矩的二阶矩得到的分布图,图2(b 为利用式(7提供的稀疏性估计、式(6提供的反对称估计、常规矩的峭度、常规矩的偏度得到的纹理分类结果分布图.图2ICA 滤波器独立性与其对纹理特征的辨识能力的影响Fig.2Discriminant ability of texture feature effected by independent of ICA f ilters938第8期ICA 纹理分类中特征提取

29、和滤波器独立性的研究840 中国科学技术大学学报 Intelligence , 1999 , 21 ( 4 : 2912310. E. Po rtilla J . Internatio nal Co nference on using IEEE Processing , 2003 , 12 (6 : 6612670. Science. 第 40 卷 图中迭代次数从 0 开始计算 ,迭代次数为 0 表示对数 据进行 PCA 处理时得到的 PCA 滤波器的分类结果 . 实验结果表明 ,使用 ICA 系数的频谱直方图或 方差提取特征 , 虽然随着迭代次数的增加 , ICA 滤 波器独立性越来越好 ,

30、 但对最后的分类结果没有太 大影响 ; 在特征提取中采用系数的偏度和峭度时 ,随 着迭代次数的增加 ,滤波器相互间越来越独立 ,利用 偏度和峭度得到分类结果均有提高 . 同时由图 2 可 知 ,由常规矩得到的偏度和峭度作为特征提取时波 动较大 ,而由式 ( 6 提供的反对称估计得到的结果稳 定地上升 . 这主要是由于常规矩估计对野值较为敏 感 ,而式 ( 6 提供的反对称估计对野值的鲁棒性较 好 . 由图 2 可知 ,利用式 ( 7 提供的稀疏性估计的分 类结 果 一 直 都 较 高 , 而 且 一 直 很 稳 定 , 鲁 棒 性 非 常好 . 3 Oppenheim A V , Lim J

31、S. The importance of p hase in signals J . Proceedings of t he IEEE , 1981 , 69 ( 5 : 4 Bell A L , Sejnowski T J . The independent co mponent s of nat ural scenes are edge filtersJ . Vision Research , 1997 , 37 ( 23 : 332723338. Independent Co mpo nent Analysis M . New York : Wiley , 2001. Independe

32、nt co mpo nent Proceedings of Comp uter Visio n. analysis of text ures C / / 1 060. Text ure classificatio n kernel independent co mpo nent analysis C / / Proceeding of International Conference Society , 2004 , 1 : 23226. o n Pattern Recognitio n. Washington : IEEE Comp uter 8 Liu X , Cheng L . Inde

33、pendent filters for text ure Rochester , New classificatio n C / / Proceedings of IEEE International Co nference on Image Processing. Yo rk : IEEE Press , 2002 , 3 : 24228. of images for recognition J . Journal of t he Optical Society of American A , 2003 , 20 ( 7 : 1 27121 282. histograms J . Trans

34、actions on Image of ICA feat ures fo r text ure classification C / / Lect ure Notes in Comp uter Heidelberg , Berlin : Sp ringer2Verlag , 2005 : 262 267. 5292541. 5 Karhunen H J , Oja 6 Manduchi R , IEEE 7 Cheng J , Liu Q S , L u H Q , et al. 5 结论 本文主要研究了 ICA 纹理分类中特征提取以 及滤波器独立性问题 . 根据独立成分分析系数满足 非高斯分布的特点 , 采用对野值鲁棒的特征提取函 数 ,较好地描