基于不变矩和支持向量机的小样本图像识别

1、 FILENAME 修改的论文格式.doc PAGE - PAGE 8 -基于不变矩和支持向量机的小样本图像识别 本课题得到山西省软科学研究项目（No. 2007041032-2）资助。孙贝 ，曹军太原理工大学信息工程学院，太原(030024)E-mail：摘 要： 基于统计的图像识别方法只有在样本足够大时，其性能才有保证。而实际中如果难以提供大量样本，就可能因信息量不足导致识别性能下降。为此提出一种小波矩结合支持向量机的目标识别算法，这种算法立足寻找现有样本信息下的最优解，适合分析小样本。文章首先提取样本数目有限的坦克图像的Hu矩、Zernike矩、小波矩特征，然后将提取到的特征值分别输入神

2、经网络和支持向量机分类器，进而实现对图像的分类。实验结果表明，在小样本情况下该算法具有较好的识别效果。关键词：图像识别；小样本；不变矩；神经网络；支持向量机中图分类号：TP391引 言 图像模式识别是近20年来发展起来的一门新兴技术，是通过运用现代信息处理技术和计算机技术来完成人的认知和理解过程，它以研究根据图像的特征进行识别和分类为主要内容，应用范围非常广泛。不变矩算法是通过对目标图像提取具有平移、旋转和比例不变性的数学特征，从而进行图像识别的方法。1961年提出的Hu的7个不变矩1是由图像的低阶归一化中心矩线性组合构成的；Zernike不变矩2是图像在正交多项式上的投影，是一种正交矩不变量

3、，它在信息冗余度以及图像表达方面比Hu矩要好。这两种矩都是在整个图像空间中计算，得到的是图像全局特征，不利于分类。当可用样本的数目较少时，选择最好的、最有表示能力的图像特征就显得非常重要。基于小波变换的小波矩3 能同时得到图像的全局特征和局部特征，在识别相似形状及有噪声的目标时更有优越性，因而成为近年研究的热点。Vapnic在20世纪6070年代提出了统计学理论，并在90年代中期不断发展和成熟。该理论针对小样本问题建立了一套新的理论体系：统计推理规则不仅考虑了对渐进性能的要求，还追求在现有有限信息的条件下得到最优解4。支持向量机5（Support Vector Machine, SVM）是建立

4、在统计学维理论和结构风险最小原理基础上的新的学习方法，相比以经验风险最小化为原则的神经网络方法有更好的泛化能力，其结果是基于有限支持向量个数得出的结论,得到的是有限样本信息下的全局最优点。该文将不变矩特征作为特征值，结合支持向量机分类器对小样本坦克图像进行分类识别，并对比了不变矩特征分别结合BP神经网络和小波神经网络分类器的识别效果。矩特征提取2.1 矩特征表示表示直角坐标系上的二维数字图像，其规则矩定义为： （1）图像的尺寸大小为。由将图像转换到极坐标系中成为，采用极坐标表示的矩特征形式为： （2）是关于半径的函数，为整数参数。容易证明，模具有旋转不变性6。进一步可将上式写为： （3）其中：

5、 （4）需要注意的是：当定义在半径的全局范围内时，提取的为图像的全局特征；当定义在半径的局部范围内时，提取的为图像的局部特征。可以证明，Hu矩、Zernike矩都可以通过取不同的 和得到4。小波变换有良好的时频域分析能力，同Hu矩和Zernike矩相比，基于小波多尺度分析的小波矩不仅可以得到图像的全局特征，还能得到图像的局部特征，增强了图像的抗噪性和对精细特征的把握能力。2.2 小波不变矩的计算该文使用三次B样条小波母函数7构造小波矩：取小波基函数作为式（2）中的，小波矩实质上就是图像在径向小波空间的投影，定义为： （5）式中，为径向小波基函数，定义为： （6）式中，N为图像像素点，为小波的缩

6、放和平移因子。从小波矩的构造过程可以看出，实际上是图像在缩放因子为m,平移因子为n时，在相位空间中的第个频率特征。选择不同的缩放因子和平移因子，就可以提取图像的全局信息和局部信息，从而使小波矩可以提供在不同的缩放时的特征。小波矩的这一特点，使其能够区别有细微差别的模式，这正是Hu矩和Zernike矩这些全局矩无法做到的。需要注意的是：和Zernike矩一样，小波矩也只具有旋转不变性，为保证平移和比例不变性，应在提取矩特征前对图像进行平移和尺度归一化，该文使用参考文献7中的归一化方法。分类算法在获得图像特征后，如何做出合理的判决就是分类算法要讨论的问题。设计分类精度高、误识率低、可靠性好的分类器

7、是识别的最终目的。3.1 神经网络分类算法经典的三层结构BP神经网络，隐层和输出层采用的神经元传递函数为函数。通过BP算法训练网络，训练方法为有动量的梯度下降法5。小波神经网络的结构与BP神经网络结构类似，其思想是用小波元代替神经元：用已定位的小波函数（该文使用morlet小波6）代替Sigmoid函数作为激活函数，输入层到隐层的权值及隐含层阈值分别由小波函数的尺度和平移参数所代替。待确定的参数有连接权值、尺度系数和平移系数，参数调整算法依然是BP算法。小波神经网络的基元和整个结构是根据小波分析理论确定的，避免了BP神经网络结构设计上的盲目性，理论上对于同样的学习任务，小波神经网络收敛速度更快

8、，精度更高。3.2 支持向量机分类算法支持向量机是一种基于统计学习理论的机器学习方法，是由Boser,Guyon和Vapnik在 4上首次提出，最初是针对识别中的两类线性可分问题提出的：有线性可分样本,根据类别的不同分为正样本子集和负样本子集，确立一个超平面，将这两类样本集分开，并具有最大间隔，这样的超平面就称为最优分类超平面。图 1中，H就表示最优分类超平面求最优分类面，实质上就是求解二次规划问题，在线性约束条件下最小化二次型。用经典的Lagrange乘子法求解，Lagrange方程为： （7）其中为Largrange乘子，对和b求偏微分并令其为0，得到关系式： （8） （9）代入式（7）得

9、到 （10）为了构造最优超平面，在，且满足式（9）的条件下，对式（10）求解得到，代入式（8）得到向量： （11）这是一个不等式约束下的二次函数极值问题，存在唯一解，根据Karush-Kuhn-Tucker互补条件5，最优解必须满足： （12）这就表示函数间隔为1的样本向量，也就是最靠近超平面的点对应的非零，称这样的向量为支持向量（SV,Support Vector）。图1中，和上的数据构成支持向量。最优解和可由二次规划算法求得，最优判别函数具有如下形式： （13）对于线性不可分情况，通过非线性映射将输入空间中的向量映射到高维特征空间，在中构造最优分类超平面。如图2表示，将输入空间的线性不可分

10、数据经过运算映射到一个高维的特征空间，在这个特征空间中，样本是线性可分的：只需要进行内积运算，这种内积运算可以用输入空间的某些特殊函数来实现，而无需知道变换的具体形式，这样就把计算集中在了输入空间，避免了“维数灾难”。这些特殊的函数称为核函数。该文使用径向基核函数5 。 （14）此时，最优分类函数： （15）就称为支持向量机。其中，为支持向量，为待分类向量，为对应的拉格朗日乘子。是解决两类分类问题的有效方法，因此先将多类问题转化为两类问题:通过组合多个二分类器来实现多分类器的构造。该文使用“一对一”（one-versus-one）方法：在任意两类样本之间设计一个SVM。当对一个未知样本进行分类

11、时，最后“得票”最多的类别即为该未知样本的类别。 图1 最优化分类平面和支持向量 图2 高维特征空间中构造最优分类超平面由于SVM 的求解最后转化成二次规划问题的求解，因此SVM 的解是全局唯一的最优解。这样就避免了神经网络求解时易陷入“局部极小点”而无法自拔的情况，保证了运算的速度和精度。而且，支持向量机针对有限样本情况，目标是得到现有样本信息下的最优解，因而在遇到小样本情况时也有神经网络无法比拟的优越性。4实验结果与分析仿真实验采用的是计算机平台windows XP操作系统和MATLAB 7.04。选用的3种不同类型的标准二值坦克图像。图3、图6和图9分别为三类坦克标准图像，分别表示88B

12、坦克、B2坦克和M2坦克。每幅图后的两幅图像为标准图经旋转、平移和比例缩放综合变换得到的图像。每类坦克样本用于获取先验知识的训练图像只有3幅，属于典型的小样本情况。 图3 88Ba 图4 88Bb 图5 88Bc 图6 B2a 图 7 B2b 图8 B2c 图9 M2a 图10 M2b 图11M2c4.1 不变矩特征提取表1 用于训练的Hu矩特征提取结果图像编号图31.25713.06895.67496.124312.19497.747114.1543图41.25873.07615.70156.147715.18977.773914.2143图51.25003.05735.59776.0389

13、12.19367.652713.9888图61.22862.91096.90236.990414.11458.476916.7414图71.23682.93326.99297.164114.24258.671916.9154图81.23022.91377.00117.058914.38088.546416.9477图91.49213.79877.74519.665921.436911.928719.6565 图101.49853.82817.83919.769920.250311.982220.0870 图111.48973.78827.74789.709118.774412.002119.5

14、958由于Zernike矩和小波矩只具有旋转不变性，所以为保证特征的平移和尺度不变性，在提取这两个特征之前，首先要对图像进行标准归一化处理。图12到图20为将图3到图11标准归一化处理后的图像,编号从a到i。 图12 a 图13 b 图14 c 图15 d 图16 e 图17 f 图18 g 图19 h 图20 i表2 用于训练的Zernike矩特征提取结果编号abcdefghi25.058326.546927.100127.480727.368527.700316.811818.207918.2471107.6468113.8302114.8526117.3473116.9981117.83

15、3176.120681.872082.1379241.9111254.9570253.4998260.6747260.0451260.2781183.1350194.8590195.806817.929619.461321.279322.349322.784723.30468.75439.877310.3012表3 用于训练的小波矩特征提取结果编号abcdefghi5.88225.22245.58086.59045.43566.74076.93255.58476.59155.99575.19395.75886.72065.60626.96566.93385.35406.614320.95291

16、5.952220.791224.380821.649124.822828.645423.170528.355920.686715.409720.468925.990421.341928.460228.160528.283527.99384.2 神经网络和支持向量机分类结果取18幅测试图像，分别为三类标准图像经旋转、平移和缩放后得到的，提取测试图像的Hu矩、Zernike矩和小波矩。矩特征提取完毕后，神经网络分类器中输入层节点数为特征维数，隐层节点个数使用经验值： BP神经网络参数设计如下：输入节点数取特征维数；隐层节点数根据经验值取特征维数的2倍加1；最大训练次数取5000；训练要求精度取；学

17、习率=0.01；最小梯度要求取；动量因子=0.9；输出节点取2个，采用二进制的00、01和11分别表示坦克类别；输入出到隐层以及隐层到输出层之间的传递函数分别采用双曲正切S函数（tansig）和对数单极性S函数（logsig）。小波神经网络参数设计为：小波神经网络的参数值设计如下，输入节点数和隐层节点数均取特征维数，输出节点取1：用-1、0和1分别表示表示识别的88B、B2和M2坦克的类别；调整权值的学习率=0.01；调整伸缩因子a和平移因子b的学习率=0.001，训练次数取定值1000；输入出到隐层之间的传递函数为morlet小波函数，隐层到输出层之间的传递函数为Sigmoid线性函数。支持

18、向量机分类时，取惩罚因子8C=1, 径向基核函数中的参数据经验取特征维数的倒数；用-1、0和1分别表示待识别的三类坦克。支持向量个数：识别Hu矩时有8个，识别Zernike矩和小波矩时有9个。表4列出了三种分类算法的识别性能参数。表4 仿真识别结果图像序号BP神经网络小波神经网络支持向量机训练时间误差识别率训练时间误差识别率训练时间识别率Hu矩34.79秒0.1374 66.7%1.8461秒1e-872.2%0.1368秒83.3%Zernike矩35.36秒0.1226 66.7%1.1953秒1e-877.8%0.0069秒89%小波矩33.41秒0.0680 77.8%1.3526秒1

19、e-877.8%0.0068秒100%从表4可以看出，将Hu矩、Zernike矩和小波矩提取的特征值分别输入到BP神经网络分类识别时，小波矩的识别率最高，Hu矩最低，而且有时识别率出现幅度较大的波动；小波神经网络对BP神经网络结构上的改进，使得矩特征输入到小波神经网络时，训练时间和误差都有很大的改进但识别率并未有明显提高；而矩特征输入到支持向量机中时，无论训练时间还是识别率都有了大幅度提高，Zernike矩在训练中识别率是100%，测试时达到89%，小波矩在训练和测试中识别率均达到100%。以上是在图像无噪声情况下得到的结果，为验证算法的抗噪性，给图像加入不同强度的噪声：设图像为I，随机噪声矩

20、阵为N=randn(128),加噪图像表示为I+N。定义A类噪声强度为N/5,B类噪声强度为N/3,C类噪声强度为N，显然A、B、C噪声强度是递增的。对用于测试的三类共18幅图像分别加入这三类噪声，得到共54幅图像，然后对它们提取Hu矩、Zernike矩和小波矩，表5列出了BP神经网络和支持向量机分类器在不同的噪声强度下对三种矩特征的识别效果。表5 BP神经网络和SVM分类对加噪图像识别结果分类算法噪声Hu矩识别率Zernike矩识别率小波矩识别率BP神经网络分类A44.4%66.7%55.6%B44.4%33.3%50.0%C27.8%38.9%50.0%SVM分类A50.0%61.1%88

21、.9%B50.0%55.6%77.8%C44.4%38.9%77.8%从表5可以看出，随着噪声的增加，该文的算法仍能保持较高的识别率。虽然两种算法的识别率都有所下降，BP神经网络分类算法的这种趋势更为明显。5结论 该文通过对数目有限的坦克图像提取Hu矩、Zernike矩和小波矩特征，并输入BP神经网络、小波神经网络和支持向量机分类器进行分类识别，实验结果表明：小样本情况下，小波矩特征结合支持向量机分类器的算法具有更好的识别效果。参考文献1 Hu Ming-Kuei. Visual pattern recognition by moment invariant J. IRE Trans Info

22、rmation Theory, 1962, 8: 179-187.2 王耀明. Zernike矩及它们的应用J. 上海电机学院学报， 2008，11（1）:4446.3 Dinggang Shen, Horace H.S. Ip. Discriminative wavelet shape descriptors for recognition of 2-D patternJ. Image Computing Group, 1999,32（2）: 151165.4 Nello Cristianini, John Shawe-Talor. An Introduction to Support Ve

23、ctor Machine and Other Kernel-based Learning MethodsM.李国正，王猛，曾华军译.北京：电子工业出版社,2003.5 杨淑莹. 模式识别与智能计算M， 北京：电子工业出版社，2008.6 刘进. 不变量特征的构造及在目标识别中的应用D.，武汉：华中科技大学，2004.7 张虹，陈文楷. 一种基于小波矩的图像识别方法J. 北京工业大学学报，2004，30(4):427431.8 侯媛彬，杜京义，汪梅. 神经网络M. 西安：西安电子科技大学出版社，2007.RESEARCH ON SMALL SAMPLE IMAGE RECOGNITION BAS

24、ED ON INVARIANT MOMENT AND SUPPORT VECTOR MACHINESun Bei , Cao Jun Department of Information, Taiyuan University of Technology, Taiyuan, PRC, (030024)AbstractMethod of image recognition based on statistics can achieve fine performance only if its provided with large numbers of samples. In practice however, sometimes its impossible to obtain so many samples, which may results in the poor re