面向人脸识别的WPD

面向人脸识别的WPD-HOG金字塔特征提取方法刘文培;李凤莲;张雪英;田玉楚【摘要】人脸识别技术可应用于各监控和安保领域，它涉及特征提取、识别模型等关键技术.其中特征提取方法直接影响识别效果，目前所用的特征提取方法存在特征表达不全面、计算复杂度高等问题.据此，提出一种基于WPD-HOG金字塔的人脸特征提取方法，该方法结合小波包分解(WaveletPacketDecomposition,WPD)、图像金字塔以及方向梯度直方图(HistogramsofOrientedGradients,HOG)对人脸图像特征进行有效表征，最终将WPD-HOG金字塔特征通过SVM分类器进行分类.通过在ORL人脸库上进行实验，与四种对比方法HOG、HOG金字塔、FWPD-HOG以及FWPD-HOG金字塔进行比较，实验结果表明,WPD-HOG金字塔特征提取方法的识别率要高于对比方法,且在噪声方面具有较好的鲁棒性.【期刊名称】《计算机工程与应用》【年(卷)，期】2018(054)022【总页数】6页(P150-155)【关键词】人脸识别特征提取;小波包分解;图像金字塔;方向梯度直方图【作者】刘文培;李凤莲;张雪英;田玉楚【作者单位】太原理工大学信息工程学院仙西晋中030600;太原理工大学信息工程学院仙西晋中030600;太原理工大学信息工程学院仙西晋中030600;太原理工大学信息工程学院仙西晋中030600;昆士兰科技大学电机工程及计算机科学学院，澳大利亚昆士兰【正文语种】中文【中图分类】TP391.411引言人脸识别技术作为生物识别技术的一种，以其特有的稳定性、方便性、唯一性等特点被愈来愈多地应用于各种身份识别领域。人脸识别技术是基于人的脸部特征进行身份识别的，因此特征提取方法性能优劣直接决定识别效果。目前，常用的特征提取方法大体可以分为两种：一种是基于全局特征的特征提取方法，能有效地表达人脸的轮廓特征，如主成分分析(PrincipalComponentAnalysis，PCA)［1］、线性判别分析(LinearDiscriminantAnalysis，LDA)［2］、特征脸［3］等方法；另一种是基于局部特征的特征提取方法，反映的是人脸的细节特征，如局部二值模式(LocalBinaryPattern，LBP)［4］、Gabor［5］、方向梯度直方图(HistogramsofOrientedGradients，HOG)［6］等方法。由于全局特征较局部特征更容易受光照、姿态和表情等因素的影响，一般不单独研究，仅针对局部特征进行研究，会存在对整体信息表征能力不够的缺陷，从而影响识别效果。近年来，研究发现将全局和局部特征相结合，能有效利用二者的优点，提高人脸特征的表征能力［7］，因此越来越多的研究人员开始关注结合全局和局部特征的方法，并提出了很多新颖的算法。文献［8］将人脸的两种局部特征一一HOG和LBP进行融合，利用分层的思想，实现局部和整体特征融合的特征提取方法，但该方法特征维数高至5万，计算复杂；文献［9］将HOG和奇异值分解(SingularValueDecomposition,SVD)结合，提出了一种基于HOG-SVD的人脸识别方法，分别提取人脸图像的整体HOG-SVD特征和各子块的HOG-SVD特征，组合形成最终分类特征，但该方法容易造成大量分类特征信息丢失的问题；文献［10］通过研究全局特征PCA、2DPCA与局部特征LBP、Gabor,将全局特征与局部特征采用决策级融合，实验结果表明识别率优于单一特征的识别率，但是该融合方法也保留了PCA方法的缺点，算法的可扩展性受到一定影响；文献［11］通过图像金字塔、HOG特征谱构建人脸图像的HOG金字塔来实现整个人脸的特征表达，该方法利用图像金字塔的多尺度表达实现了全局与局部特征的结合，但是特征维数上万，计算复杂度高且运算时间长。针对上述问题，考虑到HOG特征对光照、尺度及方向有很强的适应性，能够很好地提取图像的局部特征的特点；小波包分解(WaveletPacketDecomposition，WPD)［12］在去除冗余、缩小图像尺寸、降维方面的优势；图像金字塔可对人脸图像进行多尺度表达的特性，本文将HOG特征、WPD、图像金字塔相结合，提出一种基于WPDHOG金字塔的人脸特征提取方法。该方法首先将图像进行WPD，选取低频子图像，进而对该子图像构建图像金字塔，然后对金字塔中的每层图像提取HOG特征，将各层HOG特征顺序级联得到WPD-HOG金字塔特征。为验证所提出的WPD-HOG金字塔特征提取方法的有效性，将提取的WPD-HOG金字塔特征通过支持向量机(SupportVectorMachine，SVM)［13］分类器进行人脸识别，在ORL人脸库上的实验结果表明，本文方法优于对比方法，提取到的人脸特征信息完备，计算复杂度低，具有较高的识别率和对噪声的鲁棒性。2基本方法2.1HOG特征HOG特征最早被Dalal等人提出并应用于行人检测［14］，因HOG特征能够对图像的几何和光学变化保持很好的不变性而被广泛应用到人脸识别领域。HOG特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。该方法最重要的思想是，在一幅图像中，局部目标的表象和形状能够被梯度或边缘的方向密度分布很好地描述。本文HOG特征的提取过程如下：Gamma校正Gamma校正的主要目的是把图像整体亮度提高，以改善图像灰度较暗的情况。计算图像每个像素位置的梯度采用中心对称梯度算子［-1,0,1］，按下列公式求图像中像素点(x,y)的横向和纵向梯度，分别设为Gx(x,y)和Gy(x,y)。式中，H(x,y)为像素点(x,y)的像素值。计算图像每个像素位置的梯度幅值和方向按下列公式求图像中像素点(x,y)的梯度幅值和方向，分别设为G(x,y)和0(x,y)o局部方向梯度直方图将图像分成小的细胞单元(cell),在每个cell中独立做梯度方向统计，形成局部方向梯度直方图。直方图以梯度方向为横轴，将0°~180°的梯度方向划分为k个均匀的区间(bin)，每个方向角度范围都会对应一个直方柱。每个cell内相同梯度方向的频数按照梯度幅值加权，本文运用了高斯核函数来调整cell内梯度大小的权重，用像素邻域的加权均值来代替该点的像素值，距离越近的点权重越大，距离越远的点权重越小。高斯核函数的计算公式如下所示：其中，xc为核函数中心；x为xc像素邻域中的其他像素点；8为核函数的宽度参数，控制了函数的径向作用范围。block内归一化局部直方图为了提高精确度，把这些局部直方图在图像的更大区间(block)中进行归一化，归一化函数采用L2范数。HOG特征的形成将图片中所有block进行HOG特征的收集，并将各个block的直方图首尾相连形成最终的特征向量。2.2小波包分解小波包是在小波多分辨率分析的基础上建立起来的。小波包分解可根据被分析信号的特征，自适应地选择相应频带，使之与信号频谱相匹配，以提高被分析信号的时频分辨率，是一种比小波分解更为精细的分解方法［15］。对图1所示的原图（用W表示）进行一级WPD，得到图2的子图像，包含近似细节部分、水平细节部分、垂直细节部分和对角细节部分，分别用A、H、V、D来表示，对W进行一级WPD的分解过程用四叉树结构图表示，如图3所示。其中，A为低频子图像，它反映了人脸的轮廓信息，包含人脸的大部分特征，与原图最为相似；H、V、D为高频子图像，包含了人脸的各种纹理细节信息，但是容易受到噪声、表情和光照的影响。WPD不仅在去噪方面可以取得不错的效果，而且分解后得到的子图像大小也缩减为原图像的1/4,大大降低了后续对图片进行特征提取的计算复杂度。图1原图像图2子图像图3小波包第一层分解的四叉树结构图2.3图像金字塔图像金字塔是以多分辨率来解释图像的一种有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形排列的分辨率逐步降低的图像集合。图4所示为三层的图像金字塔，金字塔的底层是待处理图像的高分辨率表示，而顶层是低分辨率的近似，图中虚线将各层图片相对应的四个顶点分别相连，相交于一点，此相交点并无实质意义，不含任何图像信息，只是使三层图像外观看上去更像金字塔的形状，故称为图像金字塔。当向金字塔的上层移动时，尺寸和分辨率随之降低。图4图像金字塔对于一幅NxM的图像，在行和列两个方向上对其进行1:2的亚采样，可构成原图像的一幅(N/2)x(M/2)的缩略图。将亚采样重复进行，随着层数的增加，每一层的图像是下面一层图像的宽和高的一半，就得到构成金字塔的各层图像［16］。亚采样金字塔包括了最底层原始图像的高分辨率的信息，第二层经过亚采样处理的较低分辨率信息，以及第三层低分辨率的信息，这三部分信息不仅反映出人脸图像的很多概貌信息，也描述了人脸图像的细节特征。这些高分辨率、较低分辨率以及低分辨率的信息就构成了图像的多尺度表达，多尺度表达为全局特征与局部特征的结合提供了一个很好的途径。3WPD-HOG金字塔特征及其在人脸识别中的应用对人脸图像进行一级小波包分解得到低频和高频子图像，本文将弃除高频子图像，选取低频子图像进行后续处理，既能去除鲁棒性差的高频信息，又能降低计算复杂度。HOG特征提取方法描述的是图像的局部特征，而金字塔模型可以对图像的全局形状特征进行多尺度表达。因此，本文将WPD和HOG特征以及金字塔模型相结合，提出一种基于WPD-HOG金字塔的特征提取方法。该方法既可以提取图像的全局特征和局部特征，实现图像的多尺度表达，又可达到去除冗余和降低计算复杂度的效果。3.1WPD-HOG金字土塔特征提取本文提出的WPD-HOG金字塔特征提取步骤如图5所示。例如，对一张尺寸为64x80的人脸图片提取WPD-HOG金字塔特征，bin的个数k取9,cell为4x4,每2x2个cell组成一个block，因为每个cell有9个特征，所以每个block内有4x9=36个特征，相邻的block之间重叠一个cell的宽度，即步长为4像素。图5WPD-HOG金字塔特征提取的流程图本文提出的WPD-HOG金字塔特征提取示例如下：首先对该图像进行小波包分解后得到尺寸为32x40的四幅子图像，弃除三幅高频子图像，然后对低频子图像进行二级金字塔分解，得到尺寸分别为32x40、16x20、8x10的三层金字塔图像，接着对每层图像进行HOG特征提取。对于尺寸为32x40的图像，水平方向将有(32/4)-1=7个扫描窗口，垂直方向将有(40/4)-1=9个扫描窗口，即一幅图像有7x9个block，一共得到36x7x9维的特征。同理，三层金字塔图像得到维数分别为36x7x9、36x3x4、36x1x1的特征，最后将三层图片的特征串联得到维数为36x7x9+36x3x4+36x1x1=2736的WPD-HOG金字塔特征。传统的HOG特征提取方法，遍历整张人脸图片提取局部特征信息，实现的是图像的单尺度表达。此外，其中包含了很多不利于识别人脸的冗余信息，如果不对人脸信息进行筛选，大量的特征信息对识别率造成影响的同时，也大大增加了计算复杂度。例如，同样对一张64x80的人脸图片提取HOG特征，则总共有36x15x19=10260维的特征。可见，仅仅单尺度地描述一张图片的局部特征就需要上万的特征维数，大大增加了计算复杂度，同时提取到的特征也不能完整地表达整个人脸的信息。对比可知，本文提取的WPD-HOG金字塔特征维数远远低于传统的HOG特征，计算量大大减少；而且本文提取的人脸特征相比较传统的HOG特征，不仅包含局部特征，还包含全局特征，多尺度地表达了人脸信息，使得人脸信息更全面。3.2基于WPD-HOG金字塔特征的人脸识别本文提出的WPD-HOG金字塔特征用于人脸识别的实现步骤如下：(1)对人脸图像进行预处理，将图像尺寸统一缩小为64x80。采取db1小波基对人脸图像进行小波包分解。对小波包分解得到的低频子图像A进行金字塔分解。金字塔层数的选取：低频子图像A尺寸为32x40，对其进行第三级分解即为A图像尺寸的1/64，尺寸过小无实际意义，故本文选取二级分解，从而构成三层金字塔，包括A图、1/4A图、1/16A图。(4)对金字塔中的A图、1/4A图、1/16A图这三层图像分别提取HOG特征。提取HOG特征的参数选取：cell为4x4;当block过大时，对局部图像的适应性变差；当block过小时，有价值的空间信息减少，本文令一个block内包含2x2个cell;相邻的block和block之间重叠4个像素的长度，各个block之间有重叠，可以避免将一个连续的特征切割开，从而能更有效地表示HOG特征；方向角选取的是unsigned的0。~180。；bin的个数k取9;高斯核函数参数(5)将A图、1/4A图、1/16A图提取到的特征首尾串联，形成WPD-HOG金字塔特征。(6)对所有人脸图片样本提取WPD-HOG金字塔特征，把提取到的特征分为训练集和测试集。然后，将训练集通过SVM训练得到分类器模型，再将测试集通过分类器模型得到最终的人脸分类结果。4实验与结果分析4.1实验环境与人脸库介绍为了验证本文提出的人脸特征识别方法的可行性，采用ORL人脸库进行仿真实验，仿真实验环境为Intel®CoreTMi5-2520MCPU,6GB内存，Win7操作系统，MatlabR2015b软件。ORL人脸库包括40个不同年龄、不同性别和不同种族的对象。每人10幅图像，共计400幅灰度图像，图像灰度级为256，图像尺寸为92x112。ORL人脸库包括表情、面部饰物、光照、姿态的差别，而且人脸尺寸也有20%以内的变化，部分样本图像如图6所示。该库是目前使用最广泛的标准人脸数据库。本文实验选取ORL人脸库中的每人6张图片作为训练集，其余4张图片作为测试集，因此训练集共含240个样本，测试集共含160个样本。4.2实验设计将本文方法分别与下述四种方法做对比实验，进行人脸特征提取方法有效性实验以及噪声鲁棒性实验。（1） HOG：对人脸图像进行文献［6］提出的传统的HOG特征提取。图6ORL人脸库部分样本图（2） HOG金字塔：将文献［11］提出的HOG+图像金字塔的人脸识别方法作为对比实验，首先对图像构建图像金字塔，然后对金字塔中每层图像提取HOG特征，将各层特征首尾串联形成HOG金字塔。（3） FWPD-HOG:为验证所提出方法有效性，本文进一步提出了一种WPD与HOG特征相结合的FWPDHOG的人脸特征提取方法，作为对比实验。该方法首先对人脸图像进行小波包分解，得到四幅子图像，然后按照式（6）对四幅子图像进行加权融合，最后对融合（fusion）后得到的图片Img进行HOG特征的提取，最终形成FWPD-HOG特征。（4） FWPD-HOG金字塔：由于本文对图像进行WPD后，弃除了高频子图像，为进一步对比验证仅利用低频子图像就可以获得较好的识别效果，本文同样按照式（6）将低频和高频子图像加权融合，对融合后的图片Img构建图像金字塔，然后对金字塔的每层图像提取HOG特征，形成FWPD-HOG金字塔特征。其中，HOG和FWPD-HOG是对图像的单尺度表达；HOG金字塔、FWPD-HOG金字塔和本文提出的WPDHOG金字塔特征提取方法都采用一系列分辨率不同的表达来实现图像的多尺度表达。多尺度表达使全局特征和局部特征相结合，比单尺度表达的特征更完备。4.3实验结果分析此处评价指标选用特征维数、特征提取时间、分类时间以及识别率，来验证本文人脸特征提取方法的有效性以及噪声鲁棒性。识别率的计算公式如式（7）所示：其中，r表示人脸识别的识别率；m表示人脸测试集中所有的样本图像个数，本实验中m=160；n表示对测试集中图像进行人脸特征提取后，进一步采用SVM分类器分类后，分类正确的样本个数。4.3.1人脸特征提取方法有效性实验本文方法与其他四种人脸识别方法的实验结果对比如表1所示。表1本文人脸特征提取方法与对比方法性能比较方法HOGHOG金字塔FWPD-HOGFWPD-HOG金字塔本文方法特征维数1026012960226827362736特征提取时间/s36.9345.7811.9312.5512.17分类时间/s8.429.771.732.031.99r/%77.50080.00084.37588.12588.125从表1可以看出，本文方法得到的识别率是88.125%，较对比方法超出4%~11%。由此可知，本文方法的识别准确率要优于其他三种人脸识别方法，并与FWPDHOG金字塔的识别率持平。其识别率得到提高的理论机理如下：（1）单尺度的HOG和FWPD-HOG都只是提取图像的局部特征，而本文方法构建的WPD-HOG金字塔特征，对图片进行了多尺度的表达，将全局特征和局部特征相结合，具有较强的人脸图像描述能力，能够提取到更加丰富的特征信息；（2）与HOG金字塔方法相比，本文方法首先用WPD对图片进行了预处理，去除了容易受噪声、光照、表情影响的图像信息，使得特征表达更为紧凑。此外，本文方法与FWPD-HOG金字塔方法识别率相同，说明FWPD-HOG金字塔保留的高频细节信息对识别率并没有起到提高的作用。因此，本文方法在特征表达和识别效果方面要优于对比方法。进一步分析实验结果可知：（1）本文方法的特征维数是2736，远远少于HOG方法的10260维以及HOG金字塔的12960维；特征维数的减少，使得本文方法所用特征提取时间和分类时间仅仅是HOG方法的1/3,HOG金字塔方法的1/4。这是因为本文方法采用WPD，使得图像大小缩小为原来的1/4,在特征提取时起到降维的作用，大大降低了计算复杂度。（2）由于本文方法使用图像金字塔对图像进行了多尺度表达，故特征维数要略大于单尺度的FWPD-HOG，以致特征提取时间和分类时间都相对增加，但相差不大。（3）与FWPD-HOG金字塔相比，特征维数相同，本文方法特征提取时间和分类时间略少一点，说明FWPD-HOG金字塔保留的高频细节信息不仅对识别率没有提高，在计算复杂度上也没有改善。综合上述结果表明，与对比方法相比，验证了本文方法的合理性与有效性。本文方法不仅保证了特征完备，提高了识别效果，而且特征维数大大减少，从而降低了计算复杂度，进一步节省了特征提取时间和分类时间。4.3.2噪声鲁棒性实验为验证几种人脸识别方法在噪声方面的鲁棒性，本实验在ORL人脸图像上分别加入强度d为0.1的椒盐噪声，以及均值为0、方差。2为0.01和0.1的高斯白噪声，然后再进行后续人脸识别。噪声攻击图像如图7所示。图7噪声攻击图像针对四种人脸识别方法在椒盐噪声的攻击下，分别进行实验，实验结果如表2所示。在高斯噪声的攻击下进行实验，实验结果如图8所示。从表2可以很直观地看出，本文提出的面向人脸识别的WPD-HOG金字塔特征提取方法在椒盐噪声攻击下识别率要高出其他四种方法2%~10%。根据图8的实验结果可知，当高斯噪声方差。2为0.01时，本文方法得到的识别率高出对比方法1%~13%；当方差。2为0.1时，本文方法得到的识别率高出对比方法6%~44%。原因分析如下：（1）与HOG方法和HOG金字塔方法相比，本文方法采用了有去噪作用的WPD对人脸图像进行处理，大大提高了特征的抗噪性能；（2）将FWPD-HOG方法与FWPD-HOG金字塔方法相比，后者的识别率要更高一些，说明图像金字塔的多尺度表达特性增强了特征对噪声的抗干扰能力；（3）相比较于FWPD-HOG金字土苔方法，本文方法对图像进行WPD后，弃除了易受噪声影响的高频子图像，因此在噪声攻击情况下依然有较高的识别率。由此可知，本文方法的噪声鲁棒性要强于对比方法，且当噪声的随机性增大时，本文方法的抗噪效果更加显著。表2椒盐噪声攻击下本文方法与对比方法识别率比较强度0.1方法HOGHOG金字塔FWPD-HOGFWPD-HOG金字塔本文方法r/%73.37581.75075.00081.25083.125图8高斯噪声攻击下本文方法与对比方法的识别率比较5结束语本文提出了一种结合WPD、图像金字塔和HOG特征的WPD-HOG金字塔特征提取方法，以对人脸图像进行有效表示。在ORL人脸库上的实验表明，本文人脸特征提取方法将局部特征和全局特征相结合，实现了图像的多尺度表达，有效增强了图像特征的表达能力，从而使识别率得到了有效提高，且降低了特征提取的计算复杂度。同时，所提出的特征提取方法，在不同噪声攻击环境下，较其他对比方法都具有较高的识别效果，体现了较强的噪声鲁棒性。近年来，随着网络的发展，网络图像数据量剧增，面对海量的人脸数据库，如何高效地进行人脸特征提取及识别将是进一步的研究方向。【相关文献】杨浩，张二喜，蒋卓芸.基于距离测度的PCA人脸识别研究[J].陕西理工学院学报（自科版），2016,32（4）:45-50.GhassabehYA,RudziczF,MoghaddamHA.FastincrementalLDAfeatureextraction[J].PatternRecognition,2015,48(6):1999-2012.DeA，SahaA，PalMC.Ahumanfacialexpressionrecognitionmodelbasedoneigenfaceapproach[J].ProcediaComputerScience，2015，45:282-289.JiaM，ZhangZ,SongP,etal.ResearchofimprovedalgorithmbasedonLBPforfacerecognition[J].LectureNotesinComputerScience,2014,8833:111-119.KarthikaR,ParameswaranL.StudyofGaborwaveletforfacerecognitioninvaria