基于小波变换的单样本人脸识别

1、基于小波变换的单样本人脸识别方法研究目 录1 课题研究的背景11.1 单样本人脸识别11.2 小波变换在人脸图像上的应用22 课题研究的目的及意义42.1 课题研究的目的42.2 课题研究的意义43 国内外研究的动态及存在的困难53.1 国内外研究的动态53.2 目前存在的问题64 本课题的研究方案及创新点74.1 本课题的思想来源74.2 拟采用的研究方案74.3 方案论证74.3 本课题的特色及创新点85 本课题可能遇到的问题以及解决方法95.1 人脸图像的光照预处理问题95.2 人脸图像的空间归一化问题95.3 小波多级分解问题95.4 分类器设计问题96 论文的工作计划11参考文献12

2、I基于小波变换的单样本人脸识别方法研究1 课题研究的背景1.1 单样本人脸识别单样本人脸识别技术也就是利用计算机分析每个人的单幅人脸图像，从中提取出有效的识别信息，用来“辨认”身份的一门技术。目前的人脸识别技术主要是基于多幅训练图像的1。例如在ORL人脸库上的许多实验都是在每人有十幅图像，其中5幅用于训练，5幅用于识别情况下得到的。但是在实际中，要得到每个人的各种变化的人脸数据库是很困难的，实验室的人员会积极地配合完成建立特定的人脸数据库的各种要求，而在实际应用中要求普通人员也这样配合未免有些过分，并且也不切合实际。在许多的实际场合中，我们只有每个人一张照片，例如可能是身份证、工作证、学生证、

3、护照、毕业证和准考证等上面的一张照片。因此用单样本进行人脸识别是非常有意义的。单样本人脸识别系统主要包括两个技术环节：一是人脸检测与定位，即检测图像中是否包含人脸，若有则将其从背景中分割出来，并确定其在图像中的大小和位置；二是特征提取与人脸识别，即提取待识别的人脸图像特征，与数据库中人脸进行匹配识别。特征提取之前一般需要做预处理工作。比如：根据人脸定位结果将图像中的人脸变化到同一位置和大小，或者是对图像进行光照处理以克服光照变化的影响。提取出待识别的人脸特征后，即可进行特征匹配。一个典型的人脸自动识别系统都是由图1所示的几个部分组成的。基本图像处理图像获取分类器设计检测ANN器设计分类决策NN

4、检测定位正规化特征提取和选择分类器训练过程识别过程输出结果图1.1 典型的人脸识别系统从图1.1可以看出典型的人脸识别系统包括基本图像处理和识别过程两大部分，其中训练过程（即分类器的设计）可以看作预处理的一部分，是在后台进行的，此过程结束后将生成可用于分类识别的分类器。1.2 小波变换在人脸图像上的应用小波变换是近10年来迅速发展起来的一门新技术，是传统傅里叶变换发展史上的里程碑氏的进展。它是泛函分析、Fourier分析、样条分析、调和分析、数值分析等的完美结合，近年来已成为人脸识别研究的热点。小波变换实质上是对信号用一种多尺度的带通滤波器进行滤波，将信号分解到不同的频带上再进行分析处理，具有

5、良好的时频域局部性能、多分辨率分析等优点。小波变换被用于人脸识别主要由于人脸图像通过小波分解后，在不同方向上子图的分辨率减少，计算复杂度相应降低，同时它在空域和频域都提供了良好的局部信息。人脸图像信息中低频部分描述的是图像的整体（形状），高频部分描述的是图像的细节信息，人脸的光照、少许遮罩、旋转扭曲和面部表情等只影响图像中高频部分。利用小波变换所获得的人脸低频信息可以较好的描述对分类有用的人脸特征2。一幅图像经小波一级分解后可分为4幅子图。如图1.2(a)所示，LL表示图像在水平和垂直方向的低频信息；HL表示图像水平高频信息及垂直低频信息；LH表示图像水平低频信息及垂直高频信息；HH表示图像水

6、平高频信息及垂直高频信息。若对水平和垂直方向的低频信息LL重复分解下去，得到二级分解，如图1.2(b)所示。HLLL HHLH (a) (b)图1.2 小波分解后的人脸图像142 课题研究的目的及意义2.1 课题研究的目的 单样本人脸识别研究就是当人脸数据库中只存有一张标准的训练人脸图像时，能够识别外来的已注册的变化的人脸图像，以达到正确的识别个人身份目的。这就要求识别算法要有强的鲁棒性，并且识别速度要快，识别率要高。2.2 课题研究的意义与其它生物特征识别技术相比，人脸识别在可用性方面具有独到的技术优势，这主要体现在：(1) 可以隐蔽操作，尤其适用于安全监控；(2) 非接触式采集，没有侵犯性

7、，容易被接受；(3) 具有方便、快捷、强大的事后追踪能力；(4) 图像采集设备成本低；(5) 更符合人类的识别习惯，可交互性强。单样本人脸识别与传统的基于多幅图像的人脸识别相比，不但具有上述优点，同时还具一个非常重要的优点，就是易得到人脸数据库。在国家政府安全部门或一些小型部门通常易得到个人的单幅照片，如身份证、工作证、学生证、护照、毕业证和准考证等。而传统的基于多幅图像的人脸识别却是要求每人多幅图像进行训练，在此基础上进行识别，这就要求用户配合，以采集多种不同的照片，这在实际操作中是很困难的。由于单样本人脸识别具有这些优点，因此在一些大型的视频监控或罪犯追踪中非常实用。3 国内外研究的动态及

8、存在的困难3.1 国内外研究的动态人脸识别发展了近40年，由于其隐蔽操作特点，非接触式采集，非侵犯性及其方便、快捷、强大的事后追踪能力，近几年来已经成为生物特征识别领域的研究热点。从人脸识别的发展来看，研究人员大多集中在研究大规模、多姿态、复杂条件下的识别方法，致力于提高识别的鲁棒性和准确度。而针对单注册图像的人脸识别问题的研究相对较少，主要研究情况如下：1995年，麻省理工学院的Beymer, David 等3针对单注册图像（如护照照片）识别问题，提出根据人脸旋转模型，利用单张照片生成多姿态人脸图像，构成多张训练图像。2004年，澳大利亚阿得雷德大学的Sanderson, Conrad等4基

9、于最大可能性线性回归模型，由单样本图像获得其他人工合成人脸图像，并在FERET图像库中验证了其可行性。同年，瑞典于默奥大学的Le, Hung-Son等5建立了人脸的水平和垂直方向的特征对，利用不同人脸的特征差别之和实现识别。2005年，纽约州立大学的Zhang, Lei等人6,7针对单样本人脸识别中的光照问题，提出了采用基于球谐光形态模型方法。美国西弗吉尼亚大学Singh, R.等8利用2维log Gabor小波滤波器提取人脸图像的纹理特征作为识别特征。韩国的Kim, Tae-Kyun等9提出基于局部线性判别的单样本人脸识别方法。美国卡耐基-梅隆大学的De La Torre, Fernando

10、等10提出方向成分分析方法。2006年，澳大利亚的Ting, Shan等11针对头部姿态问题，建立了人脸模型和旋转模型，并采用自适应PCA（APCA）方法进行识别。2008年，美国马里兰大学的Yue, Zhanfeng等12提出基于球谐光的姿态信息描述及编码方法。国内对也有很多科研人员对单注册图像的人脸识别问题展开研究，中科院计算所的高文和山世光等人于2002年提出基于特征子空间和Fisherface的单样本人脸识别方法13,14。香港理工大学的Xie, Xudong等人15提出一种基于Gabor的核PCA方法。香港理工大学的Xie, Xudong等人16提出一种基于Gabor的核PCA方法，

11、首先采用Gabor滤波器提取表情特征，然后利用非线性核PCA方法实现特征转换和人脸识别。2008年，他们又提出基于局部弹性重建人脸识别方法17，对局部搜到干扰的图像识别提供了有效的解决思路。香港浸会大学的 Huang, Jian等人18提出基于子空间的LDA方法。南京大学的周志华等人19,20对单训练样本问题提出(PC)2A方法。南京航空航天大学的谭晓阳等人21-23基于“SOM脸”计算模型提出一种新的人脸局部区域重要程度度量方法，并用于进行选择性单训练样本人脸识别。清华大学的苏光大等人24提出了一种从单张旋转人脸图像合成正面人脸图像的方法。南京理工大学的杨静宇1等人针对单训练样本问题，通过对

12、对人脸图像的左右两边施行不同的尺度变换，由正面人脸图像可以生成出人脸旋转一定角度的近似图像，作为增加的训练样本。云南大学的陈翔、柏正尧25研究了基于二代身份证照片库的人脸识别技术，针对我国第二代身份证照片库的特点和人脸识别技术的要求，采用主成分分析(PCA)和标准化线性判别分析(LDA) 相结合得方法进行人脸识别。此外，中山大学、北京邮电大学、浙江大学、上海交通大学、国防科技大学、扬州大学等分别针对单样本人脸识别问题展开了研究。3.2 目前存在的问题从目前发表的论文和统计资料看，对于单张注册图像的人脸识别问题，最常用的方法是根据人脸模型，通过单样本图像生成多张训练图像，而识别方案主要还是采用现

13、有的人脸识别技术，通过优化特征提取和分类方法提高识别率，使其尽量适于单样本识别问题。上述人脸识别方法尽管从不同角度出发，使人脸识别性能有所提高，但是对于单张注册图像的识别问题，仍然没有专门的有效解决方案。并且识别方法复杂，鲁棒性差。4 本课题的研究方案及创新点4.1 本课题的思想来源 在对人脸图像进行观察，并且结合小波的多分辨率特征的思想，我们觉得两张人脸图片，若是同一个人，它们的低频与高频交换后重建还是与这个人相似，也就是说重建后的图片与这两张图片的距离近；但是，若不是同一个人，则它们的低频与高频重建后，会非常模糊不清或者说与这两张人脸图片都不相似，这样重建后的图片就会与这两张图片的距离远。

14、4.2 拟采用的研究方案在解决单样本人脸识别问题上本课题提出了基于小波变换交叉重构的方法。拟采用的方法步骤如下：(1) 选择每个人的一张标准人脸图像作为训练图像，对训练图像进行小波分解，提取出训练图像的低频信息，存入人脸数据库；(2) 对外来的测试人脸图像进行简单预处理，然后同样对测试图像进行小波分解，提取出测试图像的高频信息；(3) 对训练图像的低频信息和测试图像的高频信息进行小波重构，得到交叉重构后的图像；(4) 把交叉重构后的图像与测试图像进行比对，通过比对结果进行身份识别。4.3 方案论证根据以上思想，本人已经在ORL和YALE图库上做了一些初步的实验。从实验结果上可以看出，就识别时间

15、和识别效果来说，在ORL图库中，小波三级高频分解的识别效果最好。由于ORL图库中存在着大量的旋转，缩放以及复杂表情的人脸图片，而YALE图库中也有严重的光照不均匀的现象，所以在对图库中的图片未做任何的预处理的情况下，使用小波三级高频分解达到90%的识别率是非常好的。在实验过程中只使用每人一张的注册图片的三级分解后的低频信息，这样就使得存储注册图片的空间大大减小。例如，在ORL图库中，400个人的图片占有空间量是5.58M，每人一张注册图片的注册图片库占有量是667KB，而每人一张注册图片的小波三级分级后的低频库占有量只用80.4KB。这就大大缩小了注册图库的存储空间。同时，使用小波三级分解后的

16、低频库可以省略注册图片的小波分解步骤，这样可以大大的节省识别时间。实验证明，使用此方法的小波三级分解的高频交换实验的识别时间为155.6406秒，只是原来的一半时间。4.3 本课题的特色及创新点本课题的特色及创新点是：(1) 不需要在数据库中存储每个人的单幅人脸图像，只需要存储每个人单幅人脸图像的低频信息；(2) 不需要进行人脸的特征提取，缩小了算法的复杂性；(3) 改变了传统的小波人脸识别方法，提出了小波交叉重构的思想。5 本课题可能遇到的问题以及解决方法5.1 人脸图像的光照预处理问题本课题是单样本人脸识别，对光照的影响比较敏感。光照变换比较大的时候会对识别率产生很大的影响。在实际采集中，

17、不可避免的会有光照不均匀现象，如光照较强或较弱，光照角度不一等，因此解决光照问题非常重要。解决方法：采用一种好的光照处理算法，减少光照影响。5.2 人脸图像的空间归一化问题在图像采集过程中，会发生人脸偏转以及人脸图像大小不一的现象，使后续的小波实验中，得不到完整的人脸图像，或者人脸图像不能在一个尺度下比对，造成识别率低下。解决方法：采用一种好的人脸图像归一化处理算法，校正人脸图像，或者根据人脸的对称性，进行人脸图像补偿。5.3 小波多级分解问题现有的小波多种多样，并且根据不同的人脸图像以及人脸图像的大小，采用的小波以及小波的分解级数是变化的。因此为了提高人脸识别率，以及识别时间，必须选择一个适

18、合的小波以及小波的分解级数。解决方法：进行大量实验，边实验，边探讨不同的小波以及小波的分解级数对人脸识别的影响，针对本课题选择合适的小波。5.4 分类器设计问题一个好的分类器可以大大提高识别率以及识别的时间，有的时候前期的工作处理的很好了，但是由于没有一个合适的分类器，就会使得识别率不高，影响识别结果，因此选择一个好的分类器很重要。解决方法：通过实验，找到小波交叉重构后图像的特点，根据这个特点选择一个好的分类器。6 论文的工作计划2008.8 2008.10 收集资料，阅读论文，进行开题2008.112009.1 对人脸图像进行预处理2009.2 2009.3 对人脸图像进行多种小波的多级分解

19、实验2009.4 2009.6 设计适合本算法的分类器2009.7 2009.9 对算法进行修改，以提高识别率和缩短识别时间2009. 10 2009.12 撰写论文 2009.12 2010.1 论文修改2010.1 论文答辩参考文献1 张生亮，杨静宇，大类别及少量训练样本的人脸识别问题研究，南京理工大学博士学位论文，20052 李伟红，龚卫国，基于小波分析与KPCA的人脸识别方法，计算机应用，2005，25(10): 233923413 Beymer, David, Poggio, Tomaso, Face recognition from one example view, Procee

20、dings of the IEEE International Conference on Computer Vision, 1995, p 500-5074 Sanderson, Conrad; Bengio, Samy, Extrapolating single view face models for multi-view recognition, Proceedings of the 2004 Intelligent Sensors, Sensor Networks and Information Processing Conference, ISSNIP '04, 2004,

21、 p 581-5865 Le, Hung-Son; Li, Haibo, Face Identification From One Single Sample Face Image, Proceedings - International Conference on Image Processing, ICIP, v 5, 2004 International Conference on Image Processing, ICIP 2004, 2004, p 1401-14046 Zhang, Lei; Wang, Sen; Samaras, Dimitris Face synthesis

22、and recognition from a single image under arbitrary unknown lighting using a spherical harmonic basis morphable model, Proceedings - 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR 2005, 2005, p 209-2167 Zhang, Lei; Samaras, Dimitris, Face recognition from a si

23、ngle training image under arbitrary unknown lighting using spherical harmonics, IEEE Transactions on Pattern Analysis and Machine Intelligence, v 28, n 3, March, 2006, p 351-3638 Singh, R.; Vatsa, M.; Noore, A., Textural feature based face recognition for single training images, Electronics Letters,

24、 v 41, n 11, May 26, 2005, p 640-6419 Kim, Tae-Kyun; Kittler, Josef, Locally linear discriminant analysis for multimodally distributed classes for face recognition with a single model image, IEEE Transactions on Pattern Analysis and Machine Intelligence, v 27, n 3, March, 2005, p 318-32710 De La Tor

25、re, Fernando; Gross, Ralph; Baker, Simon; Vijaya Kumar, B.V.K., Representational Oriented Component Analysis (ROCA) for face recognition with one sample image per training class, Proceedings - 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, CVPR 2005, 2005, p 266-27

26、311 Ting, Shan; Lovell, Brian C.; Shaokang, Chen, Face recognition robust to head pose from one sample image, Proceedings - 18th International Conference on Pattern Recognition, ICPR 2006, 2006, p 515-51812 Yue, Zhanfeng; Zhao, Wenyi; Chellappa, Rama, Pose-encoded spherical harmonics for face recogn

27、ition and synthesis using a single image, Eurasip Journal on Advances in Signal Processing, v 2008, 2008, p 748483苑玮琦，一种人脸和耳特征组合识别方法，申请号：CN200510046036.4，公开号：CN165822413 Shan, Shiguang; Gao, Wen; Zhao, Debin, ce identification from a single example image based on face-specific subspace (FSS), ASSP,

28、IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings, v 2, 2002, p II/2125-II/212814 Shan, Shiguang; Cao, Bo; Gao, Wen; Zhao, Debin, tended fisherface for face reocognition from a single example image per person, oceedings - IEEE International Symposium on Circuits

29、and Systems, v 2, 2002, p II/81-II/8415 Xie, Xudong; Lam, Kin-Man, Gabor-based kernel PCA with doubly nonlinear mapping for face recognition with a single face image, IEEE Transactions on Image Processing, v 15, n 9, September, 2006, p 2481-249216 Xie, Xudong; Lam, Kin-Man, Gabor-based kernel PCA wi

30、th doubly nonlinear mapping for face recognition with a single face image, IEEE Transactions on Image Processing, v 15, n 9, September, 2006, p 2481-249217 Xie, Xudong; Lam, Kin-Man,2008 Face recognition using elastic local reconstruction based on a single face image, Pattern Recognition, v 41, n 1, January, 2008, p 406-41718 Huang, Jian; Yuen, Pong C.; Chen, Wen-Sheng; Lai, Jian Huang, Component-based subspace linear discriminant analysis method for face recognition with one training sample, Optical Engineering, v 44