基于人机交互的人脸老化算法研究(共10页)

1、作者简介：胡伟平，男，1979年5月出生，湖北省仙桃市人，讲师，西南大学逻辑与智能研究中心逻辑学专业在读博士，西南大学育才学院理工学院教师。基于人机交互的人脸老化系统(xtng)的研究与实现胡伟平1，2, 邓辉文 3（1西南大学逻辑与智能(zh nn)研究中心，重庆400715； 2西南大学育才(yci)学院， 重庆401524； 3.西南大学计算机与信息科学学院，重庆400715）摘要：设计了一个基于人机交互的人脸老化系统，该系统包括建模和应用两部分。建模部分将人脸数据库进行预处理，建立归一化的人脸数据库和不同性别不同年龄段的人脸轮廓库；在应用部分，输入图像经过预处理、轮廓变换、纹理合成之后

2、得到目标图像。此外，系统设计有人机交互接口，不仅能融合人类智能与机器智能，实现人机协同工作，也实现了对任一年龄不同生活状况不同体型下目标人脸的定制。实验结果表明，该系统对于正面人像有较好的老化效果。关键字： 人机交互 人脸老化 图形变换 纹理合成Research and Implementation on Human Face Aging System Based on HCIHu Weiping1,2 Deng Huiwen3(1. Institute of Logic and Intelligence, Southwest University, Chongqing 400715;2. S

3、outhwest University Yucai College, Chongqing 401524; 3. School of Computer and Information Science , Southwest University, Chongqing 400715)Abstract: A human face aging system based on HCI was designed which comprised two parts:the modeling part and the application part. In the modeling part, the im

4、ages from FG-NET aging database were pretreated and face contour database of different sexes and different ages were established. In the application part the test image was transformed to target image agter preprocessing, contour transformation and texture synthesis. HCI interfaces were added in the

5、 system to achive man-machine cooperation, and users were allowed to customize target face of different living condition, different body type and different ages through those interfaces. Experimental results show that the system can gain better aging effects for positive portraits.Key words: HCI, fa

6、ce aging, morph, texture synthesis人脸老化是人脸识别的一个(y )分支，在公安(gng n)刑侦、寻找丢失儿童、门禁系统、数字娱乐等方面有着非常广泛的应用，但由于年龄对于人脸容貌的影响是一个机制非常复杂的生理学课题(kt)，不仅与遗传等内在因素有关，还与生活水平、体型胖瘦等个体外在因素有关，除此之外，化妆、打扮、发型变化等都会使人对于年龄的判断产生偏差，这让人脸老化研究变得更加困难。目前广泛使用的人脸老化合成技术主要是基于图像的人脸衰老合成1-4和基于三维建模的人脸衰老合成5-7，但基于图像的人脸衰老合成往往存在着高频信息（比如皱纹、法令纹等）刻画不够，导致合

7、成的图像逼真性不够；而基于三维建模的人脸衰老合成则由于需要对人脸进行复杂的三维建模，成本高，数据量大，计算量非常大，欠缺实用性。本文结合图像变形技术和小波变换技术，分别对人脸图像的轮廓和肤色纹理特征进行变换，同时借鉴钱学森处理大型复杂系统的思路，将人机结合的思想应用于设计，开发出一个基于人机交互的人脸老化系统，实验表明该系统具有较好的老化效果。1人脸图像的预处理人脸图像由于采集环境的不同，拍摄角度、光照、分辨率等往往都存在较大差异，另外，拍摄距离的不同又使得人脸在整幅图像中的大小和位置各不相同，因此，必须对图像进行预处理。人脸图像的预处理包括两个方面：一是几何归一化，二是灰度归一化。几何归一化

8、主要用于校准因拍摄距离和人脸姿态变化造成的尺寸和角度差异，具体包括人脸尺度归一化、人脸旋转校正（歪头）、人脸瞳孔对准等三个环节。对人脸旋转校正（侧脸）需要使用到人脸的3D模型，而本文使用的塞浦路斯大学的FG-NET人脸数据库8是二维数据库，故并未进行。FG-NET数据库中自带有人脸的68个特征点的数据，因此可以很方便进行几何归一化，经归一化之后，得到分辨率与尺度一致、瞳孔位置相同的正面人像。而灰度归一化则用来对不同(b tn)光强，光源方向下得到的人脸图像进行补偿，以减弱(jinru)光照(gungzho)变化对人脸图像的影响。考虑到人在变老过程中肤色变得暗淡无光泽，在对人脸图像进行灰度归一化

9、过程中，采用一种年龄相关的灰度归一化方法。根据人脸图像的特点，鼻尖为人脸区域的最亮区，而鼻梁和人中区域为最暗区，取由两眼内眼角、下嘴唇围成的矩形区域为肤色取色区域，取出该区域的最大和最小灰度，得到人脸源图像的肤色灰度范围s0和肤色最小灰度m0。对人的年龄段进行划分，每5岁为一个阶段，目标灰度变换范围s1和最小灰度m1随着年龄的变老逐渐变小。建立一个源图像与灰度图像之间的灰度变换映射，公式如式（1）。 （1）其中g0(i,j),g1(i,j)分别是源图像和目标图像任一点的灰度。以上映射能将源图像的灰度区间从m0,m0+s0变换到m1,m1+s1，同时对于超出这个范围的灰度值，使用log函数将其快

10、速收缩到该目标区间外的很小范围内。2人脸特征提取人脸特征提取目前主要有基于人脸几何特征、基于人脸统计特征和基于人脸频率域特征等三类方法。由于本系统所使用的数据库已经标定了68个人脸特征点，所以可以在此基础上使用基于人脸几何特征的提取方法。FG-NET数据库自带的人脸特征点主要集中在人脸五官，考虑到人脸老化过程中发际线有明显变化而且发型对于年龄有较大影响，因此已有68个特征点的基础上，使用人工标点的方式，将特征点增加至90个，如图1所示，图中三角形为原始68个特征点，圆圈所示为新增的22个特征点。确定特征点之后，按年龄段和性别分组，计算算术平均值，得到不同性别不同年龄段的人脸轮廓模板。 图1 人

11、脸特征(tzhng)点对于(duy)测试图像，其特征点可以使用(shyng)手工标点方式来确定，也能先使用主动形状模型9,10（Active Shape Model，ASM）来自动标注，之后再用手工来确认的方式来确定。3人脸轮廓变形图像变形有三种常用方法：基于特征点的图像变形、基于特征线的图像变形以及基于块的图像变形，本系统采用基于特征线的图像变形技术11来实现人脸轮廓的变化。对于给定人脸，其特征可以使用矢量来表示，其中是标定出的特征点，n是特征点的个数。估算给定人脸的年龄，并给出目标年龄，估算人脸年龄可以使用年龄函数，也能通过计算特征矢量与模板矢量的欧式距离，根据最小值来确定，这点在第5部分

12、详细讨论。取出人脸估计年龄模板和目标年龄的轮廓模板，利用公式（2）可以计算得到目标人脸的轮廓。 （2）根据和，使用前向warp技术11，即可重构出变形之后的人脸。4人脸老化特征合成人的老化大体可以分为两个阶段，从儿童到青年，主要体现在轮廓变化上，而人进入中年以后，轮廓基本不会发生改变，老化主要体现在肤色纹理的改变，比如肤色变暗、皮肤松弛下垂、产生皱纹等，为了实现人脸老化特征的合成，我们使用小波图像分解和重构技术3。小波分解可以把图像分成低频部分和高频部分，其中低频部分体现图像的轮廓，高频部分体现图像的细节，根据这一特点，我们在人脸数据库中选择与目标图像轮廓最接近的样本图像，使用其小波分解的高频

13、部分来替代源图像的高频部分，以实现衰老特征的移植。源图像和样本图像进行2层小波分解如公式（3）（4）: （3） （4）其中(qzhng)分别(fnbi)表示分解之后第二层的低频(dpn)分量，第二层的水平、垂直和对角线上的高频分量以及第一层的水平、垂直和对角线上的高频分量。但是，在以上过程中，由于舍弃了样本图像的全部低频部分，样本图像的绝大部分信息也随之丢失，为此，我们借鉴卫星遥感影像融合所采用的技术12，使用高通滤波算子来提取样本图像低频部分的细节部分，再将它叠加到源图像的低频部分上，对以上分量进行重新组合之后按照公式（5）进行2层小波逆变换，即可重构出融合样本图像衰老特征的目标图像。 （5

14、）5系统中的人机交互计算机经过几十年的高速发展，已经广泛应用于生产生活中，在某些应用中，体现出相当的智能性，但深入研究发现，机器智能主要采用逻辑思维方式，在形象思维和创造性思维方面，有着先天的缺陷，对于复杂系统和复杂问题，往往力不从心。针对复杂系统的特点，我国学者钱学森提出了“以人为主，人机结合”的解决思路，并在此基础上发展出了综合集成研讨厅体系13,14，其基本思想是以人为主导，人机协同工作，将人脑的形象思维与计算机的快速、容量大的特点充分发挥出来，各采所长，从而获得比单纯依赖人或者单纯依赖计算机更好的效果，处理更为复杂的问题。在本系统设计了多处人机交互接口，使人可以参与系统的运行，实现人的

15、智能与机器智能的融合，达到1+12的效果。5.1 人机交互(jioh)解决(jiju)人脸特征提取问题人脸特征提取是一个十分复杂的问题(wnt)，虽然ASM算法可以较好地实现人脸特征的自动标注，但是它也有十分明显的缺点：首先它过分地依赖于平均模型的初始化位置，初始位置不理想将导致局部极小；其次是用整体形状模型约束特征点定位结果难以保证特征点总体定位的正确性；第三算法受光照影响较大，在光照差异较大的情况，容易出现算法失败的情形。虽然有不少对ASM算法的改进，但是并不能从根本上改正ASM算法的缺点。本系统中采用人机交互的方式，先用ASM算法求出测试图像的大致轮廓，再由人来进行确认，对于偏离较大的特

16、征点进行校正，从而保证系统后续环节的正确运行。5.2 人机交互解决人脸年龄估计问题人脸年龄估计是一个非常复杂的问题，不仅对于计算机，对于人来说也是一个十分困难的问题。比如刘德华在童梦奇缘中扮演的人物从20岁一直活到80岁，见图2，演员没变，但是通过化妆、发型等的变化，产生了观众在年龄上观感的变化。此外，由于生活水平差异，不同的人表现出的年龄与实际年龄可能相差较大。要解决这种情况，光靠计算机难度极大，本系统中使用软件估计人脸年龄之后，由人最后对该年龄进行修正和确认，从而较好地保证人脸年龄估计的正确性。图2 刘德华在童梦奇缘中从20岁到80岁的造型5.3 人机交互解决目标人脸胖瘦定制问题人的一生分

17、为很多阶段，每个阶段生活水平可能会发生较大变化，而不同的生活水平下人的胖瘦情况会发生相应的变化，同时也会让人的面相比实际年龄显老或显年轻，根据目标可能的生活环境来定制其脸型轮廓和肤色，会使模拟结果更接近真实情况，提高系统的实用性。以往的研究极少有人考虑到类似问题，本系统中设计人机交互接口，用户能根据需要定制目标的胖瘦情况和生活水平，而系统会根据用户的定制情况，对目标的轮廓、目标年龄段以及目标的肤色范围等进行微调，从而产生符合用户需求的目标图像。6实验过程(guchng)及结果本系统(xtng)由建模部分和应用部分组成，其中建模部分负责对FG-NET数据库中的部分正面人像进行预处理，并求出不同性

18、别不同年龄(ninlng)段的平均轮廓，应用部分则对测试图像进行预处理、年龄估计、轮廓变形以及纹理合成，具体结构如图3所示。图3 基于人机交互的人脸老化系统结构图系统选取FG-NET数据库中来自82个不同人的370张正面人像，各年龄段的图像个数统计如表1。表1 系统使用的人脸数据库的基本情况 性别0-4岁5-9岁10-14岁15-19岁20-24岁25-29岁30-34岁男204143322188女1540372814134性别35-39岁40-44岁45-49岁50-54岁55-59岁60-64岁65-69岁男5962132女6512220系统(xtng)选择作者(zuzh)现在(xinzi

19、)的照片作为测试图片，使用ASM算法进行特征点标定之后，手工对特征点进行修正，见图4。将该图像及特征点输入系统得到从小到老的一系列图像，如图5。同时对每一个年龄段定制不同胖瘦情况及生活水平的图像，见图6。人脸的衰老合成效果无法使用量化的方式进行评价，只能通过主观感受来评价，在图5中可以看出，通过轮廓变化，测试图像很容易变换出年龄较小的情况，而中年至老年时，轮廓变化不明显，但通过肤色、纹理、发型等的变化，可以让人脸呈现出明显的老化效果。图6显示对于合成的同一年龄的人脸图像，微调其轮廓，可以呈现出不同生活状况和胖瘦情况下的目标人像，可以大大扩展系统的应用范围。图4 测试图像及特征点图4 测试图像从

20、小到老的变化图5 同一年龄不同胖瘦状况下的变化7结束语本文提出了一个基于人机交互的人脸老化系统的框架，并加以实现。系统采用了与年龄相关的灰度归一化方法，使人脸肤色更贴近年龄；利用图形变形技术(jsh)改变目标轮廓，使目标图像的脸型随年龄变化而变化；利用小波分解和重构技术，实现衰老特征的合成；同时借鉴处理复杂系统的人机结合的思想，加入人机交互接口，实现人的智能与机器智能的协同工作，也达成了定制不同生活状况不同体型胖瘦情况目标(mbio)人脸的目标。实验结果表明，本系统可以合成出给定图像的不同生活状况不同体型下任一年龄段的目标图像，具有较大的实用价值。但由于本系统使用的FG-NET数据库中样本人脸

21、为西方人脸，系统对于东方人脸的模拟效果未达到预期，且该数据库中老年图像数量明显不足，导致在皱纹等衰老特征方面的刻画不足，影响了系统老化效果，这是本系统在未来进一步改进的方向。参考文献1 Rowland D A, Perrett D I. Manipulating facial appearance through shape and colorJ. IEEE Computer Graphics and Applications, 1995,15(5):70-76.2 Lanitis A, Taylor C J, Cootes T F. Toward automatic simulation o

22、f aging effects on face imagesJ. IEEE Trans. Pattern Analysis and Machine Intelligence,2002,24(4):442-455.3 王进. 基于视频(shpn)的人脸表情建模研究D. 杭州:浙江大学,2003.4 刘剑毅, 郑南宁, 游屈波. 一种基于小波的人脸衰老化合成方法J. 软件学报, 2007,18(2):299-306.5 Yin Wu, Prem Kalra, Laurent Moccozet,etc. Simulating wrinkles and skin agingJ. The Visual

23、Computer, 1999, 15(4):183-198.6 Won-Sook Lee, Yin Wu, Magnenat-Thalmann N. Cloning and aging in a VR familyC. Proceedings of IEEE Virtual Reality, Houston, 1999:61-68.7 Scherbaum K, Sunkel M, Seidel HP, etc. Prediction of individual non-linear aging trajectories of facesJ. Computer Graphics Forum,2007,26(3):285-294.8 The FG-NET Aging DatabaseDB/OL. http:/sting.cycollege.ac.cy/alanitis/fgnetaging/index.htm, 2002.9 Coote