基于改进全视角人脸纹理图像生成方法的研究

基于改进全视角人脸纹理图像生成方法的研究

1全视角人脸纹理图像的优化方法用二维照片制作特定的三维面部模型是3d面部建模研究的热点问题。其中，生成纹理图像是一个重要的步骤，它直接影响三维图像的生成。全视角纹理图像反映了在三维场景中多视角的纹理状况,但计算较复杂,实际操作不便。由于人脸正面照片包含了正面轮廓和五官部位的纹理状况,而侧面照片包含了耳朵和后脑勺部位的纹理状况,因而在生成具有真实感的三维人脸图像时,模型正侧面的真实感纹理可分别采用正侧面照片进行相应的纹理映射,但人脸表面映射纹理不容易界定,特别是所选的正侧面图像中纹理的拼接处光照条件不同,生成的纹理图像容易出现拼接缝隙和色差现象。传统的根据正侧面人脸图像生成全视角人脸纹理图像的方法大都采用在正面和侧面照片中的人脸上定义相应的特征折线,然后对人脸图像进行变形,再拼接合成全视角人脸纹理。拼接时,存在正侧面人脸图像的配准问题,大多数研究者以眼角外角点处为界来定义2个人脸纹理的特征折线,先将正面和侧面照片中的人脸按各自的特征折线变形,然后进行图像拼接。这种方法的好处是眼角外角点在正面和侧面照片中的人脸中较易定位,但就如何定义一条合理的特征折线目前的研究仍未有定论,虽然能近似达到目的,但最终的人脸纹理合成及映射效果欠佳。本文结合全视角纹理图像的拼接特点,提出一种新的生成全视角人脸纹理图像的优化方法。该方法首先对正侧面人脸图像进行归一化处理,以确保待拼接图像坐标的统一,然后对正侧面图像采用先粗略匹配的方法缩小特征点的查找范围,降低运算量,在局部范围内实现特征点的精确匹配,最后对合成的人脸纹理图像先后采用加权平滑方法和拉普拉斯金字塔方法进行双重融合来消除其拼接缝隙,实现图像的无缝拼接。2图像拼接技术人脸纹理图像的合成过程实质上是一个图像拼接过程,图像拼接技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。一般来说,图像拼接的过程由图像获取、图像配准、图像融合3个步骤组成,其中,图像配准是整个图像拼接的基础。图像拼接解决的问题是通过对齐一系列的空间重叠的图像,构造一个无缝的、高清晰的图像,它具有比单个图像更高的分辨率和更大的视野。2.1图像预处理由于受各种因素的影响,在自然状态下获得原始图像,都存在一定程度的噪声干扰。噪声严重影响图像的质量,降低图像的清晰度,甚至掩盖了图像的本质特征,这些都对图像处理起到一定的干扰作用,因此在进行图像配准之前最重要的一个操作就是图像预处理。图像的预处理包括2个方面,一方面是图像的规范化调整,因为在实践中,由于各种因素的影响,很难保证在拍摄时相机和被拍摄者都处在自然的地位水平,容易造成面部照片有一定的倾斜,所以对照片进行处理之前,需要对其进行规范化调整,使2张照片头部处于自然水平状态,以确保正侧面照片上的同一特征点位于同一水平线上,从而可以得到统一的坐标。另一方面是图像的归一化处理,由于给定的人脸正侧面图像,往往难以确保拍摄距离的一致性,会导致面部及各面部器官大小不一的现象发生,因此在图像配准之前需要对图像进行归一化处理,从而确保坐标的协调统一,为图像的精确匹配奠定良好基础。2.2基于列特征的匹配算法图像配准是图像拼接的核心部分,它直接关系到图像拼接算法的成功率和执行速度。近些年来,许多图像配准算法被提出并实现,主要可分为2类:(1)基于特征的拼接算法。该算法利用图像明显的特征来估计图像之间的变换,在原始图像上提取边缘、区域、点等特征,再进行特征集的拼接。这类算法对图像畸变有较好适应性,但由于提取特征过程中损失了大量图像信息,配准的精确度和准确性受到影响。(2)基于区域的拼接算法。该算法利用2张图像像素值之间的相关性来寻找最佳匹配点。这类算法的研究比较成熟,易于实现且精度高,但计算量大,对图像畸变适应力弱。由于正、侧面照片都只在一定视角范围内给出较好的人脸纹理,单独利用正、侧面人脸照片对人脸模型进行映射都会丢失部分纹理信息,贴图效果不好,因此必须将它们融合为一张纹理图像。在图像匹配过程中,本文方法通过结合以上2种算法的优势来进行图像的精确匹配,具体步骤如下:(1)设经过预处理后的2幅图像分别为I1和I2,其中,I1为源图像;I2为目标图像。(2)由于在正侧面人脸图像中,耳朵、嘴巴、鼻子、眼睛是最明显的特征部位,因而可以采用基于列特征的匹配方法,通过像素导出图像特征,然后以图像特征为标准,对图像重叠部分的对应特征区域进行搜索匹配,实现图像的粗略匹配。(3)在经过粗略匹配的小区域范围内用灰度值方法的原理找到最佳匹配点,进行特征部位的精确匹配。在进行灰度值匹配时,首先从源图像I1中找到模板,该模板可以根据人脸图像的特征来定义,一般而言,要进行图像匹配,2幅图像有一定的重叠,选取源图像中的最大特征部位,使该部位尽可能被估计到重叠区域方位,这一点可以估计得到。通常要拼接的人脸图像有20%~50%的重叠区。如果按这一想法去选择模板,效果较好。然后在目标图像的匹配区域内选取比模板区域更大的区域为搜索区域,用模板在搜索区域中逐个像素扫描,以最大相似性准则找到模板上各特征点的最佳配准点,最后根据特征点和配准点之间的相对位置,通过图像间的平移变换完成图像之间的配准拼接。上述方法具有易于实现和精度高的优点,又大大减少了计算量,对人脸图像的拼接有很强的实用性。2.3拉普拉斯强化模型的二次融合经过拼接后的2张图像有明显的拼接缝隙,这是由前后2次拍摄过程中拍摄条件不同。为改善图像质量和视觉效果,需要对重叠区域图像采用图像融合方法。由于加权平均法具有算法简单、运算速度快的优点,因此成为最常用的一种融合策略。该算法的思想是将2幅图像对应的像素点乘以一个加权系数后再相加得到融合图像的像素值。对于源图像和拼接图像,通过融合后得到的图像为:其中,L,R分别表示源图像和目标图像的重叠区域,L∈I1,R∈I2;uf061为权值,取值范围为,uf061的值可以由重叠区域的像素点计算得到,uf061=s1/(s1+s2),s1为I1中重叠区域的所有像素和,s2为I2中重叠区域的所有像素和。采用加权平滑算法得到渐变融合图像虽然有效消除了明显的拼接缝隙,但融合后的图像还存在明显的明暗不均的现象,为消除拼接界限,达到使图像平滑过渡的目的,本文使用拉普拉斯金字塔方法对纹理图像进行二次融合处理,以达到最佳效果。具体实验步骤如下:(1)对原图像进行高斯塔形分解设原图像为G0,把G0作为塔形分解的最底层,然后以G0为基础依次向上构造各层金字塔。首先将L–1层图像GL–1和一个低通滤波窗口函数w(m,n)进行卷积运算,然后对卷积结果进行间隔采样,即:其中,0<L≤N,0≤i<CL,0≤j<RL;N为高斯金字塔顶层的层号;CL为高斯金字塔第L层图像的列数;RL为高斯金字塔第L层的行数;w(m,n)为5×5的窗口函数,其定义如下:为书写方便,引入缩小算子Reduce,则式(2)可以记为:这样,由G0,G1,…,GN合在一起就构成了具有N+1层的高斯金字塔。(2)根据图像的高斯金字塔构建图像的拉普拉斯金字塔先使用二元三次样条插值方法将GL进行内插放大,得到放大后的图像LG*,使LG*和GL-1具有相同的尺寸。引入放大算子Expand,即:与式(1)相对应,Expand算子定义为:Expand算子和Reduce算子是互逆的,虽然GL*与GL-1的尺寸相同,但它们并不相等。构造拉普拉斯金字塔如下:由LP0,LP1,…,LPN组成的金字塔即拉普拉斯金字塔,它的每层图像都是由高斯金字塔上的对应层图像与其上一层图像经过放大算子放大后图像之差获得,该过程相当于带通滤波。(3)由拉普拉斯金字塔重构原图像由式(7)可得:从拉普拉斯金字塔的最高层开始从上往下,按式(8)进行依次递推,能够得到其对应的高斯金字塔,并最终获得经过融合后的原图G0。经过再次融合后的图像明暗不均的现象基本上完全消除,实现了相邻图像重叠区域的均匀过渡和自然缝合,达到了满意的效果。3实例图像的拍摄为验证本文算法的效果和实时性,笔者进行了大量实验,由于篇幅有限,仅展示其中一个实例。该实例图像为笔者使用普通数码相机分别从正面和侧面不同的视角拍摄人脸图像,然后使用本文算法进行图像拼接,并与传统方法的结果进行对比。实验的硬件平台为IntelCore2/2.83GHz/2GB,软件环境是WindowsXP,VC++6.0,Matlab7.1。3.1全视角纹理图像的融合采用本文方法和传统方法分别对本文作者的正侧面人脸图像进行拼接,原图的分辨率为336×448像素。图1为经过预处理后的待拼接的正侧面人脸图像,根据人脸的对称性对侧面图像进行镜像映射,得到2张表情相同的侧面人脸图像,然后分别对正面照片和2张侧面图像进行拼接。图2为采用传统方法进行拼接后的全视角纹理图像,图3为使用本文改进方法拼接后的全视角纹理图像。可以看出,采用传统方法拼接得到的全视角纹理图像没有明显的拼接缝隙,但融合后的图像还是有明暗不均的现象。与传统方法相比,本文方法很好地解决了图像明暗不均的问题,实现了重叠区域平滑过渡,更符合人的视觉习惯,为下一步和纹理映射奠定了基础。3.2图像的行数及梯度图像针对2种不同的拼接方法,用分辨率和清晰度来评价图像的拼接效果,它们可以分别用拼接图像的标准差和平均梯度2个参数来衡量,2个参数的计算公式如下:其中,M,N分别表示图像的行数和列数;I为图像像素的均值;(35)Ix,(35)Iy分别为x与y方向的差分。标准差体现了图像空间分辨率大小,值越大表示图像的空间分辨率越好;平均梯度则体现了图像的清晰度,值越大表示图像越清晰。对正侧面人脸图像的原图像,以及在原图像的基础上用2种方法得到的拼接图像分别计算它们的标准差和梯度值,并以此为依据对图像的拼接效果进行客观评估。参数数值如表1所示。在图像的重叠区内,本文方法在标准差和平均梯度2个参数结果上都比传统方法要好,可见,本文方法的拼接效果优于传统方法。3.3匹配的精确度表2给出了分别用2种方法生成全视角人脸纹理图像的时间,该时间为从原始图像的获取到全视角纹理图像生成的时间。利用传统方法生成全视角人脸纹理图像时,由于特征折线的定义没有一个明确的标准,因此容易产生误匹配现象,本文方法结合了基于特征匹配算法和基于区域匹配算法的优点,首先利用基于特征的匹配算法找到匹配的大致区域,然后利用基于区域的匹配算法,对重叠区域进行精确匹配,从而减少了计算量,提高了匹配的精确程度。本文方法克服了传统算法的缺陷,提高了鲁棒性,其运算速度提高了近50%。综上所述,使用本文方法得到的全视角人脸纹理图像可以达到一定的要求,并且该方法较为简单、生成速度快、对外在条件要求不高,可以得到令人满意的生成效果。4