基于MEGI模型的三维人脸识别方法

1、第25卷第12期2008年12月计算机应用研究ApplicationResearchofComputers3Vol.25No.12Dec.2008基于MEGI模型的三维人脸识别方法刘晓宁,耿国华,王小凤,高原(西北大学信息科学与技术学院,西安710069)摘要:三维人脸识别是未来人脸识别的方向,有望解决二维人脸识别的瓶颈问题。基于MEGI模型,扩展了球面相关性系数,将其用于三维人脸识别。实验证明,基于MEGI模型的方法可以用于三维人脸识别。关键词:三维人脸识别;扩展高斯图;球面相关性系数中图分类号:TP391文献标志码:A文章编号:100123695(2008)12236742023Dface

2、recognitionbasedonMEGImodelLIUXiao2ning,GENGGuo2hua,WANGXiao2feng,GAOyuan(SchoolofInformationScience&Technology,NorthwestUniversity,Xian710069,China)Abstract:3Dfacerecognitionisthetendencyoffacerecognition,itwillsettlethebottleneckproblemof2Dfacerecognition.ThispaperproposedMEGImodelwiththeposit

3、ioninformationofeachsurface.Extendedsphericalcorrelationcoefficienttorecognizethe3DfacewithMEGImodel.Experimentalresultsshowthatthemethodperformswell.Keywords:3Dfacerecognition;MEGImodel;sphericalcorrelationcoefficient以2D图像作为输入的人脸识别方法的最大不足是方法较为脆弱。各种二维人脸识别方法在面临姿态、光照条件不同、的准确度和适用场合受到很大限制,态下会随时表现出来的。近些年

4、,1。这,但由于图像本身是二维的,其携带的信息量相对有限,建立一个鲁棒的人脸识别系统仍然是一个很困难的问题。同时,当前影响最大的人脸识别系统评测FVRT的最近一次评测结果表明,当前基于视频的人脸识别算法对系统性能的提高非常有限。而人脸3D数据则能直接给出人脸曲面的真实三维形状,不仅包括几何信息,甚至还可包括色彩信息。利用三维数据进行人脸识别,可以避免姿态、光照、表情等因素的影响,有望突破二维人脸识别的瓶颈。学术界最著名的人脸识别测试评估计划FERET的首席科学家P.J.Phillips在国际生物认证联盟大会上也重点指出:三维人脸识别是未来人脸识别的方向。到目前为止,关于3D人脸识别的文献仍然较

5、少2,3()上的一点,且满足对应1所示。对于一个凸物体,高斯,将球面分成等面积的小片,每一片赋予初值nk=0(k=1,N),N为高斯球上曲面片个数。对于深度图像上每一点,求出其单位法向量,若该法向量落在高斯球的第k个曲面片上,则nk=nk+1。最后,高斯球曲面片上的数值为三维物体上对应于该法线方向的点的个数。因此,GI可以惟一地表示一个凸物体。如果物体中包含一个平面,则平面上所有点均被映射至高斯球上的同一点。1扩展高斯图扩展高斯图(extendedGaussianimage,EGI)是Horn于1984年首次提出来的4,建立在高斯图像基础之上,主要用于表征三维物体的几何特征。基本思路是将三维模

6、型的每一个面片映射到一个高斯球上,向量的方向与网格面的法线方向相同,向量的模长正比于网格面的面积。EGI记录了面片法向落入全空间各个方向的多边形面积大小;EGI图像是物体的一个局部表示,计算方法简单。图2是一个立方体与其扩展高斯图。,且以外文居多。人脸面部是一个极其复杂的曲面,若将其作为一个整体进行配准识别,问题将变得非常复杂,同时各种获取设备也造成了人脸数据的不完整性。本文根据人脸的生理特点,将整个人脸分块,取特征集中的块构建扩展高斯图,并将只适用于凸区域的扩展高斯图扩展到了适合凸凹区域。Wong等人5采用了EGI来衡量人头模型的几何形状相扩展高斯图1三维物体的高斯图像三维物体的高斯图像(G

7、aussianimage,GI)是将物体表面似性;Kentaro等人6使用EGI来让机器人识别目标。1球面相关性系数为了度量两个三维物体的相似性,Fisher等人7提出了球面相关性系数用于度量两个向量之间的相似度。设X和Y分收稿日期:2008201215;修回日期:2008203229基金项目:国家自然科学基金资助项目(60573179)作者简介:刘晓宁(19782),女,博士,主要研究方向为图形图像与三维可视化技术(xnliu);耿国华(19552),女,教授,博导,主要研究方向为图形图像处理、可视化技术、人工智能;王小凤(19792),女,博士,主要研究方向为信息系统与人工智能;高原(19

8、752),女,博士,主要研究方向为信息系统与人工智能.第12期刘晓宁,等:基于MEGI模型的三维人脸识别方法3675别是一个m维的单位向量集合,X=X1,X2,Xm,Y=Y1,Y2,Ym,Xi与Yi相对应。两个向量的相关性矩阵定义为N=E(X×Yt)(1)其中:pi和qi分别代表三维人脸A和B中第i个三角面片的和是常量;法线向量;dq表示向量q的维数;、代表转置;d(i)代表向量集p中与qi相对应的向量的个数。m1取值为0,1,其详细定义参见文献7;m2体现了两个人脸的体积其中:E表示从m维向量中取n个的排列总和。相关性系数定义N归一化后的行列式作为相似性度量依据:=C×d

9、etE(X×Yt)=detE(X×Yt)/detE(X×Xt)detE(X×Yt)(2)和是常量,用来控制系数的行为,用来设置原始差异;、球面位置对相关性的影响,控制曲面面积不同造成的影响,控制两个物体之间体积差异造成的影响。m1的计算具有旋转不变性,m2是一个尺度值。因此,EC具有旋转不变性,加上EGI本身具有的平移不变性,此时,MEGI就具有了平移和旋转其中,C为常量。相关性系数满足以下性质:a)(X,Y)=(Y,X);b)-11;c)若向量X与向量Y独立,那么(X,Y)=0;d)Yi=HXi,H是正交矩阵,如果det(H)=1,那么(X,Y)=1;

10、e)当且仅当det(H)=1时,(HX,Y)=(X,Y)。这时,=C×Edet(X1,Xi+1)×det(Yi,Yi+n)/n!。不变性。1模型匹配两个人脸匹配,就意味着EC最大。计算EC首先要将用MEGI表示的两个人脸的向量(位置向量集和法向向量集)对应起来。先给出几个公式:abcCF=n1×n2×n31的缺陷虽然EGI包含了所有三维网格的信息,可以有效地表征一个三维模型的几何特征,但EGI有以下两个缺陷:a)对于不同的凸多面体,它们的EGI是惟一的,但是对于含有凹面的三维模型,它们的EGI却不能惟一。图3中的三个模型具有相同的扩展高斯图像。(8)(9

11、)n1=(XiYj/XiYj+1)/2n2=1-(|Xi-Yj|)/(maxkXk+maxkYk)(10)n3=(pj)+1)/2iqj/(pi(11)其中:Xi是i;pi和qj分别是对应XiYjn1,n2是数量度量因子,3;ab和c为控制参数。MEGI元素之间的对应关系,需要先选定一个标b)EGI只具有平移不变性,。,这样,其他网格面的位置向量就表示为与标准网格面中心的一个相对向量。因此,对应关系的确定不受物体中心平移的影响。在三维物体发生旋转变换时,的旋转。因此基于EGI。此外,由于EGI包含了网格面的面积和法线信息,它对三维模型噪声、网实验结果分析基于MEGI的人脸识别的步骤可大致分为三

12、步,即人脸网格分块均匀采样、构造各分块的MEGI和计算EC。鉴于数据来源不同,造成三维人脸的数据完整性也不同。另外,人脸的特征主要还是集中在如图4所示的中间区域,因此,将三维人脸作如图4所示的分割,其他区域暂不予考虑。为了验证本算法的有效性,本文用5个人脸作了初步实验。每个人脸数据来源于CT重构、三维扫描仪和二维照片重构,共计15套数据,实验结果如表1所示。由于CT重构和三维扫描仪获取数据的方式比较精确,表中只采用了CT重构和三维扫描仪的数据获取方式,二维照片重构出的数据误差较大,本文没有列出其匹配结果。从表中可以看出,同一人的扩展球面相关性最大,因此,用于三维物体识别的MEGI模型完全可以用

13、于复杂的三维人脸识别。格细分和网格简化的鲁棒性较差。基于1模型模型的人脸匹配在对图3研究后发现,如果能将模型中每个网格面的位置信息也提取出来,那么就能惟一地表达一个含有凸凹区域的三维物体了。为此,Matsuo等人8提出了一种MEGI模型。MEGI模型的表达式为M=(Xi,pi)|i0,1,2,m;Xi,piR3(3)其中:m表示MEGI中元素的个数,也就是三角面片的个数;Xi表示第i个三角面片的位置向量,即从物体质心指向三角面片中心的法向量;pi表示第i个三角面片的向量,与EGI中的定义相同,向量的长度与该三角面片的面积成正比。可以看出,MEGI模型加入了每个网格面中心的位置信息,因此MEGI

14、可以惟一表达各种凹凸多面体。1扩展的球面相关性系数为了能应用MEGI进行人脸识别,本文对式(2)进行扩展,称其为扩展的球面相关性系数,定义如下:EC=m1×m2m1=(detpiqi/ii(4)ipipidetqiqi+1)/2iid(i)(5)由于三维数据的获取远没有二维图像那么容易,本文的实验数据较少,也需获取更多的三维人脸数据进行进一步验证。三维人脸识别是一个极具挑战性的前沿方向。有望使得人脸识别真正走向实用化。(下转第3679页)m2=1/(|log(S)|+1)dq1-|pj-(qi/S)|/(pj-qi/S)id(i)(6)(7)S=q0/pjjd(0)第12期许海霞,等

15、:基于扩展摄像机成像模型的自标定方法3679章所描述的方法建立三个平面单应关系,而计算出的摄像机内参数为864.5533K=00-67.9525Hz=10.14330.12760.0002Hx=0.09400.4746-0.1812Hy=0.00030.024724.8278896.825028.7029172.58020.05500.00030.4035-0.02270.44970.0004-0.00080.68880.6756353.347.1509.378.1.000.0.1.0.的单应关系,达到从一幅图像获得三幅图像的信息,实现单幅图像标定。模拟实验和真实图像实验也验证了

16、本文方法的正确性和可行性。文中采用长方体进行实验验证,只要能在三个面上分别获取到有一定关系的四对点即可,因此本文工作具有一定的理论意义及实用价值。建立更为通用的三维体不同面与图像平面的单应关系,去除三维体三面正交约束,如在仿射坐标系、射影坐标系建立关系是本文下一步工作。致谢:向对本文的工作给予支持和建议的中国科学院自动化所的祝海江表示感谢!参考文献:1HARTLEYRI.Estimationofrelativecamerapositionsforuncalibrat2edcamerasC/Procofthe2ndEuropeanConferenceonComputerVision.London

17、:Springer2Verlag,1992:3872579.2MAYBANKSJ,FAUGERASOD.Atheoryofself2calibrationofamovingcameraJ.InternationalJournalofComputerVision,1992,8(2):1232151.3ZHANGZheng2you.AflexiblenewtechniqueforcameracalibrationJ.IEEETransonPatternAnalysisandMachineIntelligence,2000,22(11):133021334.4马颂得,张正友.计算机视觉计算理论与算法

18、基础M.北计算出的图像的三个单应矩阵分别为运动参数为-0.7039R=-0.20640.6797-0.0394-0.9437-0.3273-0.;T=0.4.京:科学出版社,2000.5祝海江,J.软件学报,为了进一步验证本算法的正确性和可行性,又对如图5所示大小为768×1024的真实图像进行标定并重建。在图5()中,图像中七个小方格标志是检测到的七个顶点,数的计算。其内参数结果如表1所示,5行对比。重建结果如图5(b(像三个面中央上分别取108,经计算,(b)(c)90°。由此可见,本思想是切实可行的。):6662675.2IXin2ju,WUFu2chao,etal.

19、Coplanarcircles,qua2invarianceandcalibrationJ.ImageandVisionCompu2ting,2006,24(4):3192326.7吴福朝,王光辉,胡占义.由矩形确定摄像机内参数与位置的线性方法J.软件学报,2003,14(3):7032712.8王年.一种求解摄像机内参数的非线性方法J.中国图象图形学报,2005,10(4):5052510.9祝海江.一种基于4对图像对应点的欧氏重建方法J.中国图象图形学报,2004,9(14):142121428.10HARTLEYR,ZISSERMANA.Multipleviewgeometryincom

20、putervi2sionM.Cambridge:CambridgeUniversityPress,2000:2002235.11HUZhan2yi,WUYi2hong,WUFu2chao,etal.Thenumberofinde2pendentKruppaconstraintsfromNviewsJ.JournalofComputerScienceandTechnology,2006,21(2):2092217.表1摄像机内参数定标结果图像标定本文单幅图像标定文献3三幅标定文献5三幅标定fufvu0v0s12HARTLEYR,ZISSERMANA.Multipleviewgeometryinc

21、omputervisionM.Cambridge:CambridgeUniversityPress,2000:2092212.13SEMPLEJG,KNEEBONEGT.AlgebraicprojectivegeometryM.London:OxfordUniversityPress,1952.14XULei,OJAE.Randomizedhoughtransform(RHT):basicmecha2nism,algorithms,andcomputationalcomplexitiesJ.CVGIP:Im2ageUnderstanding,1993,57(2):1312154.15孟晓桥,胡

22、占义.一种新的基于圆环点的摄像机自标定方法J.589.23365.26457.5362.07110.2382.352030.732249.781817.542123.642308.392003.49705.62468.84618.71结束语本文给出一种新的思维方式,提出采用扩展成像模型分析,在一幅图像中同时运用不同方向透视投影分析,建立不同方向(上接第3675页)软件学报,2002,13(5):9572965.Procofthe5thACMSIGMMInternationalWorkshoponMultimediaInformationRetrieval.NewYork:ACMPress,2003:942101.6KE