一种多视角眼镜虚拟试戴算法

一种多视角眼镜虚拟试戴算法

1系统仿真的背景与算法近年来，随着电子商务和互联网的快速发展，在线购物越来越受人们喜爱。各行业都积极将自身与互联网结合起来，作为互联网发展的重要组成部分。电子商务给人们带来了很多方便，但也存在无法满足的需求。例如，消费者想在网上看到货物的识别效果。由于难以满足，它对货物有不同的识别，大量的货物被迫退货和更换。这对个人和社会都是资源浪费。虚拟试验、复制和其他技术的出现弥补了这种分散的原材料购物中心的不足，并使在线购物和在线交易“真实”。如何真实性和多视角虚拟头盔戴布是这项研究的主要内容。目前已有一些眼镜试戴系统和研究,这些系统有其自身特点和局限性.如系统一本文通过对人眼瞳孔检测、瞳距突变的纠正以及提出一种估计人头姿态信息的方法,能精确地估计出头部姿态信息,在以上研究的基础上,提出一种基于特征检测的多视角眼镜试戴算法,实现逼真的眼镜虚拟试戴.该算法总体流程图如下页图1所示.2左右眼区域的选取和图像位置的拍摄人眼及瞳孔检测应用很广泛,如疲劳检测、视线跟踪、眼控鼠标等.目前人眼检测方法主要有三大类.基于模板匹配的方法人眼检测的Haar特征级联分类器方法,使用OpenCV计算机视觉库实现的接口.但实际对头部拍摄视频时,背景比较复杂和脸部其他区域的干扰,使得该方法获得较多人眼备选区域,通常5到10个,如图2所示,所以需在备选区域中挑选出正确的左右眼区域,然后进一步计算出瞳孔的位置.拍摄视频时,人与摄像头的距离是一个相对固定的值,且摄像头视框中有一个与脸型相似的区域,拍摄时需将人脸和该区域对准.因此,左右眼在整个图像中满足一定的约束,(1)总体上在一条水平线上;(2)瞳距(即两眼瞳孔的距离)是一个固定值,在头旋转过程中,成像瞳距(两眼在成像平面上的距离)在一个范围内变化,正面时成像瞳距最大,头转到最大角度时成像瞳距最小.使用如上约束对备选区域进行挑选,能选出正确的左右眼区域,如图3所示.计算左右眼区域的中心点作为左右眼瞳孔位置,如图4所示.3瞳距纠错算法在检测出瞳孔位置后,即可得对应成像瞳距.因此对图像序列处理后,将产生一个连续变化的成像瞳距序列.但由于人眼检测误差,有些图像的成像瞳距有误,导致整个序列并没有完全连续有规律的变化.对没有纳入规律变化的点,称其为突变点.图5是成像瞳距理想变化和有突变点的实际变化.由图5理想变化曲线可知,整个序列存在5个极值点,三个极大值和两个极小值,而相邻极值间的序列是单调变化的,因此可用该性质对突变点进行纠错,让瞳距的变化尽可能接近理想变化.记Z为任一序列,first(Z)为序列Z的第一个元素,last(Z)为序列Z的最后一个元素,|Z|为序列Z的元素个数.设X={x算法伪代码如下:输入:待纠错瞳距序列X输出:纠错之后的瞳距序列X经上述算法后,成像瞳距序列在总体上趋近理想变化,能有效纠正由人眼检测引起的成像瞳距错误,使序列呈现出平滑性.4消毒头的姿态为实现逼真的多视角眼镜试戴,头部姿态信息是关键,头部姿态信息描述包括左右旋转、前后旋转、水平旋转三个自由度4.1旋转角后对应的点为检测水平自由度信息,从头顶上观察头部和摄像机的空间关系及投影关系,能很好的反映头部的水平旋转.通过观察和分析建立头部姿态检测模型,如图6所示.该模型中以N点为圆心r为半径的圆表示头部;AD所在线为成像平面;O为摄像机光心;f为焦距;E点和G点为头部正对摄像机时人眼所在位置;F点和H点分别是E点和G点旋转θ角后对应的点;A、B、C、D分别为E、F、G、H的透视投影点.由图中坐标位置关系可得E点和G点坐标如下:平面中一个点绕定点N(0,d)旋转θ角的齐次坐标旋转变换矩阵R如下:用该旋转变换矩阵R分别乘以E点和G点的齐次坐标,可得到F点和H点坐标如下:检测出人眼瞳孔位置后,可得AC和BD的长度,即成像瞳距,因此需将AC、BD和旋转角θ建立关系.由E点、G点与A点、C点的透视投影关系可得如下关系式:由(4)式可将p(实际瞳距)表示为式(5),即表示为焦距、正面成像瞳距和头部半径,以及头部与摄像机距离的函数.由F点、H点与B点、D点的透视投影关系可得如下关系式:将F点、H点坐标带入方程(6),化简可得方程(7).对(7)式进行求解,得到头部旋转角度θ与各相关量函数关系式如下:其中头部半径r以及头部与摄像机的距离d是相对稳定的常数,v由前两节求出,m由(4)(5)式求出,摄像机内部参数亦为常数,因此使用如上关系式和相关参量,可对头部水平旋转角度进行精确快速求解.4.2正面成像瞳距估计拍摄图像序列是从人头正面开始,若检测出的成像瞳距都是精确的,则第一帧的成像瞳距即可作为正面成像瞳距(即图6中u).显然成像瞳距存在误差,不能简单用第一帧的成像瞳距作为正面成像瞳距,需用更加稳定且误差更小的方法估计,因此提出双重均值法来估计u.首先,该方法在图像序列的开始几帧计算一个平均值k为第一次均值时图像帧数,一般3到5帧为宜,v5实验对象及环境实验中眼镜图像均为相机从多个角度拍摄而来,拍摄角度可密可疏,角度范围一般在30°~150°内,人头转动应在此范围,角度过大会导致一只眼睛在图像中消失,使人眼检测必然失败.视线看向左为0°,看向右为180°.然后对不同角度的眼镜图像进行截取、背景祛除、瞳孔位置标记预处理.对头部图像序列各种信息检测结束后,用眼镜图像进行合成.根据头部图像左眼瞳孔位置和眼镜图像左眼瞳孔位置进行对齐,然后使用眼睛和眼镜的成像瞳距比例进行适当缩放,对每一帧处理后,得到多视角虚拟试戴的图像序列.本文算法实验环境如下:CPU为Intel(R)Core(TM)i7-47903.6GHz,内存为12GB,Win8.1操作系统,编程语言C/C++,VisualStdio2013集成开发环境,OpenCV2.4.9库.5.1理想曲线的误差为测试上述姿态估计算法的精确性,对图像序列分别用文献从图7可知,当人脸接近90°时(即正面),线性与非线性方法与理想曲线的误差不大,但当角度小于60°和大于120°时,线性方法的误差比较大.文献5.2戴环境测试分别用本文眼镜试戴算法和文献6确定突变点和试戴效果本文通过对人眼检测、连续成像瞳距纠错及人头姿态估计的研究,提出人眼位置的精确挑选,突变瞳距的纠正算法,及头部水平姿态精确估计方法,综合以上研究,提出一种多视角眼镜试戴算法.实验表明人头姿态估计精确,虚拟试戴效果逼真,能多视角展示且具有很好的动态效果,因不用计算量大的图形学操作速度较快,能较好满足当前眼镜虚拟试戴需求,对减少网上购物的商品认识偏差有积极作用,因此具有较大应用价值.当前在虚拟试穿试戴领域研究较少,正需投入大量研究,下一步工作将集中在如下两方面,改善人眼特征提取精度,进一步降低人眼瞳孔检测误差及进一步提高算法鲁棒性.若能在如上两方面得到进一步改进,必将对眼镜行业产生重大深远影响.1.计算X序列的五个极值点,三个极大值A、C、E,两个极小值B、D.1.1.分别使用first,last,before,back操作确定极大值A、E.1.2.使用localmax操作确定极大值C.1.3.使用localmin操作确定极小值B、D.2.五个极值点将X序列分为4段,第1段和第3段为非递增,第2段和第4段为非递减,然后在每一段内查找突变点,对每一段做如下操作.2.1.计算该段内的最长非递增或非递减序列,记该序列为Y.2.2.将不属于Y中的元素标记为该段中的突变点.2.3.将突变点进行线性纠正,令被纠正的帧为F针对不同背景和性别下的试戴效果,分别拍摄多个图像序列进行试验,并对试戴效果进行分析统计,结果如表1所示.视频背景分为简单背景和复杂背景,复杂背景指拍摄时有人走动或驻留,简单背景则无,复杂背景图像可能会存在多对眼睛.视频分为表1中前4个类型,后四行为汇总,星号表示取所有值,每个类型均实验多个图像序列.从表中可看出,不同背景中效果好的帧比例差为5.33%,不同性别中效果好的帧比例差仅0.8%,差值小说明本文算法在不同情况下具有稳定性.虽然复杂背景对瞳孔检测影响较大,但本文第二节针对备选区域进行了精确挑选,因此能很好的屏蔽备选区域增多的干扰;不同性别可能引起一些参数的微小差别,如头部半径,但对试戴效果的影响很小.在效果展示时,需要进行过滤,只显示效果好的和效果较好的.所有实验视频中,效果较好和效果好的帧平均占总帧数的40%以上,这个比例足以使试戴效果具有连贯性.文献[15]涉及多种三维建模操作,如三维人脸合成、纹理映射等,且有些步骤需手工