魔术眼镜从2D到3D.pptx

1、魔术眼镜：从2D到3D,摘要,本文提出了一个由2D互联网人脸图像中的眼镜实现虚拟的3D眼镜试戴系统。本系统的主要的技术挑战是从2D人脸的眼镜自动重建3D眼镜模型。,一、综述,人体虚拟试穿是一个最重要的增强现实的应用。 虚拟试戴眼镜 在现有的试戴系统-预定义的数据库 互联网图片的眼镜,第二部分回顾了现有的基于单一图像的三维重建方法。 第三节介绍了我们的系统概述。 第四、第五、第六条将提供我们的系统在图像提取、三维变形和虚拟试穿等方面的技术细节。 第七节实验结果和讨论在提出。 第八节总结的文件，并讨论未来的工作。,2相关工作,1. 虚拟眼镜试戴之前的研究工作 2. 提取人脸图像感兴趣区域 系统采用

2、了卷积神经网络的合成数据进行训练的分类，首先在像素级得到粗糙的标签，然后将分类结果纳入我们的水平集能量函数的边缘信息，并获得满意的最终结果。 3. 从二维图像重建三维模型 系统利用二维图像的几何形状，直接指导三维模板的变形，从而可以得到视觉上可以接受的三维模型，包括分割步骤和变形步骤。,3系统概述,系统的输入是一个眼镜架的正面人脸图像。其输出是一个重建的可以放在用户的脸上3D眼镜模型。,过程,第一个模块是2D眼镜提取，从人脸图像中提取干净的2D眼镜形状。 提出了一个粗糙卷及神经网络分类，迭代级集分割进行细化。我们将三维重建问题转换为模板变形问题，简化了计算，但产生了良好的结果。 最后一个模块是

3、三维虚拟尝试，这是建立在我们以前的工作基础上。该模块将重建的三维眼镜放到用户的脸上，并演示了重建的输出。在用户查看系统是一个软件并且在电脑上配备Kinect摄像头。,四、2D眼镜提取,1.利用像素的卷积神经网络分类器来大致确定是眼镜的边界 利用1000无遮挡的正面人脸图像，由著名的FERET数据库。同时， 200个戴眼镜的图像。这些图像的眼镜是用纯背景干净，这样很容易得到相应的轮廓形状的面具，面部图像通过两只眼睛的位置校准，眼镜的图像通过它的最左上点和最右上点的位置进行校准。,2.按水平集细化分割,(1)基于边界的卷积神经网络优先的有效轮廓模型的生成，眼镜的框架可以看作三个轮廓的组合：两内轮廓

4、和外轮廓。 (2)对称性估计 内轮廓，左右两边的轮廓是对称的，而对于外轮廓，左右部分是对称的。,(3)内、外轮廓提取的细节 内轮廓相对于外轮廓通常有相对较少的杂乱区域： 使用公式6来扩张眼镜的轮廓和适合眼镜内轮廓。 外轮廓的情况更为复杂，通常是与眉毛，头发等，为了减少这些干扰，初始轮廓由内轮廓的扩张后生成。然后采用经典的扩展水平集算法。 先扩张 再收缩,三维模型重建,1.首先进行模型检索，从候选模型找到最合适的模型。 2.二维操作点的选择 3.二维图像三维模型变形 受几何校正技术的启发，提出了一种通过优化后的目标函数的点对点的模型变形算法 4.纹理映射,六、虚拟眼镜试戴,1.面部跟踪 基于主动

5、外观模型（AAM）的人脸跟踪系统，可以得到头平移和旋转。 2.阻塞求解 不同于基于特征点或三维重建的方法，在补偿过程中我们添加了一个透明的通用人脸模型Candide-3解决遮挡问题。,七.仿真结果与讨论,人脸合成过程中使用了FERET数据库1000人脸数据。我们还创建了一个2D眼镜的二进制图像形状数据库，包括合成步骤中187个眼镜形状。正面人脸图像和三维模板模型是在在互联网上搜索得到的。,1.眼镜提取的结果 卷积神经网络的分析方法，给出了一个相当粗略的猜测眼镜地区。 经过水平集的细化，我们可以轮廓光滑，自然的图片。 利用人脸数据库和眼镜数据库，同时充分利用图像边缘信息和对称性信息。因此，提取的

6、眼镜的形状更加自然和完整。,2.三维变形的结果,有2个主要的影响因素：一个是输入的轮廓与模板的二维投影（可在模型检索阶段）的相似性，另一个是模板模型的顶点分布。模板A有一个均匀分布的顶点并且帧之间的连接更顺畅，所以变形结果通常更有利。,3.虚拟试穿的结果 图13：三维变形结果及相应的虚拟试验结果。第一行显示输入的人脸图像与眼镜。第二行显示的轮廓图像扭曲的三维模板的投影。第三行显示处理点模板模型和提取轮廓。第四行显示变形后的三维模型。最后一行显示在3det系统中试戴的结果。所有这些变形的模型都是由模板生成的。,结论,我们的系统提供了3D眼镜从一个单一的图像生成系统重建虚拟试戴模型的新的解决方案。提出一个基于只有几个有限的模板的有效