_20200909_124635作品介绍

1、菁英计划QFACE作品介绍Team：Q your worldOURIDEAL-来自论文【Deformation Transfer for Triangle Meshes】我们想做十分有趣的Q脸动画软件，通过人脸表情捕捉与动画去机智逼真地模仿，使得虚拟人物有了人类丰富多样的表情，传达内心情感。为了使数字对象表情传神逼真并与相应人脸表情保持一致，通常的想法是基于“建立人脸模型和人脸表情库”来进行实时动画，无奈数据预处理过于复杂，我们想用基于机器学习的思想去简化这些问题，仅仅通过普通摄像头和单幅图像，做简单的数据预处理后处理实时较鲁棒的表情动画。我们 usMentor：Prof.刘利刚Leader：

2、宋果鲜（12级计算数学）Menbers：YoungbutEnergic杜冬（研一计算机图形学） 周恒宇（12级信息安全）概念 Ideal背景：通过简单的设备传达虚拟人物的感情2009 年，一部名为阿凡达的美国科幻史诗式电影给全世界人民带来了一场视觉盛宴，表情丰富传神的纳威人向世人展示了表情捕捉技术的神奇。目前，表情捕捉、动画已经逐步应用到3D 动画、游戏、虚拟影视中，它通过人体机能和数字性艺术的完美结合， 将作品中角色的内心情感真实地还原于观众、玩家面前；是神奇的人物情感传达方式，应用市场广阔。我们想推广这样的技术，使得每个人都能模仿出自己想要的样子。概念 Ideal目标用户和市场：Make

3、it alive面向爱折腾喜欢模仿的年轻人，市场是电脑或手机应用市场或者动漫周边。特色是简单的通过摄像头获取数据，就能完成驱动的目的。目前的市场利用人脸识别和特诊检测技术一般用于安全或者xbox上，便携式设备还没有通过人脸进行游戏控制的游戏。我们想如果在一台普通的笔记本或者手机上可以完成利用自己脸部表情或者动作去控制人物，这会不会是多么cool的一件事。娱乐性EntertainmentRealtime Animation实时人脸驱动：用户会惊讶的发现自己电脑变得聪明了，自己脸被如此快而准确的识别出来。因为我们想要达到实时的目的，对于不同部分采用较为鲁棒的学习算法。它可以准确的实时识别人脸的87

4、个特征点，同时三角网格化人脸达到方便驱动的目的。娱乐性 Entertainment一起动：在载入好模板后，屏幕上的原本枯燥人物变得生动起来，它能随着你歪脖而歪脖，眨眼而眨眼， 甚至还能和你一起做鬼脸。active娱乐性 EntertainmentFun with Friends偷梁换柱：身边的靓女靓男们，快把你的脸借我用用简单的一拍照，我们的程序能自动生成Ta的脸的模板和贴图，剩下咱们就为所欲为吧，哈哈。什么！不愿意拍照，那我就用你的照片在摄像头一晃，反正咱程序是实时自动识别。娱乐性 Entertainment多样化：我们有设计了不少的模板，方便用户使用和测试。有Tom猫，龙猫，狮子，熊猫，乔

5、巴，纳威人等等。驱动模块设计了不同的驱动方式，可以通过笔记本，kinect摄像头驱动。Alterable Option娱乐性 EntertainmentDIY：我喜欢的人物你们都没模板啊，怎么办？别怕！我们设计了用户DIY模板的功能。这样你就可以自己设计喜欢的模板了。可以拖动网格点，增加特征点功能。Make it Own可行性Feasibility解决方案与算法：Design & algorithm1.人脸检测和跟踪：基于Adaboost的方法&CamShift算法2.人脸特征点检测算法：AAM建模和拟合3. 三角剖分：Delaunay 三角剖分4. 网格同步：Meshes Deformati

6、on可行性PC& Kinect ConfigurationFeasibility1、视频图像采集设备：笔记本普通摄像头和kinect1.0摄像头2、CPU：I7-47003、内存：8.00GB4、硬盘：750GB5、操作系统：Win8.1 64位6、库： 以Qt 为开发平台，在Visual Studio 2013（v100）编程环境下，辅助OpenCV、OpenGL、OpenMesh、Triangle、kinectSDKv1.8和Eigen开发源库. 其中：Qt为5.3msvs2010_opengl(x86);Opencv-2.4.8; Eigen3.x; OpenMesh3.2; Kinec

7、t SDKv1.8;Vec.h(Szymon Rusinkiewicz Princeton University)测试体会Test Feeling该软件在笔者电脑（编译环境）上运行 良好，其他windows电脑上也均能运行。人脸识别追踪：可以进行实时人脸追踪识别，请注意光线问题。因为训练集采用灰度的图像，对光线比较敏感。建议使用软件时候，背景颜色不宜和肤色贴近。网格变形：我们采用第一帧作为标准脸，所以对于第一帧建议端正人脸，或者采用Tape AVI模式，实时调整好标准脸。正常做动作，否则矩阵会求解失败。反应速度：我们使用了预分解矩阵，识别和反应速度可以达到一秒30 帧的水平。特别处理Speci

8、al Process该软件主要分为人脸特征点实时检测、脸部三角网格生成、网格读取显示、基于网格的变形变换模块。1加速处理：通过将分解后的结果应用到每次的矩阵求解中，大大减少矩阵求解时间，从而提高软件的实时性。2放大眼部变形效果处理：当表情快速变化时会导致某些部位特征点检测不准，我们可以通过计算变形程度放大变形效果，并尝试设定阈值，结果效果良好。3特征点检测异常的处理：模拟动画完全失败，原因是这种情况下特征点检测失败，或者矩阵求解失败。解决方案是基于先验知识给出判断条件。4特诊点抖动的处理： 因为我们AAM算法中本身训练集的问题，在检测的过程中，人脸的特征点会在一个很小的领域内做幅度很小的抖动。

9、我们采用设置阈值寻找减少抖动。5极限位置的处理：因为我们发现在脸转过大约40度左右，人脸检测和跟踪十分困难在中途的时刻，三角网格按照我们的数学模型会出现扭曲，所以我们对每次目标网格点移动的距离进行跟踪，设立阈值。正在处理On Process鉴于时间不足就需要上交我们的项目，我们在如下写下，我们接下来需要开发的事情。1 UI设计：我发现利用kinect会得到更好的交互，于是我写入了kinect的接口，并且成功将有笔记本的摄像头换成kinect的摄像头（彩色），然后接入深度的信息。下一步，打算加入手势识别控制，使用户不用键盘去控制；加入人脸的远近，不用使用鼠标的滚能，就可以实现放大；最后， 有了深度数据，可以减少AAM算法中抖动的问题。2 解决问题：1. 丢失3D的信息情况;2.眼部特征点变化小，放大处理后，变形变得十分敏感;3.环境光照变化方面(训练集都是采取灰度图像）.3 Windows phone平台：我发现这样的应用在手机上会得到更加广阔的空间。因为可以模拟朋友的脸的功能，这里需要考虑到的是，手机内存，手机的处理能力，各类库和类封装和我们采用的算法复杂度的问题。我很期待。致谢 Thanks 感谢我们的指导老师中国科学技术大学数学院刘利刚教授，一直从14年08月至今对我的图像视频处理，3D建模，3D打印等等领域经行专业知识和技能的培训。在这次项目从宏观结构框架及细节