【CN109961496A】表情驱动方法及表情驱动装置【专利】

1、 (19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 CN 109961496 A(43)申请公布日 2019.07.02(21)申请号 201910136815.5(22)申请日 2019.02.22(71)申请人 厦门美图之家科技有限公司地址 361000 福建省厦门市火炬高新区软件园华讯楼C区B1F-089(72)发明人 唐德胡伟伦吕仰铭张伟李志阳(74)专利代理机构 北京超凡志成知识产权代理事务所(普通合伙) 11371代理人 王思楠(51)Int.Cl.G06T 13/40(2011.01)权利要求书2页 说明书8页 附图5页(54)发明名称表情驱动方法及表情

2、驱动装置(57)摘要本发明提供一种表情驱动方法及表情驱动装置，涉及软件技术领域。该表情驱动方法包括：捕获用户的表情图像；根据无表情人脸模型和有表情人脸模型的映射关系，确定表情图像中用户的表情变化；根据用户的表情变化，驱动目标动画模型生成动画表情。实现了表情复制与驱动，得到一种实用性好且鲁棒性强的表情驱动方案。A694169901NC 权利要求书CN 109961496 A1/2 页1.一种表情驱动方法，其特征在于，所述表情驱动方法的步骤包括：捕获用户的表情图像；根据无表情人脸模型和有表情人脸模型的映射关系，确定所述表情图像中用户的表情变化；根据所述用户的表情变化，驱动目标动画模型生成动画表情。

3、2.如权利要求1所述的表情驱动方法，其特征在于，所述方法还包括：根据表情图像，建立所述无表情人脸模型、以及所述有表情人脸模型。3.如权利要求2所述的表情驱动方法，其特征在于，所述根据表情图像，建立所述无表情人脸模型、以及所述有表情人脸模型，包括：在基础人脸模型上绑定预设个数的骨架；对每个绑定的所述骨架设置预设的权重，得到更新的基础人脸模型；根据更新的基础人脸模型、脸型参数、表情参数、用户的表情图像，并采用预设算法计算获取所述无表情人脸模型、以及所述有表情人脸模型。4.如权利要求3所述的表情驱动方法，其特征在于，所述根据表情图像，建立所述无表情人脸模型、以及所述有表情人脸模型之后，还包括：根据每

4、个所述骨架的变换矩阵，建立所述无表情人脸模型和所述有表情人脸模型之间的映射关系，其中，所述变换矩阵用于指示骨架的运动状态。5.如权利要求4所述的表情驱动方法，其特征在于，所述方法还包括：为目标动画模型绑定所述预设个数的骨架；根据所述骨架的变换矩阵，为所述目标动画模型绑定的骨架赋予相同的变换矩阵。6.如权利要求4或5所述的表情驱动方法，其特征在于，所述根据每个所述骨架的变换矩阵，建立所述无表情人脸模型和所述有表情人脸模型之间的映射关系之后，还包括：根据所述无表情人脸模型中的顶点、所述有表情人脸模型中的顶点、每个所述骨架将顶点变换到局部坐标的坐标矩阵、以及每个所述骨架的权重，对每个所述骨架的变换矩

5、阵进行优化，得到每个所述骨架的优化后变换矩阵。7.一种表情驱动装置，其特征在于，包括：图像捕捉模块，用于捕捉用户的表情图像；计算模块，用于根据无表情人脸模型和有表情人脸模型的映射关系， 确定所述表情图像中用户的表情变化；驱动模块，用于根据所述用户的表情变化，驱动目标动画模型生成动画表情。8.如权利要求7所述的表情驱动装置，其特征在于，还包括：模型生成模块；所述模型生成模块，用于根据表情图像，建立所述无表情人脸模型、以及所述有表情人脸模型。9.如权利要求8所述的表情驱动装置，其特征在于，所述模型生成模块，具体用于在基础人脸上绑定预设个数的骨架，并对每个绑定的所述骨架设置预设的权重，得到更新的基础

6、人脸模型；根据更新的基础人脸模型、脸型参数、表情参数生成所述无表情人脸模型、以及所述无表情人脸模型。10.如权利要求9所述的表情驱动装置，其特征在于，所述计算模块，还用于根据每个所述骨架的变换矩阵，建立所述无表情人脸模型和所述有表情人脸模型之间的映射关系， 其2 权利要求书CN 109961496 A2/2 页中，所述变换矩阵用于指示骨架的运动状态。11.如权利要求10所述的表情驱动装置，其特征在于，还包括：动画模块；所述动画模块，用于为所述目标动画模型绑定所述预设个数的骨架； 根据所述骨架的变换矩阵，为所述目标动画模型绑定的骨架赋予相同的变换矩阵。12.如权利要求11所述的表情驱动装置，其特

7、征在于，所述计算模块，还用于根据所述无表情人脸模型中的顶点、所述有表情人脸模型中的顶点、每个所述骨架将顶点变换到局部坐标的坐标矩阵、以及每个所述骨架的权重，对每个所述骨架的变换矩阵进行优化，得到每个所述骨架的优化后变换矩阵。3 说明书CN 109961496 A1/8 页表情驱动方法及表情驱动装置技术领域0001 本发明涉及软件技术领域，具体而言，涉及一种表情驱动方法及表情驱动装置。背景技术0002 表情驱动是时下一种流行的应用，该技术通过摄像头来捕获用户当前的表情，再将这个表情通过算法映射到被驱动的模型，使得被驱动模型具有与用户一样的表情，并生成一系列有表情的卡通动画。0003 现有技术中，

8、表情映射是要找到当前用户无表情脸到有表情脸的一个映射关系，再将这个映射关系应用到目标模型。但是现有技术还不能很好的复制呈现表情中一些细微变化。发明内容0004 本发明的目的在于，针对上述现有技术中的不足，提供一种表情驱动方法及表情驱动装置，以解决现有技术中，将五官表情复制出来的方法实用性差，鲁棒性不强的问题。0005 为实现上述目的，本发明实施例采用的技术方案如下：0006 第一方面，本发明实施例提供了一种表情驱动方法，表情驱动方法的步骤包括：0007 捕获用户的表情图像；0008 根据无表情人脸模型和有表情人脸模型的映射关系，确定表情图像中用户的表情变化；0009 根据用户的表情变化，驱动目

9、标动画模型生成动画表情。0010 进一步地，该方法还包括：0011 根据表情图像，建立无表情人脸模型、以及有表情人脸模型。0012 进一步地，根据表情图像，建立无表情人脸模型、以及有表情人脸模型，包括：0013 在基础人脸模型上绑定预设个数的骨架；0014 对每个绑定的骨架设置预设的权重，得到更新的基础人脸模型；0015 根据更新的基础人脸模型、脸型参数、表情参数、用户的表情图像，并采用预设算法计算获取无表情人脸模型、以及有表情人脸模型。0016 进一步地，根据表情图像，建立无表情人脸模型、以及有表情人脸模型之后，还包括：0017 根据每个骨架的变换矩阵，建立无表情人脸模型和有表情人脸模型之间

10、的映射关系，其中，变换矩阵用于指示骨架的运动状态。0018 进一步地，该方法还包括：0019 为目标动画模型绑定预设个数的骨架；0020 根据骨架的变换矩阵，为目标动画模型绑定的骨架赋予相同的变换矩阵。0021 进一步地，根据每个骨架的变换矩阵，建立无表情人脸模型和有表情人脸模型之间的映射关系之前，还包括：4 说明书CN 109961496 A2/8 页0022 根据无表情人脸模型中的顶点、有表情人脸模型中的顶点、每个骨架将顶点变换到局部坐标的坐标矩阵、以及每个骨架的权重，对每个骨架的变换矩阵进行优化，得到每个骨架的优化后变换矩阵。0023 第二方面，本发明实施例还提供了一种表情驱动装置，包括

11、：0024 图像捕捉模块，用于捕捉用户的表情图像；0025 计算模块，用于根据无表情人脸模型和有表情人脸模型的映射关系， 确定表情图像中用户的表情变化；0026 驱动模块，用于根据用户的表情变化，驱动目标动画模型生成动画表情。0027 进一步地，该装置还包括：模型生成模块；0028 模型生成模块，用于根据表情图像，建立无表情人脸模型、以及有表情人脸模型。0029 进一步地，模型生成模块具体用于在基础人脸上绑定预设个数的骨架， 并对每个绑定的骨架设置预设的权重，得到更新的基础人脸模型；根据更新的基础人脸模型、脸型参数、表情参数生成无表情人脸模型、以及无表情人脸模型。0030 进一步地，计算模块还

12、用于根据每个骨架的变换矩阵，建立无表情人脸模型和有表情人脸模型之间的映射关系，其中，变换矩阵用于指示骨架的运动状态。0031 进一步地，该装置还包括：动画模块；0032 动画模块用于为目标动画模型绑定预设个数的骨架；根据骨架的变换矩阵，为目标动画模型绑定的骨架赋予相同的变换矩阵。0033 进一步地，计算模块还用于根据无表情人脸模型中的顶点、有表情人脸模型中的顶点、每个骨架将顶点变换到局部坐标的坐标矩阵、以及每个骨架的权重，对每个骨架的变换矩阵进行优化，得到每个骨架的优化后变换矩阵。0034 本发明的有益效果是：捕获用户的表情图像；根据无表情人脸模型和有表情人脸模型的映射关系，确定所述表情图像中

13、用户的表情变化；根据所述用户的表情变化，驱动目标动画模型生成动画表情。实现了采用无表情人脸模型和有表情人脸模型来比对确定用户的表情变化，进而生成动画，完成表情复制与驱动，可以获取更细微的表情变化，且实用性和鲁棒性都得到提升。附图说明0035 为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。0036 图1为本申请一实施例提供的表情驱动方法流程示意图；0037 图2为本申请另一实施例提供的表情

14、驱动方法流程示意图；0038 图3为本申请另一实施例提供的表情动画驱动方法流程示意图；0039 图4为本申请一实施例中提供的表情驱动方法流程示意图；0040 图5为本申请一实施例提供的表情驱动装置模块示意图；0041 图6为本申请另一实施例提供的表情驱动装置模块示意图；0042 图7为本申请另一实施例提供的表情驱动装置模块示意图；5 说明书CN 109961496 A3/8 页0043 图8为本申请一实施例提供的表情驱动装置结构示意图。具体实施方式0044 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描

15、述的实施例是本发明一部分实施例，而不是全部的实施例。0045 本申请为了可以更细微的捕获表情变化，以驱动动画的表情更接近的复制用户的表情变化，提出一种表情驱动方法。该方法的执行主体可以是终端，例如手机、平板电脑、笔记本、穿戴设备等，也可以是服务器侧，本申请不作限制。0046 图1为本申请一实施例提供的表情驱动方法流程示意图。0047 如图1所示，该方法包括：0048 S101、捕获用户的表情图像。0049 其中，捕获的用户表情图像可以是静态图像。例如，使用手机摄像头获取用户的表情帧图像，或者使用已有的照片作为表情图像等。同时，捕获的用户表情图像也可以是动态图像。例如，使用一段包括用户表情的视频

16、，或者使用摄像头实时捕获动态图像等。0050 S102、根据无表情人脸模型和有表情人脸模型的映射关系，确定表情图像中用户的表情变化。0051 在本申请实施例中，可以通过在无表情人脸模型和有表情人脸模型算得无表情人脸模型变换到有表情人脸模型时，两个模型之间对应的变换关系，从而确定映射关系。该映射关系用来表征从无表情人脸模型变换到有表情人脸模型时人脸模型变换的参数。0052 S103、根据用户的表情变化，驱动目标动画模型生成动画表情。0053 在本申请实施例中，将所得到的映射关系赋予目标动画模型，生成可以根据用户表情变化同步驱动变化的动画表情，该动画表情的存在形式有多种。例如，可以是生成一段视频或

17、者一张动态图片，也可以是实时展示等，其存在形式不做具体限制。0054 本实施例中，捕获用户的表情图像并根据无表情人脸模型和有表情人脸模型的映射关系，确定所述表情图像中用户的表情变化；根据所述用户的表情变化，驱动目标动画模型生成动画表情。实现了采用无表情人脸模型和有表情人脸模型来比对确定用户的表情变化，进而生成动画，完成表情复制与驱动，可以获取更细微的表情变化，且实用性和鲁棒性都得到提升。0055 另外，本申请实施例中，还需要根据捕获的用户表情图像，建立无表情人脸模型、以及有表情人脸模型。0056 在本申请实施例中，可以使用3DMM(3 Dimensions Morphable Model，三维

18、形变模型)作为捕获用户表情图像和建立人脸模型的方法，3DMM的基本公式为：00570058 其中，M为建立的人脸模型，meanEF为3D平均脸，平均脸也称中性脸，是对大量的3D人脸数据求平均值得到的；f (i1，.，n)是n个3D脸型基，3D脸型基为3D脸型数据线性空i间中的基本组件，使用脸型基的线性组合可以表征3D脸型数据线性空间中的任何一个3D脸6 说明书CN 109961496 A4/8 页型；e (i1，.，m)是m个3D表情基，3D表情基为3D表情数据线性空间中的基本组件，使用i表情基的线性组合可以表征3D表情数据线性空间中的任何一个表情；a 、b 则是对应的拟合ii系数，通过最小二

19、乘法求得。0059 图2为本申请另一实施例提供的表情驱动方法流程示意图。本实施例中示出上述无表情人脸模型、有表情人脸模型的建立过程。0060 如图2所示，该方法包括：0061 S201、在基础人脸模型上绑定预设个数的骨架。0062 基础人脸模型指的是上述3DMM中的meanEF，在一种实现方式中，预设个数为33个，即为3D平均脸绑定33个骨架。0063 可选的，上述33个骨架的分布为：0064 眼睛：上眼皮下眼皮以及左右眼角各1个，左右眼睛加起来共8个骨架。0065 眼球：左右眼球中心各1个，共2个骨架。0066 眉毛：左右眉毛各均匀分布3个，共6个骨架。0067 鼻子：鼻尖和鼻梁各一个，共2

20、个骨架。0068 嘴巴：上嘴唇下嘴唇以及左右嘴角各1个，共4个骨架。0069 牙齿：上下牙各1个，共2个骨架。0070 脸颊：左右脸颊各均匀分布两个，共4个骨架。0071 头部：根节点一个(脖子以下)，脖子上一个，头顶一个，下额一个，下巴一个，共5个骨架。0072 可选的，在本申请实施例中，设置了33个骨架，但是骨架的个数可以根据设计的实际情况增加或者减少。例如，设置为20个、30个、40个等，在此不做具体限制，以设计时所需的骨架个数为准。0073 S202、对每个绑定的骨架设置预设的权重，得到更新的基础人脸模型。0074 在本申请实施例中，在骨架绑定好后，对每个绑定好的骨架刷入预设的权重，并

21、将绑定好骨架、刷好权重的更新的基础人脸模型作为meanEF使用。0075 S203、根据更新的基础人脸模型、脸型参数、表情参数、用户的表情图像，并采用预设算法计算获取无表情人脸模型、以及有表情人脸模型。0076 在本申请实施例中，预设算法可以是3DMM。其中，针对捕获的表情图像，根据3DMM基本公式算得无表情人脸模型和有表情人脸模型，更新的基础人脸模型为meanEF、脸型参数为表情参数为算得的无表情人脸模型、以及有表情人脸模型通过多个点云来进行定义，点云在人脸模型建立之后作为骨架的顶点，每个顶点受多个骨架影响，每个骨架对顶的影响的权重不同。0077 图3为本申请另一实施例提供的表情动画驱动方法

22、流程示意图。0078 如图3所示，该方法还包括：0079 S301、为目标动画模型绑定预设个数的骨架。0080 在本申请实施例中，为了驱动目标动画模型，在目标动画模型上，绑定与更新的基础人脸相同的骨架，刷入相同的权重。0081 S302、根据骨架的变换矩阵，为目标动画模型绑定的骨架赋予相同的变换矩阵。0082 在本申请实施例中，将上述得到的变换矩阵赋予为目标动画模型绑定的骨架， 这7 说明书CN 109961496 A5/8 页样当捕获的用户表情发生变化时，目标动画模型也能随之变化，完成表情复制与驱动。0083 可选的，根据每个骨架的变换矩阵，建立无表情人脸模型和有表情人脸模型之间的映射关系之

23、前，还包括：0084 根据无表情人脸模型中的顶点、有表情人脸模型中的顶点、每个骨架将顶点变换到局部坐标的坐标矩阵、以及每个骨架的权重，对每个骨架的变换矩阵进行优化，得到每个骨架的优化后变换矩阵。0085 其中，使用如下算法优化变换矩阵：00860087 该式中，E为优化后的变化矩阵，T 为需要优化的变换矩阵，T为变换矩阵，i表示第ii个变换矩阵，在本申请实施例中，i的区间为1，33，E为T 的最小化损失函数，通过计算Ei的最小值得到优化后的变换矩阵。0088 可选的，在本申请实施例中，使用LM(Levenberg -Marquard，列文伯格-马夸尔特法)算法求解，求解所使用的算法不做具体限制

24、。0089 其中，n是模型顶点个数，n的值根据实际建立模型时设置的顶点数量决定；w 是权ij重系数，在本申请实施例中，权重系数为预设数值，计算过程中为常量；H 是第i个骨架将顶i点变换到局部坐标的坐标矩阵，计算过程中是常量；v 是无表情人脸模型中的顶点；v是该jj顶点在有表情人脸模型中对应的顶点。0090 通过上述公式可以算得优化后的变换矩阵，将优化后的变换矩阵绑定给被驱动的动画表情，可以得到更好的驱动性能，复制的效果更好。0091 图4为本申请一实施例中提供的表情驱动方法流程示意图。0092 如图4所示，表情驱动的流程包括两个阶段，第一阶段为S401S408，这一阶段的用于建立当前用户无表情

25、人脸模型与有表情人脸模型，并将目标动画模型与无表情人脸模型、有表情人脸模型关联起来。0093 第二阶段为S409，这一阶段用于使用捕捉到的用户表情驱动目标动画模型。0094 当用户第一次使用时，该流程执行第一阶段和第二阶段，若用户非第一次使用，第一阶段得到的映射关系为已知的，只需要执行第二阶段即可。或者，也可能预先就建立好模型，并建立当前用户无表情人脸模型与有表情人脸模型之间的映射关系， 后续需要驱动表情时，可以直接使用，即两个阶段并不连续执行。0095 该流程具体为：0096 S401、捕获用户的表情图像。0097 S402、在基础人脸模型上绑定预设个数的骨架。0098 S403、对每个绑定

26、的骨架设置预设的权重，得到更新的基础人脸模型。0099 S404、根据更新的基础人脸模型、脸型参数、表情参数、用户的表情图像，并采用预设算法计算获取无表情人脸模型、以及有表情人脸模型。0100 S405、根据每个所述骨架的变换矩阵，建立所述无表情人脸模型和所述有表情人脸模型之间的映射关系。0101 S406、根据无表情人脸模型中的顶点、有表情人脸模型中的顶点、每个骨架将顶点8 说明书CN 109961496 A6/8 页变换到局部坐标的坐标矩阵、以及每个骨架的权重，对每个骨架的变换矩阵进行优化，得到每个骨架的优化后变换矩阵。0102 S407、为目标动画模型绑定预设个数的骨架。0103 S40

27、8、根据骨架的优化后变换矩阵，为目标动画模型绑定的骨架赋予相同的变换矩阵。0104 S409、再次捕获用户的表情图像，根据S406中得到的优化后的变换矩阵，驱动目标动画模型。0105 图5为本申请一实施例提供的表情驱动装置模块示意图。0106 如图5所示，申请一实施例提供的表情驱动装置包括：图像捕捉模块501、计算模块502以及驱动模块503。其中：0107 图像捕捉模块501，用于捕捉用户的表情图像。0108 计算模块502，用于根据无表情人脸模型和有表情人脸模型的映射关系，确定表情图像中用户的表情变化。0109 驱动模块503，用于根据用户的表情变化，驱动目标动画模型生成动画表情。0110

28、 其中，图像捕捉模块501可以通过摄像头捕捉用户的表情图像，也可以捕捉静态图像中用户的表情图像以及捕捉动态图像、视频图像中用户的表情图像等，具体如何捕捉以及从何种介质中捕捉用户的表情图像不做限制，以用户使用的实际情况为准。0111 在本实施例中，计算模块502用于通过在无表情人脸模型和有表情人脸模型算得无表情人脸模型变换到有表情人脸模型时，两个模型之间对应的变换关系，从而确定映射关系。该映射关系用来表征从无表情人脸模型变换到有表情人脸模型时人脸模型变换的参数。0112 在本实施例中，驱动模块503用于将所得到的映射关系赋予目标动画模型，根据用户表情变化同步驱动变化的动画表情，该动画表情的存在形

29、式有多种。例如，可以是生成一段视频或者一张动态图片，也可以是实时展示等，其存在形式不做具体限制。0113 图6为本申请另一实施例提供的表情驱动装置模块示意图。0114 如图6所示，该装置还包括：模型生成模块504。0115 模型生成模块504用于根据表情图像， 建立无表情人脸模型、以及有表情人脸模型。0116 模型生成模块504根据采集到的图像，使用预设算法建立无表情人脸模型、以及有表情人脸模型。0117 在本实施例中，模型生成模块504将图像捕捉模块501捕捉到用户的表情图像， 使用3DMM，建立无表情人脸模型、以及有表情人脸模型。0118 模型生成模块504具体还用于在基础人脸上绑定预设个

30、数的骨架， 并对每个绑定的骨架设置预设的权重，得到更新的基础人脸模型。0119 所述模型生成模块504还用于根据更新的基础人脸模型、脸型参数、表情参数生成无表情人脸模型、以及无表情人脸模型。0120 一种实现方式中，在建立无表情人脸模型、以及有表情人脸模型之前，模型生成模块504在基础人脸上绑定33个骨架，并对每个绑定的骨架刷入预设的权重，获得更新的基础人脸模型。9 说明书CN 109961496 A7/8 页0121 在本实施例中，骨架的设置方式以及个数与上述方法中相同，在此不再赘述。0122 计算模块502用于根据每个骨架的变换矩阵，建立无表情人脸模型和有表情人脸模型之间的映射关系，其中，

31、变换矩阵用于指示骨架的运动状态。0123 其中，计算模块502根据无表情人脸模型和有表情人脸模型算得的映射关系为一变换矩阵，该变换矩阵表征了从无表情人脸模型到有表情人脸模型时，骨架的运动状态，其中骨架的运动状态的参数包括平移变换参数和旋转变换参数。0124 图7为本申请另一实施例提供的表情驱动装置模块示意图。0125 如图7所示，该装置还包括：动画模块505。0126 动画模块505具体用于为目标动画模型绑定预设个数的骨架；根据骨架的变换矩阵，为目标动画模型绑定的骨架赋予相同的变换矩阵。0127 在本实施例中，动画模块505将所得到的变换矩阵赋予目标动画模型，生成可以根据用户表情变化同步驱动变

32、化的动画表情，并将动画表情通过如显示屏等显示设备展示。0128 计算模块502还用于根据无表情人脸模型中的顶点、有表情人脸模型中的顶点、每个骨架将顶点变换到局部坐标的坐标矩阵、以及每个骨架的权重，对每个骨架的变换矩阵进行优化，得到每个骨架的优化后变换矩阵。0129 可选的，计算模块502使用LM算法对优化公式求解，得到优化后的变换矩阵。0130 上述装置用于执行前述实施例提供的方法，其实现原理和技术效果类似，在此不再赘述。0131 以上这些模块可以是被配置成实施以上方法的一个或多个集成电路， 例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(sy