基于AI的虚拟主播设计 课件 第6章

基于AI的虚拟主播设计第6章语音合成口型动画的实现TTS语音合成的实现目录/说课流程TeachingProcess二一TTS语音合成的实现一引言本节进行TTS语音合成选用的平台是阿里云智能语音交互平台。首先，介绍阿里云智能语音交互平台的使用，包括项目创建以及个性化人声定制；在完成声音定制后，输入新闻稿件文本信息，实现真人版语音输出。引言

阿里云智能语音交互平台的使用首先输入网址“/pttssetting”，进入阿里云智能语音交互平台的个性化人声定制界面。没有登录过阿里云智能语音交互平台的同学需要进行注册，或者使用支付宝、淘宝等账号扫码进行登录。注册完成后，在登录界面进行登录。进入个性化人声定制界面。语音合成

个性化人声定制项目创建在个性化人声定制界面中单击“定制声音”按钮，需在弹出框中选择“定制声音将应用于哪个项目中”，没有可用项目，单击“去创建项目”。语音合成

个性化人声定制项目创建进入项目创建界面，单击“创建项目”按钮，进行项目创建。在项目创建界面输入项目名称“AIReport”，可以对项目场景简单描述，单击“确定”完成项目创建。完成创建后，对项目进行简单配置即可。语音合成

个性化人声定制项目创建单击侧边栏“个性化人声定制”，返回个性化人声定制界面，选择项目“AIReport”，单击“确定”按钮，显示声音与项目关联成功，扫描二维码或输入网址进入个性化人声定制。语音合成语音合成01在电脑端通过网址打开声音定制界面。也可以在手机端扫描二维码进行声音定制。02选中“我已阅读并同意《智能语音声音模型定制服务协议》”，单击“开始克隆”按钮；进入声音命名界面，输入声音ID“AIReport123456”，选择性别“女”，选择使用场景“故事”，单击“开始录制”，进入声音录制界面

实现真人版语音输出使用自己的语音训练声音模型后，可进行各种文本的人声朗读，实现真人版的文本转语音输出。在个性化人声定制界面，单击“试听”按钮，进入TTS（文本转语音）界面。语音合成口型动画的实现二语音合成口型动画的实现010203动画角色的造型更加逼真提升特效的表达效果更加细致的刻画角色形象

Maya2018的安装双击AutodeskMaya2018安装包（或者单击右键“以管理员身份运行”），进入解压界面选择目标文件夹后，单击“确认”按钮，进行安装包解压。

Maya2018的安装解压完成后，进入AutodeskMaya2018安装界面安装说明选择中文（简体），单击安装，进入Maya2018的安装过程。语音合成

Maya2018的安装阅读Autodesk的许可及服务协议，选择“我接受”，单击“下一步”按钮。进入安装配置界面，选择全部选择安装，需要有3.32G的磁盘空间，可以根据存储空间选择安装路径，建议安装在C盘。单击“安装”按钮，进行Maya2018的安装。

Maya2018的安装进入Maya2018安装完成界面，单击“立即启动”按钮，完成Maya2018的安装。语音合成

Maya2018的安装进入Maya2018激活界面，输入产品序列号和密钥，完成AutodeskMaya2018的激活操作。

Maya2018的安装安装完成后，可在桌面看到Maya2018的图标。语音合成

Maya2018的安装在桌面双击Maya2018应用程序图标，加载Maya2018应用窗口时，显示Maya启动界面。语音合成

Maya2018的使用（导入FBX模型）进入Maya2018应用窗口，安装的Maya2018为中文版本，便于同学们的使用与操作。语音合成

Maya2018的使用（导入FBX模型）首先进行插件配置，选择菜单栏“窗口”|“设置/首选项”|“插件管理器。

Maya2018的使用（导入FBX模型）打开“插件管理器”进行插件配置。语音合成

Maya2018的使用（导入FBX模型）在Maya中导入DAZStudio生成的FBX模型，需要在“插件管理器”中选择“fbxmaya.mll”如果没有选择加载相应插件，在导入FBX模型时会弹出“无法识别的文件类型”警告，并且无法导入FBX模型。语音合成

Maya2018的使用（导入FBX模型）选择界面菜单栏“文件”|“导入”。

Maya2018的使用（导入FBX模型）打开导入界面，选择使用DAZStudio导出的“Demopose.fbx”模型，单击“导入”按钮，将“Demopose.fbx”模型导入Maya展示面板。语音合成

Maya2018的使用（导入FBX模型）常用快捷键：“Alt+鼠标左键”可对人物模型进行旋转操作；“Alt+按住鼠标滚轮”可对人物模型位置进行上下左右拖动操作；“鼠标滚轮滑动”可对人物模型进行放大、缩小操作。

Maya2018的使用（导入FBX模型）导入后的人物模型，单击视图控制面板中所标识的图标，人物模型恢复常态，但真实度与真人有一定差距，下一步进行人物模型材质调节。语音合成语音合成01人物模型材质转换首先将人物模型转换为Arnold材质，菜单栏“Arnold”|“Utilities”|“ConvertShaderstoArnold”，在弹出框中单击“All”按钮，人物模型材质全部转化为Arnold材质。转换后，人物模型表面发黑，下一步解决人物模型表面发黑问题。

Maya2018的使用（解决人物模型表面发黑问题）人物模型表面发黑是人物表面反射的设置问题，人物表面材质设置为不反射，因此光射入就被吸收，所以表面变黑。下面对人物表面反射设置进行调节。单击图中所表注的图标，出现Hypershade界面，可以看见人物各部分展示为黑色，无法看见材质。语音合成

以“Arms”为例进行反射调节操作讲解。首先在材质展示框中选中“Arms”，展开右侧特征编辑器中“Coat”，将其中的“Color”调节至“100%”，可清晰地看见视图面板中的人物手部恢复正常颜色。

接下来按照此操作对人物模型进行反射调节，全部调节完成后，人物模型基本恢复正常状态。语音合成Maya2018的使用（解决人物模型表面发黑问题）Maya2018的使用（解决人物模型表面发黑问题）

以Cornea（眼角膜）为例，进行眼部材质调节讲解。打开Hypershade界面，在材质展示框中找到并单击Cornea，右侧特征编辑器中，单击“预设”，选择“Clear-Water”|“替换”，完成赋予Cornea水材质替换。

按照此操作对EyeMoisture（眼睛外侧水膜）进行水材质替换。完成操作后的人物模型展示。语音合成Maya2018的使用（人物模型眼部材质调节）Maya2018的使用（人物模型眼部材质调节）

Maya2018的使用（人物模型及场景保存）对人物模型进行导出保存操作，以便下次打开Maya2018时，直接导入使用，不需要再对人物模型的材质进行调节。选择菜单栏“文件”|“导出全部”，对人物模型进行导出；选择“文件”|“导入”，选择需要导入的模型，单击“导入”按钮即可完成导入操作。当有场景加入时，“文件”|“保存场景”（Ctrl+S）可对场景进行保存操作；选择“文件”|“打开场景”（Ctrl+O）即可实现场景导入。语音合成

Maya2018实现真人版口型动画（实现语音转口型数据）在TTS语音合成章节中，通过个性化人声定制平台训练的声音模型根据文本信息所输出的真人语音，将真人语音通过口型数据生成系统转化为口型数据。语音合成

Maya2018实现真人版口型动画（实现语音转口型数据）双击打开口型数据生成系统中“LipSync.exe”，进入口型数据生成录制界面，界面中左侧显示的是声音录制的状态，右侧为3D人物的半身模型。按“2”键，开始录制输入声音信息，按“3”键，停止录制，按“Esc”键可退出口型数据生成系统。语音合成

Maya2018实现真人版口型动画（实现语音转口型数据）按“2”键，开始录制声音信息时，左侧声音录制状态会变为“录制中”，3D人物的口型会根据输入声音发生变化，拟合声音信息的同时，将声音信息转化为口型数据进行保存。按“3”键，左侧声音录制状态会变为“停止录制”，如果你输入的声音没有停止，界面中的3D人物口型依然会根据输入声音进行变化，但在未录制状态下，口型数据不会保存。语音合成

Maya2018实现真人版口型动画（实现语音转口型数据）全面小康白皮书新闻真人语音播报输入转化的口型数据展示。

本节口型数据生成系统中声音信息输入通过虚拟声卡将电脑的输出声音直接转为输入声音进行实现。真人语音输入还可以通过麦克风输入的方式进行实现。语音合成Maya2018实现真人版口型动画（实现语音转口型数据）

Maya2018实现真人版口型动画（实现真人3D模型口型动画生成）加载ChuanshiTool插件；在Maya中，需要加载ChuanshiTool插件，用来实现口型数据的导入。将“ChuanshiTool”文件夹中的2个项目，复制到图所示目录下。语音合成语音合成01加载ChuanshiTool插件打开Maya2018，在界面菜单栏中选择“窗口”|“设置/首选项”|“插件管理器”，进入插件管理器界面，勾选“ChuanshiTool.py”所对应的“已加载”和“自动加载”两个选择框。插件加载完成后，可在菜单栏看到“传世工坊”，插件脚本导入成功。

增加人物面部表情控制器；在界面左侧“大纲视图”|“Genesis8Female”展开框中，选中“Genesis8FemaleFBXASC046Shape”，被选中后的3D人物身体覆盖绿色网格。单击菜单栏“传世工坊”|“面部表情”|“加强版控制器”。

增加人物面部表情控制器；为3D人物增加面部控制器。语音合成Maya2018实现真人版口型动画（实现真人3D模型口型动画生成）Maya2018实现真人版口型动画（实现真人3D模型口型动画生成）

Maya2018实现真人版口型动画（实现真人3D模型口型动画生成）导入语音生成的口型数据；界面左侧“大纲视图”|“Genesis8FemaleFBXASC046Shape_GUI:FACS”，选中面部控制器，面部控制器被选中后整体呈粉色。单击菜单栏“传世工坊”|“面部表情”|“导入传世语音生成唇形数据”。（这里需要注意，Maya的Python脚本不支持中文路径或是中文命名）语音合成语音合成01单击后，出现“缩放比例”对话框，单击“执行”按钮。出现口型数据导入界面。选择“Whitebook.txt”口型数据文件，单击“打开”按钮，出现“数据导入成功”提示框，单击“确定”按钮，口型数据导入完成。关闭缩放比例界面。

导入语音生成的口型数据；口型数据导入完成后，需要根据录制时间设置播放总帧数。在口型数据文档末尾处，“Whitebook.txt”口型数据的录制时间为38秒。

导入语音生成的口型数据；总帧数调整输入框位于界面下方。每秒30帧，因此将Maya中的帧数数值调整为1140。语音合成Maya2018实