智能语音应用开发 课件 项目1、2 自动语音识别：让机器人能听懂、语音合成：让虚拟机器人能说话

项目1

自动语音识别：让机器人能听懂项目背景在这个追求高效生活的时代，人们希望使用更少的时间做更多的事情，自动语音识别的出现让人们的生活变得更加高效。在进行信息录入和检索时，无论使用键盘输入还是手写输入，都有各种限制，而语音输入成为主流输入方法，更受欢迎。本项目将使用目前主流的AI开发平台实现智能语音输入功能。教学目标（1）了解自动语音识别的概念。（2）了解自动语音识别的应用。（3）了解自动语音识别的发展历程。（4）熟悉自动语音识别技术的现状和发展趋势。（5）理解自动语音识别的原理。（6）理解自动语音识别的评估指标。（7）能够编写程序，调用自动语音识别接口，实现自动语音输入。（8）能够对语音识别效果进行评估。项目分析（1）从自动语音识别的概念、原理、应用、发展历程等角度，认识自动语音识别。（2）学习自动语音识别的评估指标。（3）在百度AI开放平台上，创建自动语音识别应用。（4）编写程序，定义相关函数，并进行调用，实现自动语音识别。（5）运用自动语音识别的评估指标，测试编写的应用的语音识别效果。知识准备知识点1：什么是自动语音识别广义的自动语音识别即自动语音识别，作用是将人类语音中的词汇内容转换为计算机可读的输入。狭义自动语音识别即语音转文本识别（SpeechToText，STT），STT就是将语音自动转换为文字的过程知识点2：自动语音识别的原理及应用1．自动语音识别的原理2．自动语音识别技术的应用知识点3：自动语音识别的发展历程1．GMM-HMM模型阶段即首先提取语音信号的特征构建参数模板，然后将测试语音与参考模板参数进行一一比较和匹配，取最接近的样本所对应的词作为该语音信号的发音。2．DNN-HMM模型阶段2011年年底，微软研究院的俞栋、邓力又把DNN技术应用在了大词汇量连续语音识别任务上，大大降低了语音识别错误率。从此自动语音识别进入DNN-HMM时代。3．端到端模型阶段主要是对神经网络中的一个重要函数——代价函数进行了改变，使端到端模型解决了输入序列的长度远大于输出序列长度的问题。目前端到端技术主要分为两类：一类是CTC方法，另一类是Seq2Seq方法。知识点4：自动语音识别技术的现状与发展趋势1．国内自动语音识别技术突飞猛进2．Kaldi的技术特性（1）核心代码使用C++开发，维护简单。（2）基于现代语音识别技术。（3）采用FST（FiniteStateTransducers）解码器。（4）支持线性代数扩展。（5）开源协议限制最小。（6）提供基于构建语音识别系统的完整方法。（7）拥有代码测试例程。知识点4：自动语音识别技术的现状与发展趋势3．远场语音识别备受期待知识点5：自动语音识别的评估指标1．字错误率2．句错误率项目实施：语音识别应用——智能语音输入任务1创建应用步骤1：注册百度账号步骤2：完成开发者认证步骤3：登录百度AI开放平台步骤4：领取免费资源步骤5：创建语音识别应用任务2语音智能输入步骤1：导入库函数步骤2：录制标准音频步骤3：配置语音识别参数步骤4：获取访问令牌步骤5：读取音频步骤6：语音识别任务3语音识别评估步骤1：统计音频的长度根据字错误率和句错误率的计算公式，需要统计音频的词的总个数和句子的总个数。开发人员对音频的词的长度和句子的长度进行统计。步骤2：计算字错误率和句错误率通过原始的音频文件及音频识别的结果计算字错误率和句错误率。步骤2：计算字错误率和句错误率项目2

语音合成：让虚拟机器人能说话项目背景随着科技的高速发展，人们的生活节奏也在不断加快。在紧张的学习和工作的同时，人们一直期待有一个合格的机器人能作为自己的小秘书，由它去朗读自己收到的信息，讲讲小说，朗诵诗歌。早期的机器人朗读是非常生硬的机械音，且朗读的错误率很高，强烈遏制了使用者听书的欲望。随着语音合成技术的发展，机器人的朗读更加接近真人发音，感情色彩丰富。本项目将使用目前主流的AI开放平台，学习对参数的调整，为不同AI角色设置较优的参数值。教学目标（1）了解语音合成的概念。（2）了解语音合成的应用。（3）理解语音合成的工作原理。（4）理解语音合成的评价指标。（5）能够编写程序，调用语音合成接口，实现文本转语音。（6）能够对语音合成效果进行评分。项目分析（1）从语音合成的概念、原理、应用、关键技术等角度，认识语音合成。（2）学习语音合成的常见评价方式（3）在百度AI开放平台上，创建语音合成应用。（4）编写程序，定义相关函数，对文本进行语音合成。（5）运用MOS语音合成评价方式，评价该项目的合成效果。知识准备知识点1：什么是语音合成语音合成是由文字生成声音的过程知识点2：语音合成的原理及应用1．语音合成的原理2．语音合成技术的应用知识点3：语音合成的关键技术1．传统语音合成技术传统语音合成技术主要包括波形拼接语音合成技术和参数语音合成技术。1）波形拼接语音合成技术波形拼接语音合成技术通过前期录制大量的音频，尽可能全地覆盖所有的音节、音素，基于统计规则的大语料库拼接对应的文本音频，通过对已有库中的音节进行拼接，实现语音合成的功能。2）参数语音合成技术参数语音合成技术就是将每段音频的特征提取出来，利用这些特征来理解音频表达的内容。2．端到端语音合成技术端到端语音合成技术是目前比较热门的技术，通过神经网络学习的方法，将整个过程分为输入、中间和输出3部分。知识点4：语音合成的常见评价方式项目实施：

文本在线语音合成应用——小说情感朗读任务1创建应用步骤1：登录百度AI开放平台步骤2：创建语音合成应用单击“创建应用”按钮创建语音合成应用，得到APIKey和SecretKey。