《服务机器人应用开发》课件 项目十 与机器人对话

项目十与机器人对话服务机器人应用开发UBTECHCONTENTS01.学习目标UBTECH02.内容结构03.任务背景04.任务描述05.知识链接06.任务实施07.扩展任务08.项目小结学习目标1.了解音频编码（A/D、D/A）、PCM编码原理；2.了解语音识别（ASR）技术原理；3.了解自然语音处理（NLP）技术原理；4.了解语音合成（TTS）技术原理；5.熟练使用语音转文本核心API函数YanAPI.sync_do_voice_iat()；6.熟练使用语义理解核心API函数YanAPI.sync_do_voice_asr()；7.熟练使用文本转语音核心API函数YanAPI.start_voice_tts()；8.熟练掌握与机器人实现对话的API调用。内容结构任务背景声音是自然界中最重要的沟通方式，我们通过语言和声音来完成相应的意图传达，而声音传播的基本原理是什么？我们通常听到的电子产品发出的声音是怎么回事？在音乐方面，我们很直观地联想到我们喜欢的音乐和歌手。在听音乐的时候我们是否注意到有的音乐是无损的，有的是有损的?通过这个课程，带你走进音频的神秘的世界，了解什么是声道、什么是采样及采样位数、码率还有有损、无损压缩等基本概念。我们会发现原来Yanshee也可以学着别人说话。任务描述本项目主要任务有：1、如何将人类语言转换成文字，转换的文字如何通过网络语言智能引擎得到正确的回答，最终通过TTS技术将返回的文字通过语音播放出来；2、通过语音转文本核心API函数YanAPI.sync_do_voice_iat()、语义理解核心API函数YanAPI.sync_do_voice_asr()和文本转语音核心API函数YanAPI.start_voice_tts()实现与机器人的对话。（一）（二）（三）（四）（五）知识链接（六）计算机如何处理声音机器人沟通技术语音识别技术ASR自然语言处理NLP语音合成技术TTS目前的NLP平台知识链接一、计算机如何处理声音1、A/D、D/A转换2、声音数字化（即A/D转换）的过程（1）采样（2）量化（3）编码3、采样和采样频率4、采样位数5、声道音频编解码的基本原理知识链接一、计算机如何处理声音（1）脉冲编码调制（2）码率（3）音频的编码格式（4）音频文件的编码音频信号的编码知识链接二、机器人沟通技术语音识别（ASR：AutomaticSpeechRecognition），将声音转化成文字，相当于耳朵。自然语言处理（NLP：NaturalLanguageProcessing），理解和处理文本，相当于大脑将回答播放出来。语音合成（TTS：Text-To-Speech），把文本转化成语音，相当于嘴巴。知识链接三、语音识别技术ASR听懂人类的话，实际就是将语音转换成正确的文字内容，用到的就是ASR（AutomaticSpeechRecognition：自动语音识别）技术。音频编码音频解码知识链接四、自然语言处理NLP文本预处理（1）去噪声（2）词汇归一化词法分析（1）分词（2）实体识别文本分类文本相似度处理情感倾向分析（1）情感倾向分类（2）观点抽取目前遇到的困难（1）语言不规范（2）错别字（3）新词知识链接五、语音合成技术TTS拼接法优点：语音合成的质量比较高。缺点：数据量要求很大，数据库里必须有足够全的“音”。参数法优点：对数据的要求要小点。缺点：质量比拼接法差一些其他方法知识链接六、目前的NLP平台工业界的成型NLP平台学术界研究中的NLP平台科大讯飞NLP平台iFLYOS系统华为云提供了NLP的服务接口小米的小爱同学开放平台百度的NLP平台（一）（二）（三）（四）（五）任务1：语音转文本任务2：语义理解任务3：文本转语音任务4：与机器人实现对话任务5：离线方式语音识别API任务实施（六）任务6：常见的故障及解决方案任务实施任务1：语音转文本语音转文本核心APIYanAPI.sync_do_voice_asr()实现语音转文本解析并打印显示听写结果更简单的API函数YanAPI.sync_do_voice_asr_value()任务实施任务2：语义理解语义理解核心APIYanAPI.sync_do_voice_asr()实现语义理解解析并打印显示结果更简单的API函数YanAPI.sync_do_voice_asr_value()任务实施任务3：文本转语音文本转语音核心APIYanAPI.start_voice_tts(str,interrupt:bool=True,timestamp:int=0)实现文本转语音让机器人听到我们问题让机器人听懂并“想到”问题的回答让机器人播放他“想到”的回答010203需求分析任务实施任务4：与机器人实现对话任务实施任务4：与机器人实现对话与机器人完成第一次对话程序与机器人连续的对话任务实施任务5：离线方式语音识别API创建一个新的离线语法名称配置获取指定语法名称下的所有配置修改已有语法配置中的命令词和对应的返回值删除指定离线语法名称下的所有配置获取所有离线语法名称任务实施任务6：常见的故障及解决方案在进行语音识别和语音识别过程中，必须要联网吗？

Yanshee人形机器人内置使用了科大讯飞的语音语义识别平台，因此在使用之前都需要联网，否则很多功能受限。可以通过离线方式实现吗？

可以离线方式实现非常有限的识别功能。要实现离线方式的语音识别功能，需要事先在机器人上建立语法规则和字典。拓展任务之前的离线语音识别部分没有给出具体的程序代码，想想如何调