智能语音技术及应用开发 课件 单元6 语音评测技术应用

语音评测技术应用2023年2月单元六了解语音评测技术的技术框架单元六：任务1古诗是中华文化的重要组成部分。古诗节奏鲜明、音调和谐，非常讲究韵律，也有一定的朗诵技巧和标准。因此在古诗教育中，特别是针对刚开始接触古诗的学生，一个优美、标准的朗诵示范是非常必要的，且应该提供一种能让学生衡量自己和示范朗诵差异的方法。语音评测技术可以实现学生朗诵语音和示范朗诵语音之间的差距度量，且能逐句评分给学生提示。因此学生学习朗诵的效果便能被量化且有清晰的提升路径。项目导入目录CONTENTS1语音评测技术的内涵及术语2语音评测的技术框架3实现简单的语音评测功能知识目标了解语音评测的概念和流程理解语音评测的技术框架了解语音评测的开放接口使用能力目标能够描述每个步骤的功能能够描述每个步骤的具体目标能够理解流程中涉及到的专业术语思政目标感悟脚踏实地、勤恳敬业、精益求精的大国工匠精神学习爱岗敬业的社会主义核心价值观PART01语音评测技术的内涵及术语语音评测技术的内涵及术语什么是语音评测技术？语音评测的主要应用有哪些？语音评测技术又称口语评测技术、口语自动评估技术，是利用计算机辅助语言学习（ComputerAssistedLanguageLearning）的一种技术。该技术针对口语发音水平和差错，通过机器自动对发音进行评分、检错并给出指导纠正的技术。通过该技术，可以用计算机对普通话或者英语的发音进行标准评价和错误反馈指导。在英语口语教学中，能有效地提高学生口语学习的效率和效果，所以，这项技术也被称之为“AI口语训练技术”。语音评测技术的内涵及术语语音评测技术又称口语评测技术、口语自动评估技术，是利用计算机辅助语言学习（ComputerAssistedLanguageLearning）的一种技术。该技术针对口语发音水平和差错，通过机器自动对发音进行评分、检错并给出指导纠正的技术。通过该技术，可以用计算机对普通话或者英语的发音进行标准评价和错误反馈指导。在英语口语教学中，能有效地提高学生口语学习的效率和效果，所以，这项技术也被称之为“AI口语训练技术”。语音评测技术的内涵及术语语音评测系统的输入及数据准备包括：a)确定针对的评测语种（如英语、日语、德语等）；b)以评测语种母语者标准语音为蓝本，针对评测发音特点设计评测维度；c)针对学习者母语（如汉语）发音特点定位可能存在的缺陷。语音评测技术的内涵及术语语音评测系统的输出包括：a)段落、句子、单词、音素多个级别维度的，包括语调、断句、完整度、流利度等多个方面的指导反馈；b)针对各个级别和维度的分项和综合得分。语音评测技术的内涵及术语语音评测技术经过几十年的发展，在中英文发音标准程度、口语表达能力等评测任务上已经超越了人类口语评测专家水平，目前该技术被普遍使用在中英文的口语评测和定级中。语音评测技术的内涵及术语AI语音评测多维度应用层级(1)评测主体维度a)层级一：音素，例如音标中的[a:]，[æ]等。b)层级二：单词/单音，如[英语字母ABCD]或[单词good]。c)层级三：句子，由多个独立的单词拼接而成。d)层级四：段落，由多个独立的句子拼接而成。e)层级五：文章，由多个独立的段落拼接而成。语音评测技术的内涵及术语AI语音评测多维度应用层级(2)指导反馈维度指导反度维度展示了不同层级中指导反馈内容角度和粒度。以一个用户练习口语场景为例，各层级的指导反馈维度如下。语音评测技术的内涵及术语AI语音评测多维度应用层级(2)指导反馈维度a)层级一：仅提供用户发音和标准发音回放功能。本层级用户体验：除非很简单的发音，否则大多用户对发音细节、进步程度和改进点感到茫然。语音评测技术的内涵及术语AI语音评测多维度应用层级(2)指导反馈维度b)层级二：提供用户发音评分本层级用户体验：用户收到了量化的反馈，也可以感知到一些自身的进步，但用户仍不知道怎样从70分变成100分。语音评测技术的内涵及术语AI语音评测多维度应用层级(2)指导反馈维度c)层级三：细粒度评分反馈在层级二的基础上，增加了细粒度的评分反馈，括每个音素的评分；每个单音/单词中发音和声调的单项评分和整体评分；如果是句子，包括完整、流利、发音、语调、断句等多个维度的评分。本层级用户体验：用户可以更精准定位到发音问题所在，但对于“纠正发音问题”还差一步。语音评测技术的内涵及术语AI语音评测多维度应用层级(2)指导反馈维度d)层级四：细粒度指导反馈。层级四是在层级三的基础上，增加了音素级别的错误与正确读法的差别。如对英语文本grandmother[ˈɡrænmʌðər]，如用户实际发音为[ˈɡrændmɔːdər]，则可给出的指导反馈有：“[m]的发音前不应该有[d]”；“[ʌ]的发音不应该读成[ɔː]”；“[ð]的发音不应该读成[d]”等。语音评测技术的内涵及术语PART02语音评测的技术框架语音评测的技术框架语音评测系统架构包括三部分：标准模板库的建立、用户语音的预处理和特征提取以及模式匹配。语音评测的技术框架语音评测系统架构包括三部分：标准模板库的建立、用户语音的预处理和特征提取以及模式匹配。（1）标准模板库的建立。录制或选择发音标准的朗诵音频，对其进行预处理和特征提取，建立标准模板库。语音评测的技术框架语音评测系统架构包括三部分：标准模板库的建立、用户语音的预处理和特征提取以及模式匹配。（2）用户语音的预处理和特征提取。录入并存储用户的朗诵音频，对其进行预处理及语音特征提取。语音评测的技术框架语音评测系统架构包括三部分：标准模板库的建立、用户语音的预处理和特征提取以及模式匹配。（3）模式匹配。将待评测语音特征与相应标准模板库语音特征进行模式匹配，度量相似度，并将其换算为0-100分的评分。语音评测的技术框架语音评测系统架构包括三部分：标准模板库的建立、用户语音的预处理和特征提取以及模式匹配。（4）指导反馈。按照不同反馈层级，反馈相应的评分及指导纠正信息。语音评测的技术框架评测结果是多维度的，包括音素、语调、流利度、断句、完整度等内容。但不同语种下评测维度是不同的，这与语言的特性有关，因此需要针对不同语种单独定制评测的维度，以日语为例，不仅包括上述常规的语调，流利度等常规维度，同时也有单词音调、日语音拍、音高等其他维度的分析。语音评测的技术框架PART03实现简单的语音评测功能实现简单的语音评测功能操作步骤步骤1：从平台下载Demo，理解程序语句功能；步骤2：使用pythonIDLE,Anaconda或Pycharm等打开Demo程序；步骤3：将在开发平台上获取的接口认证信息（APPID，APIKey和APISecret）填写到相应位置；运行程序，并进行调试，直到运行成功。将实现过程进行总结，提交到职教云的实践作业中。实现简单的语音评测功能感谢观看语音评测技术应用2023年2月单元六开发中文朗读发音评测系统单元六：任务2全国普通话等级考试考生人数已突破2000万。设计一个普通话等级考试系统，对中文的朗读发音进行评分和问题定位，支持字、词、句、篇章等题型，并返回准确度评分。要求实现字、词、句三种题型评测。任务场景效果演示1：任务场景效果演示2：任务场景效果演示3：任务场景目录CONTENTS1基于AI开放平台的语音评测及相关术语2实现语音评测系统开发知识目标了解语音评测的概念和流程理解语音评测的技术框架了解语音评测的开放接口使用能力目标能够描述每个步骤的功能能够描述每个步骤的具体目标能够理解流程中涉及到的专业术语思政目标感悟脚踏实地、勤恳敬业、精益求精的大国工匠精神学习爱岗敬业的社会主义核心价值观PART01基于AI开放平台的语音评测及相关术语基于AI开放平台的语音评测及相关术语基于AI开放平台的语音评测及相关术语基于AI开放平台的语音评测框架如图所示：(1)用户根据给定的文本生成语音；(2)前端产品通过「评测接口」上传音频至「语音评测引擎」；(3)引擎以「语音评测模型」为基准，通过解码计算处理得到评测结果；(4)通过「评测接口」将评测结果返回至用户。基于AI开放平台的语音评测及相关术语语音评测引擎：AI评测解码和计算的核心模块，通过语音识别(ASR)解码转译，与给定的文本强制对齐，通过不同维度的算法得出指导反馈和评测得分。后台配置系统：语音评测前，需将给定的文本拆分成独立的单词或单音/音素并存储在后台配置系统中，为语音评测引擎提供对齐标准。基于AI开放平台的语音评测及相关术语语音评测模型&训练所需语料：使用评测引擎前，需使用适量的语料离线训练形成语音评测模型，该模型是引擎进行解码计算处理的依据。DNN-HMM：深层神经网络-隐藏马尔科夫模型（DeepNeuralNetwork-HiddenMarkovModel），是目前相对流行的声学模型。基于AI开放平台的语音评测及相关术语测评维度：包括发音准确度（音素/声调）和流利度、语调、断句、完整度等。输入声音讯号：通过接口将音频文件传输至后台语音评测引擎。PART02实现语音评测系统开发实现语音评测系统开发语音评测是一种语音识别技术的一种运用，就是通过智能语音技术自动对发音水平进行评价。本实验中的语音评测能力接口是讯飞开放平台上的语音扩展服务下的语音评测，讯飞开放平台的语音评测接口通过智能语音技术自动对两类语言的发音水平进行评价:中文普通话发音和英文发音。本实验主要调用web端的接口，使用语音评测接口用于语音评测的应用及结果解析。实现语音评测系统开发语音评测案例流程实现语音评测系统开发要完成语音评测系统的设计，除了需要语音评测技术的实现外，还要设计前端页面，实现操作与展示结果的可视化，参考的工程结构如下：实现语音评测系统开发语音评测系统的工程结构实现语音评测系统开发首先登录讯飞开放平台，创建应用，获取语音评测服务接口认证信息和接口地址，然后执行如下操作。第一步：建立flaskweb框架·首先创建程序实例·然后定义路由、链接url和接收方法·定再义与路由相对应的视图函数·最后调用语音评测接口模块实现语音评测系统开发语音评测接口调用模块处理的流程（与效果图对应）如下:实现语音评测系统开发修改代码如下：实现语音评测系统开发第二步：导入语音评测接口调用模块和库，代码如下实现语音评测系统开发第三步：在speech_evaluation_app.py文件中，给出讯飞开放平台语音评测接口相关信息，代码如下：实现语音评测系统开发第四步：理解前端页面'home.html代码，并输入相关信息·前端代码文件，用于可视化语音评测过程·包括音频文件上传操作，解析后的结果输出展示·前端代码不是实验的重点部分·对‘home.html’文件代码不做具体介绍·可参看templates文件夹下的‘home.html’文件实现语音评测系统开发选择评测类别操作实现语音评测系统开发输入评测文本实现语音评测系统开发上传音频文件实现语音评测系统开发解析后的页面展示效果，部分展示内容如下：实现语音评测系统开发第五步：在speech_evaluation_app.py文件启动服务的代码如下第六步：运行命令·本地环境:右键点击‘Runspeech_evaluation_app'实现语音评测系统开发第七步：点击或复制:5000/到浏览器页面地址中实现语音评测系统开发输入评测文本后，在界面可以看到评测结果。从输出的语音评测结果，可以看出：1） 语音评测方法能够分别针对单字、词组和句子进行评测2） 语音评测方法能够给出相应的评测总分（总分是声母、韵母、声调正确率的得分）。感谢观看语音评测技术应用2023年2月单元六语音评测产品开发中的实施单元六：任务3虽然开放平台的应用大大降低了语音评测产品开发的难度，但是在实际项目开发中，依旧会出现各类问题。其中一类是由于网络连接失败等造成的，可以参照任务3.1.3进行解决；另一类是语音评测产品开发特有的问题，见下图。任务场景10106错误码产生的原因可能如下。（1）参数值不在规定范围内。（2）（WebAPI）编码引起的参数问题。（3）（WebAPI）对body的参数没有进行urlencode处理。而在语音评测产品开发中，10106错误码通常是由于评测试题不符合格式引起的。需要注意的是，中文试题与英文试题有所不同，同语种的不同题型也有差异。任务场景目录CONTENTS1中文评测试题格式2英文评测试题格式3英文音标标注试题制作规范4工程实施中验证知识目标熟悉中文评测试题格式熟悉英文评测试题格式熟悉英文音标标注试题制作规范了解各类错误产生的原因能力目标能够理解各类错误产生的原因能够根据错误原因提出解决方案对给定的工程项目进行调试，完成验证思政目标培养坚持不懈的精神培养勇于探索的精神培养严谨认真的大国工匠精神PART01中文评测试题格式中文评测试题格式1.单个汉字的评测：（1）评测题型参数名称。read_syllable（2）试卷格式。支持以下两种试卷格式。①

拼音标注试卷。以<customizer:interphonic>开头，字单独占一行，紧接着的一行为字的拼音。·用拼音后加数字代表声调，1～4分别代表一到四声，5表示轻声。·ü除了lü和nü用lv和nv表示，如女（nv3）；其他用u表示，如局（ju2）。·üe用ue表示，如略（lue4）。②

纯文本试卷。每个字间用逗号隔开。建议不超过400字节，且单行汉字个数不超过100字。中文评测试题格式（3）试卷示例。·拼音标注示例：<customizer:interphonic>丰

feng1呈

cheng2政

zheng4·纯文本示例：丰，呈，政

中文评测试题格式2．中文词组评测（1）评测题型参数名称。read_word（2）试卷格式。支持以下两种试卷格式。①

拼音标注试卷。与字的拼音标注试卷一样，只不过将字换成词语。②

纯文本试卷。每个词间用逗号隔开。建议不超过400字节，且单行汉字个数不超过100字。中文评测试题格式（3）试卷示例。·拼音标注示例：<customizer:interphonic>宁可

ning4|ke3非难

fei1|nan4灾难

zai1|nan4·纯文本示例：宁可，非难，灾难

中文评测试题格式3．中文句子评测（1）评测题型参数名称。read_sentence（2）试卷格式。支持以下两种试卷格式。①

拼音标注试卷。与词组的拼音标注试卷一样，只不过将词组换成句子。②

纯文本试卷。建议不超过2000字节，且单行汉字个数不超过100字。（3）试卷示例。中文评测试题格式（3）试卷示例。·拼音标注示例：<customizer:interphonic>这是中文语句评测示例。

zhe4|shi4|zhong1|wen2|yu3|ju4|ping2|ce4|shi4|li4·纯文本示例：这是中文语句评测示例。

中文评测试题格式（4）注意事项。·拼音标注格式下，拼音个数要与汉字个数一致，并且单行汉字个数不能超过100。·建议每份试卷字数不超过200字，字数太多，朗读语音过长，响应时间较长。

中文评测试题格式4．中文篇章评测（1）评测题型参数名称。read_chapter（2）试卷格式。支持以下两种试卷格式。①

拼音标注试卷。与句子的拼音标注试卷一样，只不过篇章是由多个句子组成的。②

纯文本试卷。文本建议不超过2000字节，且单行汉字个数不超过100字。中文评测试题格式（3）试卷示例。·拼音标注示例：<customizer:interphonic>大家好。这是中文篇章评测示例。

da4|jia1|hao3|zhe4|shi4|zhong1|wen2|pian1|zhang1|ping2|ce4|shi4|li4·纯文本示例：大家好。这是中文篇章评测示例。

中文评测试题格式（4）注意事项。·请按照语文写作文的格式，需要有准确的标点符号进行分句，如分号、逗号、问号、句号、感叹号等。·每句话（由分隔号分割）不超过100字。·拼音标注格式下，拼音个数要与汉字个数一致，并且单行汉字个数不能超过100字。·建议每份试卷字数不超过200字，字数太多，朗读语音过长，响应时间较长。

PART02英文评测试题格式英文评测试题格式1．英文单词评测（1）评测题型参数名称。read_word（2）试卷格式。①

一个单词占一行，首行必须用[word]标记，单个单词长度应不大于32字节。②

数字读法标注试卷如下：·在数字下一行必须用[number_replace]标记。·在[number_replace]的下一行，以“数字/读法/”这种格式标注，注意符号/个数必须为2，且//中内容不可以加符号。建议不超过700字节。英文评测试题格式（3）试卷示例。·普通文本示例：[word]applebananaorange·数字读法标注示例：[word]13[number_replace]13/thirteen/英文评测试题格式（4）注意事项。·单个单词可支持标点符号，仅支持英文半角字符“.”“-”“'”（分别为点号、连字符、上单引号），如可支持p.m和year-old，不支持hello,world。·单个单词不支持标点符号两端都是空格（标点符号单独作为一个单词会报错）。·每个单词字节数不可超过31。·建议单词数量不超过100。英文评测试题格式2．英文句子评测（1）评测题型参数名称。read_sentence（2）试卷格式。①

普通英文文本，首行必须用[content]标记，单个单词长度应不大于32字节。②

数字读法标注试卷要求同英文单词题型，建议不超过2000字节。英文评测试题格式（3）试卷示例。·普通文本示例：[content]Thisisanexampleofsentencetest.·带可支持英文半角字符的示例：[content]Idon'tknow.·数字读法标注示例：[content]I’m13yearsold.[number_replace]13/thirteen/英文评测试题格式（4）注意事项。·content节点中，不支持字符所占字节数不能超过总字节数的10%。·每个单词字节数不可超过31。·每个句子中单词数不能超过100，每句字节数不能超过1024（分句符号也算作1字节）。·所有单词数不能超过1000。英文评测试题格式3．英文篇章评测（1）评测题型参数名称。read_chapter（2）试卷格式。·普通英文文本，首行必须用[content]标记，采用英文半角字符“.”“!”“?”“;”四个符号进行分句。·文本总单词个数不能超过1000。·数字读法标注格式请参照英文句子题型。英文评测试题格式（3）试卷示例。[content]Hello,everybody.Thisisanexampleofsentencetest.英文评测试题格式（4）注意事项。·content节点中，不支持字符所占字节数不能超过总字节数的10%。·每个单词字节数不可超过31个。·每句单词数不能超过100，每句字节数不能超过1024（分句符号也算作1字节）。PART03英文音标标注试题制作规范英文音标标注试题制作规范1．文本输入格式·[content]、[word]均用来说明文本的类型，试卷中必须有且仅有一个类型的头。·[word]为单词题型头、[content]为句子和篇章题型头，其中[word]标记的试卷中，每行仅能有一个单词。·[vocabulary]中罗列每个单词的音标，多发音的音标必须用“|”隔开。每个音标序列不能大于128字节。英文音标标注试题制作规范2．英文单词自定义发音用户可通过试卷音标标注指定单词发音，以下是几种题型的示例。·英文句子题型：[content]MayIhelpyou.Yesplease.Doesthissweatercomeinyellow.[vocabulary]help/hhehlp/英文音标标注试题制作规范·英文单词题型：示例一：[word]kitchen[vocabulary]kitchen/'kih-chihn/示例二：[word]off[vo