《语音技术及其应用》教学大纲

《语音技术及其应用》教学大纲适用范围：202X版本科人才培养方案课程代码：22150261课程性质：专业选修课学分：2学分学时：32学时（理论26学时，实验6学时）先修课程：高等数学C、复变函数与积分变换、大学物理等等后续课程：机器人感知与交互、人工智能导论等适用专业：机器人工程专业开课单位：智能工程学院一、课程说明《语音技术及其应用》是机器人工程专业的一门专业选修课，主要讲授语音信号的基本概念、采集分析、编码及识别的基本理论与应用。通过本课程的学习，使学生掌握语音识别技术的基本理论和基本应用方法，提高学生的逻辑推理能力、分析计算能力、实验研究能力、总结归纳能力及自学新知识的能力，同时为学习后续课程打下必要的基础。二、课程目标通过本课程的学习，使学生达到如下目标：课程目标1：掌握语音技术及应用的基本概念、声学基础及简单语音信号产生模型模型。课程目标2：掌握对语音信号进行简单分析处理、编码、合成以及识别的基本能力。课程目标3：培养学生利用现代工具获取、分析、处理信息，解决工程问题的能力；培养学生的自主学习能力、创新意识、工匠精神、爱国情怀和劳动热情。三、课程目标与毕业要求《语音技术及其应用》课程教学目标对机器人工程专业毕业要求的支撑见表1。表1课程教学目标与毕业要求关系毕业要求指标点课程目标支撑强度1.工程知识1.3掌握信号处理、控制理论、机器人工程等专业理论知识，用于解决分析机器人工程领域的复杂工程问题。课程目标1：掌握语音技术及应用的基本概念、声学基础及简单语音信号产生模型模型。M3.设计/开发解决方案3.3能够通过单元集成和优化，进行机械电子结构、智能算法、系统集成等部件的应用与设计。课程目标2：掌握对语音信号进行简单分析处理、编码、合成以及识别的基本能力。M5.使用现代工具5.2能够运用MATLAB、Proteus、PLC、ROS等工具对机器人领域的复杂工程问题进行设计、开发和仿真分析，并理解其局限性。课程目标3：培养学生利用现代工具获取、分析、处理信息，解决工程问题的能力；培养学生的自主学习能力、创新意识、工匠精神、爱国情怀和劳动热情。M注：表中“H（高）、M（中）”表示课程与相关毕业要求的关联度。四、教学内容、基本要求与学时分配1.理论部分理论部分的教学内容、基本要求与学时分配见表2。表2教学内容、基本要求与学时分配教学内容教学要求，教学重点难点理论学时实验学时对应的课程目标1.语音技术发展概述1.1语音信号处理的发展1.2语音信号处理的应用1.3语音信号处理的总体结构思政元素：我国语音技术发展之路教学要求：了解语音信号处理的发展和历史；了解语音信号处理的应用领域；理解语音信号处理系统的总体结构。重点:语音信号处理的应用和总体结构。难点:语音信号处理的应用和总体结构。21、32.语音信号的声学基础及产生模型2.1语音信号的产生2.2语音信号的感知2.3语音信号的线性产生模型2.4语音信号的非线性产生模型思政元素：国产AI主播的声音来源教学要求：了解语音信号的产生过程；掌握语音信号在时域和频域的表示方法；了解语音信号的感知方式；理解掩蔽效应；理解并掌握语音信号的线性和非线性产生模型。重点：语音信号在时域和频域的表示方法；掩蔽效应；语音信号线性产生模型、语音信号的非线性产生模型。难点：语音信号的非线性产生模型。621、33.语音信号分析3.1语音信号数字化3.2语音信号时域分析3.3语音信号频域分析3.4语音信号特征应用3.5语音信号线性预测分析思政元素：工匠精神—表征与误差教学要求：掌握语音信号数字化的方法和过程；掌握短时能量分析、短时平均过零率等语音信号在时域分析的方法；掌握滤波器组方法、傅里叶频谱分析等语音信号在频域分析的方法；掌握基音周期估计等语音信号特征的应用方法；理解语音信号线性预测的基本原理和方法。重点：语音信号的数字化；短时能量分析、短时平均过零率；傅里叶频谱分析；语音信号线性预测的原理。难点：傅里叶频谱分析；语音信号线性预测的原理。622、34.语音编码4.1波形编码4.2参数编码、混合编码4.3极低速率语音编码技术4.4语音编码器的性能指标和质量评测方法4.5感知音频编码思政元素：我国语音信息处理的佼佼者—科大讯飞教学要求：理解并掌握波形编码、参数编码和混合编码方法；理解极低速率语音编码原理；理解编码器的性能指标和质量评测方法；了解感知音频编码方法。重点：波形编码；参数编码；混合编码；编码器的性能指标和质量评测方法。难点：参数编码；混合编码；极低速率语音编码原理。62、35.语音识别、合成5.1基于矢量量化的识别技术5.2动态时间归正的识别技术5.3隐马尔可夫模型5.4连接词语音识别技术5.5语音合成的基本原理5.6参数合成法与波形拼接技术思政元素：华为语音助手教学要求：了解语音识别和语音合成的原理；理解常见语音识别技术和语音拼接技术。重点：基于矢量量化的识别技术、动态实践归正的识别技术、隐马尔可夫模型技术、语音合成的基本原理、参数合成方法、波形拼接合成技术。难点：基于矢量量化的识别技术、动态实践归正的识别技术、隐马尔可夫模型技术、参数合成方法、波形拼接合成技术。622、3合计2662.实验部分实验部分的教学内容、基本要求与学时分配见表3。表3实验项目、实验内容与学时实验项目实验内容和要求实验学时对应的课程目标1.语音信号生成实验实验内容：根据语音信号产生模型编程生成相应语音信号。实验要求：理解语音信号产生的基本原理；掌握常见的语音信号产生模型。21、32.语音信号处理与分析实验实验内容：采集语音信号并进行短时时域分析和短时频域分析。实验要求：掌握语音信号采集的过程；理解语音信号短时时域分析、短时频域分析的基本原理。22、33.基于DTW的孤立字语音识别实验实验内容：对给定的孤立阿拉伯数字语音信号进行识别。实验要求：掌握语音识别的模板匹配法的原理和过程；掌握DTW技术的基本原理。22、3合计6五、教学方法及手段本课程注重讲授语音信号处理的基本理论和技术，以教师课堂讲授为主，同时引入课堂讨论并辅以案例分析，激发学生兴趣，培养学生独立思考问题、分析问题和解决问题的能力；教学过程以精讲多练、理实结合为原则，安排适当的案例分析练习题。在实验教学环节中，以讨论、演示为主，注意培养学生自主学习和实践动手能力。六、课程资源1.推荐教材：（1）韩纪庆等.《语音信号处理》（第3版）[M].北京:清华大学出版社.2019.2.参考书：（1）梁瑞宇.《语音信号处理实验教程》[M].北京:机械工业出版社.2016.03．（2）张雪英.《数字语音处理及MATLAB仿真》（第2版）[M].北京:电子工业出版社.2016.04．（3）宋知用.《MATLAB语音信号分析与合成》[M].北京:北京航空航天大学出版社.2018.01．（4）张贤达.《现代语音信号处理》.北京:清华大学出版社.2015.123.期刊：（1）雷杰,赵宏亮,艾宁智等.基于BN-SGMM-HMM模型的低资源语音识别系统[J].合肥工业大学学报(自然科学版),2021,44(12):1627-1632.（2）朱方圆,马志强,陈艳等.语音识别中说话人自适应方法研究综述[J].计算机科学与探索,2021,15(12):2241-2255.（3）鱼昆,张绍阳,侯佳正等.语音识别及端到端技术现状及展望[J].计算机系统应用,2021,30(03):14-23.DOI:10.15888/ki.csa.007852.（4）崔阳,刘长红.基于PIFA的语音识别系统评测平台[J].计算机科学,2020,47(S2):638-641.（5）唐海桃,薛嘉宾,韩纪庆.一种多尺度前向注意力模型的语音识别方法[J].电子学报,2020,48(07):1255-1260.（6）王子龙,李俊峰,张劭韡等.基于递归神经网络的端到端语音识别[J].计算机与数字工程,2019,47(12):3099-3106.（7）唐美丽,胡琼,马廷淮.基于循环神经网络的语音识别研究[J].现代电子技术,2019,42(14):152-156.DOI:10.16652/j.issn.1004-373x.2019.14.035.（8）孙可,刘忠武,吴雨洽等.基于Python的深度学习语音识别[J].沈阳师范大学学报(自然科学版),2019,37(03):274-277.4.网络资源：（1）基于HMM的语音识别.中国.CSDN.2018./jie8895010/article/details/52389157．（2）语音识别的技术原理是什么.中国.CSDN.2018./jie8895010/article/details/52389157．七、课程考核对课程目标的支撑课程成绩由过程性考核成绩和期末考核成绩两部分构成，具体考核/评价细则及对课程目标的支撑关系见表4。表4课程考核对课程目标的支撑考核环节占比考核/评价细则课程目标123过程性考核课堂表现10（1）根据参与课堂活动情况进行考核，满分100分。（2）以平时考核成绩乘以其在总评成绩中所占的比例计入课程总评成绩。√√√442实验20（1）根据每个实验的实验操作完成情况和实验报告质量单独评分，满分100分。（2）每次实验单独评分，取各次实验成绩的平均值作为此环节的最终成绩。（3）以实验成绩乘以其在总评成绩中所占的比例计入课程总评成绩。√√√884作业10（1）主要考核学生对各章节知识点的复习、理解和掌握程度，满分100分。（2）每次作业单独评分，取各次成绩的平均值作为此环节的最终成绩。（3）以作业成绩乘以其在总评成绩中所占的比例计入课程总评成绩。√√√442期末考核60（1）期末考核要求学生完成一项综合性大作业。（2）综合性大作业以综合性设计和应用为主，主要考查学生对该课程的整体掌握程度和应用实践能力。（3）学生课分组完成。√√√252510合计：100分414118八、考核与成绩评定1.考核方式及成绩评定考核方式：本课程主要以课堂表现、实验、作业、期末考试等方式对学生进行考核评价。考核基本要求：考核总成绩由期末试卷成绩和过程性考核成绩组成。其中：期末考核成绩为100分（权重60%），期末考核要求学生完成一项以综合性设计和应用为主的大作业，学生可分组完成；课堂表现、实验、作业等过程性考核成绩为100分（权重40%）。2.过程性考核成绩的标准过程性考核方式重点考核内容、评价标准、所占比重见表5。表5过程性考核方式评价标准考核方式所占比重(%)100>x≥9090>x≥8080>x≥7070>x≥60x<60课堂表现25积极参与教学活动，踊跃回答问题，多次累计平均得分100>x≥90。认真参与各项教学活动，多次累计平均得分90>x≥80