《语音识别技术》课程教学大纲

《语音识别技术》教学大纲课程名称：语音识别技术课程编号：2382英文名称：Speechrecognitiontechnology学时：40学时 学分：2.5学分开课学期：第7学期适用专业：数据科学与大数据技术专业课程类别：理论课+实验课课程性质：专业方向与拓展课先修课程：Python程序设计、时间序列分析一、课程的性质及任务《语音识别技术》课程是数据科学与大数据技术专业学生的专业方向与拓展课，本课程主要介绍语音信号处理的基本理论、方法和相关的应用领域，并介绍目前的研究现状和学科发展的趋势。通过本课程的学习，使学生较好地掌握语音信号处理的基本内容和基本方法，并在一定程度上能利用信号处理的的思想、方法解决一些简单的模式识别和人工智能问题。依据河北工程大学数据科学与大数据技术专业培养计划，本课程需要培养学生的能力是：能够将数据科学与大数据技术相关知识用于大数据工程问题解决方案的比较与综合（毕业要求指标1.4）能够针对大数据特定的任务需求，完成大数据系统、模块的设计与开发（毕业要求指标3.2）掌握基本的大数据开发环境的配置和应用，熟练掌握软件开发语言，并能够运用集成开发环境进行复杂程序设计（毕业要求指标5.1）二、课程目标与要求2.1课程目标1.

PAGE16PAGE4092.2课程目标与毕业要求对应关系毕业要求123毕业要求二级指标毕业要求●1-4能够将数据科学与大数据技术相关知识用于大数据工程问题的解决方案。1.具有扎实的数学与自然科学知识和工程基础，系统地掌握数据科学与大数据技术领域的基本理论、基础知识，并综合运用所学知识解决复杂工程问题。●3-2. 能够针对大数据特定的任务需求，完成大数据系统、模块的设计与开发。3.能够设计出大数据应用领域的复杂工程问题的解决方案，具有数据采集、处理、分析、挖掘的能力，并能够在设计环节中体现创新意识，考虑社会、健康、安全、法律、文化以及环境等多维度协同发展因素。●5-3具备使用大数据平台以及软件对复杂工程问题进行仿真的能力，理解其使用要求、运用范围和局限性。5.能够针对大数据应用领域的复杂工程问题，开发、选择与使用恰当的技术、资源、现代信息技术工具，包括对大数据应用领域的复杂工程问题的预测与仿真，并能够理解其局限性。2.3课程目标与培养环节对应矩阵序号课程目标理论教学课内实验课后作业1掌握语音识别技术的基本概念和基本理论，熟悉语音识别技术的经典方法，培养学生解决计算机领域复杂工程问题所需专业基础知识。HL2能够运用计算思维分析问题和解决问题，针对计算机领域复杂工程问题，分析并抽象出语音识别技术中的问题。HML3能够综合运用语音识别技术的基本理论和设计方法，针对计算机领域复杂工程问题研究和设计可行的解决方案，并能对解决方案进行分析和论证。HHM注：H表示该能力的在此环节重点培养；M表示该能力在此环节有应用要求；L表示该能力在此环节有所涉及。并行程序设计原理课程教学大纲PAGE2PAGE4202.4目标达成度的评价课程目标1主要通过理论教学环节进行培养，在课内实验有所涉及。主要通过课堂测试和期末考试中概念性、原理性题目进行考核。目标达成综合以上内容进行评价。课程目标2主要通过理论教学环节进行培养，在课内实验有应用要求，课后作业有所涉及。主要通过课堂测试，课后作业和期末考试中各种语音识别技术题目进行考核，在实验中体现为能熟悉语音识别技术的基本理论和设计方法。目标达成综合以上内容进行评价。课程目标3主要通过课内实验进行培养，在课后作业有应用要求。主要通过布置计算机领域复杂工程问题应用案例题目进行考核，在实验报告中体现为能给出符合要求的语音识别结论。在课后作业中体现为基于语音识别技术，综合运用各种语音识别技术能力；目标达成综合以上内容进行评价。三、教学方法及手段理论教学以课堂讲授为主，上机实验为辅并结合课堂讨论、案例分析、师生互动等教学方法展开教学；理论教学强调将各种语音识别技术与实际项目案例的实际情况紧密联系，面向知识的实际应用；本课程教材力求内容新颖，采用多样化的方式进行教学，让学生在理论与实践相结合的基础上，对课程所要求的实际操作能力有进一步的提高。充分利用多媒体等现代化教学手段，整体优化教学过程和教学内容，调动学生学习积极性；布置实际操作任务给学生上机操作并及时指导。课程强调学生的自主学习，强调通过自学的方式消化、吸收课程的庞大知识量，并在此基础上举一反三、灵活应用。四、课程的基本内容与教学要求第一章语音信号处理基础[教学目的与要求]：理解和掌握语音处理的方法和应用，学习语音信号的特征和听觉的特征，对语音识别技术能够解决的问题有初步的认识。[本章主要内容]：1.1什么是语音信号处理1.2语音处理的应用1.3语音的基本特征及简化的数字模型[本章重点]：语音的基本特征。语音处理应用。[本章难点]：语音简化的数字模型第二章语音信号的时域分析[教学目的与要求]：理解语音信号的时域分析和语音自相关分析。掌握基音周期估计方法。[本章主要内容]：2.1基音周期估计2.2掌握短时自相关分析[本章重点]：1.短时自相关分析2.基音周期估计。[本章难点]：三角和的概念。第三章语音信号的变换域分析[教学目的与要求]：了解语音信号的频域分析和意义，掌握语音信号的同态处理和非线性处理。[本章主要内容]：3.1语音信号的频域分析—傅立叶变换；3.2语音信号的非线性处理；3.3语音信号的同态处理。[本章重点]：1.语音信号的频域分析2.语音信号的同态处理。[本章难点]：频域分析—傅立叶变换第四章语音信号线性预测分析[教学目的与要求]：了解LP分析的基本原理，掌握语音信号的LSP分析方法，了解线谱对分析。[本章主要内容]：4.1LP分析4.2LSP分析4.3线谱对分析[本章重点]：LP分析的基本原理。[本章难点]：线谱对分析及其他语音参数第五章矢量量化[教学目的与要求]：了解无记忆矢量量化器与有记忆矢量量化器的方法，掌握全搜索算法。[本章主要内容]：5.1.特征矢量与失真测度5.2.全搜索算法5.3.失真测度[本章重点]：无记忆矢量量化器。[本章难点]：波形矢量量化与分离均值矢量量化第六章语音编码[教学目的与要求]：掌握波形编码的几种方法，了解混合激励线性预测，理解参数编码与混合编码。[本章主要内容]：6.1波形编码6.2参数编码6.3混合编码6.4编码质量的饿评估[本章重点]：波形编码的几种方法。[本章难点]：混合激励线性预测。第七章语音识别[教学目的与要求]：掌握HMM的基本问题，了解HMM的相似度的比较，理解人工神经网络。[本章主要内容]：7.1HMM概念7.2HMM相关内容。[本章重点]：HMM的基本问题。[本章难点]：隐马尔可夫模型。第八章语音合成[教学目的与要求]：掌握语音生成的几种方法，了解共振峰合成法，理解波形拼接合成法。[本章主要内容]：8.1语音合成的方法8.2共振峰合成法8.3波形拼接合成法[本章重点]：语音生成的几种方法[本章难点]：信号子空间的概念。第九章语音增强[教学目的与要求]：掌握语音生成模型的增强算法，了解语音增强的新发展，理解信号子空间的概念。[本章主要内容]：9.1语音增强的方法9.2语音增强的新发展[本章重点]：语音生成模型的增强算法。[本章难点]：信号子空间的概念。五、课内实验5.1本课程实验教学的地位和作用语音识别技术实验是巩固和扩展课程理论知识的必要环节。通过实验教学，使学生掌握语音信息处理的基本方法。了解语音信息处理的实际过程，并具有分析、整理实验数据和编写实验报告的能力。5.2教学基本要求通过实验预习及设计，理解语音识别技术的基本原理，要求学生通过实验环节运用专业理论知识与技能，利用TLAB软件方正工具，通过实验使学生掌握语音信号的特点和处理的实际过程，掌握语音信号特征提取有关工程算法，并通过对实验数据和结果的解析得到正确的结论，并具有分析、整理实验数据和编写实验报告的能力，有助于提高学生的实际动手能力和分析解决问题的能力。5.3实验内容及要求大纲基本内容包括四个实验项目，在8个学时内完成。实验一语音信号的预处理实验目的：(1)掌握趋势项、直流项的方法。(2)掌握语音信号预加重的原理及方法。(3)掌握语音信号预滤波的目的和方法。(4)编程实现上述方法，并测试。实验设备：计算机（安装好TLAB软件）实验内容及步骤：内容：(1)测试TLAB的去线性趋势函数detrend的作用：(2)设计低通滤波器：(3)编写预加重函数。步骤：(1)运行TLAB,新建m文件，编写m程序。(2)编译并调试程序，观察仿真效果图。实验二语音分帧与加窗实验目的：(1)了解语音信号分帧与加窗的重要性和必要性。(2)掌握常用的窗函数和加窗分帧处理的原理。(3)能编程实现分帧函数，并恢复。实验设备：计算机（安装好TLAB软件）实验内容及步骤：内容：根据语音分帧的思想，编写分帧函数；(2)编程实现矩形窗，汉明窗和汉宁窗。步骤：(1)运行TLAB,新建m文件，编写m程序。(2)编译并调试程序，观察仿真效果图。实验三线性预测分析实验目的：(1)了解线性预测分析在语音信号处理中的重要性和必要性。(2)掌握线性预测分析的基本思想。(3)掌握TLAB进行线性预测分析的流程。实验设备：计算机（安装好TLAB软件）实验内容及步骤：内容：(1)根据莱文逊-杜宾自相关发求线性预测系数的原理，编写TLAB函数，并与TLAB自带的LPC函数进行比较；(2)编写求取LPC预测系数的复频谱函数，并与FFT频谱进行对比。步骤：(1)运行TLAB,新建m文件，编写m程序。(2)编译并调试程序，观察仿真效果图。实验四共振峰估计实验实验目的：(1)了解共振峰估计的意义。(2)了解共振峰估计预处理的方法与意义。(3)掌握基于倒谱法和线性预测法的共振峰检测原理。(4)编写基于倒谱法和线性预测法的共振峰检测函数，并仿真验证。实验设备：计算机（安装好TLAB软件）实验内容及步骤：内容：(1)根据基于倒谱法的共振峰估计原理，编写基于倒谱法的共振峰估计的TLAB函数，并仿真：(2)根据基于LPC内插法的共振峰估计原理，编写基于LPC的共振峰估计的TLAB函数，并仿真。步骤：(1)运行TLAB,新建m文件，编写m程序。(2)编译并调试程序，观察仿真效果图。5.4教学文件及教学形式教学文件：《语音信号处理实验教程》。教学形式主要包括：预习、课堂指导与实验操作、撰写实验报告。实验报告学生自拟。实验报告包括：实验目的、编程语言，描述方法原理，详细叙述编程步骤，要有完整的数据和编程、图表表示的实验结果，以理论联系实际为出发点，调整参数并分析与实际数据之间的误差，总结实验中出现的问题及解决方法。5.5实验项目及学时分配序号实验项目实验学时实验类型实验类别实验性质1语音信号的预处理2验证性专业必修2语音分帧与加密2验证性专业必修3线性预测分析2综合性专业必修4共振峰估计实验2综合性专业必修5.6本课程实验用到的场地和仪器大数据实验中心机房、多功能多媒体设备、智慧黑板。六、课程学时分配教学课次教学内容教学环节与计划时数教学环节计划时数1绪论理论课22语音信号处理基础理论课23语音信号的时域分析--语音信号的时域分析，语音自相关分析，理论课2４语音信号的时域分析--基音周期估计理论课25语音信号的频域分析—傅立叶变换理论课26语音信号的非线性处理理论课27语音信号的同态处理理论课28语音信号的线性预测--LP分析理论课29语音信号的线性预测--线谱对分析理论课210矢量量化理论课211波形编码方法理论课212参数编码与混合编码理论课213语音识别-HMM的基本问题理论课214HMM相似度的比较理论课215语音合成理论课216语音增强理论课217实验1数据预处理实验课218实验2分类模型：决策树和KNN分类实验实验课219实验3分类模型：贝叶斯分类器和支持向量机实验课220实验4关联规则实验课2注：实验课由任课教师负责协调安排时间。七、课程考核与成绩评定7.1考核方式考核环节包括课程学习过程考核和期末考核，其中课程过程考核占总成绩的40%，分别由课堂表现、课后作业、实验情况进行评定；期末考核占总成绩的60%。各环节的比重如下。考核环节比重合计过程考核（平时成绩）课堂表现10%40%作业10%实验20%期末考核（课程论文）大作业的报告30%60%答辩30%总计100%100%7.2考核内容及要求本课程为考查课。考核内容及分值分配如下。考核方式考核内容分值课程目标总分值期末考核60%语音信号的时域分析5~10目标1100分语音信号的时域分析5~10目标1语音信号的非线性处理10~15目标1语音信号的同态处理5~10目标1,2语音信号的线性预测10～20目标1,2矢量量化10～15目标1,2波形编码方法5～10目标1,2语音合成2~5目标2,3语音增强2～5目标2,3过程考核40%课堂表现课堂测试、出勤情况10目标1,210分课后作业作业完成情况10目标1,210分实验实验出勤、实验表现及实验报告20目标2,320分7.3成绩评定1.课堂表现课堂表现总分10分，由课堂测试与课堂出勤情况评定。其中，课堂测试满分6分，以客观题（填空、选择、判断）为主，每学期随堂测试15~20次，每次测试1~2道题目，每答错一道题目扣0.5分（直到扣满6分为止）；课堂出勤满分4分，缺勤一次扣1分，迟到或请假扣0.5分。2.课后作业课后作业总分10分，由作业完成情况评定。每学期布置作业5次，每次作业占2分，评分标准如下；评分标准分值标准描述课后作业3能够按时认真完成作业、作业态度认真、书写清楚、分析计算正确。2能够按时完成作业、作业态度较好、书写较清楚、分析计算基本正确1能够按时完成作业、作业态度一般、书写不清楚、分析计算错误较多0不交作业或作业态度不认真、抄袭他人作业3.实验成绩实验成绩占所学课程的20%，即20分。根据学生的实验表现及实验报告结果，进行综合评定。具体评分标准如下表所示。评分标准分值标准描述实验表现（10）10无迟到、早退现象，态度端正，与同组同学配合认真完成编写及调试程序，运行结束后，按要求整理实验报告。8有迟到、早退现象或编程过程不够认真。6有迟到、早退现象且编程过程不认真。4有迟到、早退现象，编程过程不动手，浑水摸鱼。0旷课实验报告（10）10有完整正确的程序，过程叙述内容完整，正确分析数据，图形绘制清晰合理，结论正确，书写认真。8有相应程序，过程叙述内容较完整，正确分析实验数据，图形绘制清晰较合理，结论正确，书写较认真。6过程叙述内容较完整，分析数据有较少错误，图形绘制不够清晰，结论不准确，书写不够认真。4过程叙述内容较完整，