语音信号处理 教学大纲

第页语音信号处理一、课程说明课程编号：090179Z10课程名称：语音信号处理/SpeechSignalProcessing课程类别：专业课学时/学分：32学时/2学分先修课程：数字信号处理、复变函数适用专业：智能科学与技术、自动化、测控、电子信息工程、信息与通信工程教材、教学参考书：[1]赵力主编.语音信号处理(第2版).北京：机械工业出版社，2011年；[2]张雪英主编.数字语音处理及MATLAB仿真.北京：电子工业大学，2012年；[3]韩纪庆、张磊、郑铁然主编,语音信号处理.北京：清华大学出版社,2004年；[4]胡航主编,语音信号处理(第4版).哈尔滨：哈尔滨工业大学出版社，2009年；[5]胡航主编,现代语音信号处理.北京：电子工业大学，2014年。二、课程设置的目的意义通过本课程的学习，使学生了解语音信号、语音信号处理等概念及其声学基础；理解语音信号处理的基本理论、算法；系统掌握语音信号的各种数字处理方法及应用，让学生对本专业的专业基础课应用背景有系统地认识和了解。语音信号处理课程具体将介绍语音信号处理的基础、原理、方法和应用，以及该学科领域近年来取得的一些新的研究成果和技术。语音信号处理是在多学科基础上发展起来的综合性研究领域与技术，涉及数字信号处理、语音学、语言学、生理学、心理学、计算机科学、模式识别、认知科学和智能信息处理等学科。本课程系统介绍了语音信号处理的基础、原理、方法、应用、新成果与新技术，为从事该研究领域研发的相关行业奠定了基础。三、课程的基本要求知识：掌握语音信号处理基础知识，了解语音信号分析技能、矢量量化技术。理解隐马尔可夫模型，以及神经网络在语音信号处理中的应用。掌握语音编码、语音合成、语音识别等常用技术。学会说话人识别与语种辨识、语音转换与语音隐藏、语音信号中的情感信息处理、耳语音信号处理、语音增强等关键技术。能力：从理论联系实验的应用角度出发，学习语音信号处理的基础知识，解决涉及语音工程项目的关键问题。掌握基本语音信号分析手段，针对语音识别等应用问题，提出有效的解决方法，提高语音识别与合成的指标。在信号分析与语音应用问题的交叉知识中培养创新意识，提高分析与解决问题的能力。素质：通过课程讨论与课后作业形式，提升学生发现新问题的能力。结合现有语音信号处理方法，针对特定问题创新性的改进已有技术，并提升应用价值，有意识的培养学生的创新思维，达到不断学习不断创新的素质发展要求。四、教学内容、重点难点及教学设计章节教学内容总学时学时分配教学重点教学难点教学方案设计（含教学方法、教学手段）讲课(含研讨)实践第1章绪论220语音信号处理概述讨论本课程适合自己的学习方法对语音信号处理概括的介绍，并简要的讨论了它的各种应用，这些应用和全书将要讨论的议题是紧密相关的，现代化多媒体教学技术为主。第2章语音信号处理基础知识220语音信号生成的数字模型数字模型的理解及模型的优点和缺陷。在这章中讨论语音信号在声道中产生的物理基础，及数字模型。此外，这一章也扼要的介绍了语音声学，对语音的声学特性以及一些其它的物理特性进行了讨论。以现代化多媒体教学技术为主。第3章语音信号分析642预处理、语音信号的时域分析基音周期估计、共振峰估计从语音信号预处理必要性的问题出发，启发学生利用数字信号中的基础知识，进行讨论式教学。现代化多媒体教学技术为主，传统的黑板式教学为辅等多种形式相结合的原则。第4章矢量量化技术220矢量量化器的最佳码本设计矢量量化技术的优化设计发现问题式教学，发现矢量量化原理的意义，讨论矢量量化器的最佳码本设计，并完成矢量量化技术的优化设计。现代化多媒体教学技术为主，传统的黑板式教学为辅等多种形式相结合的原则。第5章语音编码220语音压缩技术语音信号的参数编码、线性预测声码器学生分组式教学，分别预习语音信号压缩编码原理、语音信号的波形编码、语音信号的参数编码、语音信号的混合编码。而后，在教师讲述过程中，分组学生辅助老师完成预先设计的课题演示，以现代化多媒体教学技术为主。第6章语音合成220共振峰合成法、线性预测合成法方法硬件DSP的实现讨论式教学为主，讨论共振峰合成法、线性预测合成法方法的实现过程，以现代化多媒体教学技术为主。第7章语音识别642动态时间规整方法连续语音识别系统的实现项目组设计教学方式为主，完成语音识别原理和识别系统组成的课题教学后，以项目驱动方式，学生分组分别完成动态时间规整方法设计、孤立字(词)识别系统设计、连续语音识别系统设计，并要求一组学生完成客观评判方法设计，评估语音识别效果，以现代化多媒体教学技术为主。第8章说话人识别与语种辨识220说话人识别特征的选取、模式匹配方法说话人识别系统的评价讨论式教学为主，课题讨论DTW的说话人确认系统，VQ的说话人识别系统的优缺点，以现代化多媒体教学技术为主。第9章语音信号中的情感信息处理642语音情感识别方法情感特征分析项目驱动教学方式为主，分组完成语音信号中的情感分类和情感特征分析，以及语音情感识别方法，以现代化多媒体教学技术为主。第10章语音增强200滤波法语音增强技术自适应滤波器的改进与设计启发式教学为主，讨论相关特性的语音增强技术，和减谱法语音增强技术，并学会利用Weiner滤波法的语音增强技术，以现代化多媒体教学技术为主。注：实践包括实验、上机等第一章绪论了解语音信号、数字信号处理、语音信号处理等概念及其相互关系。同时，了解语音信号处理的理论、算法和发展概况。第二章语音信号处理基础知识了解语音和语言、汉语语音学的特点与结构，了解语音生成系统和语音感知系统。掌握语音信号生成的数学模型，包括激励模型、声道模型、辐射模型。理解语音信号的特性分析，包括语音信号的时域波形和频谱特性、语音信号的语谱图、语音信号的统计特性。第三章语音信号分析了解语音信号的数字化和预处理，包括预滤波、采样、A/D转换、预处理等。掌握语音信号的时域分析，包括短时能量及短时平均幅度分析、短时过零率分析、短时相关分析、短时平均幅度差函数。掌握语音信号的频域分析，包括利用短时傅里叶变换求语音的短时谱、语音的短时谱的临界带特征矢量。理解语音信号的倒谱分析，包括同态信号处理的基本原理、复倒谱和倒谱、语音信号倒谱分析实例。掌握语音信号的线性预测分析。了解语音信号的小波分析。掌握基音周期估计的自相关法、平均幅度差函数法。掌握共振峰估计方法，包括带通滤波器组法、倒谱法、LPC法。第四章矢量量化技术了解矢量量化的基本原理，及其矢量量化的失真测度。掌握矢量量化器的最佳码本设计，包括LBG算法、初始码本的生成。理解矢量量化技术的优化设计。第五章语音编码掌握语音信号压缩编码的原理和压缩系统评价，包括语音压缩的基本原理、语音编码的关键技术、语音压缩系统的性能指标和评测方法。理解语音信号的波形编码，包括脉冲编码调制、自适应预测编码、自适应增量调制和自适应差分脉冲编码调制、子带编码、自适应变换编码。了解语音信号的参数编码、线性预测声码器。了解语音信号的混合编码。了解现代通信中的语音信号编码方法。第六章语音合成掌握共振峰合成法、线性预测合成法方法，了解语音合成专用硬件简介，PSOLA算法合成语音，以及文语转换系统。第七章语音识别理解语音识别原理和识别系统的组成，包括预处理和参数分析、语音识别、语音识别系统的基本数据库。掌握动态时间规整方法，并完成孤立字(词)识别系统设计，其中包括基于MQDF的汉语塞音语音识别系统、基于概率尺度DP识别方法的孤立字(词)识别系统。在连续语音识别系统方面，理解连续语音识别系统的性能评测，包括连续语音识别系统的评测方法以及系统复杂性和识别能力的测度、综合评估连续语音识别系统时需要考虑的其他因素。第八章说话人识别与语种辨识理解说话人识别方法和系统结构，包括预处理、说话人识别特征的选取、特征参量评价方法、模式匹配方法、说话人识别中判别方法和阈值的选择、说话人识别系统的评价。了解应用DTW的说话人确认系统，了解应用VQ的说话人识别系统，了解应用HMM的说话人识别系统，以及应用GMM的说话人识别系统第九章语音信号中的情感信息处理了解语音信号中的情感分类和情感特征分析，掌握语音情感识别方法，包括主元分析法、神经网络方法、混合高斯模型法、情感语音的合成。第十章语音增强了解语音特性、人耳感知特性及噪声特性，掌握滤波法语音增强技术，包括陷波器法、自适应滤波器。了解利用相关特性的语音增强技术，包括自相关处理抗噪法，包括中心削波法、同态滤波法。了解减谱法语音增强技术，并学会利用Weiner滤波法的语音增强技术。五、实践教学内容和基本要求实验名称实验内容学时基本要求基音周期与共振峰语音信号分析中的基音周期与共振峰估计2对语音基音周期与共振峰有一个客观全面认识动态时间规整的语音识别方法基于动态时间规整的语音信号识别方法及其实现2掌握动态时间规整算法，以及语音识别的基本流程。语音情感识别语音情感的特征提取与识别方法2掌握语音情感识别特征提取参数的方法，并设计有效的识别方案。实验其他要求（1）由指导老师讲解实验的基本要求，完成的任务操作要领及注意事项。（2）实验1人一组，由学生独立操作完成实验。（3）学生在完成预习报告后才能进入实验室进行实验。（4）实验结束后，提交实验代码与报告各一份，指导教师根据实验结果及报告，给出考核成绩。六、考核方式及成绩评定根据课程类型、课程性质、课程内容及特点，确定适合的考核内容、考核方式及成绩评定。考核内容重点考核学生获取知识的能力、应用所学知识分析问题和解决问题能力、实践动手能力和创新能力等；考核方式采用多种形式（笔试、口试、答辩、测验、论文等）、多个阶段（平时测试、作业测评、课外阅