基于Matlab的语音识别系统的设计

1、摘要语音识别主要是让机器听懂人说的话，即在各种情况下，准确地识别出语音的内容，从而根据其信息执行人的各种意图。语音识别技术既是国际竞争的一项重要技术，也是每一个国家经济发展不可缺少的重要技术支撑。本文基于语音信号产生的数学模型，从时域、频域出发对语音信号进行分析，论述了语音识别的基本理论。在此基础上讨论了语音识别的五种算法：动态时间伸缩算法(Dynamic Time Warping ， DTW) 、 基于规则的人工智能方法、人工神经网络(Artificial Neural Network ， ANN) 方法、隐马尔可夫(Hidden Markov Model ，HMM) 方法、HMM 和 AN

2、N 的混合模型。重点是从理论上研究隐马尔可夫(HMM) 模型算法，对经典的HMM 模型算法进行改进。语音识别算法有多种实现方案，本文采取的方法是利用Matlab 强大的数学运算能力，实现孤立语音信号的识别。Matlab 是一款功能强大的数学软件，它附带大量的信号处理工具箱为信号分析研究，特别是文中主要探讨的声波分析研究带来极大便利。本文应用隐马尔科夫模型(HMM) 为识别算法，采用MFCC(MEL 频率倒谱系数)为主要语音特征参数，建立了一个汉语数字语音识别系统，其中包括语音信号的预处理、特征参数的提取、识别模板的训练、识别匹配算法；同时，提出利用Matlab 图形用户界面开发环境设计语音识别

3、系统界面，设计简单，使用方便，系统界面友好。经过统计，识别效果明显达到了预期目 标。关键词 ：语音识别算法；HMM 模型； Matlab； GUIABSTRACTSpeech Recognition is designed to allow machines to understand what people say,and accurately identify the contents of voice to execute the intent of people.Speech recognition technology is not only an important interna

4、tionally competed technology,but also an indispensable foundational technology for the national economic development.Based on the mathematical model from the speech signal,this paper analyze audio signal from the time domain,frequency domain proceeding,and discussed the basic theory of speech recogn

5、ition technology.Five algorithm are discussed:Dynamic Time Warping(DTW) 、 Rule-based Artificial Intelligence,Artificial Neural Network(ANN),Hidden Markov Model(HMM),HMM combined with ANN.The focus is put in the theoretical studies of Hidden Markov(HMM) model algorithm,and the classical HMM algorithm

6、 is improved.Speech recognition algorithm is realized in various programs,this article taking the method is to use Matlab powerful mathematical operation ability to realize the recognition of speech signal isolation. Matlab is a powerful mathematic software with a mass of toolboxes dealing with sign

7、al processing. It gives a terrific shortcut to the research of signal processing,especially the wave analysis. We can characterize the sound with key parameters such as intensity, frequency etc. In this paper, hidden Markov model (HMM) recognition algorithm using MFCC (MEL frequency cepstral coeffic

8、ients) as the main voice characteristic parameters, the establishment of a Chinese digital speech recognition system, including the preprocessing of the speech signal,the extraction of characteristic parameters the training of the recognition template,identifying matching algorithm;the same time,the

9、 use of Matlab graphical user interface development environment designed speech recognition system interface,is designed to be simple,easy to use,friendly interface. Besides,to have a simple exploration of the voice recognition is another target.After statistics,recognition result obviously is made

10、out as the expected goal.Key words： Speech recognition algorithm ； HMM model ； Matlab ； GUI3一、前言11.1 语音识别的发展历史11.2 语音识别研究现状11.3 语音识别系统的分类21.4 语音识别系统的基本构成31.5 语音识别技术难点31.6 语音识别发展前景442.1 语音学知识42.1.1 音素和音节52.1.2 汉语的声调52.1.3 语音信号产生模型62.2 语音信号数字化和预处理72.2.1 数字化 72.2.2 预加重处理 72.2.3 防混叠滤波 82.2.4 加窗处理 82.3 语

11、音信号的时域分析92.3.1 短时能量分析92.3.2 短时平均过零率 112.3.3 短时自相关函数和短时平均幅度差函数 122.3.4 语音端点检测 132.4 语音信号的频域分析 142.4.1 滤波器组法 142.4.2 傅立叶频谱分析 142.5 特征参数提取 152.5.1 LPCC 倒谱系数 152.5.2 Mel频率倒谱系数16173.1 动态时间伸缩算法 173.2 基于规则的人工智能方法 183.3 人工神经网络方法 193.4 隐马尔可夫方法 203.5 HMM和ANN的混合模型 21234.1 HMM的基本理论和数学描述234.2 HMM的三个基本问题及解决算法244.

12、3 HMM算法的改进314.4 HMM的结构和类型 334.5 HMM算法实现的问题 34五、基于Matlab 环境下的语音识别算法实现355.1 识别系统平台介绍 355.2 在 Matlab中HMM算法的实现 365.2.1 端点检测 365.2.2 特征参数提取 365.2.3 训练和识别 375.3 实验结论分析 38六、结束语396.1 回顾 396.2 展望 39七、致谢40参考文献40河南理工大学毕业设计(论文)说明书1.1 语音识别的发展历史作为智能计算机研究的主导方向和人机语音通信的关键技术，语音识别技术一直受到各国科学界的广泛关注。以语音识别开发出的产品应用领域非常广泛，有

13、声控电话交换、语音拨号系统、信息网络查询、家庭服务、宾馆服务、旅行社服务系统、订票系统、声控智能玩具、医疗服务、银行服务、股票查询服务、计算机控制、工业控制、语音通信系统、军事监听、信息检索、应急服务、翻译系统等，几乎深入到社会的每个行业、每个方面，其应用和经济社会效益前景非常广泛。因此语音识别技术既是国际竞争的一项重要技术，也是每一个国家经济发展不可缺少的重要技术支撑。研究语音识别，开发相应的产品有着广泛的社会意义和经济意义。语音识别中的说话人辨认的研究始于20 世纪 30 年代。 早期的工作主要集中在人耳听辨试验和探讨听音识别的可能性方面。Bell 实验室的L G Kesta 目视观察语谱

14、图进行识别，提出了“声纹 (Voiceprint) ”的概念。 Bell 实验室的S Pruzansky 提出了模版匹配和概率统计方差分析的声纹识别方法，形成了声纹识别研究的一个高潮。60 年代末和70年代初语音识别最重要的发展是语音信号线性预测编码(LPC) 技术和动态时间规整(DTW)技术， 有效地解决了语音的特征提取和时间不等长匹配问题，对特定人的语音识别十分有效。研究特点是以孤立字语音识别为主，通常把孤立字作为一个整体来建立模板。80 年代，语音识别研究的重点之一是连接词语音识别，开发了各种连接词语音识别和关键词识别算法，如多级动态规划语音识别算法。另一个重要发展是语音识别算法从模板匹

15、配技术转向基于统计模型技术。1.2 语音识别研究现状20 世纪 90 年代后，在细化模型的设计、参数提取和优化，以及系统的自适应技术上取得了一些关键进展。语音识别技术进一步成熟，并开始向市场提供产品。由于中国的国际地位不断提高，以及在经济和市场方面所处的重要地位，汉语语音识别也越来越受到重视。IBM、 Microsoft 、 L&H等公司相继投入到汉语语音识别系统的开发中，其投资也逐年增加。 IBM开发的 Viavoice 和 Microsoft 开发的中文识别引擎代表了当前汉语语音识别的最高水平。台湾的一些大学和研究所也开发出大词汇量非特定人连续语音识别演示系统。日本也先后在语音识别领域大展

16、头角，还有如Philips 公司开发的Speech Media 和 SpeechPearl 两套软件，涵盖了自然语音识别与理解的对话系统。我国语音识别研究工作近年来发展很快，同时也从实验室逐步走向实用。从1987 年开始执行863 计划后，国家863智能计算机主题专家组为语音识别研究立项。每两年滚动一次，从1991 年开始，专家组每一至二年举行一次全国性的语音识别系统测试。汉语语音识别研究已经走上组织化的道路。目前我国大词汇量连续语音识别系统的研究已经接近国外最高水平。语音识别发展到一定阶段，世界各国都加快了语音识别引用系统的研究开发，通常连续语音是含有较完整语法信息的连续语句，最接近于人的自

17、然讲话方式，从非连续语音到连续语音的研究面临着很多完全不同的技术难点，非连续语音的识别是一些孤立的声波片段，连续语音则面临着如何切分声波的问题。诸如此类的新问题使连续语音识别率的提高比非连续语音更加困难。经过几十年的发展和摸索，人们终于在实验室突破了大词汇量、连续语音和非特定人这三大障碍，第一次把这三个特性一起集中于一个系统中，并以此确定了统计方法和模型在语音识别和语音处理中的主流地位。在声学识别层次，以多个说话人发音的大规模语音数据为基础，以马尔可夫链为基础的语音序列建模方法HMM隐含马尔可夫模型()比较有效的解决了语音信号短时稳定、长时时变的特性，并且能根据一些基本建模单元构造成连续语音的

18、句子模型，达到了比较高的建模精度和建模灵活性。目前在语音识别研究领域非常活跃的课题为稳健语音识别、说话人自适应技术、大词汇量关键词识别算法、语音识别的可信度评测算法、基于类的语言模型和自适应语言模型，以及深层次的自然语音的理解。研究的方向也越来越侧重于口语对话系统。1.3 语音识别系统的分类语音识别是近年来十分活跃的一个研究领域。在不远的将来，语音识别技术有可能作为一种重要的人机交互手段，辅助甚至取代传统的键盘、鼠标等输入设备，在个人计算机上进行文字录入和操作控制。本文介绍了语音识别的基本流程、所用到的语音参数算法、语音识别的训练算法和识别算法做初步的探究，主要运用了特定人孤立词识别的DTW算

19、法和非特定人识别的连续HMM算法的Matlab 识别系统。语音识别按说话人的讲话方式可分为孤立词(IsolatedWord)识别、连接词 (ConnectedWord)识别和连续语音(Continuous Speech) 识别。孤立词识别是指说话人每次只说一个词或短语，每个词或短语在词汇表中都算作一个词条，一般用在语音电话拨号系统中。连接词语音识别支持一个小的语法网络，其内部形成一个状态机，可以实现简单的家用电器的控制，而复杂的连接词语音识别系统可以用于电话语音查询、航空定票等系统。连续语音识别是指对说话人以日常自然的方式发音，通常特指用于语音录入的听写机。显然，连续非特定人语音识别的难度要大

20、得多，因为不仅有说话人口音的问题，还有协同发音、断字断句、搜索等问题，除了考虑语音的声学模型外还要涉及到语言模型，如构词法、文法等。从识别对象的类型来看，语音识别可以分为特定人(Speaker Dependent) 语音识别和非特定人(Speaker Independent) 语音识别。特定人是指只针对一个用户的语音识别，非特定人则可用于不同的用户。实际上，非特定人语音识别的初始识别率往往都比较低，一般都要求用户花一定的时间对系统进行训练，将系统的参数进行一定的自适应调整，才能使识别率达到满意的程度。非特定人大词表连续语音识别是近几年研究的重点，也是研究的难点。目前的连续语音识别大多是基于HM

21、M隐马尔可夫模型()框架，并将声学、语言学的知识统一引入来改善这个框架，其硬件平台通常是功能强大的工作站或PC机。1.4 语音识别系统的基本构成语音识别系统的典型实现方案为：输入的模拟语音信号首先要进行预处理，包括预滤波、采样和量化、加窗、端点检测、预加重等。语音信号经预处理后，接下来很重要的一环就是特征参数提取。对特征参数的要求是：1 ，提取的特征参数能有效地代表语音特征，具有很好的区分性。2，各阶参数之间有良好的独立性。3，特征参数要计算方便，最好有高效的计算方法，以保证语音识别的实时实现。在训练阶段，将特征参数进行一定的处理之后，为每个词条得到一个模型，保存为模版库。在识别阶段，语音喜好

22、经过相同的通道得到语音参数，生成测试模版，与参考模版进行匹配，将匹配分数最高的参考模版作为识别结果。同时还可以在很多先验知识的帮助下，提高识别的准确率。1.5 语音识别技术难点虽然语音识别已突破了最初对技术的检验阶段，而进入通过对话及系统形象的设计，建立用户喜爱的应用系统时期。然而语音技术本身仍在不断进步，为市场提供更新更好的应用模式和技术。目前，技术及应用的焦点主要集中在三个方面。首先，带口音(Dialect) 语音的识别。首先要明确的是，口音是指同一种语言在不同地区的发音有所不同，与同一地区( 例如中国) 的不同方言是有区别的。例如，中国的八大方言多属于与普通话( 北方语系)不同的语系。也

23、就是说是有别于普通话的不同的语言，应该用不同的声学模型来描述。而对于口音的适应性首先是由声学模型本身的品质决定的。对某一种口音，语言的声学模型的适应性决定了基础识别率，而在此基础上的优化和模型适应方案则提供了很好的解决方案。例如 Nuance公司， 作为拥有最大市场和最多用户的公司，也拥有最多的用户语音数据，保证了它极高的基础识别率。此外，该公司的系统优化工具为所有系统提供一个实用、有效的优化方法。优化过程对所有系统的表现都会有提高，也可以解决小范围的口音问题。而针对严重的口音问题，它的声学模型适应机制提供了很好的解决方案，可以使系统的识别率有很大改善。焦点之二是背景噪音。人多的公共场所巨大的

24、噪音对语音识别的影响自不用说，早期即使在实验室环境下，敲击键盘、挪动麦克风都会成为背景噪音。它将破坏原始语音的频谱，或者把原始语音部分或全部掩盖掉，造成识别率下降。实际应用中，噪音是无法避免的。研究将要解决的问题就是如何把原始语音从背景噪音中分离出来，即所谓提高音质(speech enhancement) 或减噪 (noise reduction) 的预处理。这将会使识别系统具有很强的适应性。在这方面，Nuance优化的语音参数、灵活的模型结构、新的建模方法以及独有的噪音抑制功能，使得系统在背景环境噪声、手机、车载免提等高噪音环境下能保持良好的工作状况。第三个就是“口语”的问题。这就是用户说话

25、的自由度问题。它既涉及到自然语言理解，又与声学有关。语音识别技术的最终目的是要让用户在“人机对话”的时候，能够像进行“人人对话”一样自然。而一旦用户以跟人交谈的方式来进行语音输入时，口语的语法不规范和语序不正常的特点会给语义的分析和理解带来困难。你也许接触到一些语音软件声称是可以做到自然语言识别，而在这方面真正有实用商业系统的只有Nuance 公司。Nuance的最新版识别软件所提供的“随意说 (Say anything) ”技术，使用户可以以自然的语言说出自己的需求。例如， “我对我的手机上的一些功能不太明白， 想问一下”， 或者 “嗯，我的账单应该到期了，请帮我查一下要交多少钱”。它为用户

26、提供了一种像“人人对话”的自然语音交互界面，这种更加友善的界面允许一般对话时的一些行为，如停顿及不完全的语句等。1.6 语音识别发展前景语音技术是目前世界上最热门和最具有发展前景的技术之一。从某种意义上说，语音识别是将计算机变成真正的“智能化”设备的最佳途径。语音作为当前通讯系统中最自然的通信媒介，随着计算机和语音处理技术的发展，不同语种之间的语音翻译将成为语音研究的热点。自然语音数据库的设计：语音特征的提取；利用语音料库进行声学模型训练的研究；适应说话人声学模型的研究；语音识别算法的研究：语言翻译和对话处理的研究等成为语音技术的热点方向。语音识别研究的另一个发展方向是人体语言与口语相结合的多

27、媒体人机交互。目前这种采用声觉、视觉两种信息融合进行识别的研究在全球范围内己经展开，成为语音识别研究的重要发展方向和研究热点之一。一位业界的资深人士对IT 产业发展的提出的八大预言之一即为：语音成为新人机界面。 语音识别技术的成熟使人机界面发生革命性突破，网络时代用户需要更自然、更简单、更方便的以语音为中心点的人机界面。未来几年里，真正实用的语音识别和音字转换技术将首次走出实验室，走进千家万户的电器设备中。摩尔定律所预言的硬件产品奇迹般的更新速度使计算机处理复杂运算的能力突飞猛进，也使体积庞大的语音库有机会栖身于普通用户的硬盘或其他存储介质上；技术方面，新的语音统计算法日趋成熟：市场需求方面，

28、简化PDA、移动电话和其他信息家电原本繁琐的操作步骤的最佳途径便是通过语音技术。另外，语音识别是一门交叉学科，语音识别技术关系到多学科的研究领域，在不同领域上的进步都会促进语音识别的发展。(1) 物理学 ( 声学 ) ：声音产生与传播原理、声电转换以及声音在房间回响等相关知识。(2) 生理学：有关人的声道与耳朵的生理结构、耳朵的听觉特征，在脑内高层的语言处理等。(3) 统计学和模式识别理论；基于各种统计方法对模式进行匹配，以及建立有关的统计模型，对语音特征参数进行估值和分类。(4) 信息理论和计算机科学：各种算法的研究、快速搜索查找匹配的方法。(5) 语言学：有关人的语言产生、感觉方面的知识。

29、(7) 数字信号处理技术：信号的时域分析、噪声消除、数字滤波、线性预测等方面的知识。(8) 微电子技术：超大规模集成电路(VLSI) 技术的发展对语音识别的具体应用有很大的影响，VLSI 使语音识别系统商品化成为可能。二、语音信号分析2.1 语音学知识在连续数字语音识别过程中，为了提高连续数字匹配搜索算法的有效性以及数字的识别率，必须要将对数字语音的研究细化到语音学的层次上，包括对各数字的音素和音节的特性和各数字的声调进行深入研究。5河南理工大学毕业设计（论文）说明书2.1.1 音素和音节音素是语音信号的最基本组成单位，可分为浊音和清音两大类。浊音通过喉部发声，发声时声带振动，声带振动的基本频

30、率称为“基音频率”，其倒数称为“基音周期”。清音通过将口腔内有的空气释放出来而发声，发声时喉部封闭，由于该气流通过一个狭窄通道时在口腔中形成流，因此具有明显的随机噪声的特点。音节是由音素结合而成的发声最小单位，一个音节由“元音”和“辅音”构成。当声带振动发出的声音气流从喉腔、咽腔进入口腔从唇腔出去时，这些声腔完全开放，气流顺利通过，这种音称为元音。元音构成一个音节的主干，无论从长度还是能量上看，元音在音节中都占主要部分。所有元音都是浊音。发音时呼出的气流，由于通路的某一部分封闭起来或受到阻碍，气流被阻不能畅通，而克服发音器官的这种阻碍而产生的音素称为辅音。辅音也有清浊之分。辅音出现在音节的前端

31、或者后端或前后两端。2.1.2 汉语的声调汉语是一种声调语言，相同声母和韵母构成的音节随声调的不同而具有完全不同的意义，对应着不同的汉字。所以，在汉语的相互交谈中，不但要凭借不同的元音和辅音来辨别这些字或词的意义，还需要从不同的声调来区别它，也就是说声调有辨义作用。汉语普通话的声调有阴平、阳平、 上声、 去声等四种声调（ 另外， 有时还包括 “轻声” ） ，这些基本的调型在语句中虽然受语法、语气的影响而有所变动，但基本上不改变原有的模式一调型。声调的变化就是浊音基音周期（ 或基音频率） 的变化，各个韵母段中基音周期随时问的变化产生了声调，变化的轨迹称为声调曲线。声调曲线从一个韵母的起始端开始，

32、到韵母的终止端结束。不同声调的声调曲线的开始段称为弯头段，呈共同上升走向；末尾一段呈共同下降走向，称为降尾段；而中间一段具有不同的特点，这一段称为调型段。一般来说，弯头段和降尾段对声调的听辨不起作用，起作用的是调型段。而一段语音，它的起始和结尾处的波形幅度较小，要准确地测出这些地方的基音周期并不容易，因此可将这两处的波形忽略，只测调型段这一部分波形的基音周期。图2.1 给出了单独说一个音节时的四种声调的典型曲线（ F0 / Hz ） 。2.1.3 语音信号产生模型语音信号是声道被激励发生共振而产生的输出。由于在发音过程中声道是运动的，因此可以用一个时变线性系统来模拟。理想的模型是线性的，且时不

33、变的；但是语音信号是一连串的时变过程，且声门和声道相互耦合形成了语音信号的非线性特性。做一个合理的假设，当在较短的时间间隔内表示语音信号时，则可以采用线性时不变模型。它包括激励模型、声道模型、和辐射模型。图2.2 给出了经典的语音信号的产生模型，语音信号被看成是线性时不变系统在随机噪声或准周期脉冲序列激励下的输出。图 2.2 语音信号产生模型2.2 语音信号数字化和预处理2.2.1 数字化为了将原始的模拟语音信号变为数字信号，必须经过采样和量化两个步骤，从而得到时间和幅度上均为离散的数字语音信号。根据采样定理，当采样频率大于信号的2 倍带宽时，在采样过程中不会丢失信息，且从采样信号中可以精确地

34、重构原始信号波形。在实际语音信号处理中，采样频率通常为7 10kHz。在信号的带宽不明确时，采样前应接入抗混叠滤波器（ 低通滤波器） ，使其带宽限制在某个范围内；否则，如果采样频率不满足采样定理，则会产生混叠。此时，信号中的高频成分将产生失真。采样之后要对信号进行量化，在量化过程中不可避免的会产生误差。量化后的信号值与原始信号之间的差值为量化误差，又称为量化噪声。信号与量化噪声的功率之比为量化信噪比。若用x2 表示输入语音信号序列的方差，2Xmax表示信号的峰值，B 表示量化分辨率 （ 量化位长） ， e 2 表示噪声序列的方差，则量化信噪比为：2.1 )2XSNR 10lg( x2 ) 6.

35、02B 4.77 20lg(Xmax)ex假设语音信号的幅度服从Laplacian 分布，此时信号幅度超过4 x 的概率很小, 只有0.35%，因而可以取X max 4 x 。此时上式变为SNR=6.02B-7.2。上式表明，量化器中每位字长对SNR贡献为6dB; 当 B=7位时，SNR=35dB。此时量化后的语音质量能满足一般通信系统的要求。研究表明: 要使语音波形的动态变化信噪比达到55dB的信噪比，B应取 10 位以上。为了在语音信号变化范围内保持35dB的信噪比，常用12 位来量化，其中附加的5 位用于补偿30dB 左右的输入动态范围变化。2.2.2 预加重处理由于语音信号的平均功率谱

36、受声门激励和鼻辐射的影响，在800Hz以上的高频时约按6dB/oct 衰减，为此要在预处理中进行预加重。预加重的目的是提升高频部分，使信号的频谱变得平坦，以便于进行声道参数分析或频谱分析。预加重在防混叠滤波与A/D 转换之前进行。这样，不仅能够进行预加重，而且可以压缩信号的动态范围，有效地提高信噪比。所以为尽量提高SNR，应在 A/D 转换之前进行预加重。同时，预加重也可在A/D 转换之后进行，用具有6dB/oct 地提升高频特性地预加重数字滤波器实现。它一般是一阶的，即：H （z） 1 uz 1 ，式中 u 值接近于1, 本文中去为0.94 。加重的信号在分析处理后，需要进行去加重处理，即加

37、上6dB/oct 的下降的频率特性来还原成原来的特性。图2.3 所示为对语音信号“0”的预加重处理结果。从下图可以明显图 2.3 语音信号“0”的预加重处理效果2.2.3 防混叠滤波A/D 转换之前还需要加一个防混叠滤波器。如果频率干扰（50 或 60Hz）不严重或另有抗干扰措施，则不必用带通滤波器而只用低通滤波器即可。低通滤波器的截至频率由语音信 号带宽决定，用于虑除高于l/2 采样频率的信号成分或噪声，并且希望其带内波动和带外衰减特性尽可能好。A/D 转换后采用低通滤波器作为平滑滤波器，对重构的语音波形的高次谐波起平滑作用，以去除高次谐波失真。对于这种低通滤波器的特性和A/D 转换频率，也

38、要求与采样时具有相同的关系。2.2.4 加窗处理已经数字化的语音信号序列将被依次存入一个数据区。在语音信号处理中，一般用循环队列的方式来存储这些数据，以便用一个有限容量的数据区来应付数量极大的语音数据。在进行处理时，按帧从此数据区中取出数据，处理完成后再取一帧，如此进行下去。一般来说，语音信号处理的帧长一般取20ms（当 Fs=8kHz时，相应每帧由160 个信号样值） 。在9河南理工大学毕业设计（论文）说明书取数据时，前一帧与后一帧的交叠部分称为帧移。帧移与帧长之比一般取为0 0.5。在对语音信号进行短时分析的过程中，信号流的处理用分段或分帧来实现。一般每秒的帧数为33 100，视实际情况而

39、定。分帧既可连续，也可采用交叠分段的方法，用可移动的有限长度窗口进行加权的方法来实现。在10 20ms 这样的时间段内，数字化后的语音信号的频谱特性和某些物理特征参量可近似地看作是不变地。这样就可以采用平稳过程的分析处理方法来处理了。这种时间以来处理的基本手段，一般是用一个长度有限的窗序列w(n) 截取一段语音信号来进行分析，并让这个窗滑动，以便分析任意时刻附近的信号。其一般式为QnTx(m) w(n m)，其中mT* 表示某种运算x(m) 为输入信号序列。通帮采用最多的窗函数是矩形窗、汉宁窗(Hanning) 和哈明窗(Hamming)。本文主要采用哈明窗，其公式为：(2-2)0.54 0.

40、46cos 2 m 1 ,n 0 Lw(n)L 10, n 其他其中 L 是窗长。通常认为在一个语音帧内，应含有1 7 个基音周期。然而，不同人的基音周期变化范围很大，从女性儿童的2ms到老年男子的14ms(即基音频率为50 70Hz)，所以 L 的选择比较困难。通常在l0kHz 采样频率下，L 折衷选择为100 200 个采样点( 即持续时间为10 20ms)。2.3 语音信号的时域分析对信号分析最自然最直接的方法是以时间为自变量进行分析，语音信号典型的时域特征包括短时能量、短时平均过零率、短时自相关系数和短时平均幅度差。2.3.1 短时能量分析对于信号x(n) ，短时能量定义为：nE n

41、x m w n m 2x m w n m 2 x 2 n * h n (2-3)mmnN1式中， h(n)=w 2(n) ，N为窗长，En表示在信号的第n 个点开始加窗函数时的短时能量。可以看出，短时能量可以看作语音信号的平方经过一个线性滤波器的输出，该线性滤波器的单位冲激响应为h(n) ，如图 2.4 所示。图 2.4 短时能量的方框图表示如果用 xw表示 x(n) 经过加窗处理后的信号，窗函数的长度为N， 则短时能量可表示为：nN1Enx2w mmn(2-4)0”短时能量图。2.5 所示为语音“0”时域波形图和语音“172.5 语音信号“0”的短时能力函数利用短时能量可以区分清音和浊音，因

42、为浊音的能量比清音的能量大得多；其次可以短时能量由于是对信号进行平方运算，因而认为增加了高低信号之间的差距，因此要Mnxm wnmnN1mxw mmn(2-5)如图 2.6 所示为“0”的短时平均幅度图。从图中可观察到，短时平均幅度对能量小的图 2.6 语音信号“0”的短时平均幅度2.3.2 短时平均过零率短时平均过零率是指每帧内信号通过零值的次数。对于连续语音信号，可以考察其时Zsgn x m sgn x m 1 w n m2m1 sgn xw m sgn xw m 12 mnSgn* 是符号函数。为了解决低频的干扰，我们设立一个门限(2-6)T，将过零率的含义修zn 12msgn x m

43、T sgn x m 1 Tsgn x m T sgn x m 1 Tw n m (2-7)另外，可以将短时平均过零率和短时能量结合起来判断语音起止点的位置，即进行端2.7 语音信号“0”的过零率，可为端点检河南理工大学毕业设计(论文)说明书27图 2.7 语音信号“0”的短时平均过零率2.3.3 短时自相关函数和短时平均幅度差函数语音信号xw(n) 的短时自相关函数Rn (k) 的计算式如下：nm 10 k K (2-8)NkRn k xn mm0这里 K 是最大的延迟点数。短时自相关函数具有一些性质，如它是偶函数假设序列具短时自相关函数是语音信号时域分析的重要参量。但是，计算自相关函数的运算

44、量很(AMDP)。平均幅度差函数能够代替自相关函数进行语音分析，是基于这样一个事实：如果信号( 设周期为Np。 ) ，则相距为周期的整数倍的样点上的幅值是相等的，差d n x n x n k 0 k 0, N p, 2N p,(2-9)对于实际的语音信号，d(n) 虽不为零，但其值很小。这些极小值将出现在整数倍周期的位置上。为此，可定义短时平均幅度差函数：N1kFn k xn mxn m k(2-10)m0显然，如果x(n) 在窗口取值范围内具有周期性，则将出现极小值。如图2.8 所示，对于周期性的x(n) ， Fn(k) 也呈现周期性。与Rn(k) 相反的是，在周期的各个整数倍点上Fn(k)

45、具有谷值而不是峰值。图 2.8 语音信号“0”的自相关函数2.3.4 语音端点检测语音端点检测的准确性和可靠性，对系统识别率的提高起着重要的作用当系统收到一段包含语音的信号时，系统需要对语音的端点进行定位，丢弃语音前后多余的噪音段。如果语音前后噪音保留过多，则会增加不同语音的共同成分，对识别产生干扰；而如果语音部分被切割掉，则会造成语音信息的丢失，若丢失的恰是区分语音的重要特征，则造成误识。正确确定语音端点也会减少系统的计算量和存储量。语音端点检测算法主要是根据语音的一些特征参数，短时能量、过零率等完成端点检测。端点检测有双门限前端检测算法和多门限过零率前端检测算法。双门限前端检测算法用于有话

46、、无话鉴别或词语前端检测，通常窗长( 即帧长 ) 取10 15ms，帧间隔(即采样间隔 ) 取 5 10ms，有一定的抗干扰能力，即使存在小的随机噪声，只要它不使信号越过正负门限所构成的带，就不会产生虚假的过零率。多门限过零率前端检测算法是设多个高低不同的门限。与一股的单门限过零率法相比，可明显地减少前端误判，但是有时存在较大时延。因为首次找到高门限越过点，再往前推可能要搜索200ms左右才能找到清音的起点，这就不便于实现实时特征提取。2.4 语音信号的频域分析语音的感知过程与人类听觉系统具有频谱分析功能是紧密相关的。因此，对语音信号进行频谱分析，是认识语音信号和处理语音信号的的重要方法。2.

47、4.1 滤波器组法利用一组滤波器来分析语音信号的频谱，方法使用简单、实时性好、受外界环境的影响小。滤波器组法所用的滤波器可以是模拟滤波器，也可以是数字滤波器。滤波器可以用宽带带通滤波器，也可以用窄带带通滤波器。宽带带通滤波器具有平坦性，用它可以粗略地求取语音的频谱，其频率分辨率降低，相当于短时处理时窗宽较窄的那种情况。使用窄带带通滤波器，其频率分辨率提高，相当于短时处理时窗宽较宽的那种情况。语音信号x(t) 输入带通滤波器f 1， f 2， f n， 滤波器输出为具有一定频带的中心频率为f1， f 2，f n的信号。可以将滤波器组的输出经过自适应增量调制器变为二进制脉冲信号，再经过多路开关，变

48、为一串二进制脉冲信号。这种信号可以输入计算机进行各种分析和处理。2.4.2 傅立叶频谱分析傅立叶频谱分析是语音信号频域分析中广泛采用的一种方法。它是法国科学家J Fourier 在 1807 年为了得到热传导方程的简便解法而提出的。傅立叶频谱分析的基础是傅立叶变换，用傅立叶变换及其反变换可以求得傅立叶谱、自相关函数、功率谱、倒谱。由于语音信号的特性是随着时间缓慢变化的，由此引出语音信号的短时分析。信号 x( 盯 ) 的短时傅立叶变换为：X n e jw x m w n m e jwm (2-11)m式中， w(n) 为窗口函数。图2.9 是从带通滤波器作用理解短时傅立叶变换。图 2.9 从带通

49、滤波器作用理解短时傅里叶变换X n e jw 可以看作是加窗后函数的傅立叶变换，为了实现反变换，将 X n e jw 进行频率采样，即令wk2 K / L 则有X n ejwkx m w n m e jwkm (2-12)m式中， L 为频率采样点数。短时功率谱实际上是短时傅立叶变换幅度的平方，它是信号x(n) 的短时自相关函数的傅立叶变换，即Pnejw Xn ejw 2Rn kejwk (2-13)k式中Rn( k)是自相关函数。图2.10 是几种谱之间的关系。图 2.10 几种基于短时傅里叶变换谱之间的关系2.5 特征参数提取2.5.1 LPCC 倒谱系数线性预测倒谱参数(Linear P

50、rediction Cepstrum Coefficient， LPCC)是线性预测系数在倒谱域中的表示，该特征是基于语音信号为自回归信号的假设，利用线性预测分析获得倒谱系数。LPCC参数的优点是计算量小，易于实现，对元音有较好的描述能力，其缺点在于对辅音的描述能力较差，抗噪声性能较差。语音信号的倒谱与LPC系数之间的递推关系:(2-14)c 1 a1n1kc n an1 akc n k ,1 n pk1nkc n k ,n p或是由LPC得到n1C LPCC nCLPCnC LPCC n k C LPC k (-)k1 n根据同态处理的概念和语音信号产生的模型，语音信号的倒谱c(n) 等于激

51、励信号的倒谱 e? n 与声道传输函数的倒谱h? h 之和。 通过分析激励信号的语音特点以及声道传输函数的零极点分布情况，可知e? n 的分布范围很宽，c(n) 从低时域延伸到高时域，而h? n 主要分布于低时域中。语音信号所携带的语音信息主要体现在声道传输函数上，因而在语音识别中通常取语音信号倒谱的低时域构成LPC倒谱特征c，即c c 1 ,c 2 , ,c q 10 q 16(2-16)式中， q 为 LPC倒谱特征的阶数。然而LPCC同时也继承了LPC的缺陷，其主要的一点就是LPC在所有的频率上都是线性逼近语音的，而这与人的听觉的特性是不一致的；而且LPC包含了语音高频部分的大部分噪声细

52、节，这些都会影响系统的性能。2.5.2 Mel 频率倒谱系数美尔频标倒谱系数(Mel Frequency Cepstrum Coefficient ， MFCC考虑了人耳的听觉)特性，将频谱转化为基于Mel 频标的非线性频谱，然后转换到倒谱域上。由于充分考虑了人耳的听觉特性，而且没有任何的前提假设，MFCC参数具有良好的识别性能和抗噪声能力，但其计算量和计算精度要求高。MFCC不同于LPCC。 在汉语数码语音识别中，MFCC参数的性能明显优于LPCC参数。MFCC是采用滤波器组的方法计算出来的，这组滤波器在频率的美尔坐标上是等宽的。这是因为 人类在对约1000Hz以上的声音频率范围的感知不遵循

53、线性关系，而是遵循在对数频率坐标上的近似线性关系。Mel 频率可以用如下公式表示：fMel 2596 log 1 f /700(2-17)对频率轴的不均匀划分是MFCC特征区别于普通倒谱特征的最重要的特点。将频率按照式 (2-17) 变换到 Mel 域后， Mel 带通滤波器组的中心频率是按照Mel 频率刻度均匀排列的。在实际应用中，MFCC倒谱系数计算过程如下：(1) 将信号进行分帧，预加重和加哈明窗处理，然后进行短时傅立叶变换并得到其频谱。(2) 求出频谱平方，即能量谱，并用M个 Mel 带通滤波器进行滤波；由于每一个频带中分量的作用在入耳中是叠加的，因此将每个滤波器频带内的能量进行叠加，

54、这时第k 个滤波器输出功率谱X(k) 。(3) 将每个滤波器的输出取对数，得到相应频带的对数功率谱；并进行反离散余弦变换，得到L 个 MFCC系数，一般L 取 12 16个左右。MFCC系数为Cnlog k cos k 0.5 n/ M ,n 1,2, , L (2-18)4)将这种直接得到的MFCC特征作为静态特征，再将这种静态特征傲一阶和二阶差分。得到相应的动态特征。三、语音识别主要算法3.1 动态时间伸缩算法日本学者首先将动态规划的概念用于解决孤立词识别时说话速度不均匀的难题，提出了著名的DTW算法，当词汇表较小以及各个词条不易于混淆时，这个算法取得了很大成功。从而自 60 年代末期开始引起了语音识别的研究热潮。在孤立词语音识别中，最为简单有效的方法就是该算法，该算法基于动态规划(DP)的思想，解决了发音长短不一的模板匹配问题，是语音识别中出现较早、较为经典的一种