低速率语音压缩编码对语音识别系统的影响

1、收稿日期:2002-09-15; 修返日期:2002-12-17基金项目:国家自然科学基金资助项目(69972020 ; 国家基础研究项目(G1998030406 ; 清华大学电子工程系微波与数低速率语音压缩编码对语音识别系统的影响*程 强, 崔慧娟, 唐 昆(清华大学电子工程系微波与数字通信国家重点实验室, 北京100084摘 要:通过窄带信道将语音信号传输到远端的识别系统, 从而实现远距离的人机对话, 具有重要的现实意义。在2. 4kbps 的速率下, 语音编码算法依然可以合成出可懂度非常高的语音, 但是这样的语音信号与原始语音相比还是有巨大的损失。低速率语音编码算法对于语音识别产生的影响

2、是巨大的, 因此必须想办法减轻这种损失对于识别的损害。在此选择了三种不同的低速率语音编码器, 分别使用LPC(Linear Predictive Coding, 线性预测 算法、MELP(M i xed Excitation Linear Prediction, 混合激励线性预测 算法和I MBE (I mproved Multiband Excitation, 增强多带激励 算法, 都在2. 4kbps 的速率下工作, 将其对语音识别系统的影响进行了比较。对于特定人连续语音识别系统和非特定人连接词识别系统, 在使用不同的特征矢量时, 不同编码器产生的识别效果有比较大的差异。实验结果表明, 语

3、音编码器和语音识别系统的结构有很重要的联系, 尽量采用相近的结构有助于获得良好的识别结果。另外, 改变提取语音识别特征参数的方式也会有利于提高语音识别系统的性能。关键词:语音编码; 语音识别; 低速率中图法分类号:TN912. 3; TP391. 4 文献标识码:A 文章编号:1001-3695(2003 09-0022-04The Influence of Low Bit Rate Speech Coders on Speech Recognition SystemC HE NG Qiang, CUI Hu-i juan, TANG Kun(State K e y Laboratory o

4、f Micro ware &Digital Communication , Dept. o f Elect ronic Engine ering , Tsinghua U nive rsity, Be ijing 100084, China Abstract:Speech recognition through narrow band channel is important in many areas. At the bi t rate as low as 2. 4kbps, we can obtain s ynthetic speech with high in telligibi

5、li ty by speech coding. However, such speech signal has been damaged severely compared wi th the uncoded one.The low bit rate speech coding has great effect on the following speech recogniti on. So we must find a way to mitigate the damage of coding. We select three low bit rate vocoder workin g at

6、2. 4kbps, using LPC(Linear Predictive Coding , ME LP(Mixed Excita -tion Linear Prediction and I MBE(Improved Multi band Exci tation algorithms respectively, to find the difference of their influences on speech recogni tion. Using different feature vectors, the effect of the vocoders differs on speak

7、er dependent continuous speech recognition and speaker independen t connected di gits recognition.The results of the experimen ts have shown important relation between the algorithm s tructures of the vocoder and recognition system. It is helpful to use si milar structures to improve the recogniti o

8、n performance. It will al so be useful to change the way of extracti ng feature parameters for the recogni tion. Key w ords:Speech Coding; Speech Recognition; Low Bi t Rate1 背景介绍在多媒体技术高速发展的今天, 语音技术受到越来越多的关注, 正迅速地进入人们的生活之中。在语音通信中, 语音识别一直是人们普遍关注的重要技术, 它使人与机器可以通过语言来互相交流。现在已经有很多较为成熟的语音识别系统, 能够出色地完成比较简单的

9、语音识别任务, 然而非特定人大词汇量连续语音的识别还是一个有待进一步研究的领域, 以开发出真正听得懂人的语言的机器。语音识别系统的输入语音, 总是不可避免地会受到噪音的污染。特别在远距离的人机对话中, 语音总是经过一定的编码传输之后进入识别系统的。因此, 研究语音传输中各种因素对语音信号的影响, 最终在语音识别系统中的体现, 是一个很重要的问题。语音编码器特别是低速率声码器对数字语音信号质量造成相对程度的破坏, 因而我们必须研究它们对于语音识别系统会造成怎样的影响。研究表明1, 2, 随着编码速率的下降, 经过编码的语音在语音识别系统中的识别率逐渐下降。这是很正常的现象, 因为随着编码速率的降

10、低, 单位时间内描述的语音信息量减少, 不可避免地带来语音质量的下降和各#22# 计算机应用研究2003年编码速率, 如4kbps 或更低, 只有采取参数编码的方式,通常只对语音的谱参数及基音周期、清浊音、能量等少量参数进行提取和量化, 产生的重建语音波形会与原始语音存在很大的差异。已经有人研究了在无线通信环境下, 中低速率语音编码对于语音识别产生的影响, 所用到的编码速率都在4kbps 以上3, 4。虽然在低至2. 4kbps 的声码器合成出的声音也不会对人耳能够听懂造成什么困难, 然而其中信息的损失已经是相当巨大的。这样的语音能不能让语音识别系统也听得懂? 就成为一个值得研究的问题。常用的

11、低速率语音压缩编码算法包括线性预测(LPC 算法、混合激励线性预测(MELP 算法、增强多带激励(IMBE 算法、波形插值(WI 算法等, 这些算法都能在2. 4kbps 的速率下得到可懂度很高的合成语音。因为各种算法的特点不同, 它们对于语音识别系统产生的影响也会有较大的差异。我们对经过其中几种算法压缩后的语音进行了语音识别的测试, 发现它们对于不同的语音识别系统表现出不同的识别性能。总的来说, 语音识别系统的性能因为编码语音的质量下降而变差, 而恶化的程度则有所差异。我们选择的低速率语音压缩编码算法包括LPC -10算法、MELP 算法和I MBE 算法; 测试的语音识别系统包括汉语非特定

12、人连接词识别系统和汉语特定人连续语音识别系统。2 低速率语音编码算法在2. 4kbps 的速率下, 用于描述语音信号的信息量非常有限, 想保持对语音波形的精确描述是不可能的。通常都是采取分帧提取参数的方法, 对能够表述语音特征的参数进行编码。类似地, 在语音识别系统中, 语音信号也是在被分成若干帧之后提取其中的参数, 然后根据参数与训练好的模型进行比较来确定最后的识别结果。在不同的语音编码算法中, 使用的参数可能很不一样, 但是通常都有声道参数和激励参数。由于编码的目的是在一定的编码速率下使合成语音在听觉上与原始语音相接近, 所以很多听觉上不重要的语音特征会损失甚至被改变, 这就可能使得语音识

13、别系统在提取参数时无法得到准确的参数, 造成错误的识别。下面我们就比较一下各种低速率语音编码器的特点, 分析它们可能对语音识别产生的影响。LPC -10算法是比较早的低速率语音压缩编码算法, 在20世纪70年代就被美国作为低速率语音编码的政府标准8。LPC 算法的原理十分简单, 它用线性预测系数作为声道模型, 用周期脉冲作为浊音的激励信号, 用白噪声作为清音的激励信号, 使用的参数只有LPC 系数、清浊音判决、基音周期和增益系数。准确的参数提取对合成语音的质量起着至关重要的作用, 使LPC -10声码器可以获得可懂度相当高的语音, 但是二元激励模型使语音自然度受到严重的损失, 是LPC -10

14、声码器最大的问题之一。另外LPC -10算法用全极点模型作为声道模型, 对于大部分的语音是合适的, 但是某些实际的语音信号( , 增加线性预测的阶数来逼近。在实际的编码算法中, 通常采用10阶的预测系数, 这对于语音谱的描述也不够精确。MELP 算法是在LPC 算法的基础上发展起来的9, 在其中引入了一些新的特点:混合激励、非周期脉冲、自适应谱增强、脉冲扩散、傅里叶系数等。其中最重要的改进就是增加了混合激励的概念, 把语音分成五个固定的频带, 在每一个频带中分别进行清浊音判决, 根据结果合成语音, 最后将各个频带的合成语音相加得到最终的重建语音。MELP 算法大大改善了LPC 算法中二元激励造

15、成的语音自然度差的问题, 使合成语音的听觉质量大大提高。在声道参数方面, 用线谱对(LSP 参数取代了原有的线性预测系数, 并且使用矢量量化的方式提高编码效率。这两种参数虽然本质上是等价的, 但是LSP 参数具有更好的稳定性和量化性能, 使用矢量量化可以用每帧25bit 达到原有线性预测系数34bit 量化的效果。MELP 算法对原有的LPC 算法在听觉上获得了很大的改善, 并且得到了美国政府的认可。I MBE 算法10的模型完全不同于LPC 模型, 在激励信号的表示上, 按照基音各谐波将语音分为若干带, 进行清浊音判决, 用白噪声作为清音的激励信号, 用基音周期脉冲作为浊音的激励信号, 然后

16、将各带相加得到全带的激励信号。声道参数实际上就是各频带分量的相对幅度和相位, 是频域与激励信号谱相乘得到合成语音的频谱。这种分带的方法不同于MELP 算法中的固定分带, 更加符合实际语音的特性。同时由于在参数的提取中采用了类似于合成分析法的算法, 能够在较低速率下合成出清晰可懂的语音, 只是声音会有一点合成感。以上三种算法都可以在2. 4kbps 的速率下工作, 并且都能得到可以让人满意的语音。由于采用的算法不同, 相应语音中损失的特征各不相同, 合成语音听起来也就不一样, 对不同语音识别系统产生的影响也必然会有差别。因为各种编码器本身并没有明显的优劣差别, 而是各具特色, 所以对于不同的语音

17、识别系统, 它们表现出的性能也很可能各有千秋。3 语音识别系统的选择语音识别系统根据识别对象可以分为孤立词、连接词和连续语音识别, 识别的难度依次增加。根据说话人的不同又可分为特定人和非特定人语音识别, 其中非特定人语音识别的难度要高于特定人。为了考察语音编码算法对不同语音识别系统的影响, 我们选择了非特定人的连接词识别系统和特定人的连续语音识别系统作为实验中采用的识别系统, 分别对编码前后的语音进行识别实验。在连接词识别系统中, 被识别的语音是09的数字组成的长度不固定的数字串。在语音识别系统中, 首先要选择识别单元。在汉语中, 每一个汉字都对应一个单独的音节, 而每一个音节都是由声母和韵母

18、两个半音节组成的, 其中有些音节是零声母。声母都是单独的音素, 既可以是清音, 也可以; #23#第9期程 强等:低速率语音压缩编码对语音识别系统的影响语音识别系统中, 如果选择比较小的识别单元(如音素 , 所需的码本尺寸就比较小, 识别的计算量也较低; 但是由于小的识别单元往往不稳定, 在不同的语音环境中的变化大, 因此不利于保证语音识别的准确性。如果选择比较大的识别单元(如词 , 则识别的准确性将提高, 但是需要非常多的存储单元和很高的计算量。在实际的应用环境中, 大小适中的音节和半音节(声母和韵母 经常被采用, 在我们的实验中, 选择了半音节作为基本的识别单元。目前较为成熟的语音识别系统

19、, 多采用基于隐含马尔可夫模型的算法。在这样的识别系统中, 被识别的语音被分为若干帧, 提取每帧的特征矢量组成一个观察矢量序列。特征矢量的提取是语音识别中重要的一环, 最为常见的特征矢量是LPC 倒谱矢量(LPCC 和临界带倒谱矢量(MFCC 。LPC 倒谱矢量可以直接由LPC 系数转换得到, 用欧式距离来衡量其畸变正好与人耳的听觉特性相符合。临界带倒谱矢量是将语音信号经过短时傅里叶变换后, 根据人耳听觉的特点划分为若干固定的频带, 然后求出各带的能量, 再变换到倒谱域后得到的。由于频带划分考虑了人耳的感知特性, 在语音识别中有很广泛的应用。对于原始语音而言, 采用这两种矢量的语音识别系统在识

20、别精度上的差别通常不会很大, 但是对于经过语音编码之后的语音来说, 两者的差别就可能非常悬殊。因此在实验当中, 采用两种不同特征矢量的识别系统都被用来对编码语音进行识别。在具体的实验中, 我们采用HTK 作为工具来建立语音识别系统。我们使用了一个无跨越从左到右的连续隐含马尔可夫模型, 每个模型包含五个状态, 其中包括起始态和终止态。我们用来进行识别的语音在编码前后都保持8kHz 的采样频率, 经过预加重之后, 每10ms 提取一帧语音, 并加上25ms 的哈明窗。在经过14阶LPC 分析之后, 把得到的LPC 系数转换成12个LPC 倒谱系数。另外, 采用26个临界带, 得到12维的临界带倒谱

21、系数。两组系数和它们的1、2阶增量分别组成36维的矢量, 被用来作为识别系统的特征矢量, 并且比较其识别结果。在非特定人连接词语音识别系统中, 我们用八个说话人(四男四女 的各521句自然语音作为训练数据, 这些话中包含了汉语全部音节。测试数据包括55句话(男声 , 每句都是150个由09的数字组成。在特定人连续语音识别系统中, 我们分别对两男两女四个说话人进行了实验。每一个特定说话人的521句自然语音被用作训练数据, 其中包含汉语全部音节, 测试数据是同样一个说话人讲的100句话, 同样是自然语音。所有语音数据都来自国家/8630识别用语音数据库7。我们所关心的三种低速率语音编码算法, 都是

22、以22. 5ms 为一帧。并且在实验中, 我们改进了LPC -10编码的算法, 使用LSP 矢量代替原有的LPC 参数, 并采用了矢量量化。每帧LSP 矢量的量化仍然使用了34bit, 效t LPC 参数的标量量化。多带激励算法采用了本科研组的2. 4kbps I MBE 算法, 算法中没有LPC 分析。为了与低速率语音压缩编码算法进行比较, 我们还对8kbps 的G. 729算法进行了同样的实验, 观察了它对语音识别系统的影响。在对编解码后得到的语音进行实验时, 我们使用的语音识别系统仍然是用原始语音进行训练的。4 实验结果表1、表2给出了用编码前、后的语音数据作为测试数据时各个不同语音识别

23、系统的音节识别率。对于所有的语音识别系统, 三种低速率语音压缩编码算法都使系统识别效果明显地恶化, 识别率下降18%30%左右; 与之形成对比的是G. 729算法对各个识别系统产生的影响是比较小的, 识别率的下降幅度都不超过10%。正像我们预计的那样, 对于不同的语音识别系统, 三种低速率语音编码算法产生的影响各不相同, 并没有哪一种算法明显好于其它的算法。对于非特定人连接词识别系统, 没有明显的规律说明各个编码算法的差异, 这可能与测试数据量较少有关系; 而对于特定人连续语音识别系统, 语音编码算法的特点却在识别结果中得到了体现。表1 LPCC 语音识别系统识别结果识别率(% 非特定人连接词

24、特定人连续语音女1女2男1男2平均原始语音62. 5965. 2559. 4462. 4754. 6260. 45LPC -1051. 9046. 2041. 2938. 1838. 3541. 01MELP 54. 8347. 9141. 7823. 7930. 6636. 04I MBE 59. 3135. 0825. 8427. 2326. 9828. 78G . 72961. 9758. 4650. 3353. 8047. 0252. 40表2 MFCC 语音识别系统识别结果识别率(% 非特定人连接词特定人连续语音女1女2男1男2平均原始语音73. 1067. 3857. 8966.

25、3958. 3862. 51LPC -1058. 1036. 3030. 5832. 3029. 3532. 13MELP 42. 2451. 0242. 6023. 0628. 9536. 41I MBE 64. 8348. 3236. 7152. 8241. 6244. 87G . 72963. 4561. 4952. 6661. 8252. 5857. 14在三种低速率语音编码算法中, LPC -10算法对语音的谱包络描述所用的比特数最多, MELP 算法次之; 在频带的划分方面, I MBE 算法分带最为细致, 所用的比特数也最多, MELP 算法次之; 从自然度方面来看, I MBE

26、 算法的听觉质量最佳。这样的算法结构对于不同结构的语音识别系统, 会得到不同的识别结果, 这正与我们实验的结果形成了对照, 体现出各种算法对语音识别系统影响的差异。在使用LPC 倒谱系数作为特征矢量的识别系统中, 语音的谱包络起着关键的作用, 因此, 经过IMBE 算法编码后的语音由于对谱包络描述使用的比特数较少很难得到比较高的识别率, 算法结构与识别系统结构类似的MELP 算法和LPC -10算法的识别率则更高一些, 其中LPC -10算法略优于MELP 算法。令我们感兴趣的是, 在特定人语音识别系统中, MELP 算法对于女声的识别要好于LPC -10算法, 而对于男声的识别则差于LPC

27、-10算, #24# 计算机应用研究2003年号能量主要都集中在低频部分, 所以子带信息对女声所起的作用比男声更大, 因此包含了子带信息的MELP 算法对于女声的识别效果要好于对男声的识别, 而用更多比特量化L PC 系数的LP C -10算法对于男声的识别就更好一些。特定人连续语音识别结果(使用LPCC 如图1 所示。图1 特定人连续语音识别结果(使用LPCC在使用临界带倒谱系数作为特征矢量的语音识别系统中, 子带信息起到更大的作用, 因此IMBE 算法的识别效果有所提高, 几乎在所有的识别系统中都是最好的。相对而言, MELP 算法还是在对女声的识别效果上更好, 这是由于它采用了平均分带的

28、方法, 对男声和女声的处理实际上有一定的差别。而I MBE 算法采用按照谐波分带的方法, 就使得对男声和女声的处理可以收到比较接近的效果, 这也可以从实验结果上看得出来。特定人连续语言识别结果(使用MFCC 如图2 所示。图2 特定人连续语音识别结果(使用MFCC5 进一步的分析经过编解码处理后的语音信号, 可以通过不同方式进入语音识别系统5, 6。实验中我们所采用的是最简单的一种方法, 即直接从解码后的语音中提取语音识别所需的特征矢量, 然后进行识别, 如图3(a 所示。这样的方法所获得的识别率比较低, 经常会达到令人无法忍受的程度。更好的方法是直接从原始语音中提取识别所需的特征矢量, 并将

29、其编码后传输给识别系统, 重建语音也可通过这些特征矢量来恢复, 如图3(b 所示。这样做的效果, 对于语音识别而言大大提高了信道的利用率, 舍弃了在识别中不必用到的如激励信号等信息, 但是这样的损失使得接收端无法恢复出高质量的合成语音, 在很多应用场合下也是不能接受的。此外还有第三种方法, 就是直接从接收端得到的编码语音数据中提取识别系统所需的特征参数, 而不必经过解码, 如图3(c 所示。这种做法需要针对编码算法设计一种特定的特 识别系统做一定的调整使其更适应编码语音的结构, 还能进一步提高语音识别的准确性, 获得更满意的结果。对于图3(b 的方法我们也进行了实验, 并且与图3(a 的方式进

30、行了比较。在这一组实验中, 我们将语音数据每隔10ms 分成一帧, 提取其LPC 系数并将其转换成LPC 倒谱系数。因为对LPC 倒谱系数的编码比特比较紧张, 我们在识别中不再加入它们的1、2阶增量, 这对于识别效果略有影响, 但是效果要优于对所有系数及其增量进行量化的结果。在使用图3(a 方法时, 我们的实验方式与前面的实验基本上没有差别。在使用图3(b 方法时, 在发送端提取LPC 倒谱参数, 并将其进行矢量量化。我们对每帧的12个LPCC 倒谱参数进行分裂矢量量化, 共分为3个4维的矢量, 每个矢量进行8bit 量化, 每一帧共使用24bit, 编码速率为2. 4kbps 。图3 远程语

31、音识别系统结构图这一速率与我们使用图3(a 方法中各个编码器的速率是完全相同的。我们对两男两女四个说话人进行了特定人连续语音识别的实验, 两种不同编码方式得到的语音识别效果比较如表3所示。图4给出了不同编码方式语音识别比较图。表3 不同编码方式的识别比较识别率(%原始语音G. 729量化LPCC LPC -10MELP I MBE 女142. 1936. 3033. 1222. 3226.5713.82女242. 6838. 0433. 5225. 4330.0916.93男150. 5349. 9246. 8531. 1535.7319.87 从实验的结果中可以看到, 采用直接对LPC 倒谱

32、矢量编码并只传输这些参数的形式, 比简单的编解码之后再重新提取参数效果要好, 不管相对于哪一种语音编码算法。在实验中, 我们只是采用了最简单的矢量量化的方法, 这样的量化效率显然无法与各种语音编解码算法中细致的量化方案相比, 但是仍然能获得更高的识别率, 充分体现了这种传输方式的效率。同8kbps 的G. 729算法相比, 直接量化LPC 倒谱矢量的方法还无法达到同样的效果, 这也是由于信道容量太低导致参数损失较大造成的。在同等的编码速率下, 量化识别特征参数的方案对于获得更高的语音识别正确率来说显得更加优越。图4 不同编码方式的语音识别比较综合几个实验的结果我们可以看到, 使用不同的特, (

33、28页#25#第9期程 强等:低速率语音压缩编码对语音识别系统的影响月有一个明显的增加, 这是由于资费在2月初调整的结 果。4 结论通过我们对163, 169和2163业务的预报结果来看,在新的一年里业务都比去年同期有不同程度的增长。尤其是2163业务, 由于它本身快速、便宜等优势, 更是有明显的增长趋势, 大约为去年同期的2倍。为此, 为了满足业务增长, 容量也应该作出相应的调整, 进行扩容, 为企业决策提供定量分析的依据。参考文献:1W Leland, et al. On the Sel-f similar Nature of Ethernet Traffic(Extended Versi

34、on J.IEEE/ACM Transactions on Network -ing, 1994, 2(1 :1-15.2P Jelenlnovic, et al. The Effect of Multiple Time Scales and Subexponentiality i n MPEG Video Streams on Queuing Behavior J. IEEE Journal on Selected Area of Com munications, 1997, 4(15 :301-317.3J K Liu, Y T Shu, L F Zhang, et al. Traffic

35、 Modeling Based on FARIMA ModelsJ.IEEE CCECE Piscataway, NJ USA, 1999, 162-167.4P Brockwell, R Davis. Time Series:Theory and MethodsC. 2nd ed. New York, Spring Verlag, 1991.5G Box, G Jenkins. T i me Series:Forecasting and ControlZ. Re -vised edn, San Francisco:Holden -day, 1976.作者简介:薄今纲(1964- , 男, 教

36、授级高工, 博士, 主要研究方向为计算机网络、移动通讯业务管理; 刘嘉火昆(1943- , 男, 教授, 主要研究方向为随机过程理论及应用; 金志刚(1972- , 男, 副教授, 博士, 主要研究方向为计算机网络; 余晖(1969- , 男, 高工, 硕士, 主要研究方向为计算机网络。(上接第25页 2. 4kbps 的速率下, 得到的语音识别结果存在着巨大的差异。使用LPC 算法的系统, 适合用LPC 倒谱矢量作为语音识别的特征矢量; 而使用I MBE 算法的系统, 适合用临界带倒谱矢量作为语音识别的特征矢量。在实际的应用环境下, 我们可以根据具体情况选择适当的搭配来提高系统的性能。如果语

37、音识别算法已经确定, 我们就应该根据所采用的特征矢量的特点来选择适当的语音编码算法; 如果对语音编码的算法有特殊的要求时, 我们就需要调整语音识别系统的特征矢量来获得更好的识别效果。特别当应用环境比较特殊时, 例如不需要恢复语音信号或者对重建语音的质量要求不高, 就可以采用直接在发送端提取语音识别参数的方法, 使识别系统的效率达到最大。参考文献:1S Euler, J Zinke 1The Influence of Speech Coding Algori thms on Automatic Speech Recognition C. Proc. Australia, Vol. 1,1994.

38、 621-624.2B T Lilly, K K Pali wal 1Effect of Speech Coders on SpeechRecognition Performance C.Proc. ICSLP, Philadelphia, PA, Vol. 4, 1996. 2344-2347.3S Dufour, C Glorion, P Lockwood 1Evaluation of Roo-t normalizedRron-t end (RN -LFCC for Speech Recogni tion in Wireless GS M Net work EnvironmentsC. Proc. ICASSP, Vol. 2, 1996. 77-80. 4C