（信号与信息处理专业论文）基于intel+bulverde的amrwb性能优化与移植.pdf

信息工程学院 基于i n t e lb u l v e r d e 的a m r - w b 性能优化与移植 一摘要 a - w b ( a d a p t i v em u l t i r a t ew i d e b a n ds p e e c hc o d e c )同 时被3 g p p 和i t u t 选定为高品质宽带语音编解码标准，增强了语音 质量自然度和舒适度，在移动终端上具有十分广阔的应用前景。 3 g p p 在给出理论算法的同时，提供一套基于a n s ic 标准的代 码实现和各种语音环境下4 0 0 多个测试用例。在移动终端实际应用和 针对不同d s p 平台，m c p s 测试结果显示高达1 0 0 0 以上，因而还必 须完成优化和移植的任务。 本文首先介绍a w b 和实现框图，再从一般的d s p 开发入手 后以i n t e lb u l v e r d e 处理器为重点进行介绍，然后分为a p i 实现、移 植考虑、优化方案等三个方面对a m r w b 在i n t e lb u l v e r d e 上移植与 优化经验进行了创新和总结，为保证移植与优化的正确性，文中也提 出测试验证方案，同时也给出供参考的业界领先的九种比特速率下编 码器和解码器的m c p s 数据。 最后，本文进行了总结，提出在对编解码进行优化时，要将处理 器平台性能特征和编解码的计算特点结合起来考虑，这样才能最大程 度扩大优化成果。 关键词：a w bd s p 编解码 i l i 陈国龙信息工程学院 硕士论文 o p t i m i z a t i o na n dp o r t i n go fa m r w b b a s e do ni n t e lb u l v e r d e a b s t r a c t t h e 肖心江r w b 乙久d a i ) t i v em m t i r a t ew i d e b a n ds p e e c hc o d e c ) c o d e c 、 豫sb o 廿1 s e l e c t e db v3 g p pa r l di t u t 弱w i d e b a i l ds p e e c hc o d e cs t a i l d a r d ，s u b s t a n t i a l l y i i n p r 0 v e ds p e e c hq u a l i 劬瑚l l l 哦l i l e s sa n dc o m f - o r t ，l m d 伊e a ta p p l i c a t i o np r o s p e c to n m o b i l et e n ：1 1 i i l al s as e to fc o d e ca l g o r i t h m sw 嬲p r o v i d e d b y3 g p p ，a l o n g 、析t l l 趾a n s ics 切n d a r d i i l l p l e m e n t a ：t i o na n dm o r et h a n4 0 0t e s tc 嬲e sl l i l d e ra l lk i i l d so fe n v i l o n m e n t a l c i r c l l i i l s t a l l c e s i nt 1 1 er e a la p p l i c a t i o no n 也em o b i l et e n n i n a l sf o rd i 虢r e n td s p p l a t f o n l l s ，t l l em c p sm e 嬲u r e m e n ti s 硒h i 匝嬲i n o r em a n10 0 0 ，s oi tp r e s e n t su s t a s k so fd o r t i i l ga i l do p t i m i z a t i o n t 1 1 i sp a p e rg i v e sab r i e fi | 1 n 0 d u ( 岖o no fa m i j w r ba n di t si m _ p l e r n e n t a t i o n 丘a m e w o r k ，d e s c r i b e d l ed s pd e v e l o p m e mp r o c e s sw i 血i t sf o c u so nm eh l t e l b l l l v e r d ep r o c e s s o rp l a b n n ，a i l ds l l 】：i l 】【n a r i z e d l ei i m o v a ：t i o n sa n de x p e r i e l l c e so n a p ii m p l e m e n l ：a ：t i o n ，p o n i n gc o i l s i d e r a t i o i l s 觚do 砸i i l i z a t i o ns o l u t i o no fa m r w b b a s e do ni n t e le ；u l v e r d e t be n s u i l ei t sc o r r e c h l e s s at e s ta l l dv a l i d a t i o ns o l u t i o ni s a l s op r o v i d e di i lt h ep a p e r ，m e 锄w h i l em ec o d e cm c p sd a t aw “h 也eb e s t p e 墒r m a n c ei i li i l d u 蛐呵o f1 1 i n ed i 任e r e n tb i tr a t ei ss h o w ni nt l l ed i a g r a ma sr e f e r e n c e i nm ee n d ，t l l ep a p e rc o i l c l u d e dt 1 1 a t 圮c o n s i d e 船：t i o n so fa d v a n 切g e so f p r o c e s s o rp l a t f o m sa i l dc b a 均嘶s t i c so fc o d e cm u s tb ec o m b i l l e ds ot 1 1 a tm eb e s t o p t i m i z a t i o np e r f o m a i l c ec a nb ea c l l i e v e d k b vw o r d s ：a m r w bd s pc o d e c 陈国龙信息工程学院硕士论文 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢 意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：p 互固堑日期：王! ! 查：3 = 主堡 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究生在 校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国家有关部门 或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。( 保密的学 位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论文注释：本 学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： 日期：翌! ! ：l ：! 曼 日期：2 d ，：堡 陈国龙信息工程学院硕士论文 第一章绪论 当无线移动通信从语音主导的应用发展到多媒体和高速数据应用的时候，更 高质量具有更高自然度的语音编解码标准成为了急切需要。j 蝴r w b 语音编解 码标准于2 0 0 1 年由3 g p p 和r r u t ( g 7 2 2 2 ) 同时选定为1 6 k 频率的宽带语音 编解码标准，它将传统窄带语音带宽2 0 0 一3 4 0 0 h z 扩展到5 0 一7 k h z ，与传统语音窄 带语音编解码相比，大大提高语音质量和主观语音感觉的自然度。而且，这个决 议本身具有十分重要的意义：在人类语音编解码标准制定历史上，无线通信和有 线通信第一次同时选择了同一个语音编解码标准。因而，无论从实际上还是理论 上，舢垤r w b 都是十分有应用前景的语音编解码。n 1 3 g p p 组织基于蝴r w b 编解码的算法，提供一套舢订r w b 编解码a n s i c 参考代码【引。这套定点c 代码本身是可以执行的，但是这些代码执行效率太低， 产品化的时候，成本太高，对于具体的移动终端而言，是无法直接应用的。原因 主要在于将a n s i - c 参考代码移植到目标处理器平台的最佳性能搭配是无法用编 译器来完成相关工作的，必须由人力将编解码的计算存储需求与处理器的性能特 点结合起来考虑，才能完成最佳优化。对于下文将要介绍的i n t e lb u l v e r d e 处理 器平台作为目标系统而言，3 g p p 的参考代码进行测试的性能数据m c p s ( m i l l i o n c 0 r e - c y c l ep e rs e c 0 n d ) 结果显示高达1 0 0 0 左右，这样的计算要求对于移动终端 而言是很难满足的。所以，要在实际需求中应用伽垤r w b 编解码，还必须完成 移植和优化的任务。这也就是我选题的意义，和在课题研究中要解决的问题。 h t e lb u l v e r d e 处理器平台是h l t e l 公司面向越来越丰富的多媒体应用及其内 在的算法复杂性推出的基于a r m v 5 t e 体系结构非常强大的新平台，广泛应用于 移动手持设备上，如手机、p d a 等。其主要特征在于：在a r m v 5 t e 体系结构 基础上，增加了h l t e lw i r e l e s sm m x 的技术。其具体特征下面将详细介绍。 在业界，i n t e l 公司也作出包括蝴r w b 在内的许多编解码的捆绑式语音编 解码库口p ，当前版本是4 1 ，但在我们完成蝴r w b 的优化后，我们的m c p s 比i i l t e l 的p p 4 1 低了1 0 m c p s ，可以说，我们三个人完成的项目是非常成功的， 因而我们也得到客户的“全满意评价 。 陈国龙信息工程学院 硕士论文 本文将从介绍蝴r 。w b 编解码开始，再提供一些d s p 的简要概述，包括h l t e l b u l v e r d e 处理器平台的性能特征，然后在提供这些背景知识后，我将重点结合 气m r w b 应用在3 g 移动终端优化需求给出相应的优化方案和测试方案，并给 出优化后的性能测试数据结果。这也就是我在硕士阶段科研活动的研究成果。本 文讨论的移植优化方案对于其他语音编解码的移植与优化亦有参考价值。 以下论文部分围绕a m r w b ，b u l v e r d e ，优化与移植这三个主题，共分为 三章来逐节讨论相关的内容。蝴r w b 是优化主体，b u l v e r d e 是目标平台，优 化与移植是我采用的优化方案。优化与移植是论文的重点，也是论文的科研价值 所在。 2 陈国龙信息工程学院硕士论文 第二章自适应多速率宽带语音编解码j 蝴r w b 首先，论文将详细介绍自适应多速率宽带语音编解码j 蝴r w b 的相关知识。 在移植与优化前，首要的事情，就是得弄清楚，所要优化的编解码是否具有广阔 的应用前景，而m r w b 无疑是完全符合条件的。 语音编码技术是伴随着语音的数字化而产生的，目前主要应用在数字语音通 信和数字语音存储两个领域。由于简单地由连续语音信号抽样量化得到的数字语 音信号在传输和存储时要占用较多的信道资源和存储空间，因此如何在尽量减少 失真的情况下高效率地对模拟语音信号进行数字表达，即压缩编码就成为语音编 码技术的主要内容。 语音压缩编码按编码后传输所需的数据速率来分可以分为高速率3 2 k b i t s 以上) 、中高速率( 1 6 3 2 k b i t s ) 、中速率( 4 8 1 6 k b i 旧、低速率( 1 2 4 8 k b i 佻) 和极低 速率( 1 2 k b i 临以下) 五大类。 语音编码方法按传统的概念分为三大类：波形编码，参数编码和混合编码。 波形编码技术已尽可能重构语音波形为原则进行数据压缩，即在编码端以波形逼 近为原则对于语音信号进行压缩编码，解码端根据这些编码数据恢复出语音信号 的波形。它具有语音质量好、抗噪性能强等优点，但所需用的编码速率高，一般 在6 4 1 6 k b i 佻之间，而参数编码则从听觉的角度注重语音本身的重现，它通常都 是基于某种假定的语音产生模型假定在编码端分析出该模型参数，并选择适当的 方式对其进行高效率的编码，解码端则利用这些参数和语音生成模型重新合成语 音。它具有编码速率低的优点可以达到2 4 k b i 怕以下，但语音音质差，而且对 噪声较敏感，顽健性不够好。混合编码是上述两类方法的有机结合，与参数编码 相同的是它也基于假定的语音产生模型的假定，并采用了分析与合成技术，但同 时它又利用了语音时间波形信息增强了重建语音的自然度，使得语音质量有明显 提高，其代价是编码速率相应上升，一般在1 6 2 4 k b i 帕之间。由于近年来在语 音编码技术研究中，尤其是中低速率编码技术中，各种新算法新概念的不断涌现 采用上述概念进行分类的界限已显得越来越模糊。 现在使用的许多语音编解码系统是基于电话带宽的窄带语音，一般认为限制 在2 0 0 3 4 0 0 h z ，采样频率为8 k h z 。这种建立在传统电话系统中的限制要追溯到 3 陈国龙信息工程学院硕士论文 1 9 1 5 年在纽约和旧金山之间建立的第一个跨洲电话服务。传统的综合业务数字 网( i s d n ) 中固有的带宽限制了通讯质量。随着越来越多的端到端数字网络的渗 透，如二代和三代无线系统，i s d n 、v o 口允许使用更宽的语音带宽，可以提供 比传统公共交换电话网( p s 耵d 更好的通讯质量，并能提供面对面交流的感觉。 尽管许多语音信号中，尤其是不发声的信号中，其能量要比7 l 【h z 更高，但实际 只以比7 k h z 低的形式表示。在宽带语音编解码中，信号以1 6 k h z 的频率采样， 带宽限制在5 0 7 0 0 0 h z ，这样的语音质量接近于面对面交流的通讯质量。 宽带语音编解码方式大幅度提高了语音质量，同窄带电话语音相比，增加的 从5 0 2 0 0 h z 的低端频率提高了自然度、表现力( p r e s e n c e ) 、舒适度。扩展的 3 4 0 0 7 0 0 0 h z 的高频部分可以更好地区分摩擦音，增加了清晰度，因此 5 0 7 0 0 0 h z 的带宽不仅提高了可理解性和语音自然度，而且增加了透明传输的感 觉使说话方语音的个人特征体现得更为充分。 宽带语音信号以1 6 心i z 采样，当每个样本以1 6 位整数表示时，原始位速率是 2 5 6 k b i t s 。所以，语音编解码，或者说是语音压缩在一个可行的应用中，对于宽 带语音通讯就具有十分重要的意义。几个标准制定组织最近组织起来对在 1 6 k b i 帕的宽带语音编解码器进行了标准化最后由3 g p p 侣r s i 和r r u t 选择出 一种全新的宽带语音编解码器c 舢讧r 。w b ) 。新语音编解码器标准的采纳性能增强 的终端声学以及在v o i p 上的q o s ( q u a l i t yo fs e i c e ) 挑战正在为宽带电话做准 备。 i t u t 是倡导语音编码的第一个标准化组织。n u t 的第一份语音编码的 建议，即q 7 1 1 ，在1 9 7 2 年完成。这份建议包括了基于波形编码方式的6 4 k b i t s 的斗1 a w 和a - l a wp c m ，g 7 1 1 在p s t n 电话网中被广泛使用。随后的1 9 8 4 年 的语音编码标准g 7 2 6 使用a d p c m 方式，速率为3 2 k b i t s 往垦初是g 7 2 1 ) 。后来 是r r u t 提出窄带语音编码建议g 7 2 8 ，其速率为1 6 k b i t s ( 1 9 9 2 ) ，q 7 2 9 。其速 率为8 k b i t s ( 1 9 9 5 ) 和q 7 2 3 1 ，速率为6 3 k b i 惟和5 3 k b i t s ，r r u t 的建议是在很 多的应用上面发展起来的。实际上一些地区化标准组织如e t s i 和 1 1 a ( r l e c 0 m i n u n i c a t i o n sh l d u s t r y 舡c i a t i o l l ) 在无线通讯系统的语音编码标准方 面处于领先地位。 地域性的数字蜂窝标准在第二代无线通讯系统的发展中扮演了一个关键的 角色。如e t s i 制定的g s m 移动通讯系统，几种编码已经被标准化，包括1 9 8 7 年的f r 编解码器，1 9 9 6 年的e f r ，1 9 9 9 年的m r ，同时在1 1 a ，也为北美 数字蜂窝标准发展了几种编解码器。最新的标准是用于n a t d m a 的7 4 k b i 低 的i s 6 4 1 ，用于n 艮c d m a 的8 5 k b i 帕，4 0 k b i 怕，o 8 k b i t s 的i s 。1 2 7 以及最近 用于n a c d m a 和c d m a 2 0 0 0 的模式可选的声音合成机。 4 陈国龙信息工程学院硕士论文 语音编码的标准化过程通常由几个部分组成，可能要经过好几年，刚开始设 定“参考条件”，也就是定义了和指定应用相关的几个需求和目标，这些需求包 括位速率，延迟，复杂性，不同操作环境下( 无错误、有随机错误、帧出错、背 景噪声顺序出错等) 的质量。最先的是资格认证阶段，候选的编解码器在一定的 条件下单独测试来显示它们是否有符合这些需求的潜力。在选择阶段，合格的编 解码器在反映需求和目标的条件下面测试，佼佼者被选出。最后特征化阶段被启 动，其他一些没有在选择阶段出现的实际操作条件( 目标，和其他标准的转码等) 被用来测试。不同阶段的测试使用正式的目标测试过程在不同的语言环境下完 成。 尽管许多工作都集中在窄带上的语音编解码器。几个组织认识到了允许输入 的语音覆盖一个更大带宽的音质差异。在1 9 8 8 年r r u - t 建立了第一个宽带语音 编解码标准g 7 2 2 。g 7 2 2 易于实现，在4 8 、5 6 和6 4 k b i 垤的时候可以获得很好 的性能。在1 9 9 5 年，i t u t 开始宽带语音编码的另一项活动，这使在1 9 9 9 年， 产生了2 4 和3 2 k b i t s 的q 7 2 2 1 标准。最近，实现新的宽带语音编解码器的活 动由r r u t 和e t s 耶g p p ，承担编解码器的位速率大约为1 6 k b i t s 。一种新的编 解码器a m r w b ( a d a p t i v em u l t i r a t ew i d e b 卸d ) 作为在2 0 0 0 年由3 g p p 选出甩于 g s m 和3 g 无线系统的宽带编解码。在i t u t 正在进行的1 3 2 4 k b i t s 的宽带编 解码器标准化的过程中，j m r w b 宽带语音编解码器于2 0 0 1 年被选为获胜的 候选编解码器。 宽带语音编解码标准小结： 1 ) i t u tg 7 2 2 标准 g 7 2 2 是用于宽带应用的6 4 k b i 伽的r r u t 标准。在1 9 8 8 年被提出采样频 率为1 6 k h z ，它实质上是一个有两个子带的编码器。每个子带的信号用a d p ( m 编码，使用的技术是类似于g 7 2 6 的窄带标准。在解码器端，语音信号以1 6 k h z 的速率采样，并被分解成相同带宽的两个子带，每个子带的信号在编码前采样速 率减半，被分解为子带时使用带有无限脉冲响应的q m f ( q u a d r a t l l r em i n d rr l t e 娼) 完成。对于g 7 2 2 标准，q m f 有2 4 个系数，这种配置引入了总共3 m s 的延迟 和在整个频率范围内少于1 d b 的失真。在解码器端，量化的子带语音信号的采 用频率被使用同编码器端分解信号相同的滤波器加倍。使用q m f ，这保证了由 于子带重叠而发生的混淆现象得到抵偿( 忽略量化过程) 。这种重新建立的子带信 号然后被加到一起形成合成信号。 2 ) 3 g p p e t si 和i t u ta m r w b 标准 最近在语音编码方面的进展已经使宽带编码在位速率方面适用于移动通讯。 从1 9 9 9 年开始，3 g p p 和e t s i 已经开始为w c d m a3 g 和g s m 系统的宽带 5 陈国龙 信息工程学院硕士论文 语音编码进行开发和标准化工作，经过差不多两年的紧张工作和两个竞争激烈的 选拔过程，3 g p p 厝r s i 的宽带编解码算法于2 0 0 0 年9 月选出，语音编解码规 范于2 0 0 1 年3 月完成并被通过。3 g p 脚i 的宽带语音编解码器是一个自适 应的编解码器，可以在从6 6 2 3 8 5 k b i t s 的语音编码速率上面工作。这种编解码 器称为自适应多速率宽带编码器。 3 ) a m r w b 宽带编解码器的标准化 由n o l 【i a 和v 0 i c e a 毫e 联合开发的蝴r 宽带编解码器，在2 0 0 1 年为g s m 和w c d m a3 g 系统而标准化。当以前移动通讯的所有编解码器在窄带音频带 宽被限制在2 0 0 3 4 0 0 h z ，气m r w b 把音频带宽扩展道5 0 7 0 0 0 h z ，使质量得到 真正的提高。j 蝴r w b 宽带编解码器在从6 6 2 3 8 5 k b i 怕之间的9 个语音编码 位速率上操作。和其他的g s m 和w c d m a3 g 编解码一样，j m r w b 也有一 个低速率信源独立模式以用来编码背景噪。 处嗄r w b 宽带编解码器的标准化工作在1 9 9 9 年中开始，在这之前关于移 动通讯宽带编码的可用性由e t s i 在1 9 9 9 春季着手进行可行性研究。调查结果 显示是可行的，因此随即启动了标准化过程。这项工作作为e t s i 和3 g p p 的合 作项目，打算开发针对第二和第三代移动通讯系统的宽带语音服务。 在标准化过程启动后，包括例子实现复杂性和传输延迟等有关编解码器的详 细的语音质量需求和设计限制被确定了。a m r w b 宽带编解码器的选择通过竞 争完成，由两部分组成：2 0 0 0 年春季的资格认定阶段和2 0 0 0 年6 1 0 月的选择 阶段。从所有的9 种候选编解码中，7 种提交到资格认定阶段，其中最好的5 种送到了提交阶段。 在选择阶段，候选的编解码器在6 个独立的测试实验室彻底测试。测试通 过国际合作进行，用5 种语言操作。测试种的每个实验用两种语言进行以避免 特定语言的偏差。这些测试包括了很多操作条件，如无错误、有背景噪声、信道 错误。还有模式自适应条件和信源控制速率操作。候选的编解码器都用定点算法 的c 实现，使用同定义以前e t s i 和3 g p p 的编解码器相同的基本算子。 基于测试的结果和编解码器建议的技术细节，在2 0 0 0 年9 月n o k i a 肭i c e a g e 的编解码器被选为3 g p p 侣r s i 的a m r w b 宽带语音编解码器。此后，语音编 解码器的规范被确定下来并在2 0 0 1 年3 月通过。 在通过了语音编解码器的规范以后，特征测试阶段开始了。在这个阶段， a m r w b 宽带语音编解码器开始在各种操作环境下进行更广泛的测试。这这些 结果总结在3 g p p 的技术报告中。 6 陈国龙信息工程学院 硕士论文 自适应多速率宽带语音编码包括多个语音速率的编码器，多速率编码控制方 案包括语音通话检测、舒适噪音产生系统、错误隐藏机制以避免传输错误以及包 丢失对语音的影响。 自适应多数率宽带语音编码器是一个集成的编码系统，它能编出九种不同的 语音速率从5 7 k b i t s 到2 3 8 5 k b i 珧，还有一个低速率的背景噪音产生编码模式， 它能在2 0 毫秒的时间里从一种语音编码速率切换到另外一种语音编码速率。 主要特征如下：1 3 j 1 ) 8 位a 一1 a w 或u l a wp c m 编码，每秒8 0 0 0 采样： 2 ) 1 3 位统一的p c m 编码，每秒1 6 0 0 0 采样： 3 ) 语音通话检测( v a d ) 标志： 4 ) 编码后的语音帧，每秒5 0 帧，每帧多少位与编码的模式有关： 5 ) 无通话时的描述符帧： 6 ) 传输类型，2 位，标明语音信息是否能获得以及当前的信息是语音还是 无通话信息标识符： 7 ) 传输到3 g 接入网的语音信息： 8 ) 从3 g 接入网收到的语音信息： 9 ) 接收类型，用3 个比特位标识。 蝴r w b 的多速率控制：l ” 在正常的通话当中，通话双方交替说话，所以平均每方占用5 0 的时间，当 一方不说话的时候，编码器将编码生成一个背景噪音代替语音的编码以节省带 宽，网络需要适应这种不断改变传输速率的传输方案，这样会有两个好处： 1 ) 用户端，电池寿命将延长或者将电池做得更小 2 ) 均需要的速率减少了，提高了传输效率，增加了网络系统的容量 多速率编解码源速率控制需要以下的一些功能支持： 1 ) 在发送端语音通话检测系统 2 ) 评估背景噪声在发送端，传送特定的字符列表到接收端 3 ) 在接收端，当没有接收到语音帧时产生舒适的背景噪音 4 ) 传送舒适的背景噪音到接收端是通过静音描述符，它通过固定的间隔发 送到接收端 j m r w b 语音通话检测：【4 l 7 陈国龙信息工程学院 硕士论文 自适应多速率编解码的语音通话检测的输入是语音加上编码器计算出来的 一些参数，自适应多速率编解码的语音通话检测使用这些信息决定当前的2 0 毫 秒的语音是需要编码成语音帧还是静音帧。 j 气m r w b 丢失帧或错误帧的隐藏：【6 j 在无线环境当中，传输错误会导致帧的丢失，需要对语音帧及静音帧的丢失 进行处理。 为了隐藏帧丢失的影响，解码器需要适应这种帧的丢失，错误隐藏机制需要 初始化，语音合成器使用一些预测参数，当有连续的帧丢失时，采用哑音技术告 知接听者通话被中断。 舢讧r w b 舒适噪音的插入：i 。7 】 当没有语音时，解码的合成器将根据收到的非语音的解码参数生成舒服的噪 音，与正常合成的语音不同。 舒适噪音产生系统包含下面几个过程： 1 ) 在发送端评估声学的背景噪音 2 ) 噪音参数从发送端传送到接收端( s i d 帧) 3 ) 在接收端产生舒适的背景噪音 8 陈国龙信息工程学院硕士论文 t s 2 6 9 4t s 1 9 3 o v o i 厂、 驰 - 蛰 _ _ 一 盯 o o m m i ( a n d o 哪b n s p e hf r a 佣e t s 2 & 1 9 2 一 黔 副d f r a 帅e t d u e r te i c 1 弓2 6 1 t s 2 & 1 9 1b 胬s eo 嘶州d e b 副1 ds p e h l s p e e c l i。厂_ 丙 、 ，口 r | ! 竺竺竺f _ s i i b 嘲m m 叩 1 1 s 2 & 1 f 黜| _ _ _ 、 d u c o n 臼d l l a n d f 0 ”r a t 帕n l s 口e e c l - 怕帅e i1 弓2 & 1 鸵 阉 f d a+l p f 刮至 m s s e im 叶l；s m 5 0 副d 仃丑帅e r e c 目v es i d e 图1 1a m r 二w b 实现框图 9 陈国龙信息工程学院硕士论文 2 3 1j 蛆僵r - w b 编码器原理 气m r w b 的编码器的各种编码模式都是基于c e 凹( 码激励线性预测) 模 型的，c e 语音合成模型如图所示。 自遁虚醇孝 图2 - 1c e i j p 语音合成模型 号 线性预测合成滤波器的全极点模型传输函数可以表示为： ，11 日z 2 丽。i 式2 1 其中鑫i ，i _ l ，m 为量化线性预测( 凹) 系数，m 为l p 合成滤波器h ( z ) 的阶 数，这里m = 1 6 ，a ( z ) 称为l p 分析滤波器( 或逆滤波器) 。 而使用的长时基音合成滤波器模型为： 11 b ( z ) 一1 一g 口z r 式2 - 2 这里t 为基音延迟( 或基音周期) ，g p 为基音增益。基音合成使用的是自适 应码本搜索算法。 码本中的最佳激励矢量的搜索使用的是分析合成搜索算法，根据感觉加权失 真测度方法，以合成语音信号与原始语音信号均方误差最小为准则在码本中搜索 激励矢量。气m r w b 中使用的感觉加权滤波器为： ( z ) = 彳0 ) ，1 ) 日出一曲0 ) 式2 3 a ( z ) 是未量化的线性预测滤波器，日出一删2 志和纷2 傀9 2 为感觉加权 因子。输入语音信号的采样率为1 6 k i z 的时候，以2 0 m s 的语音为一帧，每帧3 2 0 陈国龙信息工程学院硕士论文 个样点，在预处理过程中，进行采样率转换，采样率变成1 2 8 k h z ，以2 0 m s 的 语音为一帧，每帧2 5 6 个样点。在每一帧，语音信号通过分析提取c e l p 模型参 数( 线性预测滤波器系数，自适应和固定码本索引及增益) 。除此之外，在 2 3 8 5 k b i 佻模式中还要计算高频带增益因子。所有这些参数编码后被传输。在解 码端，利用这些参数，重建激励信号并通过线性预测合成滤波器合成语音。详细 的创r w b 编码原理如下图所示。 i s 挚 铡 丽型挲里 王篷 【p il 一 褥值得到 四十子坝的1 露 途棒怠适应 玛奉淀渡器 二 诤算冲击 响应 哥藏杰墩带增益索引 2 3 - b 5k b 抛幔武 砖率索弓i 兰吐 固定硒本瘦索l 滤竣嚣敞 夺更齄 墙盏量 匕l 1 _ 可函蠡 ll 镐l 图2 2a m r - w b 编码原理图 线性预测( l p ) 分析每帧执行一次，每组l p 系数被转换成i s p ( i n l m i t t 觚c e s p e c t r a lp a i r ) 参数，并进行分裂多级矢量量化( s m s v q ) 。每帧被分成4 个子 帧( 6 4 个信号样点) 。自适应和固定码本参数是基于每个子帧传输的。量化和未 量化的l p 系数或者其插值也是基于每个子帧进行的。开环基音延迟每帧估计一 次( 6 6 0 k b i 佻模式) 或者两次( 其余模式) 。执行完上述操作后，基于不同的子 帧，执行下列操作：计算目标信号x ( n ) 和感觉加权合成滤波器w ( z ) h ( z ) 的冲激响 应h ( n ) ；由x ( n ) 和h ( n ) 在开环基音估计的基础上再作更精细的搜索即闭环基音分 析，得到最佳基音延迟和增益：目标信号x ( n ) 减去自适应码本部分作为更新后的 目标信号x 2 ( n ) ，进行代数码本即固定码本搜索：自适应码本和固定码本增益采用 6 到7 比特矢量量化；最后进行滤波器状态更新，用于下一子帧的分析。在 2 3 8 5 k b i 帕模式，对经过带通滤波后的输入语音进行分析得到高频带增益。最后， 每一帧信号编码后得到的比特流中包含有w 出索引、长时预测滤波器索引、i s p 矢量索引、自适应码本索引、固定码本索引和码本增益，在2 3 8 5 k b i 怕模式中还 包含高频带增益索引。 2 3 2 a m r w b 解码器原理 j 蝴r - w b 解码器原理图如下图所示 陈国龙信息工程学院硕士论文 图2 - 3 a m r - w b 解码原理图 在解码器输入端，从接收的比特流中获得v a d 索引、长时预测滤波索引、 i s p 矢量、自适应和固定码本参数( 索引和增益) 等。在2 3 8 5 k b i 临模式下，还 要获得高频带增益因子，i s p 参数还需要转化为i j p 系数，再根据凹系数内插得 到各个子帧的合成滤波器系数即得a ( z ) 。在给定编码模式下，对每子帧6 4 个 样点作下列运算：由自适应码本和固定码本矢量经过各自的增益加权后获得重建 的激励矢量；将激励矢量( 或经过后置处理的激励矢量) 输入合成滤波器得到采 样率为1 2 8 k h z 的重建语音信号；重建的语音信号被去加重；最后，重建的语音 信号还需要经过升采样处理( 把采样率从1 2 8 k h z 转换到1 6 k h z ) 。 另外，高频带语音解码如下：将具有一定增益( 在2 3 8 5 k b i t s 模式下直接由 解码出来的高频增益因子得到，其他模式下由低频带合成语音计算得到的随机自 噪声通过一个高频带合成滤波器，此滤波器由量化了的i s p 矢量得到6 6 0 k b i t s 模式或者由低频带合成滤波器a ( z ) 直接得到( 其余模式) ，然后将滤波器输出再 通过一个6 l 【h z 7 妊i z 的带通滤波器，从而得到高频带语音信号。 最后，将高频带信号加入到6 k h z 至7 k h z 的频带内，从而得到最终的语音 输出。 宽带语音编解码器的自然度在高保真电话扩展的通讯业务如声音会议、电视 广播中是一个重要的特征。以下简要介绍几种宽带语音的应用领域： 1 ) 3 g 移动通讯系统 提供多媒体服务是3 g 无线通讯系统的一个主要功能。这也意味着在多媒体 部分要使用高质量的声音和语音。即使在说话声音的电话应用中宽带语音也是无 线服务提供商可以提供比传统公共交换电话网( p s 卫哪更高语音质量的重要一 步。3 g p p 标准化组织最近选择了j 气m r w b 作为g s m 和3 g 无线系统的宽带 语音编解码器的标准已经认识到宽带语音的重要性。 2 ) 宽带包网络和综合业务数字网( i s d n ) 上的高保真电话 宽带包网络和综合业务数字网( i s d 聊是端对端数字网络，可以提供高保真宽 带电话，是服务供应商在传统窄带公共交换电话网( p s 盯d 上的一个主要手段。 这些包网络包括油s l ，包电缆，a t m ，帧中继，宽带i s d n ，传输数据的i p 协议可以被用来传输实时的声音信号。 陈国龙信息工程学院硕士论文 3 ) 音频和视频会议 在综合业务数字网( i s d 和包网络上，宽带语音编解码可以提高音频和视频 会议中说话者的声音质量和现场感可以让人感觉声音更加真实。 4 ) 网络应用 宽带电话可以促进几个网络应用，如：广播和交流，聊天，虚拟现实沉浸环 境，多媒体实时协作工具叙述内容的存档和分布，基于网络的语言学习。 5 ) 数字无线广博 宽带语音可以在数字调幅无线广播，新闻的音频视频广播，电视节目，人数 较少的电路讲座中使用。 1 3 陈国龙信息工程学院 硕士论文 第三章d s p 及i n t e ib u l v e r d e 介绍 语音编解码作为d s p 领域一项很重要的应用，跟硬件平台有着极其密切的 关系。尤其对于论文的下一章涉及到的优化与移植而言，硬件平台的性能特征熟 悉程度，直接影响到优化效果的好坏，所以，在介绍优化与移植方案前，对d s p 及h l t e lb u l v e r d e 进行介绍是十分有必要的。 d s p 是d i 西t a ls i 弘a 1p r o c e s s o r ( 数字信号处理器) 的缩写，是一种微处理器， 它是专门为适应数字信号处理应用的需要而设计的芯片，主要针对数字信号进行 处理，实现实时响应。数字信号一般来自影像、声波等感官数据，它与通常的字 处理、数据库操作中的数据不同，往往需要系统通过复杂的数字运算进行处理， 并快速响应。d s p 是通过对数字信号分解，进行数学运算后再合并处理结果的一 项技术。它以卷积、离散f 0 l l r i e r 变换、f f t ( 快速f 0 u r i e r 变换) 等数学理论为 基础，在音频处理、图像处理、数据压缩等方面有着广泛的应用。随着d s p 技 术的不断发展和完善，各个d s p 的生产商都推出了自己的高级语言编译器，这 使得利用高级语言开发d s p 软件成为可能。由于编译器的首要性能是依据一定 的规则编译出逻辑正确的代码，这样在保证正确性的前提下，编译出的汇编代码 冗余很难兼顾效率，在一些实时性要求比较高的场合，例如在语音图像处理方面， 必须对某些关键的算法进行优化。目前，d s p 技术已经发展成为2 1 世纪的最强 有力的技术之一。 作为代表d s p 技术的芯片数字信号处理器( d s p ) ，简化了数字滤波器 的设计，简化了数字信号处理，其发展速度不亚于微处理器。1 9 8 2 年，1 r i ( t e x a s i i l s t m m e n t ) 公司推出了第一个商用数字信号处理器，开创了d s p 的历史。如今， d s p 厂商众星云集，产品多样。其中著名厂商有耵、m o t o r o l a 、l u c e n tt e c h n o l o g y 等，i b m 、i n t e l 也已介入d s p 市场。 d s p 芯片可以根据数据格式分为定点d s p 和浮动d s p 两类。一般地，浮点 d s p 提供浮点算术运算指令，数据处理能力强，成本高；定点d s p 只能直接处 理整数运算和定点小数运算，处理浮点数据的运算能力差，成本相对比较低，通 常被广泛采用。目前，比较流行的产品有m o t o r o l ad s p 5 6 6 0 0 、s t a r c o r e l 4 0 ，n 公司地c 5 5 x 以及h l t e l 公司的b u l v e r d e 。 1 4 陈国龙 信息工程学院 硕士论文 在高级语言编译器出现以前，由于软件部分都是由汇编来完成，并且写出的 代码性能都比较高，所以代码的优化在开发过程中已经完成，不需要把优化单独 地作为开发的一个步骤。现在随着高级语言应用到d s p 系统的开发中，在软件 功能实现的基础上，软件执行效率的优化显得愈加重要。d s p 软件开发一般采用 c 语言和汇编语言，有些甚至支持c + + 语言。c 语言开发具有与硬件和平台相关 性低的特点，容易移植和维护。而且，c 语言为广大程序员所熟知，开发难度低， 速度快，因此在d s p 软件开发中经常被使用。然而，目前d s p 平台c 语言编译 器效率还不尽如人意，不能满足系统对d s p 软件和算法的m c p s ( m i l l i o nc v c l e s p c rs e c o n d ) 限制。汇编语言与硬件相关性大，不同的d s p 系列具有不同的d s p 指令集，软件开发可移植性和可维护性较差。开发者在使用前通常需要进行培训， 开发难度大，周期长，但是为了追求高的执行效率，开发者经常不得已选择采用 汇编语言。 d s p 软件开发工具一般包括c 语言编译器、汇编器、连接器、调试器、模 拟器、硬件测试板等。目前，大多数d s p 平台提供集成化开发环境，极大的方 便d s p 软件的开发、测试和评测。与微机平台不同的是，d s p 软件的开发属于 嵌入式软件的开发，通常开发者首先在微机平台上进行开发和调试工作，软件最 终需要运行在与微机环境完全不同的目标系统上。一般地，用户在称之为模拟器 或者调试板的环境下进行软件调试和模块测试工作，等到各个模块测试完毕后， 再集成到目标系统上进行最终测试。基本开发过程如下图所示 1 5 陈国龙 信息工程学院硕士论文 图3 1d s p 软件基本开发过程 下面简要介绍的硬件结构和汇编语言特性以此来得到和其特性密切相关的 代码优化策略： 1 ) 是面向计算的，由于各种变换运算的需要，它有独立d s p 的累加器a c c 和 乘加器m a c 相当多的算术操作都是由a c c 或m a c 等完成的。 2 ) 由于需对大的数组、矢量等的运算，面向存储器的操作是必要的，因此 在体系结构中只有少量的通用寄存器，同时设有专门用来寻址的辅助寄 存器a r 以及地址运算部件在做数据运a r 算的同时并行计算存储器地址。 3 ) 为了各种迭代运算的需要，指令可在执行过程中同时完成对寻址寄存器 的自动增量或自动减量而每次循环迭代运算a r 需要一条额外的指令向寻 址寄存器种装入新的地址。 4 ) 在指令执行过程中可以以附加指令后操作码的形式来指定新的当前寻址 寄存器以达到和自动增量减量特性同样的效果，即在数据运算的同时改 变当前存储器地址指针的目的。 1 6 陈国龙信息工程学院硕士论文 d s p 芯片发展迅速，其性能的提升和成本的下降带来了d s p 市场的快速增 长。然而，由于d s p 算法对m c p s 具有相对较高的要求，基于d s p 的软件开发 还存在不少问题： 1 ) c 编译器的优化效率不高，还不能满足系统对算法m c p s 性能的需要，算法 的实现通常需要借助汇编语言来实现； 2 ) d s p 芯片体系结构的差异，使得算法在不同d s p 平台的实现差