第15章 实时处理

1、第15章 语音处理的实时(sh sh)实现15.1 概述(i sh)115.2 可编程DSP芯片应用基础15.3 基于DSP的语音处理系统315.4 DSP CCS集成开发环境415.5 基于TMS320C5409的实时 语音识别系统52共六十九页15.1 概述(i sh) 在实际的语音处理应用中，语音处理系统(xtng)需要按照实时方式进行工作。 语音信号处理的实时实现方式一般有以下几种： （1）在通用计算机（微型机、小型机或工作站）中插上专用的数字信号处理板，称为主从系统方式，适用于实验室环境下进行语音信号处理技术的研究；共六十九页 （2）用通用的单片机实现，这种方法可用于一些不太复杂的语

2、音(yyn)信号处理； （3）由通用或专用DSP芯片以及其他辅助芯片构成一个独立的工作系统，也就是脱机式系统方式； （4）用嵌入式系统构成独立的语音信号处理系统，可用于便携式语音处理实时系统，近年来嵌入式系统和DSP相结合的复合系统已经进入实用阶段。 共六十九页 本章简要介绍可编程DSP芯片(xn pin)的基本概念、基本结构和开发工具，对基于DSP芯片的实时语音处理系统的构成作了介绍，最后介绍了一个基于通用DSP芯片的实时语音处理系统的开发。共六十九页15.2可编程DSP芯片应用(yngyng)基础15.2.1 DSP的发展历程 DSP包含两个相关的概念： 数字信号处理（Digital Si

3、gnal Processing） 数字信号处理器（Digital Signal Processor） 后者是在模拟信号变换成数字信号以后进行高速实时处理的专用信号处理器，在本章(bn zhn)内容中，DSP代表后者。共六十九页 1982年世界上诞生了首枚DSP芯片（1978年AMI公司发布的S2811）。这种DSP器件采用微米工艺NMOS技术制作，虽功耗和尺寸稍大，但运算速度却比MPU（微处理器）快了几十倍，在语音合成(hchng)和编码解码器中得到了广泛应用。随着CMOS技术的进步与发展，第二代基于CMOS工艺的DSP芯片应运而生，其存储容量和运算速度成倍提高，成为语音处理、图像硬件处理技术

4、的基础。80年代后期，第三代DSP芯片问世，运算速度进一步提高，其应用范围逐步扩大到通信、计算机领域。共六十九页 90年代DSP发展最快，相继出现了第四代和第五代DSP器件。第五代产品与第四代相比，系统集成度更高。这种集成度极高的DSP芯片不仅在通信(tng xn)、计算机领域大显身手，而且逐渐渗透到与信号处理、自动控制等相关的应用领域。近些年，随着集成电路技术的进一步发展，嵌入式微处理器的应用也越来越广泛。共六十九页15.2.2 DSP芯片(xn pin)的特点 DSP芯片主要特点： 1. DSP具有多总线结构，程序空间与数据存储空间分开，各有独立的地址总线和数据总线，取指令和读数据可以同时

5、进行(jnxng)； 2. DSP具有独立的硬件乘法器，乘法指令可在单周期内完成，使卷积、数字滤波、FFT、相关运算、矩阵运算等算法中的大量乘法运算速度加快；共六十九页 3. 采用流水作业，每条指令的执行划分为取指令、译码、取数、执行等若干步骤，由片内多个功能单元分别完成，相当于多条指令并行执行，大大提高了运算速度(sd)； 4. DSP具有零消耗循环控制的专门硬件，零消耗循环是指处理器不用花时间测试循环计数器的值就能执行一组指令的循环，硬件完成循环跳转和循环计数器的衰减； 共六十九页 5. DSP经常包含有专门的地址产生器，它能产生信号处理算法需要的特殊寻址，如循环寻址和位翻转寻址，循环寻址

6、对应于流水FIR滤波算法，位翻转寻址对应于FFT算法； 6. DSP片内具有快速RAM，通常可通过独立的数据总线在两块中同时访问(fngwn)； 7. 快速的中断处理和硬件I/O支持。共六十九页15.2.3 DSP芯片(xn pin)的分类 1. 按基础(jch)特性分 2. 按数据格式分 3. 按用途分 共六十九页15.2.4 DSP芯片(xn pin)的基本结构 在数字信号处理的运算中，常见的相关函数计算、卷积运算、信号滤波和各种变换算法大多可以归结为 的乘加运算，因此 的形式出现最为频繁。为了快速地实现数字信号处理运算，DSP芯片一般都采用特殊的软硬件结构。 DSP芯片的基本硬件结构包括

7、：哈佛结构、流水线操作、专用(zhunyng)的硬件乘法器、特殊的DSP指令以及快速的指令周期。共六十九页 1. 哈佛结构(jigu) 2. 流水线操作 3. 专用的硬件乘法器 4. 特殊的DSP指令 5. 快速的指令周期 共六十九页 在种类繁多的DSP芯片中，最成功的是美国德克萨斯仪器公司(n s)（TI）推出的一系列DSP产品。 1.TMS320C2000系列 TMS320C2000系列包括TMS320C20 x、TMS320C24x、TMS320C28x。 TMS320C20 x系列DSP芯片具有如下特点： (1) 处理能力强。最高运算能力40MIPS。 (2) 片内具有较大的闪存。不仅

8、降低成本，减小体积，同时系统升级方便。15.2.5 常用(chn yn)DSP芯片简介共六十九页 (3) 功耗低。如使用DSP核的省电模式可进一步降低功耗。 (4) 资源配置灵活。 TMS320C24x系列针对(zhndu)数字控制系统应用作了优化设计。 2.TMS320C3x系列 TMS320C3x是TI的第三代产品，也是第一代浮点DSP芯片。该系列产品有TMS320C30、TMS320C31、TMS320C32、TMS320C33四种。共六十九页 TMS320C31是TMS320C30的简化和改进型，它在TMS320C30的基础上减去了一般用户不常用的一些资源，降低了成本，是一个性价比较高

9、的浮点处理器，在国内已得到了较广泛的应用。TMS320C33是TMS320C3x系列中性能最高，功耗(n ho)最低的一种芯片，采用3.3V电压（核心电压1.8V），峰值功耗小于200mW。共六十九页 3.TMS320C5000系列 TMS320C5000系列DSP包括TMS320C54x和TMS320C55x两大类。这两类芯片软件完全兼容，所不同的是TMS320C55x具有更低的功耗和更高的性能。 TMS320C54系列是为实现低功耗、高性能而专门设计的定点DSP芯片，主要特点： (1) 运算(yn sun)速度快。运算(yn sun)速度为30532MIPS。 (2) 优化的CPU结构。可

10、高效的实现无线通信系 统的各种功能。共六十九页 (3) 低功耗方式。可以节省DSP的功耗，特别适 用于无线通信设备。 (4) 智能外围设备。 TMS320C55x是目前功耗最低的，与TMS320C54x兼容且性能比之提高了5倍，功耗仅为其1/6。TMS320C55x采用变指令长度提高代码效率，增强并行机制提高循环效率。TMS320C55x以极低的功耗和优越的性能(xngnng)可以在通信、消费电子等很多领域得到广泛应用。 共六十九页4. TMS320C6000系列 TMS320C62x系列是1997年开发的定点DSP芯片，特点是：(1) 运行速度快。指令周期最小为3.3ns，运算能力(nngl

11、) 2400MIPS。(2) 内部集成了高度正交的2个乘法器和6个算术逻 辑单元，单指令周期最大支持8条32位的指令。(3) 指令集不同。一个时钟周期内可并行执行多条指令。共六十九页 (4) 大容量的片内存储器和大范围的寻址能力。 (5) 智能外围设备。 (6) 低廉的使用成本。 TMS320C55x是目前功耗最低的，与TMS320C54x兼容(jin rn)且性能比之提高了5倍，功耗仅为其1/6。TMS320C55x采用变指令长度提高代码效率，增强并行机制提高循环效率。TMS320C55x以极低的功耗和优越的性能可以在通信、消费电子等很多领域得到广泛应用。共六十九页 TMS320C64x是T

12、MS320C6000系列DSP中的最新的高性能定点芯片，其软件与TMS320C62x完全兼容。TMS320C64x采用VelociTI.2结构的DSP核，增强的并行机制可以在单周期内完成4个16xl6位或8个8x8位乘累加操作(cozu)。与TMS320C62x相比，TMS320C64x的总体性能提高了10倍。共六十九页 TMS320C67x是继定点DSP芯片TMS320C62x系列后开发的一种新型浮点DSP芯片，特点是： (1) 运行速度快。指令周期6ns，峰值运算能力 1336MIPS，单精度运算可达1G FLOPS， 双精度运算可达250M FLOPS。 (2) 硬件支持IEEE格式的3

13、2bit单精度和64bit 双精度浮点操作。 (3) 集成(j chn)了32x32比特的乘法器，其结果可为 32bit或64bit。共六十九页 (4) TMS320C67x的指令集在TMS320C62x的指 令集基础上增加了浮点执行(zhxng)能力，可以看作 是TMS320C62x指令集的超集。 TMS320C62x指令可在TMS320C67x上运行，而无需任何改变。 TMS320C67x系列适用于对运算能力和存储量有高要求的应用场合。TMS320C64x是TMS320C6000系列中最新的高性能定点芯片，软件与TMS320C62x完全兼容。共六十九页 DSP芯片最初主要应用在数字信号处理

14、领域(ln y)。随着DSP技术的不断发展，其应用领域逐步扩展到自动化、机械电子等领域。目前，其应用范围已经越来越广。 1作为通用数字信号处理器，可用于数字滤波、卷积、相关、FFT、希尔伯特变换、自适应滤波、窗函数产生、波形发生等。 2在通信设备中，可用于高速调制解调器、编译码器、自适应均衡器、传真、程控交换机、蜂房移动电话、数字基站、数字留言机、15.2.6 DSP芯片(xn pin)的应用共六十九页 回音消除、噪声抑制、电视会议、保密通信、卫星通信、TDMAFDMACDMA等各种通信制式。随着互联网络的迅猛发展，DSP又在网络管理服务、信息转发、IP电话等新领域扮演着重要角色，而软件无线电

15、的提出和发展进一步增强了DSP在无线通信领域的作用。 3在语音处理领域，可用于语音编码、语音合成、语音识别、语音增强、说话(shu hu)人辨认、说话(shu hu)人确认、语音储存等。 共六十九页 4在图形图像处理领域，可用于三维图像变换、模式识别、图像增强、动画、电子出版、电子地图等。 5在自动控制领域，可用于磁盘、光盘、打印机伺服控制、发动机控制、电机驱动等。 6在仪器仪表中，可用于测量数据(shj)谱分析、自动监测及分析、暂态分析、勘探、模拟试验。 7在医学电子领域，可用于助听器、CT扫描、超声波、心脑电图、核磁共振、医疗监护等。共六十九页 8在军事与尖端科技领域，可用于雷达和声呐信号

16、处理、雷达成像、自适应(shyng)波束合成、阵列天线信号处理、导弹制导、火控系统、战场C3I系统、导航、全球定位GPS、目标搜索跟踪、尖端武器试验、航空航天试验、宇宙飞船、侦察卫星。 9在计算机与工作站，可用于阵列处理机、计算加速卡、图形加速卡、多媒体计算机。 10在消费电子领域，可用于数字电视、高清晰度电视、图像/声音压缩解压器、 共六十九页 VCD/DVD/CD播放机、电子玩具、游戏机、数字留言/应答机、汽车电子装置、音响合成(hchng)、住宅电子安全系统、家电电脑控制装置。共六十九页15.3 基于DSP的语音处理(chl)系统15.3.1 基于DSP的实时语音(yyn)处理系统的构成

17、 一个基于DSP芯片的实时语音处理系统如图示：模/数转 换DSP芯片数/模转 换平滑滤波语音输入语音输出图15.1 实时语音处理系统抗混叠滤 波共六十九页 图15.3中给出的基于DSP的语音处理系统模型只是一个典型模型，并不是所有(suyu)的语音处理系统都必须具有模型中的所有(suyu)部件。比如语音识别系统在输出端并不是连续的语音波形而是识别结果，如数字、文字等，因此可以不必进行数模转换。共六十九页15.3.2 基于(jy)DSP的语音处理系统的特点 DSP语音处理系统以数字信号处理为基础，因此(ync)具有数字处理的全部优点。 1. 接口简单方便。 2. 编程方便，容易实现复杂的算法。

18、3. 精度高，稳定性好。 4. 集成方便。 共六十九页 15.3.3 基于DSP的语音处理(chl)系统的设计过程基于DSP的语音处理系统设计(shj)的一般过程如下：定义系统性能指标选择DSP芯片系统集成系统调试和测试软件编程软件调试硬件设计 硬件 调试图15.2 基于DSP的语音处理系统的设计流程共六十九页 设计系统之前，必须根据语音处理系统要达到(d do)的目标和要求确定系统的各项性能指标。按照语音处理的要求，系统要达到(d do)的目标通常可用数据流程图、数学运算序列、正式的符号或自然语言来加以详细描述。 在基于DSP的语音处理系统中，对语音信号的处理方法也就是语音信号处理算法。算法

19、模拟输入的数据根据不同的情况可以是经过采样的实际信号，也可以是假设的数据。共六十九页 实时DSP语音处理系统的设计包括硬件设计和软件设计两个并行的部分。硬件设计首先要根据运算量的大小、运算精度的要求、系统成本限制以及(yj)体积、功耗等要求选择合适的DSP芯片，然后根据系统要求和选好的DSP芯片设计外围电路及其它电路。软件设计和编程主要根据系统要求和所选的DSP芯片编写相应的DSP汇编程序或C/C+程序。在实际应用系统中常采用高级语言和汇编混合编程的方法。共六十九页 DSP硬件和软件设计完成后，就需要进行硬件和软件的调试。软件的调试一般借助于DSP开发工具，如软件模拟器、DSP开发系统或仿真器

20、等。调试DSP算法时一般采用将实时(sh sh)结果与模拟结果进行比较的方法。应用系统的其他软件可以根据实际情况进行调试。硬件调试一般采用硬件仿真器进行调试，如果没有相应的硬件仿真器，且硬件系统不是十分复杂，也可以借助于一般的工具进行调试。 系统的软件和硬件调试完成后，就可以将软件脱离开发系统而直接在应用系统上运行。共六十九页15.4 DSP CCS集成开发(kif)环境15.4.1 DSP的开发工具 可编程DSP芯片的开发需要一整套完整的软硬件开发工具。这些开发工具一般可以被分为代码生成工具和代码调试工具。 代码生成工具的作用是将用C或汇编语言编写的程序转化为可执行的DSP程序。TI公司提供

21、的代码生成工具主要(zhyo)包括：C编译器、汇编器、链接器、文件格式转换程序、库存生成程序、文档管理程序、库存文件头文件等。共六十九页 代码调试工具的作用是对DSP程序进行(jnxng)调试以达到预定的设计目标。代码调试工具主要包括C/汇编语言源码调试器、初学者工具DSK、软件模拟器、评价模块EVM、软件开发系统SWDS、软件仿真器等。 CCS是TI推出的集代码生成工具和代码调试工具于一体的DSP集成开发环境，结合仿真器等硬件调试工具，就可以进行几乎所有的DSP软硬件测试。共六十九页 1999年TI公司推出了集成开发环境CCS IDE (Code Composer Studio Integr

22、ated Development Environment）。它支持TMS320C2000、C5000和C6000系列。 CCS是一个开放和具有(jyu)强大集成能力的集成开发环境，该套开发环境集成代码生成工具和代码调试工具为一体，能完成DSP系统开发过程的各个环节。15.4.2 CCS概述(i sh)共六十九页 1. 工程管理功能 CCS对一个DSP应用(yngyng)系统的文件管理是通过工程方式进行的。 (1) 向工程中添加文件，CCS会根据文件的类型将其自动分配到相应的文件夹。 (2) 不用添加头文件，CCS会自动搜索源文件用到的头文件，并添加到工程中。共六十九页 2.源代码编辑功能 (1

23、) 对C语言和汇编语言源代码进行编辑。 (2) 可在一个或多个文件中查找、替换、快速搜寻特定字符串。 (3) 可以根据用户习惯定制不同的快捷方式。 (4) 对关键字、注释、字符串等以不同的颜色高亮显示。 (5) 选定某一指令后，按下F1键，可以得到(d do)指令帮助。共六十九页 3. 代码生成功能 CCS对某一应用系统的生成，实际上就是实现对这一工程的编译、汇编和链接。 (1) 通过对话方式设置Build命令选项。 (2) C编译器将C源代码编译为汇编语言(hu bin y yn)代码。 (3) 扫描文件，为整个工程创建依赖关系树。 (4) 运行支持库。共六十九页 4. 代码调试功能 (1)

24、 提供完善的程序运行控制的功能，如单步执行、条件执行和端点设置等。 (2) 综合数据显示能力，可以(ky)方便地通过不同窗口显示和修改变量、存储器和寄存器的值。 (3) 在断点处自动更新所有窗口。 (4) 显示反汇编文件和C文件，实现C语言和汇编语言源代码的同时调试。 (5) 图形显示DSP中的数据。 (6) 统计代码的执行时间。共六十九页 用C或汇编语言开发的应用程序，经代码生成工具编译、链接后生成可执行文件(*.out)，还需要把可执行文件加载到指定(zhdng)的DSP目标板或软件模拟器中进行逻辑错误和实时性调试。CCS支持的调试器包括：Simulator(软件模拟器)、EVM、DSK板

25、和硬件仿真器XDS510等。共六十九页图15.5给出了CCS的功能(gngnng)框图。设 计概念性规划(guhu)调 试语法检查断点设置和日志保存等编程和编译创建工程文件编写源程序和配置文件分 析实时调试统计和跟踪 图15.3 CCS的功能框图共六十九页 CCS包括如下各部分：CCS代码生成工具(gngj)、CCS集成开发环境（IDE）、DSP/BIOS插件程序和API函数、RTDX插件、主机接口和API函数。 CCS构成及接口见图15.6。15.4.3 CCS的构成(guchng)共六十九页图15.6 CCS构成(guchng)及接口共六十九页 1CCS的代码生成工具 代码生成工具奠定了C

26、CS所提供的开发环境(hunjng)的基础。图15.7是一个典型的软件开发流程图，图中阴影部分表示通常的C语言开发途径，其它部分是为了强化开发过程而设置的附加功能。 图15.7描述的工具如下： (1) C编译器(C compiler)：产生汇编语言源代码。 (2) 汇编器(assembler)：把汇编语言源文件翻译成机器语言目标文件。共六十九页 (3) 连接器(linker)：把多个目标文件组合成单个可执行目标模块。 (4) 归档器(archiver)：允许你把一组文件收集到一个归档文件中。 (5) 助记符到代数汇编语言转换公用程序(mnemonic to algebraic assembly

27、 translator utility)：把含有助记符指令的汇编语言源文件转换成含有代数指令的汇编语言源文件。 (6) 建库程序（library build utility）：建立满足自己要求的“运行(ynxng)支持库”。共六十九页图15.7 软件开发流程(lichng)共六十九页 (7) 运行支持库(run-time-support libraries)：它包括C编译器所支持的ANSI标准(biozhn)运行支持函数、编译器公用程序函数、浮点运算函数和C编译器支持的I/O函数。 (8) 十六进制转换公用程序(hex conversion utility)：把COFF目标文件转换成TI-Ta

28、gged、ASCII-hex、Intel、Motorola-S、或Tektronix等目标格式。共六十九页 (9) 交叉引用列表器（cross-reference lister）：用目标文件产生参照列表文件，可显示符号(fho)及其定义，以及符号(fho)所在的源文件。 (10) 绝对列表器（absolute lister）：它输入目标文件，输出.abs文件，通过汇编.abs文件可产生含有绝对地址的列表文件。共六十九页 2. CCS集成开发环境 CCS集成开发环境（IDE）允许编辑、编译(biny)、汇编、链接和调试DSP目标程序。 (1) 编辑源程序 (2) 创建应用程序 (3) 调试应用程

29、序 共六十九页 3DSP/BIOS插件 DSP/BIOS API 具有下列实时(sh sh)分析功能：程序跟踪（Program tracing）显示写入目标系统日志（target log）的事件，反映程序执行过程中的动态控制流；性能监视（Performance monitoring）跟踪反映目标系统资源利用情况的统计表，诸如处理器负荷和线程时序；文件流（File streaming）把常驻目标系统的I/O对象捆绑成主机文档。 DSP/BIOS也提供基于优先权的调度函数，它支持函数和多优先权线程的周期性执行。共六十九页 4硬件仿真和实时数据交换 TI DSP提供在片仿真支持，它使得CCS能够控制

30、程序的执行，实时监视程序运行。增强型JTAG连接提供了对在片仿真的支持，它是一种可与任意DSP系统(xtng)相连的低侵扰式的连接。仿真接口提供主机一侧的JTAG连接，如TI XDS510。为方便起见，评估板提供在板JTAG仿真接口。共六十九页 在片仿真硬件提供多种功能： 1）DSP的启动、停止或复位功能； 2）向DSP下载代码或数据； 3）检查DSP的寄存器或存储器； 4）硬件指令或依赖于数据的断点； 5）包括周期的精确计算(j sun)在内的多种记数能力； 6）主机和DSP之间实时数据交换（RTDX）共六十九页15.5 基于TMS320C5409的实时(sh sh)语音识别系统15.5.1

31、 硬件介绍 本节以TMS320C5409DSP为核心并配置一些外围器件构成一个非特定人小词汇量语音识别系统。系统硬件主要由处理器模块、编解码模块、存储器模块、串行通信模块和电源模块等组成。TMS320C5409是整个系统的核心，其它设备(shbi)都围绕着它工作。共六十九页PC语音输入处理器模块TMS320C5409异步通信串口模块电源模块JTAG语音输出 存储器模块编解码模块TLC320AD50图15.6 系统硬件结构系统硬件(yn jin)结构如图15.8所示。共六十九页 1. 处理器模块 (1) TMS320C5409 DSP简介 (2) 处理器模块设计 2. 编解码模块 编解码模块以T

32、LC320AD50C为核心，主要完成对从麦克风或线性音频接口输入的语音信号的采样和模数转换，并能够将DSP处理后的信号转换成模拟信号由音频输出口输出。 TLC320AD50C（以下简称AD50）是TI公司生产的多媒体音频编解码器芯片，它为系统提供(tgng)了一个灵活、通用的音频前端。共六十九页AD50的主要特点如下：(1) 单一的5V电源供电或5V模拟、3.3V数字双电 源供电。(2) 内含16位精度的ADC和DAC。 器件中的ADC为64倍过采样，DAC为256倍过采样(内部)。(4) ADC和DAC的SNR(信噪比)能达到(d do)89dB。(5) 可编程的ADC和DAC的采样速率，最

33、大可达 22.05kHz。(6) 可编程的输入输出增益。共六十九页 (7) 支持级联方式工作。 (8) 数据的动态(dngti)范围能达到88dB。 共六十九页模拟输入复用 器ADC抽取滤波器缓冲模拟环路时钟模块低通滤波器DAC内插滤波器缓冲数字环路AUXOUTDOUTDINMCLK IN图15.9 TLC320AD50的结构(jigu)共六十九页 3存储器模块 TMS320C5409 DSP总共有192千字的存储器空间。这些空间可分为3个专门存储空间：64千字的程序(chngx)空间、64千字数据空间和64千字的I/O空间。 4异步通信串口模块 异步通信串口(UART)模块用来实现DSP与计算机的通信。该模块主要由TL16C550和MAX3238组成。共六十九页 5. JTAG模块 JTAG模块是为外部设备提供控制DSP工作的接口，它的结构如图15.13所示。它包括(boku)两个主要部分：内嵌的JTAG TBC和外接JTAG接口。 6. 电源模块 DSP板上所有的电源都是通过外部馈入的5V直流电源经过变换后获得的。该电源送到DSP板上