第6章 多媒体通信终端技术

1、1第第6 6章章 多媒体通信终端技术多媒体通信终端技术 6.1 6.1 多媒体通信终端概述多媒体通信终端概述 6.2 6.2 多媒体通信终端相关标准多媒体通信终端相关标准 6.3 6.3 基于基于IPIP网络的多媒体通信终端网络的多媒体通信终端 6.4 6.4 移动多媒体通信终端移动多媒体通信终端 26.1 6.1 多媒体通信终端概述多媒体通信终端概述 1.1.多媒体通信终端的构成多媒体通信终端的构成 由搜索、由搜索、 编解码、编解码、 同步、同步、 准备和执行等准备和执行等五个部分以及五个部分以及I I协议、协议、 B B协议、协议、 A A协议等三协议等三种协定组成的。种协定组成的。 搜

2、索 部 分A协 议编 解 码 部 分同 步部 分准 备 部 分执 行 部 分B协 议I协 议3多媒体通信终端的构成多媒体通信终端的构成 搜索部分：人机交互过程中的输入交互搜索部分：人机交互过程中的输入交互部分，包括各种输入方法、菜单选取等部分，包括各种输入方法、菜单选取等输入方式。输入方式。 编解码部分：对多种信息表示媒体进行编解码部分：对多种信息表示媒体进行编解码，编解码， 编码部分主要将各种媒体信息编码部分主要将各种媒体信息按一定标准进行编码并形成帧格式，按一定标准进行编码并形成帧格式， 解解码部分主要对多媒体信息进行解码并按码部分主要对多媒体信息进行解码并按要求的表现形式呈现给人们。要求

3、的表现形式呈现给人们。 4多媒体通信终端的构成多媒体通信终端的构成同步部分处理：多种表示媒体间的同步问同步部分处理：多种表示媒体间的同步问题，多媒体终端的一个最大的特点是多题，多媒体终端的一个最大的特点是多种表示媒体通过不同的途径进入终端，种表示媒体通过不同的途径进入终端，由同步处理部分完成同步处理，再送到由同步处理部分完成同步处理，再送到用户面前的就是一个完整的声、文、图、用户面前的就是一个完整的声、文、图、像一体化的信息。像一体化的信息。 5多媒体通信终端的构成多媒体通信终端的构成 准备部分准备部分: : 多媒体终端所具有的再编辑多媒体终端所具有的再编辑功能。功能。 例如，例如， 一个影视

4、编导可以把从一个影视编导可以把从多个多媒体数据库和服务器中调来的多多个多媒体数据库和服务器中调来的多媒体素材加工处理，媒体素材加工处理， 创作出各种节目。创作出各种节目。 执行部分执行部分: : 完成终端设备对网络和其他完成终端设备对网络和其他传输媒体的接口。传输媒体的接口。 6多媒体通信终端的构成多媒体通信终端的构成 I I协议协议: : 也称为接口协议，也称为接口协议， 它是多媒体它是多媒体终端对网络和传输介质的接口协议。终端对网络和传输介质的接口协议。 B B协议协议: : 也称为同步协议，它传递系统也称为同步协议，它传递系统的同步信息，的同步信息， 以确保多媒体终端能同步以确保多媒体终

5、端能同步地表现各种媒体。地表现各种媒体。 A A协议协议: : 也称为应用协议，也称为应用协议， 它管理各种它管理各种内容不同的应用。内容不同的应用。 例如，例如， ITU-T T.105ITU-T T.105协议即为协议即为ISDNISDN中的可视图文的中的可视图文的A A协议。协议。 72.多媒体通信终端的特点（1）集成性集成性： 指多媒体终端可以对多种指多媒体终端可以对多种信息媒体进行处理和表现，信息媒体进行处理和表现， 能通过网络能通过网络接口实现多媒体通信。接口实现多媒体通信。 这里的集成不仅这里的集成不仅指各类多媒体硬设备的集成，指各类多媒体硬设备的集成， 而且更重而且更重要的是多

6、媒体信息的集成要的是多媒体信息的集成。 8多媒体通信终端的特点（2）同步性同步性： 指在多媒体终端上显示的图、指在多媒体终端上显示的图、 文、文、 声等以同步的方式工作。声等以同步的方式工作。 它能保证多媒它能保证多媒体信息在空间上和时间上的完整性。体信息在空间上和时间上的完整性。 它是多它是多媒体终端的重要特征。媒体终端的重要特征。 （3）交互性交互性： 指用户对通信的全过程有完整的指用户对通信的全过程有完整的交互控制能力。交互控制能力。 多媒体终端与系统的交互通多媒体终端与系统的交互通信能力给用户提供了有效控制使用信息的手段。信能力给用户提供了有效控制使用信息的手段。 它是判别终端是否是多

7、媒体终端的一个重要准它是判别终端是否是多媒体终端的一个重要准则。则。 93.多媒体通信终端的关键技术开放系统模式开放系统模式。 为了实现信息的互通， 多媒体终端应按照分层结构支持开放系统， 模式设计的通信协议要符合国际标准。 人人机和通信的接口技术机和通信的接口技术。 多媒体终端包括两个方面的接口， 即与用户的接口和与通信网的接口。 10多媒体通信终端的关键技术(3) 多媒体终端的软、多媒体终端的软、 硬件集成技术硬件集成技术。 多媒体终端的基本硬件、 软件支撑环境， 包括选择兼容性好的计算机硬件平台、 网络软件、 操作系统接口、 多媒体信息库管理系统接口、 应用程序接口标准及设计和开发等。

8、11多媒体通信终端的关键技术 (4)多媒体信源编码和数字信号处理技术多媒体信源编码和数字信号处理技术。 终端设备必须完成语音、 静止图像、 视频图像的采集和快速压缩编解码算法的工程实现， 以及多媒体终端与各种表示媒体的接口， 并解决分布式多媒体信息的时空组合问题。 12多媒体通信终端的关键技术(5) 多媒体终端应用系统多媒体终端应用系统。 要使多媒体终端能真正地进入使用阶段， 需要研究开发相应的多媒体信息库、 各种应用软件（如远距离多用户交互辅助决策系统、 远程医疗会诊系统、 远程学习系统等）和管理软件。 136.2 多媒体通信终端相关标准多媒体通信终端相关标准 1.概述概述 ITU-T从从2

9、0世纪世纪80年代末期开始制定了一系列多年代末期开始制定了一系列多媒体通信终端标准，媒体通信终端标准， 主要框架性标准如下：主要框架性标准如下：14ITU-T H.320： 窄带可视电话系统和终端窄带可视电话系统和终端 （N-ISDN）；）；ITU-T H.323：不保证服务质量的局域网可视电话系：不保证服务质量的局域网可视电话系 统和终端；统和终端； ITU-T H.322：保证服务质量的局域网可视电话系统：保证服务质量的局域网可视电话系统 和终端；和终端； ITU-T H.324： 低比特率多媒体通信终端低比特率多媒体通信终端 （PSTN）；）；ITU-T H.321: B-ISDN环境下

10、环境下H.320终端设备的适配；终端设备的适配； ITU-T H.310： 宽带视听终端与系统。宽带视听终端与系统。 15 基于各种网络的多媒体通信终端系列标准基于各种网络的多媒体通信终端系列标准 162. T.120系列标准 ITU-TITU-T的的T.120T.120系列标准是系列标准是19931993年以来年以来ITU-TITU-T陆陆续推出的用于声像和视听会议的一系列标准，续推出的用于声像和视听会议的一系列标准， 又称为又称为“多层协议（多层协议（MLPMLP）”。 此标准是为支持在多点和多媒体会议系统中发此标准是为支持在多点和多媒体会议系统中发送数据而制定的，送数据而制定的， 既可包

11、含在既可包含在H.32xH.32x视频会议视频会议标准框架之中，标准框架之中， 对现有的视频会议进行补充对现有的视频会议进行补充和增强，和增强， 也可独立地支持声像会议（传送语也可独立地支持声像会议（传送语音、音、 静止图像、静止图像、 白板、白板、 加注等信息的实时加注等信息的实时会议）。会议）。 T.120T.120系列标准之间的关系如下图所示。系列标准之间的关系如下图所示。 17用 户 应 用 (采 用 标 准 和 非 标 准 应 用 协 议 )T.120系 列 建 议T.120应 用 协 议 建 议用 户 应 用 (采 用 标准 应 用 协 议 )应 用 协 议 实 体二 进 制 文

12、件 传 输 T.127静 态 图 像 传 输 T.126通 用 会 议 控 制 (GCC)T.124节 点控 制 器用 户 应 用 (采 用 非标 准 应 用 协 议 )非 标 准 应 用 协 议 实 体多 点 通 信 服 务 （ MCS） T.122/T.125多 点 通 信 服 务 （ MCS） T.122/T.125网 络 特 定 传 输 协 议 T.123183. H.222.0复接/分接标准 H.222.0H.222.0标准实际上是标准实际上是MPEG-2MPEG-2的系统层的系统层（ISO/IEC 13818-1ISO/IEC 13818-1）协议，）协议， 它主要规定如何它主要规

13、定如何将视频、将视频、 音频以及数据的基本码流组合成一音频以及数据的基本码流组合成一个或多个适合于存储或传输的码流。个或多个适合于存储或传输的码流。 在在H.222.0H.222.0中，中， 首先将不同的媒体流分别按一首先将不同的媒体流分别按一定的长度分组，定的长度分组， 每一组码的前面加上包头，每一组码的前面加上包头， 然后在同一信道上轮流传送不同媒体类型的包，然后在同一信道上轮流传送不同媒体类型的包， 这可以看成是一种异步的时分复用。这可以看成是一种异步的时分复用。 在接收端根据包头信息将各种包区分开来，在接收端根据包头信息将各种包区分开来， 去掉包头重新组合成各自的码流。去掉包头重新组合

14、成各自的码流。 异步时分异步时分复用的带宽分配比较灵活。复用的带宽分配比较灵活。 19H.222.0标准的系统结构示意图 视 频编 码 器视 频数 据视 频 PES音 频 PES节 目码 流传 输码 流打 包 器PS复 用音 频编 码 器打 包 器音 频数 据TS复 用206.3 基于基于IP网络的多媒体通信终端网络的多媒体通信终端H.323 1.概述 随着网络技术的迅速发展，特别是随着网络技术的迅速发展，特别是Internet的巨的巨大发展和广泛应用，基于大发展和广泛应用，基于IP的网络（的网络（Internet、LAN、Intranet等）已成为多媒体通信的重要网等）已成为多媒体通信的重要

15、网络，络， 因此，因此， 基于基于IP网络的多媒体通信终端已成网络的多媒体通信终端已成为多媒体通信终端的研究热点。为多媒体通信终端的研究热点。 H.323标准就是标准就是ITU-T为基于为基于IP网络的多媒体通信网络的多媒体通信制定的终端标准。制定的终端标准。 2119961996年批准的年批准的H.323H.323是一个运行在局域网是一个运行在局域网(LAN)(LAN)上并且上并且不保证服务质量不保证服务质量(QoS)(QoS)的多媒体通信标准。的多媒体通信标准。H.323H.323允许声音、视频图像和数据任意组合之后进行传允许声音、视频图像和数据任意组合之后进行传送。送。H.323H.32

16、3指定包括指定包括H.261H.261和和H.263H.263作为视频图像编码器，作为视频图像编码器，指定指定G.711, G.722, G.728G.711, G.722, G.728，G.729G.729和和G.723.1G.723.1作为声音作为声音编码器。此外，还定义了包括网关编码器。此外，还定义了包括网关(gateways)(gateways)、会议、会议服务器服务器(gatekeeper)(gatekeeper)和多点控制设备和多点控制设备(MCU)(MCU)等设备的规等设备的规范。范。H.323H.323广泛应用于因特网电视和电话广泛应用于因特网电视和电话(Internet (I

17、nternet telephony)telephony)系统。系统。 222. H.323 ArchitectureH.323TerminalH.323TerminalH.323MCUH.323TerminalH.323GatewayH.323GatekeeperPacket Based Network Scope of H.323GSTN/PSTN233. H.323 Protocol Suite H.225 Covers narrow-band visual telephone services H.235 Security and Authentication H.245 Negotia

18、tes channel usage and capabilities H.450.1 H.450.12 Series defines Supplementary Services for H.323 RAS Manages registration, admission, status T.38 IP-based fax service maps24视 频 ， 音 频 应 用RTPRTCP终 端 到网 闸 信 令RAS网 络 层 (IP)终 端 控 制 和 管 理数 据 应 用G.7XXH.26X加 密RTPH.225.0H.245用 户 数 据 包 协 议 (UDP)TLS/SSL传 输 控

19、 制 协 议 (TCP)T.124T.122/T.125T.123链 路 层物 理 层4. H.323标准的分层结构标准的分层结构25 H.323标准的分层结构标准的分层结构 在在H.323标准中，网络层采用标准中，网络层采用IP协议，负责两个终协议，负责两个终端之间的数据传输。由于采用无连接的数据包，路由端之间的数据传输。由于采用无连接的数据包，路由器根据器根据IP地址（不需信令）把数据送到对方，但不保地址（不需信令）把数据送到对方，但不保证传输的正确性。证传输的正确性。在在IP的上层的上层TCP（传输控制协议）保证数据顺序传送，（传输控制协议）保证数据顺序传送， 发现误码就要求重发，发现误

20、码就要求重发， 因此，因此， TCP不适用于实时性要不适用于实时性要求较高的场合，求较高的场合， 而对误码要求高的数据传送，则可以而对误码要求高的数据传送，则可以采用采用TCP， 诸如诸如H.245通信协议及通信协议及H.225呼叫信令的传呼叫信令的传送等。送等。 26 H.323标准的分层结构标准的分层结构 UDP采取无连接传输方式，协议简单，用于视音采取无连接传输方式，协议简单，用于视音频实时信息流。如有误码，则丢掉该包，因为对实时频实时信息流。如有误码，则丢掉该包，因为对实时信息传输而言较少的等待时间比误码纠正更为重要，信息传输而言较少的等待时间比误码纠正更为重要，对实时音频和视频来说，

21、丢掉少量错误的数据包并不对实时音频和视频来说，丢掉少量错误的数据包并不影响视听。影响视听。而对数据需采用而对数据需采用RTCP协议，协议， 如果有误码，如果有误码， 为了保持为了保持音频和视频等信息包之间彼此正确衔接，音频和视频等信息包之间彼此正确衔接， 则应采用反则应采用反馈重发方式。馈重发方式。 采用采用RTP协议，协议， 因而因而RTP在每个从信源在每个从信源离开的数据包上留下了时间标记以便在接收端正确重离开的数据包上留下了时间标记以便在接收端正确重放。放。 27 H.323标准的分层结构标准的分层结构 RTP在在UDP的上层，相当于会话层，提供同步和的上层，相当于会话层，提供同步和排序

22、服务，对网络的带宽、时延、差错有一定的自适排序服务，对网络的带宽、时延、差错有一定的自适应性；其数据包头中包含一些控制信息，以保证实时应性；其数据包头中包含一些控制信息，以保证实时的数据传送。的数据传送。28 5 H.323多媒体通信终端构成多媒体通信终端构成 系 统 控 制视 频 I/O设 备视 频 编 解 码 器 H .261H .263音 频 I/O设 备音 频 编 解 码 器G .723.1G .728 G .729A往 返路 径时 延RTPRTCP用 户 数 据应 用 T.120系 统 控 制用 户 接 口H .245控 制呼 叫 控 制H .225.0RA S控 制H .225.0

23、H.225.0层LA N 基于分组网络接口29 H.323H.323终端是局域网上的客户使用的设备，它提供实终端是局域网上的客户使用的设备，它提供实时的双向通信。时的双向通信。在在H.323H.323终端中，可供选择的标准包括终端中，可供选择的标准包括: :电视图像编码器电视图像编码器(H.263/H.261);(H.263/H.261);声音编码器声音编码器(G.71X/G.72X/G.723.1);(G.71X/G.72X/G.723.1);T120T120实时数据会议实时数据会议(real time data conferencing)(real time data conferenci

24、ng)和和MCUMCU的功能。的功能。H.323终端终端30所有的所有的H.323H.323终端都必须具备声音通信的功能，终端都必须具备声音通信的功能，而电视图像和数据通信是可选择的。而电视图像和数据通信是可选择的。H.323H.323是新一代因特网电话、声音会议终端和电是新一代因特网电话、声音会议终端和电视会议终端技术的基础。视会议终端技术的基础。 H.323终端终端31H.323终端终端 系统控制：是系统控制：是H.323终端的核心，终端的核心， 它提供它提供了了H.323终端正确操作的信令。终端正确操作的信令。 这些功能包括呼叫控制（建立与拆除）、这些功能包括呼叫控制（建立与拆除）、 能

25、力切换、能力切换、 命令和指示信令以及用于开命令和指示信令以及用于开放和描述逻辑信道内容的报文等。放和描述逻辑信道内容的报文等。 整个系统的控制由整个系统的控制由H.245控制通道、控制通道、 H.225.0呼叫信令信道以及呼叫信令信道以及RAS信道提供。信道提供。32H.323终端终端分组与同步分组与同步: H.225.0标准描述了无标准描述了无QoS保证的保证的LAN上媒上媒体流的打包分组与同步传输机制。体流的打包分组与同步传输机制。 H.225.0对传输的视频、对传输的视频、 音频、音频、 数据与控制数据与控制流进行格式化，流进行格式化， 以便输出到网络接口，以便输出到网络接口， 同时从

26、网络接口输入报文中补偿接收到的同时从网络接口输入报文中补偿接收到的视频、视频、 音频、音频、 数据与控制流。数据与控制流。 另外，另外， 它它还具有逻辑成帧、还具有逻辑成帧、 顺序编号、顺序编号、 纠错与检纠错与检错功能。错功能。33H.323终端终端数据：数据： 由于由于T.120是是H.323与其他多媒体通与其他多媒体通信终端间数据互操作的基础，信终端间数据互操作的基础， 因此，因此， 通通过过H.245协商可将其实施到多种数据应用协商可将其实施到多种数据应用中，中， 如白板、如白板、 应用共享、应用共享、 文件传输、文件传输、 静态图像传输、静态图像传输、 数据库访问、数据库访问、 音频

27、图像音频图像会议等。会议等。 34H.323 编码Audio: H.323H.323终端必须支持终端必须支持 G.711 G.711 标准进行语音压标准进行语音压缩缩. G.711 . G.711 以以 565664 kb/s64 kb/s的速率传输语音的速率传输语音. . H.323 H.323 正在考虑使用正在考虑使用 G.723 = G.723.1, G.723 = G.723.1, 该该标准以标准以 5.35.36.3 kb/s6.3 kb/s的速率操作（来支持的速率操作（来支持低速链路）低速链路）. . Optional: G.722, G.728, G.729Optional: G

28、.722, G.728, G.72935H.323 编码VideoVideo 对对 H.323H.323终端来说，视频能力为可选项终端来说，视频能力为可选项. . 任何可视化的任何可视化的 H.323H.323终端必须支持终端必须支持 QCIF H.261 (176x144 pixels).QCIF H.261 (176x144 pixels). 也可以选择其他的也可以选择其他的H.261H.261机制机制: CIF, : CIF, 4CIF and 16CIF.4CIF and 16CIF. H.261H.261所使用的信道带宽必须是所使用的信道带宽必须是64 kb/s64 kb/s的整倍数

29、的整倍数. .36H.323中的音频数据流AudioSourceEncoding:e.g., G.711 or G.723.1RTP packetencapsulationUDP socketInternet orGatekeeper37H.245控制通道 H.323 H.323 媒体流可以包含若干信道来传输媒体流可以包含若干信道来传输不同类型的媒体数据不同类型的媒体数据 每个每个H.323H.323会话有一个会话有一个 H.245 H.245 控制信道控制信道 H.245 H.245 控制信道是控制信道是 一个可靠的一个可靠的 (TCP) (TCP) 信道信道38H.245控制通道 主要任务

30、主要任务: :开闭媒体信道开闭媒体信道能力信息交换能力信息交换: :在发送流媒体之前在发送流媒体之前, ,通通信终端对它们之间的编码信终端对它们之间的编码/ /算法协商算法协商一致一致39信息流 H.323TerminalH.323TerminalMedia Channel1Media ControlChannelMedia Channel2Call SignalingChannelCall ControlChannelH.323GatekeeperRAS ChannelTCPUDP40网守(Gatekeeper) H.323 terminalsGatekeeperRouterInternet

31、LAN = “H.323 Zone”RAS41网守(Gatekeeper) 网守是任选的网守是任选的H.323H.323模块模块/ /设备设备, , 可以给端点可以给端点提供提供: :负责负责”别名别名”与与IPIP地址的转换地址的转换; ;带宽管理带宽管理: : 可以限制实时会议所消耗的带宽可以限制实时会议所消耗的带宽作为可选功能作为可选功能, H.323, H.323呼叫可以被引导通过呼叫可以被引导通过网守网守, , 对计费有用对计费有用. .RASRAS协议协议 (over TCP)(over TCP)负责端点负责端点- -网守间的通网守间的通信信42网守(Gatekeeper) H.3

32、23H.323终端必须在网守的辖区内注册终端必须在网守的辖区内注册. .当当 H.323 H.323 应用程序在终端上调用时应用程序在终端上调用时, ,该终端使用该终端使用 RAS RAS 给网守发送其给网守发送其 IPIP地址和地址和( (用户提供的用户提供的) )别名别名. . 如果区内有网守存在如果区内有网守存在, , 每个区内的终每个区内的终端必须与网守联系并获取呼叫许可端必须与网守联系并获取呼叫许可. .43网守(Gatekeeper) 一旦获得许可一旦获得许可, , 终端将给网守发送电终端将给网守发送电子邮件地址、别名字符串或电话分机子邮件地址、别名字符串或电话分机. .网守将别名

33、翻译成网守将别名翻译成 IP IP 地址。地址。 如有必要如有必要, ,网守将轮询其他辖区中的网守将轮询其他辖区中的网守以解决网守以解决IPIP地址的解析问题地址的解析问题. .处理处理过程如同过程如同DNS,DNS,但具体做法因厂商而但具体做法因厂商而异。异。44H.323 网关(Gateway)H.323 terminalsGatekeeperRouterInternetLAN = “H.323 Zone”RASGatewayPSTN网关是网关是IPIP区和区和PSTN (or ISDN) PSTN (or ISDN) 网络之间的桥梁网络之间的桥梁. .终端使用终端使用 H.245H.24

34、5和和 Q.931Q.931与网关进行通信。与网关进行通信。45Logical Channel3. SetupQ.931 Call Signaling ChannelRAS Channel1. ARQ (alias address/bandwidth)2. ACF (call signaling channel address/bandwidth)5.ARQ6.ACF8. Connect (H.245 Address)4. Call Proceeding7. AlertingH.245 Control Channel (Logical Channel 0)Master/Slave Determ

35、inationRTCP StreamRTCP StreamRTP StreamGatekeeperTerminalTerminalCapability ExchangeOpenLogicChannel (RTCP address)OpenLogicChannelACK (RTP & RTCP address)H.323 Call Setup Flow466.4 6.4 移动多媒体通信终端移动多媒体通信终端1.1.概述概述 移动通信市场不断增长，无线因特网的应用越移动通信市场不断增长，无线因特网的应用越来越多，分离的终端逐步合并为单一的多媒体来越多，分离的终端逐步合并为单一的多媒体终端设

36、备。终端设备。 随着基于移动网络的多媒体数据业务的蓬勃发随着基于移动网络的多媒体数据业务的蓬勃发展，移动多媒体应用系统的开发技术日渐成为展，移动多媒体应用系统的开发技术日渐成为业内的研究热点。业内的研究热点。 随着随着3G3G时代的到来，人们对手机、时代的到来，人们对手机、PDAPDA等数字等数字终端的功能不再满足于简单的通话、短信、游终端的功能不再满足于简单的通话、短信、游戏和戏和MP3MP3等，需要支持更强大的多媒体业务功等，需要支持更强大的多媒体业务功能，如能，如VoIPVoIP系统、视频电话、无线多媒体监控系统、视频电话、无线多媒体监控系统等。系统等。471.概述 移动多媒体通信系统，

37、能够实现多媒体信息的移动多媒体通信系统，能够实现多媒体信息的实时采集、处理和传输，是为完整的多媒体应实时采集、处理和传输，是为完整的多媒体应用提供信息源，数据打包，协议支持等功能的用提供信息源，数据打包，协议支持等功能的无线通信系统。无线通信系统。 然而，多媒体信息尤其是视频信息在无线网络然而，多媒体信息尤其是视频信息在无线网络上传输存在着网络带宽有限、误码严重、终端上传输存在着网络带宽有限、误码严重、终端处理能力较弱等问题。处理能力较弱等问题。 针对这些问题，在移动多媒体系统设计时要综针对这些问题，在移动多媒体系统设计时要综合考虑多方面因素。在系统设计时涉及的关键合考虑多方面因素。在系统设计

38、时涉及的关键技术包括移动多媒体终端、抗干扰的音视频编技术包括移动多媒体终端、抗干扰的音视频编解码机制、无线通信网络组网及多媒体传输控解码机制、无线通信网络组网及多媒体传输控制等。制等。482.移动多媒体终端设计架构移动多媒体终端设计架构 系统一般分为四个部分，微处理器系统、系统一般分为四个部分，微处理器系统、多媒体外设、数据存储设备和无线网络多媒体外设、数据存储设备和无线网络接口。接口。 移动多媒体终端系统组成框图如下图所移动多媒体终端系统组成框图如下图所示示4950(1) 微处理器 核心微处理器将采集到的原始多媒体数核心微处理器将采集到的原始多媒体数据经过音视频编码设备根据给定的编码据经过音

39、视频编码设备根据给定的编码标准（标准（H.263H.263、H.264H.264、MPEG-4MPEG-4）进行）进行编码，以备本地播放或通过网络传输。编码，以备本地播放或通过网络传输。同时，还要提供必要的多媒体外设接口、同时，还要提供必要的多媒体外设接口、外部存储器接口和网络接口。外部存储器接口和网络接口。 目前，比较流行的核心微处理器的选择目前，比较流行的核心微处理器的选择方案主要有以下几种：方案主要有以下几种： 51(1) 微处理器 采用特殊用途的数字信号处理器（采用特殊用途的数字信号处理器（DSPDSP）芯片。芯片。 现在，国际上已经推出了不少专用型现在，国际上已经推出了不少专用型DS

40、PDSP芯片，特别还有针对芯片，特别还有针对H.263H.263、MPEGMPEG、JPEGJPEG标准的芯片。在这些芯片中，其软件算标准的芯片。在这些芯片中，其软件算法已在芯片内部用硬件实现，适用于对法已在芯片内部用硬件实现，适用于对速度要求很高的场合。速度要求很高的场合。 这种方案的缺点是灵活性差，开发工具这种方案的缺点是灵活性差，开发工具尚不完善。尚不完善。52(1) 微处理器 利用可编程利用可编程DSPDSP芯片实现。芯片实现。 DSPDSP芯片采用改进的哈佛总线结构，内部有硬芯片采用改进的哈佛总线结构，内部有硬件乘法器、累加器，使用流水线结构，具有良件乘法器、累加器，使用流水线结构，

41、具有良好的并行性等，非常适用于不允许有延迟的实好的并行性等，非常适用于不允许有延迟的实时应用领域。而且，一块内嵌的时应用领域。而且，一块内嵌的DSPDSP芯片结合芯片结合外围电路能完成整个系统的压缩编码。外围电路能完成整个系统的压缩编码。 这种方案有很强的灵活性，硬件系统完成后，这种方案有很强的灵活性，硬件系统完成后，整个系统的升级仅仅需要修改软件即可。整个系统的升级仅仅需要修改软件即可。 53(1) 微处理器 用用FPGAFPGA等可编程阵列产品实现。等可编程阵列产品实现。 可以利于公司专用软件或可以利于公司专用软件或VHDLVHDL等开发语等开发语言，通过软件编程用硬件实现特定的音言，通过

42、软件编程用硬件实现特定的音视频压缩算法。视频压缩算法。 这一方案具有通用性的特点，并可以实这一方案具有通用性的特点，并可以实现算法的并行运算，无论是作为独立的现算法的并行运算，无论是作为独立的数字信号处理器，还是做为数字信号处理器，还是做为DSPDSP芯片的协芯片的协处理器，都是比较活跃的研究领域。处理器，都是比较活跃的研究领域。54 (2) 多媒体外设 多媒体外设主要包括摄像头、显示设备、音多媒体外设主要包括摄像头、显示设备、音视频处理设备，还包括耳机话筒、网络智能视频处理设备，还包括耳机话筒、网络智能卡、天线和电池等。卡、天线和电池等。 摄像头采集视频信号，显示设备将从本地或摄像头采集视频

43、信号，显示设备将从本地或网络得到视频数据打开数据包，进行视频解网络得到视频数据打开数据包，进行视频解码，并把得到的视频数据显示出来，同时，码，并把得到的视频数据显示出来，同时，如果嵌入式网络多媒体终端需要验证视频压如果嵌入式网络多媒体终端需要验证视频压缩的数据的正确性，还可以带有本地解码器，缩的数据的正确性，还可以带有本地解码器，支持解码数据的本地显示。支持解码数据的本地显示。 55 (3) 数据存储设备 数据存储设备包括数据存储设备包括RAMRAM、ROMROM、SDRAMSDRAM和和FLASHFLASH，用来扩展系统存储空间，存储经，用来扩展系统存储空间，存储经过编解码的多媒体数据和终端

44、控制程序。过编解码的多媒体数据和终端控制程序。56 (4)无线网络接口模块 无线网络接口模块处理音视频编码流，无线网络接口模块处理音视频编码流，把音视频数据打包为适合网络传输的数把音视频数据打包为适合网络传输的数据包，并把它通过无线网络传输出去。据包，并把它通过无线网络传输出去。并支持系统选定的无线网络传输控制协并支持系统选定的无线网络传输控制协议。如：议。如：SIPSIP协议协议 573.基于 OMAPl510 双核架构的移动多媒体通信终端 移动通信的发展对数字信号处理器提出移动通信的发展对数字信号处理器提出了越来越高的要求，传统的了越来越高的要求，传统的DSPDSP芯片已不芯片已不能胜任。

45、为了满足移动通信和多媒体领能胜任。为了满足移动通信和多媒体领域新应用的需要，德州仪器公司提出了域新应用的需要，德州仪器公司提出了开放式多媒体应用平台开放式多媒体应用平台OMAP(Open OMAP(Open Multimedia Applications Platform)Multimedia Applications Platform)体系结构，并为此设计了体系结构，并为此设计了OMAPOMAP芯片。芯片。583.基于 OMAPl510 双核架构的移动多媒体通信终端 它采用一种独特的双核结构，把高性能它采用一种独特的双核结构，把高性能低功耗的低功耗的DSPDSP核与控制性能强的核与控制性能强

46、的ARMARM微处微处理器结合起来，成为一颗高度整合性理器结合起来，成为一颗高度整合性SoCSoC。 它是一种开放式的、可编程的基于它是一种开放式的、可编程的基于DSPDSP的的体系结构。由于体系结构。由于OMAPOMAP先进独特的结构，先进独特的结构，其芯片运算处理能力强、功耗低，在移其芯片运算处理能力强、功耗低，在移动通信和多媒体信号处理方面具有明显动通信和多媒体信号处理方面具有明显优势。优势。 59(1) OMAP1510 硬件构架 OMAP OMAP 的硬件构架主要由的硬件构架主要由 DSP DSP 核核、ARM ARM 核核以及以及业务控制器业务控制器(Traffic Control

47、ler)(Traffic Controller)组成。组成。 这三部分可以独立进行时钟管理，有效这三部分可以独立进行时钟管理，有效地控制功耗，如下图所示。地控制功耗，如下图所示。6061(1) OMAP1510 硬件构架 TI TI 增强型增强型ARM925 ARM925 核核: : ARM RISC ARM RISC 体系结构的先进代表；体系结构的先进代表； 工作主频为工作主频为175MHz175MHz； 存储器管理单元；存储器管理单元；16K 16K 字节的高速指令缓冲存储器；字节的高速指令缓冲存储器；8K 8K 字节的数据高速缓冲存储器；字节的数据高速缓冲存储器；17 17 个字的写缓冲

48、器；个字的写缓冲器；62(1) OMAP1510 硬件构架 片内有片内有 1.5MB 1.5MB 的内部的内部SRAMSRAM，为液晶显示，为液晶显示等应用提供大量的数据和代码存储空间；等应用提供大量的数据和代码存储空间；它有它有 13 13 个内部中断和个内部中断和 19 19 个外部中断，个外部中断，采用两级中断管理；采用两级中断管理；此外此外, ,核内还有核内还有ARM CP15 ARM CP15 协处理器和协处理器和保护模块。保护模块。63(1) OMAP1510 硬件构架 C55x DSP 核 具有最佳的功耗性能比，工作主频为具有最佳的功耗性能比，工作主频为200MHz200MHz。

49、它采用了三项关键的革新技术：增大的空它采用了三项关键的革新技术：增大的空闲省电区域、变长指令、扩大的并行机制。闲省电区域、变长指令、扩大的并行机制。其结构对于多媒体应用高度优化，适合低其结构对于多媒体应用高度优化，适合低功耗的实时语音图像处理。功耗的实时语音图像处理。64(1) OMAP1510 硬件构架 C55xDSP C55xDSP 核增加了处理运动估计、离散余弦核增加了处理运动估计、离散余弦变换、离散余弦反变换和变换、离散余弦反变换和 1 1 2 2 像素插像素插值的硬件加速器，降低了视频处理的功耗。值的硬件加速器，降低了视频处理的功耗。C55x DSP C55x DSP 核内部有核内部

50、有32K 32K 字的双存取字的双存取 SRAMSRAM，48K 48K 字的单存取字的单存取 SRAM SRAM 和和 12K 12K 字的高速字的高速指令缓存。指令缓存。此外，核内还包含存储器管理单元、两级中此外，核内还包含存储器管理单元、两级中断管理器和直接存储器访问单元。断管理器和直接存储器访问单元。65(1) OMAP1510 硬件构架 OMAPl510 OMAPl510 芯片具有丰富的外围接口：芯片具有丰富的外围接口： 液晶控制器、存储器、摄像机、空中、液晶控制器、存储器、摄像机、空中、蓝牙、通用异步收发器、蓝牙、通用异步收发器、I2C I2C 主机、脉主机、脉宽音频发生器、串行、

51、主客户机宽音频发生器、串行、主客户机USBUSB、安、安全数字多媒体卡控制器、键盘等接口。全数字多媒体卡控制器、键盘等接口。这些丰富的外围接口，使这些丰富的外围接口，使OMAP1510 OMAP1510 特别特别适用于第三代移动通信系统。适用于第三代移动通信系统。 66(2) OMAP1510 软件构架 OMAP OMAP 的软件结构建立在两个操作系统上：的软件结构建立在两个操作系统上： 一是基于一是基于ARM ARM 的操作系统，如的操作系统，如Windows CEWindows CE、Linux Linux 等；等； 二是基于二是基于DSP DSP 的的DSP DSP BIOSBIOS。

52、连接两个操作系统所使用的核心技术是连接两个操作系统所使用的核心技术是DSP DSP BIOS BIOS 桥。它是实现和使用桥。它是实现和使用OMAP OMAP 的关键。对于的关键。对于软件开发者来说，软件开发者来说，DSP DSP BIOS BIOS 桥提供了一种桥提供了一种使用使用DSP DSP 的无缝接口，允许开发者在的无缝接口，允许开发者在GPP(GPP(通用通用处理器，包括处理器，包括ARM)ARM)上使用标准应用编程接口，上使用标准应用编程接口，访问并控制访问并控制DSP DSP 的运行环境。的运行环境。67(2) OMAP1510 软件构架 利用利用TI TI 公司的公司的Code

53、 Composer Code Composer Studio Studio 集成开发环境，从开发者的角度集成开发环境，从开发者的角度来看，来看，OMAP OMAP 好像仅用好像仅用GPP GPP 处理器就完成处理器就完成了所有处理功能。了所有处理功能。 这样，开发者就不需要为两种处理器分这样，开发者就不需要为两种处理器分别编程，这使编程工作大为简化。在别编程，这使编程工作大为简化。在OMAP OMAP 体系结构下，开发者可以像对待单体系结构下，开发者可以像对待单个个GPP GPP 那样对那样对OMAP OMAP 的双处理器平台进行的双处理器平台进行编程。编程。 68(2) OMAP1510 软

54、件构架 OMAP1510 OMAP1510 支持多种实时多任务操作系统支持多种实时多任务操作系统在在ARM925 ARM925 微处理器上工作，用来对微处理器上工作，用来对ARM925 ARM925 微处理器进行实时多任务调度管微处理器进行实时多任务调度管理，对理，对DSP C55x DSP C55x 进行控制和通信，同进行控制和通信，同时也支持多种实时多任务操作系统在时也支持多种实时多任务操作系统在DSP DSP C55x C55x 上工作，实现复杂的多媒体信号处上工作，实现复杂的多媒体信号处理。理。 69(2) OMAP1510 软件构架 DSP DSP BIOS BIOS 桥包含：桥包含

55、：DSP DSP 管理器，管理器，DSP DSP 管理服务器，管理服务器，RAMRAM、DSP DSP 和外围接口链接驱动。和外围接口链接驱动。DSP DSP BIOS BIOS 桥提供运行在桥提供运行在ARM925 ARM925 上的应上的应用程序和运行在用程序和运行在DSP C55x DSP C55x 上的算法之上的算法之间的通信管理服务。间的通信管理服务。70(2) OMAP1510 软件构架 开发者可以利用该桥中的应用编程接口，开发者可以利用该桥中的应用编程接口，控制控制DSP DSP 中实时任务的执行，并与中实时任务的执行，并与DSP DSP 交换任务运行结果和状态消息。交换任务运行

56、结果和状态消息。在这个环境下，开发者可以调用局部在这个环境下，开发者可以调用局部DSP DSP 网关组件完成诸如视频、音频和语音等网关组件完成诸如视频、音频和语音等功能。因此，开发者不需要了解功能。因此，开发者不需要了解DSP DSP 和和该桥就能开发新的应用软件，如下图所该桥就能开发新的应用软件，如下图所示。示。 7172(2) OMAP1510 软件构架 开发多媒体应用程序时，可以通过标准开发多媒体应用程序时，可以通过标准的多媒体应用编程接口的多媒体应用编程接口(MM API)(MM API)，使，使用多媒体引擎，方便了应用程序的开发；用多媒体引擎，方便了应用程序的开发； 多媒体引擎对相关

57、的多媒体引擎对相关的DSP DSP 任务通过任务通过DSP DSP 应用编程接口应用编程接口(DSP APl)(DSP APl)使用使用DSP DSP BIOS BIOS 桥；最后由桥；最后由DSP DSP BIOS BIOS 桥对数据、桥对数据、I I O O 流和流和DSP DSP 任务控制进行协调。如下图任务控制进行协调。如下图 所示。所示。 7374(2) OMAP1510 软件构架 DSP DSP BIOS BIOS 桥用于连接桥用于连接DSP DSP 和其他通用和其他通用处理器处理器(GPP)(GPP)上的上的OSOS。GPP GPP 在在OMAP OMAP 里是里是ARMARM，

58、还可以是，还可以是MIPS(Microprocessor MIPS(Microprocessor without Interlocked Pipe Stage)without Interlocked Pipe Stage)等。等。 DSP DSP BIOS BIOS 桥用于非对称的、由一个通桥用于非对称的、由一个通用处理器用处理器(GPP)(GPP)和一个或多个和一个或多个DSP DSP 组成的组成的多处理器环境。多处理器环境。75(2) OMAP1510 软件构架 DSP DSP BIOS BIOS 桥作为桥作为GPP OS GPP OS 和和DSP OS DSP OS 的软件的软件组合，把

59、两个操作系统连接在一起。组合，把两个操作系统连接在一起。 这种连接能够使这种连接能够使GPP GPP 端的客户与端的客户与DSP DSP 上的任务上的任务交换信息和数据。交换信息和数据。 连接分为两种类型：消息子连接和数据流子连连接分为两种类型：消息子连接和数据流子连接。接。 每种子连接都按顺序传递消息，哪个消息先到每种子连接都按顺序传递消息，哪个消息先到消息链，哪个消息就先被传递；同样哪个数据消息链，哪个消息就先被传递；同样哪个数据流先到数据流链，哪个数据流就先被传递。每流先到数据流链，哪个数据流就先被传递。每个子连接都独立地进行操作，例如：个子连接都独立地进行操作，例如： 76(2) OM

60、AP1510 软件构架 GPP GPP 先发送数据流，然后发送消息；如先发送数据流，然后发送消息；如果消息有高优先级，那么消息比数据流果消息有高优先级，那么消息比数据流先到先到DSPDSP。 DSP DSP 任务通常用消息对象传送控制和状任务通常用消息对象传送控制和状态信息，用数据流对象传送高效实时数态信息，用数据流对象传送高效实时数据流。据流。 下图表示下图表示 GPP GPP 客户端程序和客户端程序和DSP DSP 任务间任务间的关系。的关系。 7778(3) 3G 移动多媒体终端的硬件结构方案 基于基于OMAP1510 OMAP1510 的的3G 3G 移动多媒体终端的移动多媒体终端的硬件结构方