（电路与系统专业论文）基于嵌入式linux的视讯产品网络自适应性研究.pdf

杭州电子科技大学硕士学位论文 i 摘 要 当前，全球对视讯产品的需求量猛增，尤其是自非典事件发生之后，为了确保 安全，许多大公司都通过视讯会议、远程电话会议、网络会议等手段进行商业活动。 ip 是视讯产品接入网络的主要形式，而 ip 网络是“尽力而为”的传输网络。即网络尽 量传输数据，但如果发生问题，数据可能被丢弃。因此丢包、乱序、抖动以及由此导 致的音视频不同步成为视讯产品不可避免的问题。 本文在深入研究国内外关于这些问题的解决方法的基础上， 设计了一套自适应方 案。该方案的实现需要信令层和数据层的配合，所以本文在第二章首先介绍了作为事 实上的行业标准的 h.323 协议，重点分析了 h.323 系统固有的自适应机制。然后在第 三章给出了本文所提出方案 taa 的概要设计。 第四章给出了 taa 的详细设计和具体 实现过程。第五章对 taa 方案在基于嵌入式 linux 的视讯产品上的应用效果进行了 验证，并对验证结果做了分析和总结。最后一章，介绍了方案在设计和验证过程中所 遇到的困难和解决方法，并对视讯产品的市场和技术趋势做了展望。 本文首次提出了广义的视讯产品网络自适应性的概念， 按照这一概念设计了一系 列实用的策略， 具体包括乱序重排、 去抖动、 丢包重传、 码率自适应和唇音同步策略。 整个方案具有以下特点： 第一，丢包重传策略，本文设计了一种比单级缓冲重传实现效果好，又比多级缓 冲重传实现简便的重传策略，该策略能最大程度的减轻因重传导致的网络负载加重。 第二，唇音同步策略，本文设计了一种全新的方法，通过将音视频通过同一个通 道传输来避免唇音失步，实现上需要信令层和数据层的配合。 第三，码率自适应策略，本文的实现方式能最大程度的避免码率频繁变动引发的 抖动。 第四， 乱序重排和去抖动策略， 一般视讯产品都会采用， 理论研究也已经很成熟， 本文的创新点在于通过缓冲队列对其实现方式做了优化和该进。 另外，本文在测试平台的搭建和测试方法上也做了大量的工作，最终实现了一个 基于嵌入式 linux 的 h.323 硬件视讯终端和一个基于 windows 的 h.323 软件视讯终 端。通过两台终端的通话，taa 的应用效果得到了验证。 理论分析和实测的结果都表明， 该方案能很好的解决视讯产品音视频传输中的丢 包、乱序、唇音不同步等问题，显著提高视讯产品的质量。 关键词：视讯产品，网络，自适应，h.323，信令，rtp/rtcp，音视频 杭州电子科技大学硕士学位论文 ii abstract at present, the global surge in demand for video conference products, especially after the sars incident, in order to ensure security, many large companies carry out business activities through videoconferencing, teleconferencing and web-conferencing. ip is the main form of accessing network for video conference products, while ip networks are best effort transmission network. that is, the net try to transmit data as far as possible, but if a problem occurs, the data may be discarded. therefore, packet loss, out of order, jitter and the resulting outer-sync of audio and video become unavoidable issue in video conference products. after in-depth study on the solutions of these issues at home and abroad, this paper designed a set of adaptive scheme. the implementation of this scheme requires cooperation of the signaling layer and the data layer, so this article first introduced h.323 protocol, which has been regarded as a de facto industry-standard. chapter ii emphasized the adaptive mechanism provides by h.323 system. then in the third chapter, high-level design of the adaptive scheme taa was provided. detailed design and the implementation process of taa were given in chapter iv. in chapter v, application effects of taa on embedded linux-based hardware video conference terminal product has been verified, and the verification results were analyzed and summarized. the final chapter introduced the difficulties encountered during the design and verification process of this paper and how to solve these problems, and the prospect of video conference products in the market and technology trends. this paper first proposed the concept of generalized network adaptive of video conference products. according to this concept, a series of strategies was proposed, including disorder restructuring, jitter cancellation, lost packet retransmission, bitrate self-adaptation, and lip sync strategy. the specific characteristics are shown as below: first, a novel lost packet retransmission strategy with advantages of better performance than single-stage buffer retransmission and simpler realization than multi-stage buffer retransmission is proposed in this paper, which can mostly reduces network burden increase induced by retransmission. second, a new lip-sync strategy to avoid lip async by transmitting audio and video signals in the same channel is designed in this paper, whose realization needs cooperation of signaling layer and data layer. 杭州电子科技大学硕士学位论文 iii third, the bitrate self-adaptation strategy proposed in this paper can mostly alleviate jitters induced by frequency change of bitrate. fourth, disorder restructuring and de-jitter strategies are commonly used in video conference products and theoretical study on them are mature. the innovation in this paper is based on the optimization and improvement of its way of realization through the buffer queue. in addition, an embedded linux-based hardware h.323 video conference terminal and a windows-based software h.323 video conference terminal are realized through a large amount of work on the building of test platform and test methods. through the communication of the two terminals, application effect of taa has been verified. theoretical analysis and experimental results show that the program is a good solution to solve problems of packet loss, disorder, lip async etc. in audio and video transmission of video conference products and significantly improve the quality of the products. keywords: video conference product，network，auto-adaptability, h323, singling, rtp/rtcp, audio and video 杭州电子科技大学杭州电子科技大学 学位论文原创性声明和使用授权说明学位论文原创性声明和使用授权说明 原创性声明原创性声明 本人郑重声明： 所呈交的学位论文，是本人在导师的指导下，独立进行研究工 作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已 经发表或撰写过的作品或成果。对本文的研究做出重要贡献的个人和集体，均已在文 中以明确方式标明。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论文作者签名： 日期： 年 月 日 学位论文使用授权说明学位论文使用授权说明 本人完全了解杭州电子科技大学关于保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属杭州电子科技大学。 本人保证毕业离校 后，发表论文或使用论文工作成果时署名单位仍然为杭州电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容， 可以允许采用影印、缩印或其它复制手段保存论文。 （保密论文在解密后遵守此规定） 论文作者签名： 日期： 年 月 日 指导教师签名： 日期： 年 月 日 杭州电子科技大学硕士学位论文 1 第一章 绪论 1.1 课题研究背景 1.1.1 视讯产品定义和发展历程 视讯产品指用于召开视讯会议的产品，是产业界的称呼，在学术界一般都称为视 频会议系统，是一种能把声音、图像、文本等多种信息从一个地方传送到另一个地方 的通信系统。使用视讯产品开会，能够提高工作效率，降低远距离会议的费用，而且 能增加参加会议的人数。视讯产品在世界范围内的发展经历了以下过程。 第一代，上世纪七八十年的工控机平台产品，视频编码方面只支持 h.261 算法， 图像质量随带宽减少下降非常快。而且价格昂贵，其广泛使用受到技术的限制。 第二代，上世纪 90 年代的 pc 平台插卡产品，产品质量普遍比较差，市场表现 不好。在中国更是很快被大多数用户否定。 第三代，1998 年以后出现的高度集成专业化产品。目前，第三代产品已占有全 球视讯市场的 70%以上，正在迅速取代第一、第二代产品。第三代视讯产品的出现， 是视讯领域一次真正的技术革命。第三代视讯产品具有以下特点： （1） 高度集成化，非 pc 结构。 （2） 设计结构先进，芯片运算能力强，功能强大，支持最新的 h.264 图像压 缩算法。 （3） 声音、图像质量好，在低速带宽上实现高质量图像、声音传输。 （4） 同时集成多种网络接口，且支持实时网络接口转换。 （5） 具有自适应功能，完全智能化，易于操作，维护简单。 1.1.2 视讯产品分类介绍 目前市场上流行的视讯产品按照实现方式可分为两类1：硬件视频产品和软件视 频产品2。这两类产品之间的比较如表 1.1 所示。 杭州电子科技大学硕士学位论文 2 表 1.1 硬件视讯产品和软件视讯产品比较 硬件视频产品 软件视讯产品 音视频 质量 硬件编解码，音视频质量好 软件编解码，音视频质量相对较差 价格 一次性购买，价格昂贵 价格比硬件产品低廉很多 技术更 新 硬件更新或更换新的升级模块非常昂 贵，而且实施起来不方便 随时随地，非常方便，产品的升级价格较 硬件产品要低得多 网络自 适应性 对带宽要求较高，一般需要 384kb 以上 的独立线路或者专网，用户将长期支付 带宽接入费用 可以使用用户现有的网络环境，一般情况 下用户不需额外支付带宽接入费用 数据协 作 需要在其系统中增加特别模块，系统连 接复杂 具有一体的数据协作功能，可以提供文档 共享、电子白板、协同浏览、文字交流等 各种功能 易用性 大多数硬件产品适用于固定的会议室 中，使用上受到很大的局限 可以利用自己的笔记本电脑，随时随地通 过互联网召开视讯会议 由表 1.1 可以看出，硬件视讯产品音视频质量好，但是价格昂贵而且易用性差， 所以硬件视讯产品一般应用于企业和政府部门的大型会议，而软件视频产品价格低 廉，易用性强，所以软件视讯产品可以很好的满足个人用户的多样化需求。 视讯产品按照功能划分，又可分为用户终端，多媒体网关，多点控制单元等传统 功能部件和录播服务器等近年来新出的功能部件。不同的厂家可以有不同的实现方 式，可以选择将一个功能部件分为多个物理实体，也可以将多个功能部件合为一个物 理实体。如华为的 viewpoint90393和 h3c 的 mg90604都兼具视讯终端和多媒体网 关的双重功能。 1.1.3 视讯产品两大主流协议 1.1.3.1 h.323 协议 h.3235,6协议于 1996 年 6 月由 itu-t 通过，最新版本（version 5）于 2003 年完 成，h.323 定义了在 lan、intranet 以及 internet 上的视讯会议框架性建议。它使符合 标准的不同厂商的系统可以很容易的相互通信，因此得到了广泛的应用，是事实上的 行业标准。关于 h.323 协议，本文第二章将做详细介绍。 杭州电子科技大学硕士学位论文 3 1.1.3.2 sip 协议 sip（session initiation protocol）7,8称为会话初始协议，是由 ietf（internet engineering task force）于 1999 年提出的，是一个在基于 ip 的网络中实现实时通信 应用的信令协议。而所谓的会话（session） ，就是指用户之间的数据交换。在基于 sip 的应用中，每一个会话可以是普通的文本数据，也可以是经过数字化处理的音频、视 频数据，还可以是诸如游戏等应用的数据，具有很大的灵活性。然而过于灵活导致各 个厂商都可以按照自己的意愿去开发各自的视讯产品， 这一点使得基于 sip 协议的视 讯产品的普及和推广受阻。 1.2 国内外发展现状 1.2.1 市场现状分析 目前视讯产品的发展呈现以下特色9： （1） 应用更为广泛 在传统的会议模式迅速向视讯会议转换的同时，视讯产品的应用范围也由原来的 企业、政府、军事部门向全行业扩展，如：远程医疗、远程教育、应急指挥、个人应 用等。 （2） 趋于大众化 视讯产品越来越趋于大众化。接入网性能的提高，isdn，adsl 的普及，使用户 接入互联网轻松容易，这为视讯产品的发展提供了强有力的支持。 （3） 技术飞速发展 视讯产品在技术上获得了长足的进步。随着新产品新标准的不断问世，基于 ip 网的新一代视讯产品成为主流，立体声和高清图像成为发展趋势。 （4） 成本大幅降低 随着处理器性能的提高和价格的降低，以及通信技术和视频处理技术的迅猛发 展，视讯产品所依赖的平台性能得到显著改善，成本也大幅降低。视讯产品已经可以 安装在 pc 机上，为个人用户提供服务的视讯会议工具费用相当低廉。 视讯产品在我国也已经得到了广泛的应用，许多大的企事业单位、机关部委、外 国驻京机构、跨国性集团都有了自己的视讯会议系统。如中国电信这样的大型企业， 在全国范围内布局的视讯网络需要数十台 mcu9-11和数百台终端。更多的中小企业 也正在着手部署自己的视讯网络，市场前景非常客观，对于视讯产品的研究开发工作 具有很大的商业价值。 杭州电子科技大学硕士学位论文 4 广泛的市场需求驱动了技术的发展。目前从事视讯产品开发的中小厂商不计其 数，大的厂商也很多，如国外的 polycom、radvision、tandberg 等。国内的华为、中 兴等很多企业也已经开发出了自己的专业视讯产品， 国产品牌已经抢回了很多长期被 国外品牌占据的市场。 1.2.2 视讯产品的关键技术 视讯产品的关键技术12包括：实时传输技术、音视频处理技术、网络传输技术、 服务质量（qos）保证技术、以及信令技术等。 （1） 实时传输技术 由于实时传输协议 rtp 能提供具有实时特征的、端到端的数据传输业务，因此 视讯产品中普遍采用 rtp 来传送音视频数据。rtcp 控制协议与 rtp 数据协议配合 使用，它提供对数据传输质量的反馈信息。 （2） 音视频处理技术 音视频压缩编码技术是视讯产品的关键技术之一。目前，主要的音频编码技术有 itut 定义的 g.729、 g.723 等。 主要的视频编解码标准有国际电联的 h.261、 h.263、 h.264、运动静止图像专家组的 m-jpeg 和国际标准化组织运动图像专家组的 mpeg 系列标准， 此外在互联网上被广泛应用的还有 real-networks 的 realvideo、 微软公司 的 wmt 以及 apple 公司的 quicktime 等13。 （3） 网络传输技术 视讯产品中的网络传输技术主要是指 tcp 和 udp，此外还包括网关互联技术、 路由选择技术、网络管理技术以及安全认证和计费技术等。 （4） 服务质量（qos）保证技术 视讯产品中主要采用资源预留协议(rsvp resource reservation protocol)以及实 时传输控制协议 rtcp 来避免网络拥塞，保障通话质量。 （5） 信令技术 信令技术主要是对于协议栈的实现，目前世界上只有 radavision，polycom 等少 数几家公司具有自己开发的专业的商用协议栈， 众多中小厂商都是在购买的协议栈上 进行二次开发。 1.2.3 视讯产品需要解决的主要问题 视讯产品发展到今天，其底层支撑网络主要是 ip 网络，这也是通信网络的发展 趋势。然而，传统的 ip 网络并没有提供 qos 保障14，它最初是为简单数据通信而设 计的，是开放、共享的，它的特点就是“尽力而为”。要在这样的网络环境上提供大 杭州电子科技大学硕士学位论文 5 量的实时多媒体通信服务，必须要有一些附加的措施。 目前已经有了一些比较成熟的解决方案。如前面提到的 rtp/ptcp 就是 ip 网的 实时传输措施之一，然而 rtp 是一个基于 udp 的应用协议，udp 是无连接的，它不 会对数据报的传送提供应答和跟踪，这样在 ip 网络中传输数据就无可避免的会产生 数据丢包、乱序、延时和抖动等问题，这些问题会导致视讯产品使用过程中出现连接 中断、 图像不清晰、 声音不连续等障碍。 本文的目的就在于解决以上列举的这些问题。 1.3 研究的主要内容和章节安排 1.3.1 论文主要工作 基于 1.1.3 节对于 h.323 和 sip 两大协议的对比分析，本文选择 h.323 视讯产品 作为研究对象。作为一个得到广泛认可的多媒体通信标准，h.323 除了在数据层设计 了专门的 rtp/rtcp 协议之外， 在信令层面上也包含了很多关注数据传输的自适应机 制。基于这一认识，本文提出了一种全新的理念：在网络自适应性的研究上，除了关 注数据层和编解码层外，还应该关注信令层。基于这一理念，本文给出视讯产品网络 自适应性的定义： 对于视讯产品来说，狭义的网络自适应性仅音频视频和数据信息的网络传输特 性，广义的网络自适应性则还包括了产品在信令交互方面的特性。 本文以广义的网络自适应性为研究范围， 在深入研究 h.323 系统信令层自适应机 制和数据层的 rtp/rtcp 协议的基础上，设计了一套完整的自适应方案，该方案中包 括了乱序重排、去抖动、丢包重传、码率自适应和唇音同步等具有实用价值的策略。 方案不仅关注视频产品数据层面的网络自适应性， 更注重视讯产品信令层面的自适应 机制。理论分析和实际应用效果都表明，该方案能够有效的消除抖动、乱序、丢包、 重包、唇音不同步等问题，显著改善视讯产品的质量。 1.3.2 论文章节安排 全文共分为六章。各章节安排如下： 第一章绪论，简要介绍了国内外视讯产品的发展历程、市场现状、视讯产品的关 键技术及存在的主要问题，引出了本文研究的重点。 第二章 h.323 视讯产品网络自适应性研究， 介绍了 h.323 视讯会议系统的各个实 体和组件，以及 h.323 协议所包含的各个子协议， 通过从几款典型的 h.323 视讯产 品上抓到的数据报和信令来重点分析了与本文设计方案相关的 h.323 系统的信令层 杭州电子科技大学硕士学位论文 6 自适应机制和数据层自适应机制。 第三章传输自适应方案 taa 概要设计，在与目前各种常用的自适应方案的对比 中给出了传输自适应方案 taa 的概要设计。 第四章传输自适应方案 taa 详细设计与实现， 详细介绍了第三章讲到的 taa 方 案的实现过程，并对各个策略的实现效果做了理论分析。 第五章 taa 在基于 linux 的视讯产品中的应用， 首先介绍了 taa 的验证平台 h.323 视讯终端的软件开发过程，然后对 taa 的实现效果做了验证与分析。 第六章总结与展望，对全文做了总结，提出了本文在理论研究和方案设计验证过 程中遇到的困难和解决方法，并对未来视讯产品的发展趋势表达了自己的看法。 杭州电子科技大学硕士学位论文 7 第二章 h.323 视讯产品网络自适应性研究 2.1 h.323 视讯会议系统介绍 2.1.1 h.323 系统基本组件 h.323 系统的基本组件15,16（h.323 entity， 也称 h.323 实体） 包括终端 （terminal） ， 网关（gateway） ， 关守（gatekeepers） ，及多点处理单元（mcu） ，它们在网络中的 位置如图 2.1 所示。 图 2.1 h.323 系统的基本组件 2.1.1.1 终端（terminal） 终端是 h.323 视讯系统最重要的组件。终端设备由数字编解码器、控制软件和外 围音视频输入输出设备（如摄像机、显示器、音箱、音频输入设备等）组成。基本的 工作流程是：由音视频输入设备送来的音视频信号以及控制台来的控制信号，按照各 自的需求送到数字信号处理器，经过压缩、编码、混合等处理后得到符合通讯信道标 准的数据流，然后利用光纤、微波、电缆等网络传输信道传输到远方终端或 mcu。 远方的终端或 mcu 利用接收设备接收信号并进行分解，分解得到的音视频信号经过 数字信号处理器解压缩后送到本地输出设备去显示和播放。 分解得到的控制信号经过 用户解码后按照发送端的指令有效地控制本地的视频设备，如云台的转动、摄像机镜 头的变焦、输入源切换等。h.323 视讯终端功能框图如图 2.2 所示。 杭州电子科技大学硕士学位论文 8 图 2.2 h.323 视讯终端功能框图 2.1.1.2 多点控制单元（mcu） 视讯会议与会者大于三时就需要 mcu 的参与，mcu 用来连接本区域内的各台 终端或 mcu（级连） ，mcu 通过级联方式可以控制很多台终端，且 mcu 可以实现 多级级联。mcu 位于媒体交换层，逻辑上分为多点控制器 mc 和多点处理器 mp， 完成的功能主要有以下几个方面： （1） 组织、管理全网各台终端的联络或分组联络； （2） 用户可选择相关终端的任意一路视频源（输入）向全网其它站点传送； （3） 用户可任意选择相关终端的图像、语音（输出）向全网其它站点传送； （4） 用户可在控制室内观察各终端的图像信号，并可对终端各摄像机或云台 进行远距离遥控，全面了解和调整各台终端的情况； （5） 各级 mcu 都可以直接对下级 mcu 进行控制，各级 mcu 也可以独立工 作； （6） mcu 可根据需要提供多个端口， 由各端口级联至下一 mcu 或终端设备； 2.1.1.3 关守（gatekeeper） 关守又称网守或者 gk，在 h.323 系统中是可选的，它为 h.323 节点提供呼叫控 制服务。关守和其他组件在逻辑功能上是分离的，但是在物理实现上可以和终端、 mcu、网关、mc 或其它非 h.323 网络设备共存。 关守的基本功能有以下四点：地址翻译、接入控制、带宽控制、区域管理。除此 之外， 关守可以执行呼叫控制信令、 呼叫鉴权、 呼叫管理等可选功能， 还有带宽预留、 目录服务、带宽管理等功能正在进一步研究中17。 杭州电子科技大学硕士学位论文 9 2.1.1.4 网关（gateway） 网关也是 h.323 系统的一个可选组件。网关提供很多服务，其中包含 h.323 设备 与其它 itu 标准设备之间的转换功能，这种转换包括传输格式转换和通信规程的转 换。另外，在分组网络和电路交换网络之间，网关还执行语音和图像编解码器转换任 务，以及呼叫建立和拆除任务。终端使用 h.225.018和 h.24519协议与网关进行通信。 2.1.2 h.323 协议体系结构 如图 2.3 所示，h.323 系统内传输的信息可分为三大类，分别为由 t.12x 协议组 规定的数据信息，由 ras、h.225 和 h.245 协议规定的信令信息，以及承载在 rtp 之上的音视频媒体信息。由于本文所设计的自适应方案的数据层策略主要是基于 rtp/rtcp 协议来实现的，所以对于 rtp/rtcp 协议将会在 2.3 节做详细分析，其他 子协议在这里做一下简单介绍。 t.124 t.126t.127 t.122,t.125 t.121,t.123 ras h.225 h.245 g.722 g.723.1 g.729.a h.261 h.263 rtp rtcp tcpudp 网络层 链路层 物理层 t.121 图 2.3 h.323 的体系结构 2.1.2.1 t.12x 协议组 t.12x 标准由一组通信和应用程序协议组成，被设计来用于多点数据会议和实时 通信， 该协议很大程度上提高了多媒体数字信号处理器的控制能力。 取决于 t.12x 的 实现类型，最终的产品能够完成连接、传输、接收数据等多种任务，如共享程序、白 色书写板会议和文件传输等。 t.12x的主要功能如下： （1） 在不依靠任何平台的前提下，创建和维持会议； （2） 管理多重参与者和多重程序； （3） 通过网络连接，精确而安全地发送和接收数据。 杭州电子科技大学硕士学位论文 10 t.12x 协议组包括以下协议： t.121、t.122、t.123、t.124、t.125、t.126、t.127， 它们分布在h.323系统不同的层面，如图2.3所示。 2.1.2.2 注册、接入控制和状态信令 ras ras17（registration，admission and status）信令功能使用h.225.0消息在节点和 关守之间实现登记、 接入许可、 带宽修改、 状态变迁等流程。ras的传输通道和h.225 呼叫控制信令信道以及h.245 通信控制信令通道是独立的。没有关守的网络环境不 能使用ras。在包含一个关守的网络环境中，ras信令信道在节点和关守之间打开。 ras信令信道的建立先于任何其他h.323信道。 2.1.2.3 呼叫控制信令 h.225 h.225信令用于呼叫建立和终止等呼叫控制功能的实现。h.225信令使用q.931 消息来控制呼叫的建立和拆除，当系统中没有关守时，呼叫信令信道在呼叫涉及的两 个终端之间打开；当系统中包括一个关守时，由关守决定在终端与关守之间还是在两 个终端之间开辟呼叫信令信道。 2.1.2.4 通信控制信令 h.245 h.245控制信令用来传送端到端的控制消息， 通过交换控制数据， 实现主从确定、 能力交换、 打开关闭逻辑通道、 模式控制和其他功能， 保证h.323实体的运作。h.245 控制信令通道建立于两个终端之间，或是一个终端与一个关守之间。 h.245消息分为四类：请求、响应、命令、指示。请求和响应消息用于协议实体。 请求消息要求接收者一个特定的行动和一个立即的响应。 响应消息响应一个相应的请 求。命令消息要求一个指定的行动，但不需要响应。指示消息只是提供信息，不要求 行动和响应。 2.1.2.5 音频编解码标准 （1） g.711基本音频 h.323系统规定的基本音频模式是g.711，目前g.711有两种编码方式，a律及 律。g.711提供了出色的长话音质窄带（3 khz音频带宽）语音、不太明显的编码延 迟（低于1ms）以及非常低的实现复杂性。 （2） 可选音频模式 杭州电子科技大学硕士学位论文 11 g.711能成为h.323系统规定的基本音频模式，是由于其低复杂性和与普遍电话 的兼容性。但与其他h.323音频模式相比，g.711的带宽利用率非常低。如果采用其 他音频编解码标准，节约的带宽可用来传送更多的视频位，将使h.323视频质量有很 大不同。 表2.1小结了itu-t已经通过的在多媒体会议中使用的音频编码标准。 表 2.1 itu-t 制定的音频编码标准 标准 比特率 音频带宽 复杂性（定点） 帧大小 延迟 g.711(1977) 48，56，64kbps3kbps 接近 0 125s 1ms g.728(1992) 16kbps 3kbps 约 3540mips 625s 2ms g.723.1(1995) 5.3，6.4kbps 3kbps 约 1820mips 30ms 97.5ms g.729(1995) 8kbps 3kbps 约 18mips 10ms 35ms g.729a(1996) 8kbps 3kbps 约 11mips 10ms 35ms g.722(1988) 48，56，64kbps7kbps 约 10mips 125s 2ms g.16k 16，24，32kbps7kbps 15mips 20ms 60ms 由表2.1可以看出，如果采用g.723或者g.729等其他标准，音频信号的带宽利 用率将会有很大的提高。虽然其他标准的算法复杂度普遍较高21-24，但是随着高性能 dsp芯片的不断问世， 复杂度已经不是主要问题， 而带宽利用率的提高却能大幅提高 视讯产品的市场竞争力。 除了itu-t外，还有其他组织也发布了很多性能优越的音频编码标准，如etsi 的gsm，tia的is54等，也在广泛应用于各类视讯产品中。 2.1.2.6 视频编解码标准 （1） h.261基本视频模式 h.26120是h.323系统规定的基本视频模式。h.261支持两种视频图像格式，cif 和qcif。其中qcif是h.323系统要求的必须支持的图像格式，cif是可选的。 （2） 可选视频模式 h.263标准是在h.261标准上的改进。h.263标准结合了ip网络的特点，提供了 更高的视频编码效率，特别是在较低的视频速率下比h.261有更好的视频效果。 h.264标准是itu-t和iso合作的产物，结合了h系列和mpeg系列的优点， 充分考虑了ip网络的特点，在多模式运动估计、整数变换、统一vlc符号编码、分 层编码语法等方面有其独到之处25,26。h.264标准提供了比h.263更高的视频编码效 率 虽然h.323系统只规定了所有产品都必须支持h.261标准和qcif的图像格式 （这 样规定是为了不同厂商间的产品能很好的互通） ，但是目前h.263和h.264已经成为 杭州电子科技大学硕士学位论文 12 硬件视讯产品的主流视频编解码标准，高清的720p和1080p成为主流图像格式27。 2.2 h.323 视讯产品信令层自适应机制 2.2.1 会话建立过程中的自适应机制 h.323会话 （未注册关守） 的建立要经过四个步骤： 呼叫建立 （使用h.225信令） 、 主从确定（使用h.245信令） 、能力交换和协商（使用h.245信令） 、打开通道（使用 h.245信令） 。只有在所有的数据通道都打开之后，才可以说一次h.323会话正式建 立，如图2.4所示。这里只介绍与本文设计相关的后三个处理步骤。 图 2.4 通话建立过程 2.2.1.1 主从确定（master-slave termination） h.245主从确定消息流程用于确定交互双方的主从关系以解决可能发生的冲突。 比如会议中两个节点都是mc时必须确定两者间的主从关系。如图2.4所示，双方通 过互发masterslavedetermination消息来交换terminaltype值，terminaltype值大的一 方 为 主 设 备 ， 另 一 方 为 从 设 备 。 得 到 比 较 结 果 之 后 ， 双 方 各 自 发 送 masterslavedeterminationack消息给对方， 告知主从确定的结果， 只有双方都收到对 方发来的masterslavedeterminationack消息，才可以说完成了整个主从确定过程。 terminaltype值是一个0 224-1之间的随机数。同一次会话中，每个h.323实体 的terminaltype值是唯一确定的。对于几种常见情况下各个实体的terminaltype值， 杭州电子科技大学硕士学位论文 13 h.323协议给出了一个建议17，如表2.2所示。 表 2.2 主从确定 terminaltype 值表 terminaltype 值表 h.323 实体 特征集（feature set） 终端 网管 关守 mcu 实体不包含 mc 50 60 na na 实体包含 mc 但是没有 mp 70 80 120 160 实体包含 mc 和数据 mp na 90 130 170 实体包含 mc 及数据和音频 mp na 100 140 180 实体包含 mc 及数据、音频和视频 mpna 110 150 190 2.2.1.2 能力交换和协商 会话中，终端通过能力交换机制告诉对方自己的能力集，然后将自己的能力集和 对方的能力集比较，协商出一种双方都能支持的且优先级最高的能力进行通信。能力 集的内容包扩：视频编解码协议、帧率、码率、图像格式、音频编解码协议、采样率 等。 假设路由器a配置音频编解码协议优先级如下： router_up-voice-dialdefault entity compression 1st-level g729r8 router_up-voice-dialdefault entity compression 2nd-level g711u router_up-voice-dialdefault entity compression 3rd-level g723r63 router_up-voice-dialdefault entity compression 4th-level g723r53 路由器b配置音频编解码协议优先级如下： router_down-voice-dialdefault entity compression 1st-level g711a router_down-voice-dialdefault entity compression 2nd-level g723r63 router_down-voice-dialdefault entity compression 3rd-level g729r8 router_down-voice-dialdefault entity compression 4th-level g723r53 则协商过程如下： （1） a与b匹配：a从自己的能力集中取出排在第一优先级的能力g729r8与 b比较，b从自己的能力集 g711a，g723r63，g729r8，g723r53中从前往后依次查找， 最终发现排在第三优先级的g729r8与之匹配，则本次匹配结束，得到匹配结果： resultab=g729r8。 （2） b与a匹配：b从自己的能力集中取出排在第一优先级的能力g711a与a 比较，a从自己的能力集g729r8，g711u，g723r63，g723r53中从前往后依次查找。 结果没有查找到与b的第一优先级能力g711a匹配的能力，本次匹配结束。b继续取 自己排在第二优先级的能力g723r63重复以上过程，这次匹配成功，得到结果， 杭州电子科技大学硕士学位论文 14 resultba=g723r63。 （3） 比较：resultab != resultba。 （4） 协商：result = max(resultab，resultba） 。 至于max(resultab，resultba）到底取哪个值，那要看协议栈中对于这两种能力 优先级的定义了。 2.2.1.3 打开逻辑通道（open logical channel） 音频和视频流在建立好的逻辑通道上传输， 每个逻辑通道承载从一个或多个发送 者至一个或多个接收者的信息流。 逻辑通道由一个对于每个传输方向而言是唯一的逻 辑通道序号标识。在图2.4中，终端192.168.21.171和终端192.168.21.164之间建立 的逻辑通道有4对（8个） ，分别发送一路音频（g711） 、两路视频（generic和 h263videocapability）和一路用于远端摄像头控制的数据流（h224） ，可以看到两台终 端各自向对方发送了四条打开通道消息（openlogicalchannel） ，然后各自收到了对方 的四条回复消息（openlogicalchannelack） 。只有双方都收到了对方的所有打开通道 消息的回复，并且所有的回复都是成功的，才标志着一次通话成功的建立了起来，接 下来可以通过建立的通道传输数据。 2.2.2 会话过程中的自适应机制 2.2.2.1 流量控制（flowcontrol） h.323协议提供的流量控制机制（使用flowcontrolcommand消息）可以改变收 发双方的带宽、帧率、图像格式等参数。具体的策略，需要应用软件层根据需求去制 定。 2.2.2.2 模式控制（requestmode） 在会议期间， 接收者可以使用requestmode消息请求发送者发送一个特定的模式 来修改通道结构、能力、接收模式等参数，正常情况下接收者必须接受该请求，该消 息的具体作用也可以由应用层去定制。 杭州电子科技大学硕士学位论文 15 2.3 h.323 视讯产品数据层自适应机制 2.3.1 rtp 协议分析 rtp协议28-32（real-time transport protocol 实时传输协议）由ietf(互联网工 程任务组)的多媒体传输工作小组于1996年在rfc 1889中公布。rtp用来为ip网上 的语音、图像等多媒体数据提供端到端的实时传输服务。 rtp最初就是为了满足多媒体多点会议的需要而设计的， 目前是视讯会议系统中 传输音视频流的主流协议。rtp协议的目的是提供实时数据的端到端传输服务， 因此 在rtp中没有连接的概念，它可以建立在底层的面向连接或面向非连接的传输协议 之上。rtp也不依赖于特别的网络地址格式，而仅仅只需要底层传输协议支持帧 （framing）和分段（segmentation）就足够了。rtp通常使用udp来进行多媒体数 据的传输，但如果需要的话可以使用tcp或者 atm等其它协议。严格的讲，rtp 是在传输协议之上作为应用程序的一部分加以实现的，如图2.5所示。 图 2.5 rtp 封装与分层 但是一般的观念中还是习惯把rtp协议看作传输层的一部分，为了和 h.225/ras/h.245/负责的信令层加以区分，本文引进数据层的概念来描述rtp/rtcp 协议负责的内容。 rtp报文也称rtp