（计算数学专业论文）基于internet的实时视频流的qos研究与应用.pdf

摘要 随着i n t e r n e t 技术的飞速发展和人们对i n t e r a c t 多媒体信息需求的不断增长， 基于i n t e m e t 的实时多媒体流传输技术引起了学术界和工业界的广泛关注。实时流 的传输通常对网络带宽、时延和丢包率有较高要求。然而，目前“尽力而为”的 i n t e r n e t 并没有对实时多媒体流提供任何保证服务质量( q o s ：q u a l i t yo f s e r v i c e ) 的 机制。基于i n t e m e t 的实时视频流的传输更是面临诸多挑战，因为它对实时性提出 f 了更高的要求。为此，本文从流媒体协议、视频数据压缩及应用层的q o s 控制三 个方面，对该问题进行了探讨。在流媒体协议和应用层的q o s 控制方面，我们探 讨了r t p r t c p 协议，并建立了基于r t p 的动态q o s 控制机制；在视频压缩方面： 我们研究了小波变换和多分辨率分析理论。基于多分辨率分析，我们对视频流进 行分层压缩，即：含细节部分的增强层( e n h a n c e m e n t l a y e r s ) 和含轮廓部分的基本 层( b a s e 1 a y e r s ) 。这样，在基于期、p 的动态q o s 控制机制下，服务端根据客户端的 要求f 图像清晰度优先或图像流畅性优先) ，依网络拥塞状况自适应调整视频数据发 送策略，确保低频层优先传送或传输较多的高频层信息。 关键词：因特网q o sr t p r t c p 协议小波变换多分辨率分析视频压缩 a b s t r a c t d u et ot h ee x p l o s i v eg r o v t ho ft h ei n t e r n e ta n di n c r e a s i n gd e m a n df o rm u l t i m e d i a i n f o r m a t i o no nt h ew e b ，r e a l t i m em u l t i m e d i as t r e a m i n go v e rt h ei n t e m e th a sr e c e i v e d t r e m e n d o u sa t t e n t i o nf r o ma c a d e m i aa n di n d u s t r y t r a n s m i s s i o no fr e a l t i m ev i d e o t y p i c a l l yh a sb a n d w i d t h ，d e l a y , a n dl o s sr e q u i r e m e n t s h o w e v e r , t h ec u r r e n tb e s t e f f o r t t n t e r n e td o e sn o to f f e ra n y q u a l i t yo fs e r v i c e ( q o s ) g u a r a n t e e st or e a l - t i m em u l t i m e d i a s t r e a m i n g r e a l t i m ev i d e os t r e a m i n go v e ri n t e m e tp o s e se v e nm o r ec h a l l e n g e s ，a si t h a su l o r e d e l a yr e q u i r e m e n t t oa d d r e s st h i sc h a l l e n g e ，t h i sp a p e rc o v e r st h r e ea r e a so f r e a l - t i m ev i d e os t r e a m i n go v e ri n t e r a c t ：p r o t o c o l sf o rs t r e a m i n gr e a l - t i m ev i d e o ，v i d e o c o m p r e s s i o n a n d a p p l i c a t i o n - l a y e rq o s c o n t r 0 1 i na r e a so f p r o t o c o l s a n d a p p l i c a t i o n l a y e rq o sc o n t r o l ，w ef i r s th a v eas t u d yo fr t p r t c pp r o t o c o l s ，t h e nw e p r e s e n ta m e c h a r t i s mb a s e d0 ni u ，f o r d y n a m i ca d j u s t m e n t o f q o s a s i nt h ea r e ao f v i d e oc o m p r e s s i o n ，w eh a v ear e s e a r c ho ft h e t h e o r y o fw a v e l e tt r a n s f o r ma n d m u l t i - r e s o l u t i o na n a l y s i s b a s i n go nt h et h e o r yo fm u l t i r e s o l u t i o n ，w ec o m p r e s s t h er a wv i d e os e q u e n c ei n t o l a y e r e dv i d e o ：l o w e rl a y e r sw h i c hc a nb ei n d e p e n d e n t l y c o d e da n dp r o v i d ec o a r s ev i s u a lq u a l i t y , h i g h e rl a y e r sw h i c hc a l la l s ob ei n d e p e n d e n t l y c o d e da n dp r o v i d eb e t t e rv i s u a lq u a l i t y t h eq u a l i t ya d a p t a t i o nm e c h a n i s ma d d sa n d d r o p sl a y e r so f t h ev i d e os t r e a ma c c o r d i n gt ot h ef l u c t u a t i n go ft h eb a n d w i d t h i fa l lt h e l a y e r sa r ef o r w a r d l i f t e dt oc l i e n tb u f f e r , w e w i l lh a v et h eh i g h e s tq u a l i t y v i d e o t h a ti s t h ei d e a l s i t u a t i o n , u s u a l l yac h o i c ew i l lb em a d e b e t w e e nh i g h e rq u a l i t yp h o t o sa n d c o n t i n u e sv i d e oa c c o r d i n gt ot h eb a n d w i d t ha n dt h ed e m a n do fc l i e n t k e yw o r d s ：i n t e r n e t ，q o s ，r t p r t c pp r o t o c o l s ，w a v e l e t t r a n s f o r m ， m u l t i - r e s o l u t i o n a n a l y s i s ，v i d e oc o m p r e s s i o n 第1 章流媒体技术 近年来，适应网络多媒体化的发展趋势，一种新兴技术应运而生，这就是遵守 特定网络协议的流媒体技术。流媒体是指采用流式传输方式在因特网上播放的媒 体格式，如音频、视频或多媒体文件，可广泛用于网上新闻发布、在线直播、网络 广告、远程教育、实时视频会议等，目前应用最直接的是网上直播。作为新一代 互联网的标志，宽带流媒体彻底改变了传统互联网只能表现文字和图片的缺陷， 而可集音频、视频及图文于一体。流媒体将成为未来互联网应用的主流，并将推 动互联网整体架构的革新。 1 1 流式传输 流式传输定义很广泛，现在主要指通过网络传送媒体( 如视频、音频) 的技术 总称。其特定含义为通过i n t e r n e t 将影视节目传送到p c 机。实现流式传输有两 种方法：实时流式传输( r e a l t i m es t r e a m i n g ) 和顺序流式传输( p r o g r e s s i v e s t r e a m i n g ) 。一般说来，如视频为实时广播，或使用流式传输媒体服务器，或应 用如r t s p 的实时协议，即为实时流式传输。如使用h t t p 服务器，文件即通过顺 序流发送。 1 1 1 序流式传输 顺序流式传输是顺序下载，在下载文件的同时用户可观看在线媒体，在给定 h , j 刻，用户只能观看已下载的那部分，而不能跳到还未下载的前头部分，顺序流 式传输不象实时流式传输在传输期间根据用户连接的速度做调整。由于标准的 h t t p 服务器可发送这种形式的文件，也不需要其他特殊协议，它经常被称作h t t p 流式传输。顺序流式传输比较适合高质量的短j 段，如片头、片尾和广告，【扫于 笙! 至鎏丛签堡查 该文件是无损下载的，这种方法傈证电影播放的最终质量。但用户在观看前，必 须经历延迟，对较慢的连接尤其如此。 顺序流式文件是放在标准( _ f t t p 或f t p 服务器上，易于管理基本上与防火 墙无关。顺序流式传输不适合长片段和有随机访问要求的视频，如：讲座、演说 与演示。它也不支持现场广播，严格说来，它是一种点播技术。 1 1 2 实时流式传输 实时流式传输指保证媒体信号带宽与网络连接匹配，使媒体可被实肘观看到。 实时流与h y t p 流式传输不同，他需要专用的流媒体服务器与传输协议。 实时流式传输必须配匹连接带宽，而且，出于出错丢失的信息被忽路掉，网 络拥挤或出现问题时，视频质量很差。实时流式传输需要特定服务器，如q u i c k t i m e s t r e a m i n gs e r v e r 、r e a l s e r v e r 与w i n d o w sm e d i as e r v e r 。实对流式传输还需 要特殊网络协议，如：r t s p ( r e a l t i m es t r e a m i n gp r o t o c 0 1 ) 或m m s ( m i c r o s o f t m e d i as e r v e r ) 。 1 2 流媒体技术原理 流式传输的实现需要缓存。因为l a t e r n e t 以包传输为基础进行断续的异步传 输，对一个实时a v 源或存储的a v 文件，在传输中它们要被分解为许多包，由 于网络是动态变化的，各个包选择的路出可能不尽相同，放到达客户端的时间延 迟也就不等，甚至先发的数据包还有可能后到。为此，使用缓存系统来弥补延迟 和抖动的影响，并保证数据包的顺序正确，从丽使媒体数据簏连续输出，丽不会 因为网络暂时拥塞使播放出现停顿。通常高速缓存所需容量并不大，因为高速缓 存使用环形链表结构来存储数掘：通过丢弃已经播敖舀f j 内容，流可以重新利用空 出的高速缓存空间来缓存后续尚未播放的内容。 流式传输的实现需要合适的传输m 议。由于t c p 需要较多的开销，故不太适 合传输实时数据。在流式传输的实现方案中，一般采用r t c p t c p 来传输控制信息， 而用r t p u d p 来传输实时 v 数据。 ，一 第1 章流媒体技术 流式传输的过程一般是这样的：用户选择某一流媒体服务后，w e b 浏览器与w e b 服务器之间使用i i t t p t c p 交换控制信息，以便把需要传输的实时数据从原始信息 中检索出来：然后客户机上的w e b 浏览器启动a vp l a y e r 程序，使用h t t p 从w e b 服务器检索相关参数对h e l p 程序初始化。这些参数可能包括目录信息、a v 数掘 的编码类型或与a v 检索相关的服务器地址。 a vp l a y e r 程序及a v 服务器运行实时流控制协议( r t s p ) ，以交换a v 传 输所需的控制信息。与c d 播放机或v c r s 所提供的功能相似，r t s p 提供了操纵播 放、快进、快倒、暂停及录制等命令的方法。a v 服务器使用r t p u d p 协议将a v 数据传输给a v 客户程序( 一般可认为客户程序等同于p l a y e r 程序) ，一旦a v 数据抵达客户端，a v 客户程序即可播放输出。 需要说明的是，在流式传输中，使用r t p u d p 和r t s p t c p 两种不同的通信协 议与a v 服务器建立联系，是为了能够把服务器的输出重定向到一个不同于运行 a vp l a y e r 程序所在客户机的目的地址。实现流式传输一般都需要专用服务器和 播放器，其基本原理如图i i 所示。 1 3 流媒体播放方式 1 3 1 单播 图i i 流式传输基本原理 在客户端与媒体服务器之间需要建立一个单独的数据通道，从一台服务器送 第1 章流媒体技术 出的每个数据包只能传送给一个客户机，这种传送方式称为单播。每个用户必须分 别剥媒体服务器发送单独的查询，而媒体服务器必须向每个用户发送所申请的数据 包拷贝。这利，巨大冗余首先造成服务器沉重的负担，响应需要很长时间，甚至停 止播放；管理人员也被迫购买硬件和带宽来保证一定的服务质量。 1 3 2 点播与广播 点播连接是客户端与服务器之间的主动的连接。在点播连接中，用户通过选 择内容项目来初始化客户端连接。用户可以开始、停止、后退、快进或暂停流。 点播连接提供了对流的最大控制，但这种方式由于每个客户端各自连接服务器， 却会迅速用完网络带宽。 广播指的是用户被动接收流。在广播过程中，客户端接收流，但不能控制流。 例如，用户不能暂停、快进或后退该流。广播方式中数据包的单独一个拷贝将发 送给网络上的所有用户。使用单播发送时，需要将数据包复制多个拷贝，以多个 点对点的方式分别发送到需要它的那些用户，而使用广播方式发送，数据包的单 独一个拷贝将发送给网络上的所有用户，而不管用户是否需要，这两种传输方式 会非常浪费网络带宽。另一种较好的方法是组播。 组播吸收了上述两年叶，发送方式的长处，克服了上述两种发送方式的弱点，将 数据包的单独一个拷贝发送给需要的那些客户。组播不会复制数据包的多个拷贝 传输到网络上，也不会将数掘包发送给不需要它的那些客户，保证了网络上多媒 体应用占用网络的最小带宽。采用组播方式，媒体服务器只需要发送一个信息包， 而不是多个，所有发出请求的客户端共享同一信息包。这样，单台服务器能够对 几十万台客户机同时发送连续数据流而无延时，且信息可以发送到任意地址的客 户机，减少了网络上传输的信息包的总量，网络利用效率大大提高，成本大为下 降。 第2 章多媒体通信的特点和对网络的要求 多媒体通信的特点是数据量大、实时性强i 严格要求同步且保证服务质量。 因此对网络提出了更高的要求。 2 1 多媒体网络通信的特点 1 多媒体数据量大 多媒体通信传输不仅是文体，而且是声、文、图、像一体化的多媒体信息。 其最大的特点是数据量比较大，特别是音频和视频数据。 2 实时性强但允许一定传输错误和丢失 多媒体数据中音频和视频数据是对时间敏感的连续媒体，这些信息只有在它 特定的时间范围内才有效，否则不仅无法接受而且会引起误解。但它允许出现一 定的传输错误及数据丢失。 3 ：对传输延迟或抖动的要求高 多媒体信息是连续性的媒体，在视频中，只有每秒连续传送大于3 0 帧，才使 人感觉到是连续的动态图像，如果某一帧的延时过大，人们就会感至有跳动的感 觉，而音频信号延迟如果大于2 5 0 m s 以上，人们就会感到抖动的声音。这在视频 传输过程中要求每一帧的采集、压缩、传输、解压缩、播放整个过程必须在3 3 m s 以内完成。 延时抖动( d e l a yj i t t e r ) 是视频数据要求以常数时间间隔播放每一帧，由于 某帧的延时波动的影响，有的帧先于其播放时间到达。而有的却滞后播放时间 到达，滞后的帧就失去意义，只能丢掉。而先到的要放入缓冲存储器存储起来， 等到播放时才能取出播放。时延波动越大，失帧数和缓存就越大。因此视频数据 传输中一定要控制它的延时抖动。 4 媒体间要严格同步 如上所述，音频和视频的多媒体数据是一种连续性和时间相关的媒体数据， 蓥2 重量搓签运篮塑挂盛塑整蟹鳖煎薹盛 不仅要求实时性，而且各媒体要求稳定的同步关系。某媒体不能连续就失去了 整个媒体的自然特征。 2 2 多媒体通信对网络的要求 多媒体网络通信的特点决定了网络为适应多媒体通信应该具有如下特点： 1 高速、宽带 由于多媒体数字化后的数据量非常大，多媒体数据的传输最重要的是要求网 络提供足够的带宽。当然，对视频信息进行压缩是必不可少的。 2 传输低时延和低抖动 多媒体通信中对网络的时延有苛刻的要求，如对通信要求时延低于2 5 0 m s ， 对交互式视频应用时延不能超过1 5 0 m s 。 3 良好的同步性 1 多媒体在网上传输时必须解决同步问题。由于对多种媒体进行处理、存储和 传输这就要求通信过程中从终端传输过程和终端播放过程对呈现的声、文、图 像多种信息都能平滑协调同步。以提供一种图文并茂视昕一体的综合信息。 4 良好的拥塞控制和网络管理功能 由于多媒体通信业务有突发性，当某一节点和传输通道瞬间业务量过载而发 生网络拥塞，网络应能自动进行选路控制，均衡业务量，从而保证多媒体信息能 可靠安全地传送。 6 提供q o s 保证 多媒体通信要求网络在各层都提供服务质量( q o s ) 保证，特别是网络层及以 下链路层和物理层各设备的q o s 支持。目前在a t m 网络中能比较好地提供各层 q o s 保证。 第3 章实时视频流在in t e r n e t 传输面临的。 q o s 挑战及目前的解决方案 如前所述，多媒体网络通信的特点决定了网络为适应多媒体通信应该具有一 些起码的要求，否则，服务质量( q u a l i t yo fs e r v i c e ，q o s ) 就得不到保证。不同 于在设计阶段就考虑到q o s 前a t m 网络，在现有的基于i p 的因特网上迸行实时的 视频通信是具有挑战性的。这主要是因为i p 网络只提供“尽力而为”( b e s t e f f o r t 的服务。这种服务对于数据通信是可以满足要求的，但是对于具有实时性要求的 视频业务这种服务为用户承诺的特性就显得太少了。同时，由于多媒体业务占 去了大量的带宽，势必会影响现有网络要保证的关键业务的可靠传输。在现有i p 网上传输实时视频流还面临着挑战。 解决这些阅题的最简单的办法当然是增大带宽。但是，由于这种方法代价高 昂，所以并不十分可行。并且，增加的带宽很快又会被大量的数据流淹没。于是， 基于现有网络状况的各种q o s 技术应运而生。 3 1q o s 的定义 i pq o s 是指i p 的服务质量，也是指i p 数据流通过网络时的性能。它的目的就 是向用户提供端到端的服务质量保证。它有一套度量指标，包括业务可用性、延迟、 可变延迟、吞吐量和丢包率： 业务可用性：用户到i p 业务之间连接的可靠性。 延迟：也称为时延( l a t e n c y ) 。指两个参照点之间发送和接收数据包的时 间间隔。 可变延迟：也称为抖动( j i t t e r ) ，指在同一条路径上发送的一组数据流 中数据包之间的时间差异。 吞吐量：网络中发送数据包的速率，可用平均速率或峰值速率表示。 丢包率：在网络中传输数据包时丢弃数据包的最高比率。数据包丢失一般 是由网络拥塞引起的。 第3 章q o s 挑战及目前韵解决方案 最简单地说，q o s 能够对数据包进行合理的排队，对含有内容标识的数据进行 优化，并对其中特定的数据包赋以较高的优先级，从而加速传输的进程，并实现 实时交互。由于每种应用系统对网络的要求有所不同，这使得带宽本身并不能解 决网络拥塞的问题。q o s 所追求的传输质量在于：数据包不仅要到达其欲传输的目 的地址，而且要保证数据包的顺序性、完整性和实时性。通过q o s ，网络可以按照 业务量的类型或级别加以区分，并能够依次对各级别进行处理。 3 2 尽力而为的l p i p 网结构的基本设计思想是将“智能”放在位于网络边缘的源和终点的主机 中，而使网络核心尽可能地傻”。在网络节点上的路由器其作用就是检查终点地址， 对照转发表决定如何进行i p 数据包的“下一跳”。如果排队等候转发的数据包很多， 数据包不能及时转发就会产生时延。如果排队器不够用，路由器可以丢弃数据包。 这就是i p 网的“尽力而为 ( b c s t - e e o a ) 型服务。 由于因特网应用的发展，用户快速增加，网络出现拥塞，随着便出现时延、 时延抖动乃至丢包等现象。这虽然对电子邮件、文件传输、w e b 浏览等典型的因 特网应用影响不大，但它显然不能满足话音、视频等实时业务的要求。 3 3 目前的解决方案 目前，解决基于i p 的多媒体流的q o s 问题主要有两种方案：基于网络和基于 终端。 3 3 1 基于网络的0 0 s 解决策略 i p 网络的建立的思路是先构造网络再开展多种业务。这样每增加一种业务， 都要占用一定的网络带宽资源，因此网络必然出现拥塞。一方面，排队时延对实 时业务造成质量下降：另一方面，因为排队超时的丢包导致质量下降。为了提高 网络的服务质量，必须对带宽进行有效管理，q o s 就是针对这种管理策略的协议。 第3 章q o s 挑战及目前的解决方案 q o s 本身并不增加带宽，只是对带宽进行有效的管理。目前基于网络的q o s 主要分 为二种： 资源预留管理( 综合服务i n t s e r v ) 根据申请，q o s 请求进行资源分配，根据带宽资源进行管理。资源预留协议 ( r e s o u r c er e s e r v a t i o np r o t o c o l ，r s v p ) 提供了这一弛管理机制。r s v p 请求沿数 据路径的每一个节点预约保留资源，这就要求核心路由器必须保持经过它的每一 个单个数据流的状态。这种方法不适用于非常短的数据流，而在因特网中这种非 常短的数据流又特别多。因此，尽管主要的路由器生产商和主机都支持r s v p ，它也 被广泛接受，但是它始终没有成为主流；原因是i s p 们不愿意采用它，很少有大 型网络采用它。 优先级管理( 区分业务d i f f s e r v ) 对网络上的数据流进行分类，划分优先级。i s p 或网络管理员可以根据价格、 应用的重要性或其他因素对不同的交通流提供不同水平的服务。d i f f s e r v 按照 预先决定的策略规则，数据流在网络盼进入点( 网络边界入口) 被加上标记，并 且按照标记进行选路，然后在网络输出点( 网络边界出口) 除去标记。 f 到目前为止，i p 网还在提供尽力厦为型服务，网上的网络资源是平等共享 的。采用d i f f s e r v 明显地偏离了因特网赖以成功的、基本的、简单的设计原则。 尽管没有人怀疑对i pq o s 和协议的需求，在因特网上增加对q o s 的支持还是引起 了一些人的顾虑。 3 3 ，2 基于终端的解决策略 基于网络的解决方法虽然在技术上简单有效，但是在实际工作时有相当的困 难：因为视频业务是端到端的服务，要求网络上的节点都支持q o s 通常是不可能 的。所以基于终端的q o s 策略是一个可行的方法。 第3 章q o s 挑战及目前的解决方案 基于终端的q o s 解决方案，必须要满足三个原则： 平滑的质量降级：当网络状态改变时，服务的图象质量的变化是平稳的： 有效性：充分使用带宽资源，当网络带宽资源下降时就降低输出图象码率；如 果带宽资源增加则加大输出图象的码流。 公平性：每一种应用在网络中公平享用带宽资源。 对于视频传输来说，重要的信道特性主要是端到端时延、可用带宽和包丢失率。 在端系统中主要采用缓冲调整的方式来解决时延抖动。对于可用带宽和包丢失的 处理，现在主要有速率控制和差错控制两种机制： 夺速率控制算法 速率控制算法的基本思想是：先估计网络的带宽资源，再调整编码的目标速 _ 率来适应网络的状态。基于速率的解决方案通常分为四类：基于收端、基于发端、 混合控制及速率整形。 基于发端的速率控制 通过调整发端的编码速率来适应网络的传输。如果传输码率和网络带宽相匹 配则包丢失率会大大下降。实现时通常需要有一个反向信道，从收端监测网络的 状态，把网络的状态信息反传给发端。发端根据网络状态信息进行编码速率调整。 可以采用试探的方法和模型法。 基于试探的方法是首先设定一个包丢失率的阈值p 。在收端检测包丢失率p ， 并将p 通过反向信道传回编码端，编码时可以采用以下的策略进行码率调整： 如果( p p i h )r = m i n ( r + a i r ) ，g a x r ) 如果( p p n )r - - m a x ( q r ) ，m i n r ) 其中r 是传输速率，p 是包丢失率，m a x r 和m i n r 是最大和最小传输速率。试探时， 采用的是线性递增乘性递减( a d d i t iv e i nc re a sem u l t ip l ic a t i0 n d e c r e a s e a i m d ) 的方法。 基于模型的方法是采用一模型来估计网络的带宽，主要是计算网络的t c p 吞 吐量，其中 是t c p 连接的吞吐量，m t p 是连接的最大包长。r t t 是包传一周的 1 0 第3 章o o s 挑战及目前的解决方案 所用的时间，p 是包丢失率。计算速率控制后的视频流能够象t c p 连接一样共享带 宽。 工；1 2 2x m 7 j r 刀p 基于收端的速率控制 收端根据网络状态增加或减少信道。主要用于分级的图象编码。在这种控制 方法中，编码部分本身并不作调整，只是在发送层参与调整。这种控制策略在组 播系统中工作得很好，而基于发端的速率控制主要用于单播的系统中。基于收端 的速率控制也采用试探的方法和基于模型的方法。这两种方法与上述基于编码端 的解决方法相同，只不过每一次发送的码率是以分级码流的级为单位进行调整。 混合的速率调整 编码器的发端根据反向信道的信息调整速率的同时收端增加或减少信道，其 目的是在组播时传送分级或不分级的图象。与基于发端的方法不一样的是，混合 方法采用了多信道而且每一个信道的速率不是固定的而是可以根据网络的拥塞状 况调整。 速率整形：速率整形的目的是将压缩后的码流适应网络的带宽限制。工作 在编码器和网络接口之间，不需要与编码器交互，所阻适应任何类型的编码器。 实现时通常有两种方法：一是面向传输策略，二是面向压缩策略。 面向传输的整形是发送码流在发送端选择性丢帧，主要是对网络带宽和收端 的q o s 进行智能判断。这样做有两个好处：一是全局的q o s 得到改善、节约带宽 资源；二是可以保留重要信息包。面向传输是根据人眼对高频的信息不很敏感的 特性，可以丢弃d c t 的高频系数。 夺差错控制机制 对于在包交换网络中的视频信号传输，包的丢失必定是影响视频效果的重要 因素，而在源端采用的编码方法的影响也是相当大的。如对于h 2 6 3 。h 2 6 1 或m p e g 中的编码方法，一个包的丢失可能会造成大量帧的质量下降，直到下一个帧内编 码的帧被正确接收为止。然而，在一个有一定程度拥塞的或低速的网络当中，接 第3 章q o s 挑战及目前的解决方案 收到两个帧内编码的帧的时间间隔也许会相当长。于是，人们提出了三种方法来 解决这一问题： 减少帧内编码的间隔，极端情况是一帧的间隔。在m o t i o n - m p e g 中采用这 个方法后，带宽的需求随之明显增大； 仅对那些变化量超过某- - f 限的块进行编码和传输； 同时使用帧内编码和帧间编码，而且对于帧内编码的问隔根据网络状况动 态地进行调整。 以上方法是通过调整帧内编码和帧间编码的帧的混合程度来使包丢失对视频 效果的影响最小化。还可以使用简单的包丢失恢复技术，如利用空域或时域的内 插在目的端进行丢包的恢复和视频的平滑。空域的恢复使用同一帧的邻近区域来 重新组建丢失的碎片：时域的恢复使用前一帧的相应区域来替代丢失的区域信息。 通过使源端或目的端自适应地调整自己的行为，调整视频业务通信量对网络 的需求和依赖来适应现有网络。虽然这样的方法并不能解决视频通信的根本问题， 但这样的方法的确在现有的实际应用中发挥了很大的作用。 第4 章实时传输与实时控制协议r t p r t o p 因特网一直主要用来提供可靠的数据传送服务。对数据的时延几乎没有什 么限制it c p i p 协议就是为这种类型的交通设计的，而且工作得很好。但当它用 来接收来自i p 的声音、电视或者要求时延很小的其他数据时，会使声音或者电视 的质量明显下降。实时传输协议( r e a l t i m et r a n s p o r tp r o t o c o l ，r t p ) ，实时控制协议 ( r e a l - t i m e c o n t r o lp r o t o c o l ，r t c p ) ，就是为实时多媒体在i p 上的应用而开发的协 议，并为基于终端的q o s 提供了实现的机制。 4 1r t p 协议 r t p 定义在r f c1 8 8 9 中，被定义为传输音频、视频、模拟数据等实时数据的 f 传输协汉，其目的是提供时间信息和实现流同步。与传统的注重的高可靠的数据 传输的运输层协议相比，它更加侧重的数据传输的实时性。此协议提供的服务包 括数据序列、时戳等。r t p 本身并不能为按顺序传送数据包提供可靠的传送机制， 也不提供流量控制或拥塞控制，它依靠实时传输控制协议r t c p 提供这些服务。 r t c p 和r t p 一起提供流量控制和拥塞控制服务。 4 1 1r t p 协议是如何工作的； 在前面说明过，威胁多媒体数据传输的一个尖锐的问题就是不可预料数据到 达时间。但是流媒体的传输是需要数据的适时的到达用以播放和回放。r t p 协议 就是提供了时间标签，序列号以及其它的结构用于控制适时数据的流放。 在流的撅念中“时问标签”是最重要的信息。发送端依照即时的采样在数据 包罩隐蔽的设鬣了时间标签。在接受端收到数据包后蜀尤依照时问标签按照正确的 速率恢复成原始的适时的数据。不同的媒体格式调时属性怒不一样的。但是r t p 本身并不负责同步r t p 只是传输层协议，为了简化了运输层处理，提高该层的 效率。将部分运输层协议功能( 比如流量控制) 上移到应用层完成。同步就是属 一筮重塞盟焦箍复塞盟撞剑垃这盟里旦竖g 里 于应用屡协议完成的。它没有运输层协议的完熬功膛，不提供任何机制来保证实 时地传输数据。不支持资源预留，也不保证服务质量。r t p 报文甚至不包括长度 和报文边界的描述。同时r t p 协议的数据报文和控制报文的使用相邻的坷；同端口， 这样大大提高了协议的灵活性和处理的简单性。 r t p 协议和u d p 二者共同完成运输层协议功能。u d p 协议只是传输数据包， 是不管数据包传输的时间顺序。r t p 的协议数据单元是用u d p 分组米承载的。在 承载r 1 1 p 数据包的时候，有时候一帧数据被分割成几个包具有相同的时间标签， ! i ! j 可以知道时间标签并不是必须的。而u d p 的多路复用让r t p 协议利用支持显式 的多点投递，可以满足多媒体会话的需求： r 1 1 p 协 义虽然是传输层协议但是茁没有作为o s i 体系结构中单独的一层来实 现。r t p 协议通常根据个具体的应用来提供服务，r t p 只提供协议框架，开发 者可以根据应用的具体要求对协议进行充分的扩展。目前，础曙的设计和研究主 要是用来满足多用户的多媒体会议的需要，另外它也适用于连续数据的存储，交 互式分布仿真和一些控制、测量的应用中。基于r t p 的实验和商业产品也层出不 穷。 在r t p 会话期间，各参与者周期性地传送r t c p 包。r t c p 包中含有已发送的 数据包的数量、丢失的数据包的数最等统计资料，因此，服务器可以利用这些信 息动态地改变传输速率，甚至改变有效载荷类型。r t p 和r t c p 配合使用，它们 能以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网上的实时 数据。 r t p 提供端对端网络传输功能，适合通过组播和点播传送实时数据，如视频、 音频和仿真数据。r t p 没有涉及资源预订和质量保证等实时服务，r t c p 扩充数据 传输以允许监控数据传送。提供最小的控制和识别功能。r t p 与r t c p 设计成独 立传输和网络层。 使用r t p 协议的应用程序运行在r t p 之上，而执行r t p 的程序运行在u d p 的 上层，目的是兹了使用0 d p 的端口号和检查和。如图4 - 1 所示。r t p 可以看成是传 筮! 童塞盟篮捡量塞盟建剑垃丝墼里翌塑 输层的子层。由多媒体应用程序生成的声音和电视数据块被封装在r t p 信息包中， 每个r t p 信息包被封装在u d p 消息段中，然后再封装在i p 数据包中。 从应用开发人员的角度来看，可把r t p 执行程序看成是应用程序的一部分， 因为开发人员必需把r i t e 集成到应用程序中。在发送端，开发人员必需把执行r t p 协议的程序写入到创建r t p 信息包的应用程序中，然后应用程序把r t p 信息包发 送到u d p 的套接接口( s o c k e ti n t e r f a c e ) ，如图4 2 所示；同样，在接收端，r t p 信息包通过u d p 套接接口输入到应用程序，因此开发人员必需把执行r t p 协议的 程序写入到从r t p 信息包中抽出媒体数据的应用程序。 l t c p i p 模型 应用层( a p p l i c a t i o n ) 传输 r t p 层 u d p i p 数据链路层( d a t ali n k ) 物理层( p h y s i c a l ) 图4 1r t p 是传输层上的协议 现以用r t p 传输声音为例来说明它的工作过程。假设音源的声音是6 4k b s 的p c m 编码声音，并假设应用程序取2 0 毫秒的编码数据为一个数据块( c h u n k ) ， 即在一个数据块中有1 6 0 个字节的声音数据。应用程序需要为这块声音数据添加 r t p 标题生成r t p 信息包，这个标题包括声音数据的类型、顺序号和时间戳。然后 r t p 信息包被送到u d p 套接接口，在那里再被封装在u d p 信息包中。在接收端，应 用程序从套接接i z l 处接收r t p 信息包，并从r t p 信息包中抽出声音数据块，然后 使用r t p 信息包的标题域中的信息正确地译码和播放声音。 墓! 童塞盟篮堑里塞堕塑型坯这垦蟹自鳗堡 4 2 r t p 控制协议一r t c p r t c p ( r e a l t i m e t r a n s p o r t , c o n t r o lp r o t o c 0 1 ) 是设计和r t p 一起使用的进行 流量控制和拥塞控制的服务控制协议。 t c p i p 模型 应用层( a p p l i c a t i o n ) r t p 一+ l 套接接口 u d p i p 数据链路层( d a t al i n k ) 物理层( p h y s i c a l ) 图4 - 2r t p 和u d p 之间的接口 4 2 1r t c p 协议如何工作： 当应用程序开始一个r t p 会话时将使用两个端口：一个给r t p ，个给 r t c p 。r t p 本身并不能为按顺序传送数据包提供可靠的传送机制，也不提供流 量控制或拥塞控制，它依靠r t c p 提供这些服务。在r t p 的会话之间周期的发 放一些r t c p 包以用来传监昕服务质量和交换会话用户信息铸功能。r t c p 包中 含有已发送的数据包的数量、丢失的数据包的数量等统计资料。因此，服务器可 以利用这些信息动态地改变传输速率，甚至改变有效载衙类型。r t p 和r t c e 配 合使用，它们能以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传 送刚上的实时数据。根据用户问的数据传输反馈信息，可以制定流量控制的策略， 丽会话用户信息的交互。可以制定会话控制的策略。 r t c p 协议处理机根据需要定义了五种类型的报文 1 6 筮重塞盟佳捡皇塞堕蕉剑地邀盟强 r r ：r e c t ：l v e rr e p o r t s r ：s e n d e r r e p o r t s d e s ：s o u r c ed e s c r i p f i o hi i e l u s b y e ：i n d i c a t es e n do f p m t i c i p a t i o n a p p ：a p p l i c a t i o ns p e c i f i cf i l n e f i o n s 它们完成接收、分析、产生和发送控制报文的功能。 r t c p 协议将控制包周期发送给所有连接者，应用与数据包相同的分布机制。 低层协议提供数据与控制包的复用，如使用单独的u d p 端口号。r t c p 执行下 列四大功能： 主要是提供数据发布的质量反馈。是作为r t p 传输协议的一部分，与其他 传输协议的流和阻塞控制有关。反馈对自适应编码控制直接起作用，但i p 组播 经验表明，从发送者收到反馈对诊断发送错误是致关重要的。给所有参加者发送 接收反馈报告允许问题观察者估计那些问题是局部的，还是全局的。诸如i p 组 播等发布机制使网络服务提供商类团体可能接收反馈信息，充当第三方监控者来 诊断网络问题。反馈功能由r t c p 发送者和接收者报告执行。 r t c p 带有称作规范名字( c n a m e ) 的r t p 源持久传输层标识。如发现冲突， 程序重新启动，既然s s r c 标识可改变，接收者需要c n a m e 跟踪参加者。接收 者也需要c n a m e 与相关r t p 连接中给定的几个数据流联系前两种功能要求 所有参加者发送r t c p 包，因此为了r t p 扩展到大规模数量，速率必须受到控 制。让每个参加者给其它参加者发送控制包，就大独立观察参加者数量。该数量 用语计算包发送的速率。 第四个可选功能是传送最小连接控制信息，如参加者辨识。最可能用在“松 散控制”连接，那里参加者自由进入或离开，没有成员控制或参数协调，r t c p 充 当通往所有参加者的方便通道，但不必支持应用的所有控制通讯要求。 在i p 组播场合应用r t p 时，前3 个功能是必须的推荐用于所有情形。r t p 应用设计人员必须避免使用仅在单播模式下工作的机制，那将导致无法扩展规模。 ：筻! 童塞盟佳箍曼塞吐撞剑迹邀醚里盟 4 2 2r t c p 传输间隔 r t p 设计成允许应用自动扩展，连接数可从几个到上千个。例如，音频会议 中，数据流量是内在限制的，因为同一时刻只有一两个人说话；对组播，给定连 接数据率仍是常数，独立于连接数。但控制流量不是内在限制的。如每个参加者 以固定速率发送接收报告，控制流量将随参加者数量线性增长，因此，速率必须 按比例下降。 一旦确认地址有效，如后来标记成未活动，地址的状态应仍保留，地址应继 续计入共享r t c p 带宽地址的总数中，时间要保证能扫描典型网络分区，建议为 3 0 分钟。注意。这仍大于r t c p 报告间隔最大值的五倍。 这个规范定义了除必需的c n a m e 外的几个源描述项，如n a m e ( 人名) 和 e m a i l ( 电子邮件地址) 。它也为定义新特定应用r t c p 包类型的途径。给附加信 息分配控制带宽应引起注意，因为它将降低接收报告和c n a m e 发送的速率而损 f 害协议的性能。建议分配给单个参加者用于携带附加信息的r t c p 带宽不要超过 2 0 。而且并没有有意让所有s d e s 项包含在每个应用中。 4 2 3 发送者与接收者报告 r t p 接收者使用r t c p 报告包提供接收质量反馈，报告包根据接收者是否是发送 者而采用两种格式中的一种。除包类型代码外，发送者报告与接收者报告间唯一的 差别是发送者报告包含一个2 0 个字节发送者信息段。如某地址在发出最后或前一个 报告间隔期间发送数据包，就发布s r ：否则，就发出r r s r 和r r 都可没有或包括 多个接收报告块。发布报告不是为列在c s r c 列表上的起作用的源，每个接收报告块 提供从特殊源接收数据的统计。既然最大可有3 1 个接收报告块嵌入在s r 或r r 包 中， 。 丢失包累计数差别给出间隔期间丢掉的数量，而所收到扩展的最后一个系列号 的差别给出间隔期间希望发送的包数量，两者之比等于经过间隔期间包丢失百分比。 ： ：筮童塞鲢焦逾生塞吐丝剑迹丛基婴担塑 如两报告连续比值应该等于丢失段部分：否则，就不等。每秒包丢失绿可通过n