（信号与信息处理专业论文）基于h264可分级扩展的无线视频传输研究.pdf

上海大学硕士学位论文 摘要 h 2 6 4 是r r u - t 和i s o 联合推出的新标准，采用和发展了近几年来视频编 码方面的先进技术，以较高编码效率和网络友好性而著称。h 2 6 4 可分级扩展 ( s v c ) 是其扩展部分，目前仍处于制订过程中，但其主体框架已基本确定。 s v c 提供了高性能的可分级编解码系统，它能够同时适应各种不同的应用环境， 最大限度的利用网络带宽。由于无线信道具有时变、误码率高以及网络带宽资 源有限等特点，在无线信道中传输h 2 6 4 视频流具有不同的特点。本文着重研 究h 2 6 4 和s v c 视频流在无线网络中传输的应用问题。 随着无线通信技术的发展和h 2 6 4 视频编码标准的应用推广，如何使h 2 6 4 视频数据在无线网络中可靠的传输成为近年来研究的热点。对此，本文采用的 方案为：利用h 2 6 4 提供的容错编码技术，结合无线信道的特性，在编码端采 用帧内更新，在无线信道中采用基于r s 码的前向纠错保护( f e c ) 和在解码端 采用错误隐藏技术来对抗无线信道的丢包现象。经仿真实验表明，该方案在端 对端的无线视频传输中取得较好的效果。 在完成h 2 6 4 视频在无线信道中传输后，我们将其扩展到i s o i e c 组织和r r u 组织最近联合制定的h 2 6 4 可分级扩展上，s v c 和前向纠错保护不等保护 ( f e c u e p ) 可以有机的结合在一起，使视频质量有效地提高。在深入的分析了 $ v c 码流结构基础上，本文提出了一种新的不等保护措施，即不再仅仅根据帧 的时间优先级或者质量优先级来进行不等保护，而是结合时域、空域、信噪比分 级来进行保护。我们把增强层数据的优先级重新进行细分，在无线信道中，根据 增强层中各不同层数据丢失后对解码端视频质量的影响，定义优先级量来描述其 重要性，根据重要性不同划为不同保护类，并相应的提供不同的保护措施。仿真 实验表明，此方案取得了良好的效果。 关键词：h 2 6 4 ，s v c ，无线网络，视频传输，f e c ，u e p v 上海人学硕上学位论文 a b s t r a c t h 2 6 4i san e wv i d e oc o & cs t a n d a r da c c o p t e db y u ta n di s o w i f l i c ha d o p t s m a n ya d v a n c e dt e c h n o l o g i e sa n dd e v e l o p st h e mi n v i d e oc o d o c , a n db e c o m e s f a m o u sf o ri t sh i g h e rc o d i n ge f f i c i e n c ya n db e t t e rn e t w o r kf r i e n d l y s h i pt h a no t h e r s a l s o ，s c a l a b l ev i d e oc o d i n g ( s v c ) i st h en e w e s te x t e n s i o np a r to fh 2 6 4 ，w h i c hi s d e v e l o p i n gb yi s o i e ca n d u a l t h o u g ht h i sp r o j e c ti ss t i l li np r o c e s s y e tt h e m a i nf r a m eh a sb e e ne s t a b l i s h e d s v cp r o v i d e sah i g hp e r f o r m a n c es y s t e mo f s c a l a b l ec o d i n g , i tc a ns u i ta l ld i f f e r e n tk i n do fa p p l i c a t i o ne n v i r o n m e n t s ，a n dm a k e b e t t e ru s eo f n e t w o r k s b e c a u s eo f w i r e l e s sn e t w o r k sc h a r a c t e r i s t i co f t i m ev a r i a t i o n , h i 曲b i t t r o tr a t ea n dl i m i t e db a n d w i d t h , h 2 6 4v i d e ot r a n s m i s s i o ni nw i r e l e s s n e t w o r kh a ss o m es p e c i a lp o i n t s t h i st h e s i sf o c u s e sa l lo u ra t t e n t i o n s0 1 1 a p p l i c a t i o n ss t u d i e so f t r a n s m i s s i o nh 2 6 4v i d e od a t ai nt h ew i r e l e s sn e t w o r k s w i t ht h ed e v e l o p m e n to fw i r e l e s st r a n s m i s s i o nt e c h n o l o g ya n di n c r e a s i n g l y e x t e n s i v ea p p l i c a t i o n sf o rt h en o we m e r g i n gv i d e o c o d i n gs t a n d a r d , r e l i a b l e t r a n s m i s s i o no fh 2 6 4v i d e od a t ai nw i r e l e s sn e t w o r ki sn o war e s e a r c hh o t s p o t w e p r o p o s eas o l u t i o nf o ri t , t h ek e yt e c h n o l o g i e sa r ea sf o l l o w s ：d e p e n do nt h e c h a r a c t e r so fw i r e l e s sn e t w o r k s ，s e l e c tp r o p e ro n o rr e s i l i e n tm e t h o d sa v a i l a b l eb y h 2 6 4 ，i ne n c o d ep a r t , u s i n gp e r i o di n t r a - u p d a t i n g , u s i n gf o r w a r de r r o rc o n c e a l m e n t ( f e c ) b a s eo nr sc o d ei nw i r e l e s sn e t w o r k sa n de r r o rc o n c e a l m e n ti nd e c o d ep a r tt o h a n d l et h ee x p e c t e dp a c k e t sl o s s e sf o rp a c k e t sv i d e oc o d i n ga n dt r a n s m i s s i o no v e r w i r e l e s sn e t w o r k t h ee x p e r i m e n tr e s u l t ss h o w st h a tt h i sm e t h o dg e tag o o de f f e c t a n d 锄s i g n i f i c a n t l yi m p r o v e de n d - t o - e n dv i d e ot r a n s m i s s i o no v e rp a c k e tl o s s y n e t w o r k s a f t e rc o m p l e t e dt r a n s m i s s i o nf o rh 2 6 4v i d e od a t ai nw i r e l e s sn e t w o r k , w e e x t e n di tu s i n gh 2 6 4e x t e n s i o np a r t - s v c ，u n e q u a le a a s u r ep r o t e c t i o n ( u e p ) c a nb e n a t u r a l l yc o m b i n ew i t ht h es c a l a b l ee x t e n s i o n so f h 2 6 4 ，w h i c hc a nb es i g n i f i c a n t l y e n h a n c e dt h ee f f i c i e n c yo f n e t w o r kd e l i v e r y a f t e ri n - d e p t ha n a l y z e dt h es t r u c t u r eo f v i 塑查兰堡主兰竺丝苎 s v cc o d e ds t r e a m , w e p r o p o s e a s c h e m e ：f , d f t h o r p a r t i t i o ne n h a n c e d m e n tl a y e r , a n a l y z et h ei m p a c to f e a c hl a y e rt oe r r o rp r o p a g a t i o n , t h e na p a r a m e t e ri sd e f i n e da sa p r o t e c tp r i o r i t y , w i t ht h ed i f f e r e n tl e v e lo f p r i o r i t y , w eu d i f f e r e n tp r o t e c tl e v e l w h i c hs h o w sb e n e f i t sc o m p a r e dt op r o t e c t e do n l yb y t e m p o r a lp r i o r i t yo rq u a l i t y p r o r t y t h es c h e m ea l l o w sp r o t e c t i o no v e ral a r g e rr a n g eo f e r r o rr a t e sc o m p a r et o e q u a le r r o rp r o t e c t ( e e p ) k e y w o r d s ：h 2 6 4 ，s v c ，w i r e l e s sn e t w o r k sv i d e ot r a n s m i s s i o n ，f e c ，u e p v i i 上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：茸罅日期：，h 醯皇：壁 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：雠导师签名理匾生日期理兰呈 n 上海大学硕上学位论文 1 1 课题来源 第一章绪论 本课题主要来源于两个方面，一是上海市信息办的信息化基金资助项目“数 字音视频终端接收方法的研究”，项目编号：沪c x 2 0 0 2 0 0 1 7 。二是作者本人跟 随导师参与的工程项目：上海大学新校区视频图像实时传输与控制系统部分项 目。 1 2 课题研究的目的和意义 随着无线网络技术、传输技术和视频压缩技术的发展，无线多媒体应用越 来越成为需要。无线网络视频广泛应用于智能手机、p d a 、机顶盒等无线设备。 一方面，视频在无线信道中传输需要压缩，例如p a l 制视频序列，如果每个像 素用2 4 b i t 来表示，在没有压缩的情况下，需要3 0 m s 的传输速率，这在现有的 无线传输技术中几乎不可能达到；另一方面，高压缩后的视频对传输错误非常 敏感，对没有差错保护的视频，在丢包率仅为1 的无线信道下，视频质量也大 大降低。而由于无线信道的不可靠性和带宽波动以及视频应用的高数据和实时 性，视频在无线信道中传输不可避免的会发生错误，视频在无线信道中传输遇 到新的挑战。 1 3 问题的提出及目前国内外的研究现状 1 3 1 问题的提出 综上所述，必须施加某些措施在无线信道出错不可避免的情况下使接收端 视频质量最优，因此本文研究的问题是：高压缩的视频数据如何在无线信道中 有效的传输。这里的有效不是指视频完全正确的送到接收端，而是指能够在错 误不可避免下，运用差错控制技术，使终端用户能够接收到比较满意的视频质 上海大学硕士学位论文 量。 1 3 2 国内外研究概况 视频在无线信道中有效传输研究一直是视频传输研究的热点，国内外在这 个方面研究的很多，主要解决方案分为三大类：信源编码级技术、无线信道传 输级技术和解码端技术，前两者主要是用于发送端，目的是尽量缓解传输错误 对解码端视频质量的影响，第三类主要是用于接收端对错误进行隐藏等。应用 的差错控制机制主要包括：前向纠错不等保护、重传、容错性编码和错误隐藏 等。 信源编码级方法根据技术在编码端所起的作用，可以分为可调码率编码和 抗差错编码技术。可调码率编码是使视频在信道中码率具有可调节性，可调码 率编码又可以分为在线和离线两种，在线的可调码率编码也称为自适应编码， 它的主要思想是根据信道条件调整编码器的参数，通常由发送端根据接收端的 反馈和信道状况来确定发送的码率，通常改变编码器的量化参数( q p ) 或者帧 率来生成适当的码流。自适应编码能够适应网络的带宽变化，但是它对服务器 的要求很高，当用户增加时服务器的开销会很大【1 】f 2 】。离线方式也就是可分级编 码，它的主要思想是把码流分层一个基本层码流和多个增强层码流，通过得到 不断增加的码流来提高解码端视频质量。可分级编码具有很强的网络带宽适应 能力，在实际应用中系统复杂性低，因此这也是本文研究的重点，将在后面详 细阐述。在抗差错编码技术方面，【3 】全面介绍了h 2 6 4 视频在口网络上传输的 情况，详细说明了h ，2 6 4 容错编码技术以及适用情况，并做了大量仿真； 4 1 1 5 1 描述了基于率- 失真( r d ) 的帧内帧间编码切换策略，但是这种系统设计非常 复杂，降低了编码效率，而且对无线信道中丢包的有效性也待证明。 传输级错误控制技术主要包括前向纠错和自动重发。前向纠错的基本思想 是在传输数据的同时伴随着校验数据，接收端可以利用这些冗余信息来恢复信 道中产生的错误。【6 】在编码端采用基于帧交织的j 醛编码算法来对抗无线信道中 丢包，但是这带来了很大的延时。【刀描述采用帧内更新结合f e c 的方法来对抗 无线信道不同长度的突发错误，实验表明这种方案取得了良好效果。在s v c 无 2 上海大学硕士学位论文 线传输方面，【8 】根据时域优先级，运用不等保护( u e p ) 对分级视频流进行保 护，唧提出结合时间和质量分级，采用2 维不等保护( 2 du e p ) 方案，实验表 明该方案要优于比l 维不等保护，i 州描述对s v c 码流在链路层的管理，根据不 同用户的需要，对不同优先级数据进行删除的方案。自动重传是一种闭环错误 控制，被认为比前向纠错具有更高的错误恢复能力【“】，但是自动重传引起了额 外的延时。 在接收端，按照处理对象的不同，错误隐藏可以分为三类：空域隐藏、频 域隐藏和时域隐藏。 1 2 1 全面分析无线信道中一些错误隐藏算法的方法，并作了 比较， 1 3 1 1 采用平滑、差值等手段根据周围空域的信息来恢复错误区域，空域 方法能够很好的保持图像边缘特性但对于图像纹理区域处理过于简。频域隐藏 的基本思想是通过周围数据块( 例如8 x 8 ) 的频域数据估计当前受损块的频域系 数，从而能够保留一定的纹理特性【”1 1 1 6 1 。时域隐藏是根据图像的编码类型和预 测残差来选择不网的隐藏策路( 例如空域插值和时域运动补偿等) 的一种有效的 错误隐藏手段。 1 4 研究的主要内容及耳标 1 4 1 关于h 2 6 4 的选择 受无线带宽资源和传输能力的限制，目前的用户多是按流量支付费用的方 式使用无线网络的数据服务，故提高压缩效率应是无线视频和多媒体应用的主 要目标，而h 2 6 4 视频编码器产生的码流以高压缩性能使其更适合在资源受限 的无线通信系统中传输，这也是目前将h 2 6 4 引入到用于无线视频通信系统中 需研究的问题之一。 1 4 2 目标 在现有的工作基础上，利用国内外已有的研究成果，分别对h 2 6 4 、s v c 视频流，提出一套适合在无线信道中传输的视频传输系统，使接收端视频质量 最优化。 3 上海大学硕士学位论文 1 5 论文主要研究成果 本文的研究成果可归纳如下，在分析h 2 6 4 和s v c 码流的基础上提出了： 对于h 2 6 4 ，设计了一套适合于无线信道传输的h 2 6 4 视频容错编解码 系统。在分析了无线信道特性的基础上，编码端我们运用帧内更新和 s l i c e 结构的容错技术，在传输时采用f e c 保护方法对h 2 6 4 视频进行 保护，在解码端采用错误隐藏的方法对接收到的视频进行解码，并对 整个系统控制作了说明。 对s v c ，在分析了s v c 码流的基础上，综合考虑了时域、空域、s n r 可分级的优先级，对增强层数据的重要性重新细分，在无线信道中， 根据不同的编码层数据丢失后对解码端视频质量的影响，我们定义参 数来描述其优先级的高低，并划为不同的保护类，相应的提供不同的 保护级别。在此基础上，我们对u e p 的r t p 封装格式和整个传输系统 作了修改，使其适合在无线信道中传输。 1 6 本文章节安排 本文研究的是无线视频可靠性传输问题，因此在分析无线信道的特性基础 上，对不同的视频编码方式我们采用不同的保护方案。本文余下各章安排如下： 第二章h 2 6 4 视频在无线信道中传输应用。首先介绍了无线信道的模型， h 2 6 4 码流结构以及传输协议，然后介绍了h 2 6 4 容错编码技术，并提出了适 合无线信道的容错编码选择方案。 第三章h 2 6 4 在无线信道中传输。首先简要介绍h 2 6 4 在无线信道中传 输的情况，然后再详细说明本文设计的传输系统，最后对系统做了仿真，实验 表明取得了比较好的效果。 第四章h 2 6 4 可分级扩展在无线信道中传输。首先简单介绍s v c 编码的 原理、不等保护的打包设计，然后提出基于不同优先级层的不等保护方案方法， 在此基础上对打包方式和整个系统结构作了修改，最后做了仿真实验，并对其 和传统的不等保护方案进行比较。 4 上海大学顽l 学位论文 第五章总结与展望。在对本文总结的基础上，提出了本文尚需完善的后续 工作及对未来研究工作的展望。 5 上海人学硕士学位论文 第二章h 2 6 4 基于无线信道应用的基础 2 1 无线信道的信道模型 要实现无线视频传输，首先要了解无线信道的传输特性。在数字无线通信 系统中，多路径快衰落效应造成的无线信道突发误码是影响通信质量的主要原 因。研究无线信道的差错统计特性是进行视频编码、系统设计的主要依据。 关于信道模型，早在八十年代l k i t t e l 等人先后提出了b s c 和g e c 模型7 】， 后有人提出多状态群m a r k o v 概率模型【l 引。大量现场实验表明，无线信道是以 长突发误码为主的混合信道，具有差错统计特性，长突发误码的幅度衰落符合 r a y l e i g h 分布。下面总结了在理论研究和系统仿真中经常使用的几种无线信道 模型。 2 1 1m a r k o v 概率模型 设编码信道输入序列c = 岛，q ，c 2 ) ，输出序列r = t o , ，吃) ，差错序列 e = e o ，e l ，e 2 ，则有关系式e = r c ，若e 中所有取值都为i ，则表示均是误 码，可见，e 反映了信道受干扰的程度。 为了建立信道误码模型，我们定义：无误码串分布函数g ( 露) 。在序列e = 中，连续无误码元0 的个数| ，为一个长度为k 的无误码串，g ( 七) 表示 岛) 中一 个“l ”后连续k 个0 的条件概率：g ( j ) = p ( o k 1 ) 。 分群m a r k o v 概率模型建立了g ( 七) 和误码率之间的关系。模型由n 个状 态组成，可分成2 个群：无误状态群为以) 中“0 ”态；有误状态群为 白 中“l ” 态，如图2 1 所示。 6 上海大学硕上学位论文 p m 图2 1n 状态分群m a r k o v 概率模型 m a r k o v 模型个状态之问转移概率矩阵p 为： p = 式中岛是第f ln l 00 a 1 0 仍2 0 易 li00 ； l 00 p s l _ 一ip m - p f lp n t p m n p 。q 状态到第，状态的转移概率。 g ( 后) = ( 助) “1 p ( 2 1 ) 而无误码串分布函数g ( k 1 为： ( 2 2 ) 则误码率为： = ( 1 + p a , , p u ) 。1 ( 2 3 ) 利用级数展开可以g ( k ) 展开为解析表达式。通过g ( k ) 可以求得p 矩阵参数，进 而获得信道误码概率等信道特性。 2 1 2g i l b e r t 模型 g i l b e r t 模型【9 1 1 2 0 1 实际上就是一个两种状态的m a r k o v 模型，利用这种模型去 模拟网络中的误码状态可以很好的获得连续误码。假定整个数据可以被表示为一 个二进制时间序列 而 二，其中而为“1 ”表示第，个没有误码，若为“0 ”则表 示存在误码。这样状态置就是一个取决于前一个状态墨一。的随机过程，两种状态 之间的转移概率如下： p 2 p 【置2 u x , 一- 2 0 】 ( 2 4 ) 7 上海大学硕士学位论文 q = 尸【置= o 耳，= 1 】 ( 2 5 图2 2g i l b e r t 模型 实验证明p 和g 的最大可能性估计分别为，= 嘞l 和g = 吩o 啊，这里l 表示被观察时间序列从“0 ”变到“l ”的次数，和啊分别表示序列中“0 ”和 “l ”的个数，则存在误码的概率为： = 妥 ( 2 6 ) p + g 以上介绍的都是数据链路层的信道模型，这一类的模型都有一个共同的特 点，就是不考虑无线信道所具有的物理特征，都从数据在无线信道传输中误码 的概率出发，利用概率统计的方法进行无线信道的模拟。 2 2h 2 6 4 在无线信道中的应用 2 2 1 视频传输协议 珥网络当前有三种方式：无管理的球网络( i n t o m e t ：是这种方式的最突出的例 子) 、有管理的口网络( 如广域网) 以及基于第3 代移动网络的无线i p 网纠2 ”。在 进行无线视频传输时，通常使用t f ( h l t e r n e te n g i n e e r t a s kf 0 r 嘞推荐r t p l 2 2 1 1 2 3 1 及其伴生协议r t c p ( r t pc o n t r o lp r o t o c 0 1 ) 来完成实时的视频数据传输。 1 ) r t p r t p ( r e a l - - t i m e t r a n s p o r tp r o t o c 0 1 ) 是在p 互联网上传输数字音频或视频信 号所使用的协议。该协议可基于多播或单播网络提供端到端的实时数据传输， 是用来解决实时通信问题的一种技术方案训2 5 】。 s 上海大学硕上学位论文 0238 1 6 3 1 ( h i 0 v e rpxc cmp t y p e 序列号 时i 日j 戳 同步源标识符 第一个参与源i d 最后一个参与源i d r t p 在u d p 协议上运行。每条报文都封装在u d p 数据报中。虽然t c p 比 u d p 更为可靠，但其数据重传机制很容易导致网络拥塞，从而破坏连续媒体的 实时性和等时性。使用u d p 的另一个优点是其并发性，即单个计算机可以有多 个使用r t p 的应用程序，而不会相互干扰。通常情况下，r t p 选择偶数的u d p 端口号。 ( a ) r t p 报文格式 表2 1r t p 撤文首部格式备参数的含义 参数含义 v e r ( 2 b i t ) 表示r t p 的版本，当前的版本号为2 t i p v e r = 2 。 p ( 1 b i t )用于指定在有效载荷后是否补零填充，在加密要求把数据分 配在固定大小的块时使用它。 x ( 1 b i 0如果应用程序类型允许扩展，则该位用于指定分组中是否有 扩展。 c c ( 4 b i o 给出参与源的数目，最多时可以列出1 5 个源。 m ( 1 b i t ) 标记位，取决于具体的应用程序。 p t y p e ( 7 b i t )有效载荷字段，指定了r t p 数据报的载荷格式及编码压缩方 法。常见的类型有p c m 、m p e g l m p e g 2 、j p e g 视频和h 2 6 1 视频流等，用户可以根据需要自行定义，首部中大多数其他 字段的解释要依赖于该字段的具体指定。 序列号( 1 6 b i t )包含分组的序号，初始值是随机产生的，随后每发送一个r t p 9 上海大学硕士学位论文 数据报序列号便增加l 。接收端可以通过序列号来检测传输过 程中的数据包丢失、损坏以及失序的情况。 时间戳( 3 2 b i t )给出数据报中第一个字节的采样时间，但并不指定准确的时 间间隔，而是取决于r t p 帧的有效载荷类型。接收方可利用 时间戳来维持数据接收的实时性，实现数据流的同步和r t p 数据报的重组，并按照正确的速率回放媒体流。 同步源标识用于指定数据流的源站，每个源站必须选择一个唯一的标识 符( 3 2 b i t )符。接收方可利用发送方生成的唯一值来区分多个同时的数 据流。 参与源i d提供正在混合的数据流的同步i d ，其作用仍是区分多个同时 ( 3 2 b i d 的数据流。 因为设计r t p 是为了让它能传送包括音频和视频等广泛的实时数据，所以 r t p 不强制统一的语义解释，而是每个分组以固定的首部开头。r t p 使用的固定 首部格式如图2 3 所示。r t p 报文首部格式各个参数的意义如表2 1 所示。其中， 允许接收方检测不按顺序交付或数据丢失的“序列号”和允许接收方控制回放的 “时问戳”是r t p 数据报的两个关键特性。 ( b ) r t p 的特点 ( 1 ) 轻型性。传统的t c p 协议的连接、流控、可靠性保障及乱序处理等都是针对 点对点通信而设计的，有着复杂的校验、反馈和重传机制。而r t p 协议主要 的应用目的就是实时传送，所以协议本身要求相对轻型、快捷，只需要实现 端到端的实时传输功能即可，并不要求提供机制来确保传输的服务质量。 ( 2 ) 灵活性。r t p 协议的数据报文和控制报文使用相邻的不同端口，从而实现了 数据流和控制流的分离，使协议的实现更加灵活和简单。 ( 3 ) 可扩展性。r t p 协议并不是作为o s i 体系结构中独立的一层而存在，而是通 过具体的应用进程来实现的，它只是程序代码的一部分，因此在实际使用时， 开发者可以根据应用的具体要求对协议框架进行充分的扩展或适当的取舍。 2 ) 实时传输控制协议( r t c p ) r t c p ( r t pc o n t r o lp r o t o c 0 1 ) 是r t p 的伴生协议，它提供传输过程中所需的控 1 0 上海大学硕士学位论文 制功能。r t c p 允许发送方和接收方互相传输一系列报告，这些报告包含有关正 在传输的数据以及网络性能的额外信息，r t c p 就是依靠这种成员之问周期性地 传输控制包来实现控制监测功能的。r t c p 报文也是封装在u d p 中，以便于进行 传输。发送时使用比它们所属的r t p 流端口号大1 的协议号，即选用下一个奇数 位的端口号。 ( a ) r t c p 基本报文类型 r t c p 使用五种基本报文类型，它们携带不同的控制信息，允许发送方和接 收方交换有关会话的信息。表2 2 列出了这些类型。 接收方报告( r c c e i v e r r e p o r t ) 报文由接收方周期性地发出，向源站通知接收 的条件。发送方报告( s e n d e rr e p o r t ) 报文由处于活跃状态的发送方周期性地传输， 提供绝对的时间戳。因为r t p 要求对每种媒体类型都要有单独的数据流，所以绝 对的时间戳信息能够允许接收方同时播放两个数据流。 表2 2 五种r t c p 摄文类型 类型 含义 2 0 0 发送方报告 2 0 1接收方报告 2 0 2 源描述报文 2 0 3 结束报文 2 0 4应用程序特定报文 发送方除了周期性地传输发送方报告报文以外，还传输源描述( s o u r c e d e s c r i p t i o ni t e m s ) 报文，它提供了有关拥有对源站控制权的用户的常规信息，包 括c n a m e ( 源站系统标志) 、n a m e ( 用户名) 、e m a i l ( 用户的电子邮件地址) 、 p h o n e ( 电话号码1 、l o c ( 站点的地理位置) 、t o o l ( 创建数据流所使用的应用程 序或工具名) 等报文项。 结束( b y e ) 报文和应用程序特定( a p p l i c a t i o ns p e c i f i c ) 报文是最简单明了的。 发送方在停止发送数据流时就传输一条结束报文；而应用程序报文类型提供了基 本功能的扩展，以允许应用程序定义报文类型。 ( b ) r t c p 提供的服务 上海大学硕士学位论文 拥塞控制。这是r t c p 作为r t p 伴生协议的最主要的作用。r t c p 报文中有一 个抖动阃隔域( i n t e r v a lj i t t e r f i e l d ) ，应用程序通过分析发送方报告中的抖动间 隔，可以知道确定间隔的抖动，从而在一个暂时拥塞变为永久拥塞之前就将 其指示出来。另外r t c p 报文中还有发送包和接收包的数量等信息，这些都 有益于网络的管理和流量的控制。 确定r t p 用户源。r t c p 为每个r t p 信息源提供了一个称为规范名称的标识符 c n a m e ( c a n o n i c a ln a m e ) ，用于接收方追踪某个r t p 进程的参与者。当r t p 需要进行音频和视频同步时，接收方则需要利用c n a m e 来实现同一发送方 的音频和视频数据的关联。 媒体间同步。r t c p 发送方报告报文中含有与r t p 时闻戳相对应的实时信息， 可以实现不同媒体间的同步传输。 ( c ) r t c p 报文发送自j 隔 由于r t c p 报文是周期发送的，随着参与者的不断增多，发送报文的数量就 会呈线性增长。然而，网络可用的带宽资源是有限的，这必然会直接影响实时数 据的传输质量。因此，应该把r t c p 报文所用的带宽限制在某个比例之内，以避 免占用过多的网络资源。 通常情况下，r t c p 报文最多占用实时传输带宽的5 ，若设报文长度为厶 用户数为，会话带宽为占，则用户发送r t c p 报文间隔的理论周期为： r ：l x n ( 2 7 ) 0 0 5 b 而参与者实际发送r t c p 报文的时间间隔则是在计算所得间隔的0 5 1 5 倍的范 围内随机变化，以避免参与者之间发生同步冲突。 2 2 2h 2 6 4 视频数据的r t p 打包 本小节讨论用于h 2 6 4 的r t p 有效负载规范，先扼要重述一下h 2 6 4 的 n a l 单元概念。 2 2 2 1h 2 6 4 的n a l 单元概念 除早期视频压缩标准的“比特流”的概念外，h 2 6 4 可选附录b 也允许一 1 2 上海火学硕l 学位论文 种成帧的方案，主要用来支持少数传统的协议环境( 诸如h 3 2 0 或者m p e ( 3 - 2 的传输) 。但是，r t p 打包方案采用基于n a l 单元( n a l u ) 的本地n a l 接口。 一个n a l u 为一可变长的字节串，它包含某些语法元素。例如，有些n a l u 携带一个编码条带及a 、b 、c 类型数据分区，可能还包括一个序列参数集或者 一个图像参数集。每一个n a l u 由一个l 字节的头部和表示编码符号的可变数 目字节组成。图2 , 4 示出其中的n a l u 头部格式。 圈2 4n a l u 头邵 图2 4 中n a l u 类型( t ) 是一个5 比特域，表示某个n a l u 是3 2 种不同 类型中的一种。第1 1 2 种类型由当前h 2 6 4 定义，第2 4 3 1 种类型对应h 2 6 4 范围之外的应用，所有其它值都是为了h 2 6 4 将来扩展应用而保留的。 n a l u 头部中的参考值( r ) 用来表示用于重建过程的一个n a l 单元的重 要性。若是零值，则表示该n a l 单元不能用于预测，可被解码器丢弃、或者被 网络元素丢弃。若是大于0 的值，则表示n a l u 需要作无漂移的重建，其值越 高，该n a l u 的丢失所带来的影响( 按照编码器的观点来看) 也就越大。网络 元素可以根据n a l 参考值来保护那些重要的包。 n a l u 头部中的禁止位( f ) 一般被指定为零，如果网络元素在n a l u 中 辨别出存在比特误码，则可以把该比特设置为1 。在异构网络环境中( 例如有 线无线相结合的环境) 禁止位是很有用的。 2 2 2 2 打包设计的约束条件 h 2 6 4r t p 有效负载规范设计的约束条件如下： ( 1 ) 为达到较低的开销，m t u 尺寸限制在1 0 0 个字节6 4 k 字节之内。 ( 2 ) 应易于区分重要不重要的r t p 包，要求对包中的比特流不作解码就可区 分。 ( 3 ) 应能检测由于其它包的丢失而导致不可解码的那些数据，且不经比特流解 码就可检测。这样，若网关检测到一个a 类型分区丢失，就可不必再发送 b 类型分区和c 类型分区。 上海大学硕士学位论文 ( 4 ) 应能支持n a l u 分割为多个r t f 包。 ( 5 ) 应能支持把多于1 个的n a l u 合并放置在一个r t p 包中进行传输。 2 2 2 3 简单的打包 h 2 6 4n a l u 的打包方法属于能精确地把一个n a l u 打进一个r t p 包中去 的简单打包方法。其打包规则很简单：把一个n a l u ( 其头部联合构成r t f 包 中的有效负载头部) 打进一个r t p 包中的有效负载，设黄r t f 头部的那些值为 r t p 规范本身定义的值【2 2 1 1 2 3 1 ，然后发送这个r t p 包。理想情况下，v c l 应当 永远不会生成大于m t u 尺寸的n a l u ，从而可以避免m 层的分割，采用条带 就可以很容易地实现这种理想情况。 2 2 2 4n a l u 分段 存在这样一些情况，例如；当使用预先编码的内容时，编码器不能满足基 础网络对于m t u 尺寸的要求，并且将不得不传输许多大于m t u 尺寸的n a l u 。 坤层分段方法可以用于处理这种n a l u 尺寸最高可达6 4 k 字节的情况。然而， 口分割也使得对那些片段不能进行应用层保护，且会降低效率。 在实现i f v 6 的大尺寸之前，u d p 数据报不能比6 4 k 字节更大，因此应用 层分段方案是r t f 打包方案的不可或缺的一部分。为此，i e t f 正在对分段方 案进行精心地调整。以下的基本特征有望成为r f c 标准的一部分： ( 1 ) 一个已分段的n a l u 的片段可以按照r t p 序列号的升序传输在给 定的n a l u 的片段之间，不允许有包含其它n a l u ( 或者其它n a l u 的 一部分) 的r t p 包。 ( 2 ) 通过一种信令机制来指示一个已分段的n a l u 的第一个片段和最后一 个片段。 ( 3 ) 设计另外一种信令机制，以检测n a l u 边界之间的丢失片段。 2 2 2 5n a l u 合并 某些h 2 6 4n a l u 很小，如s e in a l u 或者某些参数集n a l u 最多只有几 个字节。可把这些n a l u 与其它n a l u 一起合并到一个r t p 包中，以减少用 于i p u d p r t p 头部的开销。 1 4 上海大学硕士学位论文 目前有2 种基本类型的合并包； ( 1 ) 单个时间合并包( s t a p ) ：包含了一些有相同时间戳的n a l u 。 ( 2 ) 多个时间合并包( m t a p ) ：可以包含一些有不同时间戳的n a l u 。 s t a p 通常应用在低延迟的环境中，其中不希望含有任何形式的从属于多个图 像的信息交织。s t a p 的设计相当简单：其l 字节的头部与n a l u 头部( 参见图 2 3 ) 有相同的格式，然后紧跟着一个或者多个s t a p 合并单元。每一个合并单 元由随后的n a l i j 的长度指示及n a l u 本身组成。 m t a p 一般用于高延迟的环境( 例如“流”) 中，允许使用某些复杂的打包方 案，以增强基于h 2 ( 5 4 的流的性能。m t a p 的基本结构类似于s t a p ，但合并单元 也可以包含一个时间戳( 为了节省比特，相对于r t p 时间戳而编码的一个时间 戳) 以及一个解码排序号( 用于指示m t a p 中的n a l u 的解码顺序) 。 2 2 3 无线信道中h 2 6 4 传输 h 2 6 4 编码包含2 部分：v c l 层和n a l 层。他们之间的关系如图2 5 所示。v c l 给出了视频信号的高效编码的表示形式，而n a l 定义了在视频编解码自身和外部 世界之间的接口【卅。在本文中，我们关注n a l u 单元。更多v l c 单元介绍请参考 文献2 7 1 。n a l 层作为v c l 层与传输层的接口，主要负责v c l 数据的打包、序列 和图像的参数设置( p a r a m a e rs e t s ) 传输、1 d r ( i n s t a n t a n e o u s d e c o d i n g r o f m s h ) 等，使压缩后的数据能在不同的网络上传输1 2 引，n a l 单元支持大多数现有网络 的基于包的方法。在n a l 解码器接口处，假设n a l 单元以解码顺序被传送，同时 假设只有3 种情况存在；( 1 ) 包被正确接收；( 2 ) 包丢失；( 3 ) 有效负载中包含 了比特误码。对于不同的传输协议需要不同的接口规范。n a l 单元的精确传输和 封装，能够用于不同的传输系统，诸如h 3 2 0 、m p e g 2 系统、以及r t p i p 2 引。 在h 2 6 4 标准中己规范地定义了n a l 解码器接口，然而在v c l 雨q n a l 之问的接口 仅是概念上的。 1 5 上海人学硕士学位论文 h 2 “a v c 概念层 l 视频编码层ll 视频编码层 l 编码器ii 解码器l l 一。1 - - 一 士￥c i 州a l 瑶q i 1 网络抽象层ii 网络抽象层l l 绽码器ij 解码器i n a l m 码密 一 7 j i 盈解码器 接口li接口 l 寓隅圈网网 图2 5 传输环境中的h ，2 6 4 t a v c 对于包交换业务来说，3 g p p 3 g p p 2 同意使用基于m 的协议栈。图2 6 是 u m t s 系统用户平面上的协议栈结构，要注意到内部传输层的m 协议对外部网 络来讲是不可见的，它仅仅用来在r n s ，s g s n ，g g s n 之间传输信令，与外 部用来传输数据的口v 4 或者i p v 6 不同。在u e 侧的协议栈中，口层以上与普 通有线网络的t c p i p 协议栈结构相同。 应用罄 ： t c pu d p t p v 4 i p v 4 或l p v 6 ： 或一1 i p v 6 、! 笔一一听 o i - u0 1 t - u p d c p u d pu d p u d pu d p 龇l u伊m静l p a a l m a cm a ca l 5l 2l 2 5 纠盯 、采车前| f p a t m出r ml il l i n i t n u ul u b l u p sc a t g i u en o d e br n ss g s n g g s n 图2 6u m t s 系统用户平面协议栈结构 基于3 g p p 2 用户平面协议栈，图2 7 示出了r t p u d p i p