（通信与信息系统专业论文）视频码流分组传输的同步控制方法.pdf

北京邮电大学硕士研究生论文 视频码流分组传输的同步控制方法 摘要 通信，广播电视和计算机技术的发展促进了多媒体通信技术的发 展。多媒体应用己经深入到教育、办公、商业、科学工程研究及家庭 等各个方面。与其它传统数据应用相比，多媒体应用最突出的特点是 集成了多种类型的媒体流，其中至少有一种是时间相关媒体。在经过 多媒体系统存储、传输之后到达接收端进行播放时，媒体流的信息单 元之间需要保持原有的时间关系，多媒体数据必须维持这种关系，也 就是说这些数据流必须以一种同步的方式展现给用户。实时媒体流在 尽力而为的网络中的传输一直是一个研究热点，其重要目标就是要解 决b e s t e f f o r t 网络中固有的时延抖动问题( 即：i i t t e r ) ，时延抖动破坏实 时媒体流中m u s ( m e d i a u n i t s ) 之间的时序关系，从而影响媒体流最终 地解码和播放。多媒体同步是多媒体通信中一个特殊的也是极为重要 的关键技术，已经引起了学术界广泛的关注。 本论文主要研究的是视频码流分组传输的同步控制方法，主要的 研究内容及成果如下： 1 对连续媒体内部的同步控制机制进行了相关的研究与总结，旨在 阐明各种不同实施方案之间的异同点，研究要点包括：时域定时关 系的相关内容，晚到m u s 的处理，回放质量评估指标以及对于时延 变化的适应性；将实现同步控制功能的播放调度器划分为两大类： 面向时间的调度器和面向缓冲的调度器；在此基础之上提出了一种 基于m a c o m ( am e a s u r e m e n t b a s e da c t i v ec o n t r o la n d m a n a g e m e n ts y s t e m ) 系统的同步控制机制。该机制属于面向时间的 同步调度器的范畴，是对基于播放时限的同步方法的改进，可以在 现有的i p 网络中，以自适应的方式实现对视频码流分组的同步控 制。 2 利用n s 仿真测试环境，提出了同步控制机制的具体实施方案。包 括：h 2 6 3 + 码流的分组传输、q o s 性能指标的统计与测量( 基础指 标：r t p 数据包的时延，时延抖动，丢失率；应用层指标：数据帧 的传输时延，时延抖动，最大时延抖动) ，网络拓扑的设定、同步控 制算法流程的具体设计。其中，h 2 6 3 + 码流的分组传输又具体包括 以下几个环节：r t p 信息头的具体使用方法、分组算法、h 2 6 3 + 码流结构分析、码流中图像边界的判断依据。 3 采用两种同步质量的评估指标和衡量标准： ( 1 ) 晚到数据帧的比例 ( 2 ) 媒体流连续性的度量：v o d ( v a r i a n c eo f d i s c o n t i n u i t y ) 对同步控制方法进行验证和性能分析。 关键词：多媒体系统连续媒体媒体内部同步基于播放时限的同步 方法 北京邮电大学硕士研究生论文 s y n c h r o n i z a t i o nc o n t r o lm e c h a n i s m f o r d e os t r e a m 黝r e c e n td e v e l o p m e n ti nc o m m u n i c a t i o n 。b r o a d c a s t i n ga n dc o m p u t e r t e c h n o l o g i e s i ti sl e a s i b l et op r o v i d em u l t i m e d i as e r v i c e ss u c ha sv i d e oo n d e m a n d v i d e o c o n f e r e n c ev i a h i g hb a n d w i d t hn e t w o r k c o m p a r e d w i t l l t r a d i t i o n a ld a t aa p p l i c a t i o n s ，m u l t i m e d i as e r v i c e sa r ec h a r a c t e r i z e db yt h e i n t e g r a t i o no fd i f f e r e n tt y p e so fm e d i aw i t h a tl e a s to n et i m e d e p e n d e n t m e d i u m t h e r ea r es o m et e m p o r a lr e l a t i o n s h i p sa m o n gt h ei n f o r m a t i o nu n i t s o ft h e s em e d i as t r e a m s ，w h i c hm u s tb em a i n t a i n e dd u r i n gt h e i r s t o r a g e ， d e l i v e r y a n d p r e s e n t a t i o n m u l t i m e d i as y n c h r o n i z a t i o n i sas p e c i a la n d i m p o r t a n tq u a l i t yo f s e r v i c ei nm u l t i m e d i as y s t e m s a ni m p o r t a n to b j e c t i v eo f t h er e s e a r c h c o m m u n i t yh a s b e e nt od e v i s em e t h o d st h a t c o p ew i t ht h e v a r i a t i o n so ft h en e t w o r k d e l a y a l s o c a l l e di i t t e r - t h a ta r ea ni n h e r e n t c h a r a c t e r i s t i co fb e s t e f f o r tn e t w o r k s j i t t e rd e s t r o y st h et e m p o r a lr e l a t i o n s h i p s b e t w e e n p e r i o d i c a l l yt r a n s m i t t e dm e d i au n i t s ( m u 曲t h a tc o n s t i t u t ea r e a l - t i m e m e d i as t r e a m ，t h u s h i n d e r i n gt h ec o m p r e h e n s i o no ft h es t r e a m a s ak e y t e c h n o l o g y i nm u l t i m e d i a c o m m u n i c a t i o n s ，r e s e a r c h o nm u l t i m e d i a s y n c h r o n i z a t i o n h a sr e c e i v e daw i d e r a n g e o fa t c e n f i o ni nt h er e c e n t y e a r s t h i sp a o e rd e a l sw i t hi n t r a s t r e a ms y n c h r o n i z a t i o nf o rt h et r a n s m i s s i o no f v i d e ob i t s t r e a mw h i c hi sb a s e do nam e a s u r e m e n t - b a s e da c t i v ec o n t r o la n d m a n a g e m e n ts y s t e m ( m a c o m ) ，a n d t h em a i nr e s e a r c hw o r ka n dr e s u l t sa r e l i s t e da sf o l l o w s ： 1 t h i sp a p e rs u r v e y st h ew o r ki nt h ea r e ao fi n t r a s t r e a ms y n c h r o n i z a t i o nf o r c o n t i n u o u sm e d i as t r e a m s ，a i m i n gt o c o n c i s e l yo r g a n i z ei d e a st h a th a v e b e e np r e s e n t e di ni s o l a t i o na n di d e n t i 如t h em a i np o i n t so fd i f f e r e n t i a t i o n a m o n g s td i f f e r e n t s c h e m e s t h es u r v e yd i s c u s s e si s s u e sr e l a t e dt ot h e t i m i n gi n f o r m a t i o n ，t h eh a n d i n go f l a t em e d i au n i t s ，t h eq u a l i t ye v a l u t i o n m e t r i c s ，a n dt h ea d a p t a t i o nt oc h a n g i n gd e l a yc o n d i t i o n s ；t h ep l a y o u t s c h e d u l e rw h i c hr o l ei st op r o v i d ea p r e s e n t a t i o ns c h e d u l et h a tr e s e m b l e sa s m u c ha s p o s s i b l e t h e t e m p o r a lr e l a t i o n s h i p s t h a tw e r ec r e a t e d b yt h e e n c o d i n gp r o c e s s c a nb e g e n e r a l l y c l a s s i f i e da st w o c a t e g o r i e s ： t i m e o r i e n t e ds c h e d u l e r sa n db u f f e r - o r i e n t e ds c h e d u l e r s a ni n t r a s t r e a m s y n c h r o n i z a t i o na l g o r i t h mw h i c hi sb a s e d o nt h em a c o ms y r s t e mi s p r e s e n t e d 礴em e c h a n i s me s s e n t i a l l yb e l o n g s t ot h e r a n g eo f t i m e o r i e n t e d s c h e d u l e r sa n da l s ow i n sa na d v a n t a g eo v e rt h ea l g o r i t h mw h i c hi sb a s e d o np l a y o u td e a d l i n e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h es c h e m ei sa b l et o d e a lw i t ha s y n c h r o n i e si n t r o d u c e db yt h el a t em e d i au n i t sa n dk e e p sg o o d q u a l i t yo f c o n t i n u o u sp r e s e n t a t i o no v e rc u r r e n ti pn e t w o r k s 2 b a s e do nn ss i m u l a t i o ne n v i r o n m e n t , as p e c i f i ci m p l e m e n ts c h e m ei s p r o p o s e d ，i n c l u d i n g ：t h ep a c k e t i z a t i o na n dt r a n s m i s s i o n f o rt h eh 2 6 3 + v i d e o s t r e a m ；t h e m e a s u r e m e n ta n ds t a t i s t i c a l a n a l y s i s o ft h e m e t r i c s ( a p p l i c a t i o n - l a y e rm e t r i c s ，f o re x a m p l e ：t h eo f f s e t - d e l a yu s e dt o s m o o t ht h ei i t t e r , w h o s ev a l u eh a st ob es e tc a r e 如l l yt ot h ef e a t u r e so ft h e e n d t o e n d d e l a y , i so fg r e a ti m p o r t a n c et o t h es u c c e s so fi n t r a m e d i a s y n c h r o n i z a t i o nc o n t r 0 1 ) ；t h ec o n f i g u r e f o rt h en e t w o r k t o p o l o g y ；t h e s p e c i f i cd e s i g n f o rt h es y n c h r o n i z a t i o na l g o r i t h m 3 f o rt h ea s s e s s m e n to fi n t r a s t r e a ms y n c h r o n i z a t i o nq u a l i t y , t w om e t r e sh a v e b e e n p r o p o s e d ： ( 1 ) t h ep r o b a b i l i t y ( o rf r e q u e n c y ) o f l a t e m e d i au n i t s ( 2 ) v o d ( v a r i a n c eo fd i s c o n t i n u i t y ) s i m u l a t i o nr e s u l t ss h o wt h a tt h es y n c h r o n i z a t i o na l g o r i t h ma c h i e v e sag o o d q u a l i t yo f c o n t i n u o u s p r e s e n t a t i o n k e yw o r d s ：m u l t i m e d i a s y s t e m s c o n t i n u o u sm e d i ai n t r a s t r e a m - s y n c h r o n i z a t i o ns y n c h r o n i z a t i o n s c h e m eb a s e do n p l a y o u t d e a d l i n e 北京邮电大学硕七研究生论文 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人 已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：量量蠹日期：妲s ：墨! ! ! 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国 家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅：学校可以 公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇 编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在年解密后适用本授权书。非保密论文注 释：本学位论文不属于保密范围，适用本授权书。 本人签名：王垂菡 日期：i 丛：立。! ! 导师签名： 至! 豫 日期：2 1 1 ：! ：! ： 北京邮电大学硕士研究生论文 第一章概述 第一章概述 随着宽带网络技术以及实时多媒体应用技术( 如流媒体、视频会议等) 的发展，i p 业务综合多样化和快速增长已成为一个不争的事实，这对网络提供的“服务质量”( q o s ) 提出了更高的要求。传统的“尽力而为”( b e s te f f o r t ) 网络缺乏q o s 机制，已经不能满足 要求，i pq o s 机制日益成为网络研究的一个重点，也是未来i p 网络发展的关键技术。本 文研究一种流媒体分布式控制机* i l j m a c o m ( a m e a s u r e m e n t b a s e da c t i v ec o n t r o la n d m a n a g e m e n ts y s t e m ) 系统，与其它的口q o s 机制相比，该系统更为有效和切实地保障 音、视频应用的服务质量。 m a c o m 以保证音、视频应用的服务质量为研究目的，以可用带宽的测量算法、接 纳控制机制与应用层质量控制机制为研究内容，最终形成为音视频码流提供传输质量保 证的监测控制机制。 在m a c o m 中引入了一类特殊终端，该类终端部署在核心网周围，可以对网络的 性能进行持续性地主动探测，由此m a c o m 可以更为准确和全面地了解网络能力及其 负载的特点。基于对网络特征的深入了解，m a c o m 不仅可以优化各个媒体终端所实 施的应用层控制机制，而且能够使其相互协调以达到更为良好的总体性能，进而完成 对音、视频应用服务质量地有效维护。 实时媒体流在尽力而为的网络中的传输一直是一个研究热点，其重要目标就是要 解决b e s t - e f r o r t 网络中固有的时延抖动问题( s 0 ：j i t t e r ) ，时延抖动破坏实时媒体流中 m u s ( m e d i a u l l i t s ) 之间的时序关系，从而影响媒体流最终地解码和播放。媒体同步是 多媒体通信中的一项关键技术，已经引起了学术界的广泛关注。 本文以m a c o m 为实验平台，研究视频码流分组传输的同步控制方法，提出了一 种改进的基于播放时限的同步控制方法，并取得了良好的仿真、评估效果。 1 1 研究背景、意义及实验平台简介( 卧帕 在分组交换网络中，当分组接近或超过网络对分组的处理能力时将产生网络拥塞。 拥塞发生时网络资源处于饱和状态，业务流的时延变长，丢包率上升，系统吞吐率急 剧下降，甚至导致网络崩溃。 拥塞控制的目的就是将网络中的分组数量控制在网络性能下降时的临界点以内。 从应用和系统的角度出发，拥塞控制可分为网络拥塞控制与终端拥塞控制两种控制方 法，而从逻辑上又可分为拥塞恢复和拥塞避免两种控制方式。现有的网络拥塞控制机 制如i n t s e r v 、d i f f s e r v 和m p l s 都是结合了这两种方法的混合控制方式。终端拥塞控 制是根据端到端的测量结果判断当前网络拥塞情况，进而调整自身的发送速率和突发 程度，从这个意义上说，端到端的拥塞控制属于拥塞恢复的范畴。网络拥塞控制则是 北京邮电大学硕士研究生论文第一章概述 持续性的网络测量获得当前网络特性的描述，通过接纳控制维护网络的性能，从这个 意义上说，网络拥塞控制属于拥塞避免的范畴。 现有的网络层拥塞控制机制包括：i n t s e r v ，d i f p s c r v 和m p l s 。虽然从理论上而 言，上述技术完全可以为i p 网络提供q o s 保障，但从实际应用出发，这些机制都将 面临相同的问题，即需要增加传统礤网络节点的功能，且需要较长的时间来部署和实 现整个系统的功能。另外，网络层拥塞控制机制的某些具体问题还有待进一步研究， 因此，如何应用网络拥塞控制技术在传统口网上传输音、视频多媒体业务，并保证一 定服务质量的问题依然存在。 m a c o m 是针对上述机制的局限性提出的，主要实现基于测量的q o s 控制机制， 而控制机制性能的好坏与网络测量( 尤其应用层同步控制机制所需的同步测量指标) 的准确性息息相关，图1 1 给出了m a c o m 的系统结构。 匿1 1 姒c o m 与i p 网络阃的关系厦其构成 i p 网络可划分为核心网与接入网，假设接入网能够满足媒体流通信要求的服务质 量，即核心网的资源紧张是造成端到端媒体流通信质量不理想的主要原因。如图l l 所示，m a c o m 部署在m 核心网边缘，包括三层功能实体：h a s h s e r v e r 、m a 和m t ， 分别属于系统层、传输层和终端层。h a s h s e r v e r 为m a 和m t 的正常工作提供了一系 列的支持功能；m a 是m a c o m 的核心部件，位于核心网与接入网之间，主要完成对 核心网性能和流量地监测，进而实现接纳控制并协调各个m t 的工作，同时为应用层 的控制算法提供测量参数依据；n i t 负责实现基于测量的应用层质量控制机制，如本 文研究的同步控制机制。 1 1 1h a s h s e v e r 为m a 和m t 的正常工作提供了一系列的支持功能 系统层的h a s h s e r v e r 为m a 和m t 的正常工作提供的服务包括：在已知m t 通信 地址的条件下查找对应的m a 。例如，在发送端m t 与接收端m t 建立通信连接前， 源m a ( 发送端m t 隶属的m a ) 通过h a s h s e r v e r 提供的上述服务能准确地得到目的 m a ( 接收端m t 隶属的m a ) 的信息，相应的源m a 与目的m a 构成了一组m a 对， 如图l 一1 中所示，与端到端的链路对应，核心网中，连接源m a 与目的m a 的通信 北京邮电大学硕士研究生论文第一章概述 如图1 1 中所示，与端到端的链路对应，核心网中，连接源m a 与目的m a 的通信 链路定义为m a 到m a 的链路，该链路上的通信数据为多条媒体流的复合流，即图l l 中的m e s a r i v e r 。 1 1 2 n ( m e d i a , k e n t ) m a 实现的控制层基本功能是整个m a c o m 系统的核心，部署在核心网周围的 m a 可持续监测网络的服务质量。并由此获得准确的网络特征描述，例如m a 对之间 可进行相互的主动测量获得该m a 到m a 链路的可用带宽信息：m a 可以通过m t 的 周期性反馈信息得到应用层的各项性能指标。在此基础上，m a 实现了接纳控制功能 并综合m t 反馈来的媒体流服务质量信息，实现了控制音视频应用服务质量的机制。 其具体的模块结构及功能如图l 一2 所示： m h 跹卸卜 通信状况分析模块| 1 流媒体传输质重分析模块 8 嚣h 综厶分析模块h 茹h l f r 一l 一 罐卜区- 器 = 器h 蝴捌h 器| = 图i 一2m a 功能模块结构图 m a 各功能模块的简介： m a 接口、h s ( h a s h s e r v e r ) 接口与m t 接口是m a 与m a c o m 系统中其它功能实 体通信的模块：具体而言，m a 接口负责接收m ar i v e r 间的测量与质量评估结果。 h s 接口实现根据目的端m t 定位目的m a 的功能，为查询源m a 与目的m a 之间混 合媒体流的状态提供服务。m t 接口负责实现m a 与m t 之间可靠的数据及信令的交 换功能。 测量接口、通信状况分析、流媒体传输质量以及综合分析模块实现指标体系测量、 接纳控制及o o s 评估的功能。 测量接口模块采用主动发包或被动监测的方式，通过设置一系列的过滤条件，测 量m a c o m 的基础层指标( 见本章第2 节指标体系) 。并将测量结果提供给通信状况 分析与流媒体传输质量分析两个模块。通信状况分析模块用于描述m a 到m a 的链路 特性，流媒体传输质量分析模块负责监测通信中媒体流的传输质量。 接纳控制与平滑控制模块分别完成接纳控制机制和对媒体应用服务质量进行平滑 控制的功能，综合分析模块是否能够得出准确、合理的结果在很大程度上影响着上述 北京邮电大学硕士研究生论文第一章概述 控制机制效果的好坏。 反馈流量控制 在应用实时控制协议( r t c p ) 的系统中，每个参加会话的终端都会给其它成员发送 反馈信息。这样就会出现反馈流量与会话的成员个数成正比的情况，在测量与分析都 正确的基础上，将反馈流的数据量维持在一个较低的水平是一个难点。事实证明，规 模越大的多媒体会议系统，其性能维护的问题越复杂，实现困难也越大。 然而在m a c o m 系统中，所有反馈流均由l v l t 产生，并汇总到各自隶属的m a ， m a 在必要的时候将控制信息反馈给特定的m t ，且m a 所产生的反馈流量与i v l t 的 数量是不相关的。虽然m a 与m t 之间的反馈流量会随着m t 的数量增加而增长，但 是我们由前面提到的假设条件可知，这样的流量在接入网中是非常有限的，或者只占 很小的一部分。换言之，在m a c o m 系统中，能够很好地支持反馈流量进行控制机制 的实现，并且不会对网络测量及服务质量分析产生影响，这也正是m a c o m 系统的优 越性所在。 1 1 3 _ t ( i d e d i at e r m i n a l ) 终端层为媒体设备定义了一系列功能接口，即如果媒体设备希望加入到m a c o m 系统中以实现各种控制机制时，只需实现m t 定义的接口功能即可。m t 则是终端层 的模块之一，实现包括注册、接纳控制信令、参数配置与质量报告等基本功能：注册 实现m t 的信息上传到隶属m a 的功能；接纳控制信令实现m a c o m 系统的接纳控制 机制的信令；参数配置实现应用层质量控制( 如本文探讨的同步控制) ：质量报告实现 应用层测量指标的汇总。其具体的模块结构及功能如图1 3 所示： 图1 3m t 功能模块结构图 m t 在m a c o m 系统中承担终端层接口的功能 m t 各功能模块的简介： m a 接口模块与数据包发送模块实现m t 与网络中其它功能实体信息交换的功能。 北京邮电大学硕士研究生论文第一章概述 及应用层质量评估等信息，协助测量、控制机制地实现。数据包发送模块将媒体流应 用数据按照需要的方式发送，简单来说，媒体流既可以按照固定速率发送，也可以将 数据包按照一定模式发送，例如将视频流i 帧的前两个数据包一起发送，其余数据包 按照正常模式发送。 m t 初始注册模块实现m t 向m a 的注册功能，通过m a 接口将m t 自身的信息 传送到其隶属的m a ，为m a c o m 系统中的接纳控制机制服务。同时，当媒体流会话 结束前，该模块通过m a 接口发送通知其隶属的m a 注销其m t 的信令。 1 2 m a c o m 的指标体系结构 在当前缺乏q o s 保障的网络环境中，m a c o m 系统的目的在于通过合理地利 用网络可用资源，使媒体流的服务质量达到网络轻负载时的通信质量。显然，要实现 这个功能需要完成两项基本任务，首先要保证测量结果的准确性，其次是q o s 评估的 合理性。测量与q o s 评估是通过指标体系来具体实现的： m a c o m 的指标体系结构分为三层，分别为基础层指标、传输层指标与应用层指 标。基础层指标用于描述m a 问网络的动态特征以及复合媒体数据流的流量特点；传 输层指标用于描述端到端路径的性能以及单一媒体数据流的流量特点；应用层指标用 于描述媒体数据流所获得的传输质量和可达到的播放质量。其中，应用层指标是本论 文所重点涉及的。 指标描述及计算公式 ( 1 ) 基础层指标( 数据包的时延、时延抖动、丢包率、可用带宽、复合媒体流流量描述 及基础层吞吐量1 ( 2 ) 传输层指标( 与基础层指标的计算方法相同，不同点在于这几个指标是端到端的测 量) ( 3 ) 应用层指标( 数据帧的时延，时延抖动，时延抖动的最大值) 本文只对传输层的部分指标以及应用层指标进行讨论，基础层指标不在本文研究范围 之内。 1 传输层部分指标： 丢包率： 设某一特定发送数据包总数为n ，计算传输过程中丢失的数据包总数1 1 ，如公式 ( 1 一1 ) 所示： n = e ( s ；一s h 1 ) ，其中s 。= o i = t 发送端发送的数据包总数为f l _ 嗤，计算丢包率l 如公式( 1 2 ) 所示： l = n ( n + n ) 2 应用层指标： ( 1 1 ) ( 1 2 ) 北京邮电大学硕士研究生论文第一章概述 数据帧的时延：在接收端通过m t 进行测量。假设第i 帧的发送时刻为s ，到达 接收端的时刻为r ，则第i 帧的时延d i 2 r 一s ，。 数据帧的时延抖动：如公式( 1 3 ) 所示： d i = l d i d h l j i 一- - - j + ( d i - - j h ) 1 6 ( 卜3 ) m t 周期性地将测量结果反馈给m a ，同步控制模块在需要的时候从m a 中提取 各种所需的测量指标，以实现准确高效地同步控制。 1 3 本文主要工作与贡献 本文结合“流媒体传输质量的控制机制”( 国家8 6 3 重大专项课题“数字视音频 编码，传输，测试与应用示范”中的予课题) 项目，研究基于m a c o m 系统的h 2 6 3 + 视频码流分组传输的同步控制方法。 和传统的电路交换不同的是，i m e m e t 提供的是一种尽力而为的服务，也就是说数据 可能会有不可预测的延迟，也可能会丢失。变化的时延和拥塞引起的分组丢失，使得 i n t e m e t 实时多媒体的应用效果下降。与传统媒体相比，多媒体应用往往需要更宽的带宽， 而且几乎所有的多媒体应用都具有实时性。多媒体应用最突出的特点是集成了多种类型 的媒体流，其中至少有一种是时间相关媒体。在经过多媒体系统存储、传输而后到达接 收端进行播放时，媒体流的信息单元之间需要保持原有的时间关系，多媒体数据必须维 持这种关系，也就是说这些数据流必须以一种同步的方式展现给用户。例如在远程教育 中，幻灯片必须与其解说词保持同步，讲话人的口型必须与其声音保持同步( 也即口唇 同步) ，讲解人所指必须与其解说同步( 也即指针同步) 。如果媒体单元间的时间关系超 出一定的范围，就会影响用户的观看效果“1 。数据包在i m e m e l 上是独立寻找路由并传输 的，因此每个数据包传输所需时间的变化非常大，这种传输时延的变化称为时延抖动， 抖动会影响多媒体的同步播放质量。另外，如果网络拥塞，对于非实时媒体来说，只是 传输时间变长；而对于实时媒体，如果某个数据包超时到达，它就会引起媒体内或媒体 间的失步。再则，h a t e m e t 是共享网络带宽的，有时部分瓷源处于过载状态，一旦网络发 生拥塞，就会造成抖动甚至数据包丢失，这同样会引起媒体内或媒体间失步。 本文首先对多媒体同步的基本概念以及相关的背景知识进行了阐述，然后重点研究 并讨论了连续媒体内部的同步控制机制，针对这一命题给出了详尽并且深入的综述，最 后提出了一种基于m a c o m 系统的同步控制解决方案，并且给出了该方案的性能分析与 仿真结果。 本论文的主要研究内容和成果： 1 对连续媒体内部的同步控制机制进行了全面并且深入的研究与总结，将实现同步控制 功能的播放调度器划分为两大类：菌向时间的调度器和面向缓冲的调度器，并且进一步 北京邮电大学硕士研究生论文第一章概述 针对每种调度器进行更详细地阐述和讨论。 2 利用r t p 传输协议完成h 2 6 3 + 视频码流的分组传输，包括：r t p 信息头的具体使用方 法、分组算法、h 2 6 3 + 码流结构分析、码流中图像边界的判断依据。 3 提出了一种基于m a c o m 系统的同步控制机制，该机制属于面向时间的同步调度器 的范畴，是对基于播放时限的同步方法的改进，取得了良好的同步性能。 4 利用n s 仿真测试环境，搭建仿真测试平台，提出了同步控制机制的具体实施方案， 包括网络拓扑的设定、同步控制算法流程的具体设计。 5 采用两种同步质量评估指标，对同步控制方法进行验证和性能分析。 本论文共分为五章，各章内容安排如下：第二章阐述多媒体同步系统中最基本也是 必不可少的各种概念，并简单分析了分布式多媒体系统中的同步问题以及影响同步的各 种因素，分析了一些常用的控制机制以及同步性能的衡量标准；第三章介绍了r t p 传输 控制协议以及如何利用r t p 传输视频码流的相关知识，并且提出了针对h 2 6 3 + 视频码流 的分组方法；第四章熏点分析了连续媒体内部的同步控制机制，并作出了合理地分类和 阐述；第五章针对m a c o m 系统，提出了一种同步方法的解决方案，并给出了仿真结果 和性能分析；结束语对全文进行总结，并指出需要进一步关注和研究解决的问题。 北京邮电大学硕士研究生论文第二章多媒体同步综述 2 1 基本概念 第二章多媒体同步综述 多媒体技术是通信，广播电视和计算机技术经过长时期地发展，相互融合，相互渗 透而形成的三位一体的一门崭新的技术，并且从2 0 世纪9 0 年代开始迅速发展起来。多媒 体应用己经深入到教育、办公、商业、科学工程研究及家庭等各个方面，如视频点播、 远程购物、远程教学、视频会议、多媒体电子邮件等。与其它传统数据应用相比，多媒 体应用最突出的特点是集成了多种类型的媒体流，其中至少有一种是时间相关媒体。在 经过多媒体系统存储、传输而后到达接收端进行播放时，媒体流的信息单元之间需要保 持原有的时间关系，多媒体数据必须维持这种关系，也就是说这些数据流必须以一种同 步的方式展现给用户。例如在远程教育中，幻灯片必须与其解说词保持同步，讲话人的 口型必须与其声音保持同步( 也即口唇同步) ，讲解人所指必须与其解说同步( 也即指针 同步) 。如果媒体单元间的时间关系超出一定的范围，就会影响用户的观看效果。媒体 同步是多媒体通信中一个特殊的也是极为重要的q o s ( q u a l i t yo f s e r v i c e ，服务质量) 指 标，作为多媒体通信中的一项关键技术，媒体同步已经引起了学术界的广泛关注。 2 1 1 多媒体系统 判断一个系统是否为多媒体系统有三个标准：所支持的媒体数目，支持的媒体类型 及媒体的集成度。媒体对象的类型有两种：时间相关媒体对象( t i m e d e p e n d e n t m e d i a o b j e c t ) 和时间独立媒体对象( t i m e - i n d e p e n d e n t m e d i a o b j e c t ) 。时间相关媒体对象通常由 一系列的表示单元表示，又称为媒体流( m e d i as t r e a m ) ，媒体流的相邻单元问存在一定的 时间关系。如果一个时间相关媒体对象的所有单元的播放持续时间相等，则称其为连续 媒体对象( c o n t i n u o u sm e d i a o b j e c t ) 。例如以帧为单元的音频流和视频流等都是连续媒体 对象，这些媒体流中每帧都有固定的播放持续时间。时间独立媒体对象通常由一个表示 单元表示，如文本、图片等传统媒体。时间独立的媒体又称为离散媒体对象( d i s c r e t e m e d i a o b j e c t ) 。 多媒体系统是支持两种以上媒体类型( 其中至少有一个是时间相关媒体) 的集成处 理系统。 在多媒体系统中，广义上的同步包括媒体对象间的内容关系、空间关系和时间关系。 本文的同步特指媒体对象闯的时间关系。多媒体是指多种数据流类型的集成，这些数据 流包括连续媒体( 音频和视频) 及离散媒体( 文本、数据、图像等) 。在这些媒体流的信息 单元之间存在着某种时间关系，当多媒体系统存储、发送和播放数据时必须维持这种关 系。一般地，维持一个或多个媒体流的时间顺序的过程就称为多媒体同步。多媒体同步 北京邮电大学硕士研究生论文第二章多媒体同步综述 包括媒体内同步、媒体间同步和组同步。 21 2 媒体内同步、纛体问同步及组同步 媒体内同步是指维持一个时间相关媒体中各个媒体单元的时间关系，也称为串行同 步。例如一个视频序列中各个帧之间的时问关系，一个语音流中各个语音分组的时间关 系。对于一个2 5 帧秒的视频流，每帧的插放时间间隔必须维持4 0 m s 。 媒体间同步是指维持多个相关媒体对象之间的时间关系，也称为并行同步图2 1 是一个媒体闻同步的例子，由两幅图片开始，接着是一段相关的音频流和视频流，最后 是一段带有解说的动画。 a u d i o la u d i 0 2 p 1p 2 v i d e oa n i m a t i o n 图2 一l 媒体间同步的例子 在多播通信中通常还需要进行组同步( 或称地点间同步) 控制嘲。“，其目的是使不同 地点的媒体流的媒体单元能够同时进行播放。图曩一2 中是一个组同步的简单例子，流a 从源节点s 。到目的节点d 。，多播流b 由三个流组成( b 1 ，b 2 ，b 3 ) ，它们从源节点分别到 目的节点d b l ，d b 2 ，d b 3 ，那些目的节点属于同一组的流( d 。和d b l 属于组g 1 ， d b 2 和d b 3 属于组g 2 ) 需要进行组同步。例如在视频会议中，要确保位于不f 面地点的 会议参加者同时收到会议信息。 圈2 2 组弼步的例亍 北京邮电大学硕士研究生论文第二章多媒体同步综述 2 1 3 逐辑数据单元q d u ) 时间相关媒体通常是由一系列的信息单元( i n f o r m a t i o nu n t s ) 组成，这些信息单元 称为l d u s ( l o g i c a ld a mu n i t ) ，也称为m u s ( m e d i au n i m 。即媒体单元) 。在很多情况下， 一个媒体流中存在着若干个不同粒度等级的l d 盯工d u 的划分( 即所包含的内容) 由具 体的应用，编码方式，数据的存储方式和传输方式等因素决定。例如，对于符合h 2 6 1 标准的视频码流，一个l d u 可以是一个宏块、一个宏块组、一帧图像，或者是构成 一个场景的几帧图像( 如图2 3 所示) 等。连续媒体数据的各个l d u 之间存在着固定 的时间关系，例如以一帧图像为一个l d u ，则相继的l d u 之间的时间间隔为4 0 m s 。 这种时间关系是在数据的获取时确定的，而且要在存储、处理、传输和播放过程中保 持不变，否则就会损伤媒体回放时的质量，例如产生图像的停顿、跳动，或声音的间 断等。 第4 种划分 第3 种划分 第2 种划分 第1 种划分 图2 3h 2 6 1 码流中l d u 的不同划分 对于数字化视频流，通常选取帧作为l d u 当基本的物理单元太小难于处理时， 通常将多个抽样合起来作为一个l d u ，如抽样频率为8 k h z 的音频流的一个抽样太小， 因此可以将5 1 2 个抽样合起来作为一个l d u ，这样一个l d u 的持续时间就是6 4 r i m 。 21 4 多媒体数据的构成 多媒体数据的构成可以用图2 4 来表示。其中主体部分是不同媒体r 如文字、图 形、图像、声音和活动图像) 的数据，这些数据包含了所要表达的信息内容，称为构成 多媒体数据的成份数据。除了成份数据之外，它们之间的约束关系( 同步关系) 也是构 成多媒体数据的不可缺少的组成部分。这些约束关系称为同步规范( s y n c h r o n i z a t i o n s p e c i f i c a t i o n ) 。在存储和传输成份数据时，必须同时存储和传输它们之间的同步关系。 在对成份数据作处理时，必须维持它们之间的问步关系。当只考虑时域同步关系时， 时域同步规范由同步描述数据和同步容限两部分组成。同步描述数据表示媒体内部和 媒体之间的时间约束关系，同步容限则表示这些约束关系所允许的偏差范围。 北京邮电大学硕士研究生论文第二章多媒体同步综述 ( 5 ) 信源端或者信宿端估计网络时延，信源端根据估计值将媒体单元的发送时间提前 或滞后，使其能够在预定的播放时刻前到达信宿端，又不会使接收端的缓冲区溢出。 2 信宿端的同步控制 ( 1 ) 信宿端缓冲媒体单元以补偿网络的时延抖动，然后根据同步信息播放媒体单元。 因此当媒体单元的到达时刻比预定的播放时刻早时。就需要缓冲。 ( 2 ) 信宿端根据缓冲区的占用水平跳过或者重复播放某些媒体单元。当缓冲区占用水 平较低时，重复播放前一个媒体单元；当占用水平较高时，跳过某些媒体单元。 ( 3 ) 信宿端根据缓冲区的占用水平调整媒体播放速率，使缓冲区水平保持在一定范围 内，数据能够平滑播放。