09-多媒体同步技术

1、多媒体通讯技术西南科技大学信息工程学院授课教师：吴 静电 话：6089322 址：东6A515，通讯与网络实验室 E mail： wujingvip.163答疑地点：东6A515，通讯与网络技术实验室答疑时间：周1下午，周4晚上第九章 多媒体通讯同步技术9.1 概述9.2 多媒体同步参考模型9.3同步描画方法9.4同步控制机制1.分布式多媒体系统中的同步2.延续媒体内部的同步3. 媒体流之间的同步 9.1 概述同步与一致的时间基准相关联知同步？时钟同步帧同步网同步本章讨论的同步是？多媒体同步 媒体内同步、媒体间同步一、多媒体数据媒体的种类依赖于时间关系的媒体独立于时间

2、关系的媒体媒体数据的时域约束关系媒体对象在时间上的相对依赖关系延续媒体对象的各个LDU之间的相对时间关系各媒体对象之间的相对时间关系多媒体数据的构成成分数据同步规范同步描画数据同步容限多媒体数据的构成多媒体数据成分数据同步规范文本数据图形数据音频数据视频数据同步描画数据同步容限多媒体同步：坚持和维护各媒体之间和各媒体对象内部存在的事态关系，组织多种媒体序列以实现某种特定的表现。多媒体同步所研讨的主要问题：如何表示多媒体数据的时域特征；在处置多媒体数据时，如何维护时域特征。二、同步的类型上层同步用户级同步中层同步媒体间同步底层同步媒体内同步1. 用户级同步描画方式：从用户的角度设计模型框架，表达

3、用户的交互性，容易被用户了解和运用。控制机制：事件驱动同步，发生在系统中某一节点需求起始动作的情况下。2 .媒体间的同步关系媒体间的同步关系即流间同步。将不同类型的媒体数据流按一定的时间 关系进展合成，保证不同媒体间的时间关系。 如：音频和视频之间的时态关系, 音频和文本之间的时态关系等, 表现为各个媒体流中在同步点上的同时播放。流间同步的复杂性和需求同步的媒体的数量有关多媒体系统的同步控制必需保证在同步点上各个媒体之间可以坚持时间关系。例：一个有语音讲解的多媒体幻灯片, 其讲解必需和一组画面同时表现, 且随着画面的显示, 讲解是顺序的。这里的同步点处于画面的改动点和讲解的起始点与终了点。一个

4、可视系统, 其语音和图像序列经过通讯网络传输到接纳端, 且必需同步地在接纳设备上演示, 以坚持口型和声音同步。媒体内的时间关系即流内同步, 主要是保证单个媒体流之间的简单时态关系, 也就是按一定的时间要求传送每一个媒体对象, 其表现为媒体流的延续性, 以满足人类感知上的要求。 流内同步的复杂性不仅和单个媒体的种类有关, 而且和分布式系统提供的效力质量Quality of Service, QoS有关。 同时, 也和源端和目的端操作系统的实时性有关。3. 媒体内的同步关系三、影响媒体同步的要素延时偏移媒体间信道不同产生不同延时延时抖动传输过程中的延时偏向最大延时与最小延时之差时钟漂移端系统之间的

5、时钟频率变化一段时间间隔内的平均抖动数据丧失9.2 多媒体同步参考模型多媒体同步参考模型用于从整体上描画媒体之间的时序关系。参考点同步模型将延续媒体看作是一系列离散的子单元构成的序列，一个子单元所在的位置称为一个参考点时间轴同步模型一切媒体对象彼此独立地依赖同一时间轴。层次同步模型对多媒体同步进展分层处置，规定了同步机制所应有的层次及各层所应完成的主要义务。1.逻辑数据单元LDULDU1LDU2LDU3LDU4LDU5.t40ms40ms时间相关媒体流的根本信息单元LDU的划分与运用、编码方式、数据存储方式有关。例：一帧图像为一个LDU，每秒25帧，两个LDU之间的时间40ms。视频帧1视频帧

6、2视频帧3视频帧n音频1视频帧3音频1音频1不同媒体LDU同步关系例如2. 同步容限事件间偏向对象内偏向同一媒体对象的时域事件之间的偏向对象间偏向不同媒体对象的时域事件之间的偏向同步容限用户与同步机制之间就偏向的答应范围所达成的协议。同步机制保证恢复后的时域场景中，事件间的偏向在同步容限内3. 层次同步模型同步任务过程按照同步描画数据生成调度方案根据同步容限及多媒体数据特点恳求资源同步控制机制按照同步容限要求完成对偏向的控制，维持多媒体数据的时域关系。1. 媒体层处置来自于延续码流的LDU，LDU的大小与同步容限相关。同步容限越小，LDU越小同步机制与底层效力系统之间的接口，向上提供与设备无关

7、的操作，内部不包含同步控制操作。义务：恳求资源访问各类接口函数，完成LDU的I/O2. 流层处置延续码流或码流组，完成流内同步和流间同步。流层将延续码流作为一个整体进展处置，向上层用户提供各种功能函数。面向延续码流义务：确定LDU大小及对LDU的处置方案向媒体层提交QoS要求实施流内和流间的同步控制3. 对象层对不同类型的媒体对象进展一致地处置，实现延续媒体和非延续媒体之间的同步，并完成非延续媒体对象的处置。义务：制定调度方案：同步容限、媒体信息、资源情况系统初始化执行调度方案：非延续媒体与延续媒体对象之间的同步控制4. 描画层处置多媒体运用生成的时域场景。处理各场景的安排与对象同步的描画问题

8、。为用户提供描画多媒体数据时域约束关系的工具。描画层产生同步描画数据和同步容限，提供应对象层。如何描画多媒体数据的时域特征，对多媒体数据的时域特征进展笼统、描画以及给出必要的同步容限。对象同步关系的描画同步的效力质量的描画方法：1. 基于途径的描画方法2. 基于Petri网的描画方法3. 基于时间标志的描画方法9.3 多媒体信息同步描画法描画时域特征的时间模型时间模型的构成根本时间单位关联信息时间表示技术根本时间单位表示时域场景中的事件时辰间隔关联信息反映时域事件的组织方式定量关联信息事件独立，单独的描画时域事件在场景中的位置，间接反映事件间的关系定性关联信息事件彼此相关，关联信息包含的是对时

9、域事件约束关系的描画1. 基于途径的描画方法动作动作和时间的关系途径表达式动作动作：表示发生的事情同步点：一个动作的某些事件和别的动作的某些事件点有对应关系，这个事件称为同步点动作分类：原子动作：起始点之间不再有同步点的动作复合动作：2动作和时间的关系：先于衔接包含相交同始同终平行3途径表达式由途径操作符来定义动作的同步ABABA;BA/BAi*N:A将对象分成SIU(同步间隔单元 2. 基于Petri网的描画法 OCPN模型对象合成Petri网OCPN模型描画了媒体对象内和媒体对象间的时间关系， 它是一个定时Petri网。用一个六元组表示: OCPN = T,P,A,D,R,M T = t1

10、,t2, , tn 为变化集, ti表示同步点和处置位置, 在图中用短垂直棒表示。 P = p1,p2, , pm 为位置集, pi表示进程, 并假定变化瞬时发生, 故pi具有相应形状, 在图中用圆表示。 A: TP PT I = 1,2,是有向孤集, 在图中用箭头表示。 D: PRe定义了由位置集向实数集的映射, 实数集Re表示OCPN中的时间约束。 R:Pr1,r2,rk 定义了由位置集向资源集 r1,r2,rk 的映射。 M:PI,I =1,2,定义了由位置集向整数集的映射,它表示位置集中的标志(token)分布。 XOCPN是在OCPN模型的根底上扩展了对多媒体对象通讯和同步机理的描画

11、。用一个八元组XOCPN= T,P,A,D,R,M,Y,Z 表示, 也就是在OCPN模型的根底上扩展了两个映射函数Ypi和Zpi: Y: P 控制, 对象 定义了位置集向位置类型集的映射。 位置分为对象位置和控制位置两种。 Z: P动作, 函数地址, 同步单元地址, 通讯和同步的信息地址定义了由位置集向地址集的映射。 OCPN中的位置分成对象位置和控制位置两种。 (1) 对象位置 它表示媒体对象的播放进程, 每个对象位置与媒体对象的一个同步单元SIU相对应。 每个对象位置Pi指定一个时间间隔, 一个时间间隔与其对应的SIU的时间间隔相等, 由映射函数Z(Pi )坚持的SIU的地址可以是一个缓冲

12、器指针。每个对象位置表示如下两种操作之一: Action.SIUPlayout: 在媒体输出设备上播放相关的同步单元。 Action.SIUTransmit: 向指定的虚电路通道发送相关的同步单元。 (2) 控制位置 它表示基于XOCPN语义的控制过程, 在其上执行的操作有资源的建立, 资源的释放以及媒体间的同步等, 即: Action. ResourceSetup: 建立虚电路信道、按用户设置的QoS参数的协商信道属性、分配接纳端缓冲器、预备输出设备等。 其中, 资源Resource定义了通讯通道、缓冲器或输出设备等。Action. ResourceRelease: 在媒体对象完成播出后,

13、立刻释放所占用的资源。 Action.InterstreamSynchronize: 按所希望的同步战略实现流间同步机制。 (1) 中断同步 (2) 受限中断同步 流内同步机制 (a) 中断同步； (b) 受限中断同步 1 流内同步对于流间同步, XOCPN模型也支持两种同步机制: 中断和非中断。 (1) 流间中断同步将在Nxocpn中的每一个IPP流间播放点处中断快速流的播放过程, 直到一切需求同步的媒体流都到达IPP才播放。 非中断同步 将在Nxocpn中的每一个IPP点搜集有关流间的同步形状信息, 然后根据所搜集的同步形状信息进展某些校正动作, 这些校正动作分成两种: 2 流间同步流间同

14、步机制 一个电视新闻广播时间线的例子 节目片头引导音乐音乐渐隐播音员念第一条新闻播音员全景播音员上部照片图形ABCDEF视频音乐语音 电视新闻广播的XOCPN 3. 基于同步标志的描画法在数据生成过程中在数据流中参与同步标志的方法。同步标志方式有形标志：如以信息帧的方式插入到媒体数据流中; 逻辑标志：如相对数据量和相对时间。 时间标志： 多媒体对象起始媒体单元位于时间系统的零点，一个媒体单元在相对时间系统中的位置。将各个媒体流映射到一个逻辑时间轴上, 赋予每个媒体单元一个时戳(Timestamp), 以此来标识媒体单元相对于逻辑时间轴起始点的时域位置。逻辑时间轴的单位应小于最小媒体单元的继续时

15、间, 从而使同一媒体中两个不同的媒体单元的时戳相异。在媒体表现过程中, 具有一样时戳的媒体单元同步播放。 图 3.6 RTP报头格式 RTP协议中的时间标志其中: V: RTP协议的版本号, 占2位。 当前协议版本号为2。 P: 填充标志, 占1位。 假设P=1, 那么在该报文的尾部将填充一个或多个额外的八位组。 X: 扩展标志，占1位。 假设X=1, 那么在RTP报头后跟有一个扩展报头。 CC: CSRC计数器, 占4位, 指示CSRC 标识符的个数。 M: 标志, 占1位, 不同的有效载荷有不同的含义。 对于视频, 标志一帧的终了; 对于音频, 标志会话的开场。 PT: 有效载荷类型, 占

16、7位, 用于阐明RTP报文中有效载荷的类型。 例如, GSM音频、 JPEM视频等。 序列号: 占16位, 用于标识发送者所发送的RTP报文的序列号; 每发送一个报文, 序列号增1。接纳者经过序列号来检测报文丧失情况, 重新排序报文, 恢复数据。 时戳(Timestamp): 占32位, 时戳反映了该RTP报文的第一个八位组的采样时辰。接纳者运用时戳来计算延迟和延迟抖动, 并进展同步控制。 同步信源(SSRC)标识符: 占32位, 用于标识同步信源。 该标识符是随机选择的, 参与同一视频会议的两个同步信源不能有一样的SSRC。 特约信源(CSRC)标识符: 每个CSRC标识符占32位, 可以有

17、015个。每个CSRC标识了包含在该RTP报文有效载荷中的一切特约信源。设备驱动法：衔接驱动法： 典型的时戳递进战略(1) 设备驱动法源于主设备的媒体单元的时戳在主设备时钟控制下递进；源于从设备的媒体单元的时戳的递进要经过调理过程的处置, 使从设备媒体单元与同时生成的主设备媒体单元具有一样的时戳。 选择主设备时的思索要素有: 时钟频率的准确性和媒体源的重要性等。例如, 声音媒体和图像媒体中, 通常选择声音频媒体源作为主设备, 由于声音媒体的时间误差易被人们的听觉感受; 也可以选择外部时钟源作为主设备。 (2) 衔接驱动法在分布式网络环境中, 媒体单元时戳递进率取决于某一网络衔接的数据传输率。

18、上讲内容1同步义务：维持媒体内、媒体间的时间关系。2同步的类型：用户级同步、媒体间同步、媒体内同步3多媒体数据的组成：成分数据、同步数据同步描画数据、同步容限、逻辑数据单元LDU。4同步描画方法：基于途径的描画方法：基于OCPN模型的描画方法基于时间标志的描画方法 课后练习节目片头引导音乐音乐渐隐播音员念第一条新闻播音员全景播音员上部照片图形ABCDEF视频音乐语音途径描画表达式：？同步控制机制：了解同步描画数据所定义的时域特征，并根据用户所要求的同步容限，完成对改特征的维护。内容：分布式多媒体系统中的同步延续媒体内部的同步媒体流之间的同步9.4 多媒体同步控制机制多路复用同步技术将多个媒体流

19、的数据复用到一个数据流中，从而使他们在传输中自然坚持媒体间的同步关系。例：MPEG-2规范中TS流的构成数据编码器音频编码器TS复用音频视频数据视频编码器打包器打包器打包器PS复用TS码流PS码流ESPES节目1音频1节目1视频1节目1PMT节目1视频2节目1视频3TS包音频PES视频PES数据PES节目1音频2节目1音频3节目1数据1PES包头PES包数据PES 包链接头适配域TS 包净荷184byte188byte链接头适配域净荷.一、分布式多媒体系统中的同步分布式系统构造：点对点、点对多点、多点对点、多点对多点 SDSDSDSDSD2同步规范的传送方式：提早传送法传送多媒体数据之前，将整

20、个播放过程所需同步规范以文件方式传送到接纳端，以备播放时参照。辅助通道传送法运用附加逻辑通道专门传送同步规范文件插入同步标志法将同步规范与成分数据复接在一同运用一个通道传送 3. 影响媒体同步的要素延时偏移媒体间信道不同产生不同延时延时抖动传输过程中的延时偏向最大延时与最小延时之差时钟漂移端系统之间的时钟频率变化一段时间间隔内的平均抖动数据丧失传输延时 抖动对多媒体同步的破坏效力器用户音频数据视频数据网络时钟偏向对同步的影响信源和信宿之间时钟存在偏向，经过一段时间后，接纳端数据缺乏，破坏延续媒体播放的延续性例：时钟偏向10-3秒，90分钟后，偏向5.4秒，播放质量无法保证。一秒内时钟偏向10-

21、6秒，90分钟后，偏向5.4ms，可以忽略。网络时钟同步协议Internet的网络时钟协议NTPNetwork Time Protocol，中央时间效力器维护一个高精度和高稳定度的时钟，时间效力器向各站点周期性广播定时信号，各站点以此为基准调整本地时钟各站点同步时钟的精度坚持在毫秒级4、多级同步机制在分布式多媒体系统中，同步通常是分多步完成的，涉及到系统的各个部分。采集多媒体数据及存储多媒体数据时的同步从存储设备中提取多媒体数据时的同步发送多媒体数据时的同步多媒体数据传输过程中的同步接纳多媒体数据时的同步输出设备内部的同步 发送、传输和接纳过程中的同步控制机制二、延续媒体内部的同步 延续媒体是

22、由假设干个LDU构成的时间序列，LDU之间存在固定时间关系，当网络传输存在抖动时，延续媒体内部LDU的相互时间间隔那么发生变化，这时接纳端需求采取一定的措施恢复原来的时间关系。效力器用户LDU网络处置方法：接纳端设置缓存，延时抖动进展过滤技术：基于播放时限的同步方法基于缓存数据量控制的同步方法信源缓存器播放器(解码器)传输线路1. 基于播放时限的同步方法限定播放延迟时间主要问题？ 播放延迟时间 缓存器如何设计信源缓存器播放器(解码器)传输线路r设恣意LDU：发送时辰为 t(i)到达时辰为 a(i)播放时辰为 p(i)传输时延为 d(i)最大延时dmax，最小延时dmin播放速度 为 r 每秒传

23、送的LDU个数12i12idmindmax12iT实时数据的发送、接纳和播放时间关系t(i)a(i)p(i)T=? 播放延迟时间在延时抖动已限定在一定范围的条件下，接纳端在接纳到第1个LDU之后，必需延迟一段时间T再开场播放，才干保证整个播放过程不延续。缓存器的最大容量最大缓存时间Bt缓存器的最大容量缓存器的最大容量B： 设播放速度为 r ，那么：2.基于缓存数据量控制的同步方法周期性检测缓存数据量，假设缓存数据量超越预定警戒限时，以为存在不同步景象，采取措施进展再同步。措施？接纳端调理发送端调理接纳端再同步信源缓存器播放器传输线路控制函数反响滤波器：t时辰的缓存数据量：反响滤波器：t时辰的缓

24、存数据量：控制函数发送端再同步：信源缓存器播放器传输线路控制函数反响滤波器：t时辰的缓存数据量：反响滤波器：t时辰的缓存数据量：控制函数同步操作过程滤波器输出：经过滤波器后，平滑掉短期延时抖动引起的缓存数据量动摇，只需由时钟漂移、网络传输条件改动等要素引起的长期缓存数据量变化才会触发控制函数的任务为平滑因子，其取值影响滤波器的灵敏度。过大，同步控制机制启动慢，缓冲器溢出或空过小，延时抖动引起的缓存数据量微小变化也会不用要的启动再同步机制，系统不稳定播放速度调整：控制函数将平滑后的缓存数据量于预先设定的缓存数据量警戒线比较，假设超出警戒线，启动再同步机制。BbaLWUWba播放速率调整： 相对调

25、整速率再同步伐整期缓存器容量BbaLWUWbaB：知延时条件下的缓存容量滞后ba：附加缓存容量，包容再同步机制延迟时间的数据三、媒体流之间的同步1基于反响的流间同步方法2基于全局时钟的时间戳方法3基于RTP协议的同步控制机制1. 基于反响的流间同步机制在网络环境下，基于反响的同步机制是常用的同步方法。关键点：失调检测控制机制：发送端控制接纳端控制例：到达用户A音频流和到达用户B的视频流必需符合二者间的同步要求。效力器ABfafbfa fb: 反响单元条件：无全局时钟延时在dmin，dmax之间任务过程：效力器根据相对时间戳同时提取不同流的并送到通讯线路；由于各种要素影响，各用户端播放过程进过一段时间不同步；用户端在播放某个LDU时，将该LDU的时间戳前往效力器；效力器周期性比较反响回来的数据，可检测出各条流之间的同步情况。同步过程: 估计与反响信息相对应的