多媒体通信技术 第5章同步

1、第5章 多媒体通信同步 第5章 多媒体通信同步 5.1 引言引言5.2 多媒体同步控制机制多媒体同步控制机制 第5章 多媒体通信同步 5.1 引引 言言 多媒体对象的同步关系抽象为以下两种类型: (1) 媒体内的时间关系 (2) 媒体间的同步关系第5章 多媒体通信同步 5.2 多媒体同步控制机制多媒体同步控制机制 在单机环境下，引起多媒体失步的因素有：磁盘I/O速率，显示速率及处理机速度。 5.2.1 单机环境下的多媒体同步技术单机环境下的多媒体同步技术 第5章 多媒体通信同步 1. 基于参考点的同步法基于参考点的同步法 (1) 数据组织图 一种视频和音频交替存储的文件格式 第5章 多媒体通信

2、同步 (2) 同步算法在这种同步算法中, 同步控制采用如下三种原子动作, 这些动作控制着动态对象的同步。 即:等待: 如果一个动态对象的演示已达到同步点而其它对象尚未到达, 则该对象需要执行一个等待动作, 例如, 冻结、 暂停视频帧等。 跳过: 如果一个对象的演示需要跟上另一个对象的演示, 则该对象要执行跳过动作去演示下一个媒体单元的数据。 连续跳过: 如果一个对象的演示需要连续跳过多个媒体单元到达新的同步点, 则该对象要执行连续跳过动作来增大演示速度, 这是一种加速操作。 第5章 多媒体通信同步 一种基于参考点同步法的实现算法如下: 初始化, 包括测试计算机系统速度和磁盘I/O速率、 复位帧

3、计数器、 读取媒体文件的头信息以确定帧的索引（同步）点。 对于第m帧, 先读入第m帧音频数据, 然后检测第m-1帧的音频是否播完。 如果已经播放完, 则说明音频段比一帧图像演示得快, 需要跳过下一帧图像。 这时只需播放第m帧音频段, 而不必播放图像帧。 计数器增值后返回到第步, 继续播放后续的帧。 第5章 多媒体通信同步 如果第m-1帧音频段未播放完, 则把第m帧音频数据存放到音频输出队列中, 使其自动连续播放, 然后读入并显示第m帧图像。 计数器增值后返回到第步, 继续播放后续的帧。 如果第步中的情况连续出现N次（经验值）, 则说明音频段比一帧视频图像演示得慢, 在演示图像帧时要适当加入延时

4、。 第5章 多媒体通信同步 基于参考点同步法的优点是: 对内存的要求较低, 无需一次性将所有音频数据调入内存, 而是利用双缓冲技术实现音频数据的连续播放。 在播放过程中进行快进、快退、暂停或慢放等控制操作非常方便。 第5章 多媒体通信同步 2. 基于参考时间线的同步法基于参考时间线的同步法 (1) 数据组织在这种同步法中, 一个多媒体影片中的音频和视频数据是分开存储的。第5章 多媒体通信同步 (2) 同步算法为了保持播放速度与视频序列采集速率的一致性, 实现媒体在不同媒介上演示, 其同步准则是：设视频媒体表现在时间线上的映射为VideoRate 秒/帧, 视频的采集速率为VideoSample

5、Rate 秒/帧, 时间差定义为tVideoRate-VideoSampleRate。 如果t0, 则播放速度慢于采集速度, 需要丢帧; 如果t0, 则播放速度快于采集速度, 需要延时; 如果t0, 则播放速度等于采集速度, 正常播放。 第5章 多媒体通信同步 一种基于参考时间线同步法的实现算法如下: 初始化, 包括测试计算机系统速度和磁盘I/O速率等, 以确定丢帧数目和帧延时时间。 对于非正常顺序播放, 其同步控制（如暂停、 快进、 快退等）是以参考时间线的映射为基础的。重定位音频流和视频流, 也就是要定位新的视频数据起始点, 并从时间线的映射关系中找出音频流的帧起始点。设音频采样率为Aud

6、ioSampleRate kHz/秒, m位编码。若从第N帧开始播放时, 音频定位点为: NAudioSampleRateVideoSampleRatem/8 （字节）。 第5章 多媒体通信同步 两种媒体并行地演示, 例如可采用前台和后台方式播放音频和视频数据。 在同步点对帧进行调整, 其同步点按下式计算: 当t0, 则音频速度快于视频速度, 需要视频每隔VideoSampleRate /（VideoRate-VideoSampleRate）帧跳过一帧, 以达到同步; 当t0, 则音频速度慢于视频速度, 每帧视频需要延迟（VideoSampleRateVideoRate）秒; 以达到同步。 第

7、5章 多媒体通信同步 3. 基于有限缓冲器的同步法基于有限缓冲器的同步法 这种方法的演示过程以主设备（如音频演示设备）时钟为基准。 在演示过程中, 若从设备（如视频演示设备）媒体流的同步点超前或滞后于主设备媒体流的同步, 则对从设备媒体流施加等待或加速动作, 使从设备媒体流的同步点与主设备媒体流的同步点相一致。由于各媒体流以同步的方式传送到演示设备的缓冲器之中, 利用缓冲器容量的有限性便可以校正由于演示设备时钟频率的差异而引发的不同步现象。 这种方法的最大失调取决于演示设备缓冲器的容量。 第5章 多媒体通信同步 5.2.2 网络环境下的多媒体同步技术网络环境下的多媒体同步技术 1. 基于反馈的

8、同步机制基于反馈的同步机制失调检测是实现强制同步的关键步骤, 失调检测可以在媒体接收端进行, 也可以在媒体发送端进行。 若出现失调, 可采取以下的同步控制手段： 发送端改变其数据发送速率。 接收端执行跳过或暂停动作, 跳过动作将加速媒体流的演示过程, 而暂停动作则延缓媒体流的演示过程。 第5章 多媒体通信同步 当媒体发送端收到来自从设备的反馈信息后, 执行如下的同步过程: 估计与反馈信息相对应的媒体单元在从设备上的最早播放时间和最迟播放时间。 通过比较在主设备和从设备上媒体单元播放时间的估计值, 确定同步播放的媒体单元集合。 由同步播放媒体单元集合各元素同步点的差异, 确定主设备和从设备之间失

9、调的程度。 多媒体服务器根据失调程度, 加速或延缓从设备的媒体演示过程, 迫使从设备与主设备同步运行。 此类方法的最大失调由用户设置, 从而使失调容限与演示设备缓冲器的容量互不相关, 具有灵活方便的特点。 第5章 多媒体通信同步 2. 基于基于RTP协议的同步机制协议的同步机制 基于RTP协议的同步机制是上述基于反馈的同步机制的一个实例。在网络环境下, 为了保持多媒体流内和流间的同步关系, 在演示过程中引入端到端的强制同步机制是必要的, 而失调检测机制则是实施强制同步控制的基础。失调检测机制可以采用两种方法实现: 一是由网络协议提供, 应用程序可以利用这种机制去实现强制同步控制, 例如RTP协

10、议就提供了这种失调检测机制; 二是完全由应用程序实现失调检测和同步控制机制。 现考察一下RTP协议所提供的失调检测机制。 第5章 多媒体通信同步 在RTP协议中, 采用了如下的同步控制策略: ： 各个接收端周期地将一种称为接收者报告的轻载消息反馈给发送端, 在接收者报告中包含有接收者观察到的网络失调状态信息（如QoS状态）, 发送端将接收者报告提交给高层应用程序, 应用程序据此进行失调检测与评价。如果出现了失调现象, 则需要进行强制性同步控制。发送端应用程序可以通过改变数据发送速率、控制传输带宽等方法来实施强制同步, 以满足接收端演示质量（QoP）的要求。第5章 多媒体通信同步 基于RTP的同步方法的特点是