多媒体通信技术多媒体数据及时域特征课件

1、第10讲 多媒体数据及时域特征第10讲 多媒体数据及时域特征多媒体同步初步认识传统意义上的同步概念纯数据的传输多媒体同步是一项复杂技术网络物理线路信源信宿多媒体同步初步认识传统意义上的同步概念多媒体同步是一项复基于卫星网的通信系统基于卫星网的通信系统按施加对象区分 对象内的同步对象间的同步 多媒体同步分类跳动的球的视频序列帧间同步 对象间的同步 按施加对象区分 多媒体同步分类跳动的球的视频序列帧间同步 对按同步层次划分:上层同步也称作表现级同步或交互同步，也即用户级同步。中层同步是信息合成同步，也就是不同媒体类型数据之间的合成。底层同步是系统同步，也称为媒体内部同步。多媒体同步分类按同步层次划

2、分:多媒体同步分类多媒体数据复合信息实体文本、图形、图像、动画、语音和活动图像媒体数据的成分连续媒体(敏感)静态媒体(不敏感)时间敏感性生成方式获取(源自现实世界)合成(由计算机完成)声音、视频信号动画静止图片文本、图形多媒体数据多媒体数据复合信息实体文本、图形、图像、动画、语音和活动图宏块第4种划分LDU宏块组第3种划分LDU一帧图像第2种划分LDU一个场景第1种划分LDUH.261码流中LDU的不同划分连续媒体LDU之间的相对时间关系LDU1LDU2LDU3LDU4LDU5tttt时间宏块第4种划分LDU宏块组第3种划分重同步举例101112131415161710111213141516

3、17时间视频音频正常播放101112silent14151613101011121313141612时间重同步视频音频实际播放重同步举例1011121314151617多媒体数据内部约束关系1. 基于内容的约束关系同一内容的不同表现形式需解决的主要问题：解决的一种办法是： 定义原始数据和不同类型媒体间的转换原则，并由系统来完成调整。数据更新的一致性多媒体数据内部约束关系1. 基于内容的约束关系同一内容的不同2. 空域约束关系同一时刻不同媒体的布局系统定义布局架构： 各媒体对象可以通过固定位置或相对位置进行描述。空域关系的典型例子： 办公室文档结构ODA根复合布局结构单元基本布局结构单元1基本布

4、局结构单元2基本布局结构单元32. 空域约束关系同一时刻不同媒体的布局系统定义布局架构： 3. 时域约束关系媒体对象在时间上的依赖关系：电视新闻广播的时域关系：(1) 连续媒体内部各LDU间的相对时间关系(2) 各媒体对象间的相对时间关系引导音乐节目片头播音员念第1条新闻音乐渐消播音员全景播音员上方图片时间话音音乐视频图片3. 时域约束关系媒体对象在时间上的依赖关系：电视新闻广播的时域约束关系的确立：“视频教学的例子”(1) 信息获取时建立的同步关系(2) 信息获取后指定的同步关系实时同步(Live)3种约束关系中，时域约束关系最为重要。第1级：操作系统和较低通信层，避免单个流输出时出现颤抖。

5、 第2级：多媒体流运行时(RUN-TIME)的处理(调度器)，限制不同流间失真。 第3级：对时间有关和时间无关媒体之间的运行时(RUN-TIME)支持和用户 互作用的处理，限制它们之间的失真。 多媒体系统的多级考虑时域同步问题：综合同步(Synthetic)时域约束关系的确立：“视频教学的例子”(1) 信息获取时建多媒体数据的构成多媒体同步研究二大问题：(1) 如何来表示多媒体数据的时域特征；多媒体数据成份数据同步规范同步描述数据同步容限文本数据图形数据音频数据视频数据(2) 处理过程中又如何来维持时域特征。多媒体数据的构成多媒体同步研究二大问题：(1) 如何来表示多多媒体数据时域特征表示时域

6、场景和时域定义方案多媒体数据(时域特征表示)时域场景(时域事件序列)时域事件确定性确定性时域场景非确定性非确定性时域场景处理难度大时域定义方案时间模型：基本部件及其使用规则形式化语言：同步描述数据多媒体数据时域特征表示时域场景和时域定义方案多媒体数据(时域多媒体对象时域特征的表示过程时间TPA062432P: 图像T: 文本A: 音频多媒体对象时域场景抽象同步描述数据时间模型形式化语言时域特征表示(同步规范)同步容限时域场景可以有不同的描述(时间模型不同)： 针对事件发生的时刻 针对事件发生的相对时刻 针对事件发生的时间间隔多媒体对象时域特征的表示过程时间TPA062432P: 图像时域参考框

7、架时域定义方案 多媒体场景时域场景时间模型基本时间单位关联信息时间表示技术形式语言 同步机制理论和机制语法部分语义部分为多媒体研究提供一个很好的技术时域参考框架时域定义方案 多媒体场景时域场景时间模型基本时描述时域特征的时间模型(一) 时间模型构成基本时间单位：时刻、间隔关联信息：定量、定性场景中的各时域事件彼此相关，描述事件间约束关系场景中的各时域事件彼此独立，间接反映事件间关系描述时域特征的时间模型(一) 时间模型构成基本时间单位：时刻 事件间的时域关系的描述1. 两个时刻间的时域关系before (先于)、 after(后于)、 at-same-time(同时)2. 两个间隔间的时域关系

8、7种基本关系ABbefore(先于)ABmeets(衔接)ABoverlaps(相交)ABduring-1(包含)ABstarts(同始)ABfinishs-1(同终)ABequals(并行) 事件间的时域关系的描述1. 两个时刻间的时域关系befor 事件间的时域关系的描述(续)3. 非确定性时域关系时域事件不能用前2种关系明确描述4. 宽度关系反映两个间隔在长度上的关系：longer(长于)shorter(短于) 事件间的时域关系的描述(续)3. 非确定性时域关系时域事件时间表示技术：定期方案约束传播方案宽度方案依据：定量关联信息依据：定性关联信息定义场景中的各事件与时间轴之间对应关系的依

9、据关联信息不同依据：事件持续事件及次序信息(一) 时间模型构成（续）时间表示技术：定期方案约束传播方案宽度方案依据：定量关联信息描述时域特征的时间模型(续)(二) 时间模型的分类1. 定量定期型时刻、定量关联信息、定期方案常见：时间轴模型缺点：非确定事件表示比较难Audio 1VideoRIP1P2P3Audio 2AnimationP4Interaction UI?t描述时域特征的时间模型(续)(二) 时间模型的分类1. 定量描述时域特征的时间模型(续)(二) 时间模型的分类2. 定性定期型时刻、定性关联信息(次序信息)、伪定期方案常见：虚轴模型缺点：同步描述数据复杂、维护难度加大Audio

10、 1VideoRIP1P2P3Audio 2AnimationP4Interaction UI?t描述时域特征的时间模型(续)(二) 时间模型的分类2. 定性描述时域特征的时间模型(续)(二) 时间模型的分类3. 定性时刻型时刻、定性关联信息、约束传播方案典型：萤火虫(Firefly)模型缺点：同步描述数据复杂、不宜维护UIbeforeP4at the same timebefore by 15sAnimationAudio 2描述时域特征的时间模型(续)(二) 时间模型的分类3. 定性4. 定性间隔型间隔、定量关联信息、约束传播方案典型：OCPN(对象合成Petri Net)模型OCPN模型

11、是一个定时Petri网，用六元组表示COCPNT,P,A,D,R,MT=t1, t2, , tn为转移点集，ti表示同步点， 在图中用“”表示P=p1, p2, pm为位置集， pi表示进程， 在图中用圆表示A: TPPTI=1,2,是有向弧集,在图中用箭头表示D: PRe位置集向实数集映射, Re表示OCPN中的时间约束。R: Pr1, r2, , rk 位置集向资源集r1, r2, , rk的映射M: PI, I=1,2,表示各位置所含的令牌数4. 定性间隔型间隔、定量关联信息、约束传播方案典型：OCP图片播音员全景延时延时话音新闻延时音乐节目片头引导音乐播音员念第1条新闻引导音乐音乐渐消

12、节目片头播音员全景播音员上方图片时间话音音乐视频图片电视新闻广播的OCPN例子图片播音员全景延时延时话音新闻延时音乐节目片头引导音乐播音员5. 定量间隔型间隔、定量信息和定性信息、宽度方案具有一定的表示非确定性时域场景的能力时域场景时刻定性信息定量信息约束传播方案间隔定性信息定量信息约束传播方案间隔定量信息定性信息宽度方案时刻定性信息伪定期方案时刻定量信息定期方案基本时间单位关联信息时间表示技术定量定期定性定期定性时刻定性间隔定量间隔5. 定量间隔型间隔、定量信息和定性信息、宽度方案具有一定的同步容限表示同步描述数据中约束条件的允许偏差范围造成事件间偏差的原因：进程对CPU的抢占、缓冲区不足、带宽不足等对象内偏差、对象间偏差同步容限就是用户对偏差许可范围的定义；而同步机制是保证恢复时域事件时偏差不超过容限同步机制的主要任务：流内同步和流间同步同步容限表示同步描述数据中约束条件的允许偏差范围造成事件间偏定义偏差许可范围，比较困难，一般采用主观评估。一般地，对象内的偏差许可范围小于对象间的许可偏差：连续图像信号30ms连续单音调声音1ms定义偏差许可范围，比较困难，一般采用主观评估。一般地，对象内媒体条件许可范围视频动画相关120ms音频Lip-