多媒体技术原理及应用

1、多媒体技术原理及应用第1页，共56页，2022年，5月20日，13点51分，星期二9.1 概 述 1.历史与现状 现代通信技术以电报(1835年)和电话(1876年)出现为诞生的标志计算机技术和通信技术结合产生了一批种类不同用途各异的通信网络形式和通信业务2.多媒体对通信的影响 (1)多媒体数据量 ；(2)多媒体实时性； (3)多媒体时空约束； (4)多媒体交互性； (5)多媒体分布式处理和协同工作要求。第2页，共56页，2022年，5月20日，13点51分，星期二实现途径 (1)话路+视频多媒体通信；(2)网络+视频多媒体通信；(3)有线电视+交换功能多媒体通信。关键技术 (1)声音、视频、

2、动画等的传输技术；(2)数据压缩和解压缩技术；(3)解决多媒体实时同步问题；(4)解决协议和标准化问题。 第3页，共56页，2022年，5月20日，13点51分，星期二9.2 可视电话系统 理想的多媒体通信方式是人们可以在任何地点，任何时间通过网络进行多媒体信息交换。为了使电话网能传送视频信号，人们很早就开始可视电话的研究。由于传输线路性能的局限性，可视电话一直没能广泛应用。随着多媒体技术和通信网的发展，可视电话会越来越普及。第4页，共56页，2022年，5月20日，13点51分，星期二9.2.1 可视电话系统的组成原理 1.可视电话分类与组成 语音处理部分图像输入部分图像输出部分 图像信号处

3、理部分 第5页，共56页，2022年，5月20日，13点51分，星期二2.可视电话控制器 (1)图像信号A/D和D/A转换；(2)帧存储器； (3)信源编码/解码；(4)信道编码/解码；(5)调制/解调；(6)转输信道。 第6页，共56页，2022年，5月20日，13点51分，星期二图9.1 可视电话控制器功能框图 帧储存器A/DD/A信源编码解码信道编码解码调制解调摄像显示模拟信道(公用电话网)数字信道(ISDN)数字网第7页，共56页，2022年，5月20日，13点51分，星期二9.2.2 静止图像传输静止图像传输的过程 ：在发送端摄得的图像首先经A/D转换，把模拟信号变成数字信号后存入帧

4、存储器，即把活动图像冻结，获取一帧画面，并高速写入数字存储器； 该静止图像以低速读出，经信源编码和信道编码后送到电话线上传送； 在接收端，接收信号经解调、解码恢复成原来的数字信号后，再送入帧存储器，然后反复以高速读出，D/A变换后送往显示器或监视器；在显示器上显示出原来的静止图像。第8页，共56页，2022年，5月20日，13点51分，星期二静止图像传输原理主要是利用帧存储器来改变信号的时间轴，把快信号变成慢信号，频带相应由宽变窄，使其能在电话线上传送，这实际上是利用延长时间轴的方法传输要求宽带的大数据量的数字图像信号。传输时， 会引起声音中断， 因而要求高速传输图像信号。可从两方面予以解决：

5、 图像处理； 通信处理。 第9页，共56页，2022年，5月20日，13点51分，星期二9.2.3 动态图像传输技术ISDN的应用为动态图像的传输开辟了广阔的前景， 可视电话正朝看动态图像方向发展。早期编码/解码无标准，互不兼容，无法通信。为此CCITT制订了H.261标准， 它规定了视频编码传输速度。目前H.262(MPEG-2)，H.263(低速线路)等标准提供了不同速率的视频编码技术.第10页，共56页，2022年，5月20日，13点51分，星期二9.3 视频会议系统 视频会议系统是一种在位于两个或多个地点的一群用户之间提供语音和运动彩色画面的双向实时传送的视听会话型电信会议业务。早期的

6、视频会议系统推广受到很大的限制。 CCITT为视听通信系统制定了H.261标准， 解决了不同厂商产品兼容性问题， 为其普及打下良好的基础。 第11页，共56页，2022年，5月20日，13点51分，星期二商品化的视频会议系统(1)高档会议室型 DDN，专网，300K2M。(2)桌面会议系统 DDN，ISDN(112768K)或LAN(384K)。(3)可视电话型 PSTN(28.8，33.6K)。第12页，共56页，2022年，5月20日，13点51分，星期二1990年12月，ITU-T批准了在窄带ISDN上进行视听业务的标准H.320建议 视频会议系统的组成 视频编解码器及附属设备；音频编解

7、码器及附属设备；信息通讯设备； 多路复用/信号分离设备；用户/网路接口；多点控制设备(MCU)；系统控制部分。 第13页，共56页，2022年，5月20日，13点51分，星期二图9.2 多点视频会议系统视频输入输出设备视频编解码器音频输入输出设备音频编解码器时延用户 /网络接口多路复用/信号分离设备 信息通信设备 系 统 控 制会议电视终端设备B会议电视终端设备CMCU会议电视终端设备A传输信道H.320建议H.261H.221G.703T.120系列 H.200/AV.270第14页，共56页，2022年，5月20日，13点51分，星期二ITU多媒体通信标准 ITU从1990发布了H系列、G

8、系列、T系列等规范，形成了多媒体视频会议系统标准体系，解决了不同系统的互通问题。H.320系统的其他相关协议包括： H.243 多个终端与MCU之间的通信规程； H.230 帧同步控制与指示信号； H.233 视听业务的加密系统； H.234 视听业务的密钥管理与认证； H.281 会议电视远端摄像机控制规程。 等等第15页，共56页，2022年，5月20日，13点51分，星期二H.320系统在N-ISDN的64Kbps(B信道)、384Kbps (H0信道)和1536/1920Kbps(H11/H12信道)上提供视听业务。这是ITU最早批准的视频会议系统标准，因而被广泛应用。其他标准 H.3

9、23运行在LAN/Intranet的视频会议框架标准 H.324运行在低速率传统电话线和无线通信信道上的视频会议框架标准； H.321/H.310ATM环境规定了2种可视通信协议。第16页，共56页，2022年，5月20日，13点51分，星期二视频会议系统的基本功能 视频会议系统工作时， 各会议点的多媒体终端将反映各个会场的主要场景、人物及有关资料的图像以及发言者的声音同时进行数字化压缩； 根据视频会议的控制模式， 经过数字通信系统，沿指定方向进行传输； 同时在各个会议点的多媒体计算机上， 通过数字通信系统实时接收解压缩多媒体会议信息， 并在其监视器上实时显示出指定会议参加方的会议室场景、人物

10、图像、图片和语音。 第17页，共56页，2022年，5月20日，13点51分，星期二 视频显示的转换控制的3种模式：(1)语音激活模式 或称自动模式；(2)主席控制模式； (3)讲课模式。第18页，共56页，2022年，5月20日，13点51分，星期二9.4 多媒体网络 9.4.1 概述计算机网络： 通过通信线路将多台地理上分散的独立工作的计算机互联起来，以达到通信和共享资源的目的， 这样一个松散耦合的系统就叫计算机网络。多媒体网络： 将多台地理上分散的具有处理多媒体功能的计算机和终端通过高速通信线路互联起来，以达到多媒体通信和共享多媒体资源的网络。 第19页，共56页，2022年，5月20日

11、，13点51分，星期二多媒体网络发展：(1)1980年1990年，局域网(10Mbps)，以Ethernet、Novell、Token Ring为代表，传输线路以双绞线和同轴电缆为主，传送的信息媒体以正文为主。广域网Internet传送正文，提供文件和Email服务。(2)1990年2000年，高速局域网(100Mbps)， 窄带ISDN光纤网络， 提供浏览、图形、声音、电子邮件和静止图像传送。(3)2000年2010年， B-ISDN，宽带IP，高速光纤网络， 提供视频图像传输和实时多媒体服务。第20页，共56页，2022年，5月20日，13点51分，星期二9.4.2 现有网络对多媒体通信的

12、支持 电话交换网 Ethernet(以太网) 分组交换网 FDDI(光纤分布式接口) ISDN 第21页，共56页，2022年，5月20日，13点51分，星期二1.电话交换网 电话网是通信网的基础， 它的组成部分包括传输线路、交换机和用户终端。结构有星型网、网状网、树型网及复合网多种 。电话网本质上是用于模拟语音通信的， 经调制解调将二进制数据调制成模拟信号在电话网中传送。电话网一般由若干级交换中心组成自动交换网， 再通过端局连接到各个电话用户。电话接续方式为电路交换，目前电话交换网功能及性能不断扩充， 支持多种电信业务。但对多媒体业务支持能力较差。第22页，共56页，2022年，5月20日，

13、13点51分，星期二图9.3 我国电话网路的等级结构第23页，共56页，2022年，5月20日，13点51分，星期二2. Ethernet(以太网) 以太网1978年提出。典型的结构为总线方式， 现有星形连接方式以适应电话线的结构方式。传输速率为10Mbps， 最大站间距离为1500米， 可通过中继器扩展网络覆盖范围。访问控制方法为CSMA/CD， 既可单点通信， 又可单点对多点广播。10BASE-T以太网范围和速度有限，不能完全适应多媒体通信实时性要求和媒体种类变换的要求，但对静态媒体的传输效果还可以。第24页，共56页，2022年，5月20日，13点51分，星期二100BASE-T是由快速

14、以太网联盟开发的100Mbps高速以太网， 组成的LAN较好地支持多媒体通信， IEEE已将100BASE-T确定为IEEE 802.3u标准。千兆以太网联盟开发的1000Mbps以太网技术， 已作为IEEE 802.3z和802.3ab标准，千兆以太网技术显著地提高了网络的可用带宽， 可用在任何规模的局域网的通信中。但以太网没有提供QoS的支持， 这对多媒体通信来说是一种缺陷。第25页，共56页，2022年，5月20日，13点51分，星期二图9.4 以太网构成重发器重发器服务器第26页，共56页，2022年，5月20日，13点51分，星期二3.分组交换网X.25PSN(分组交换网)是大型的计

15、算机网络，它由数据交换节点和连接它们的各种不同信道组成。数据传输速率在500Kbps到23Mbps 。CCITT对分组交换的特点： (1)所有报文必须划分为分组。每个分组的大小一般有一定的限制(如1000bits左右)； (2)分组必须附加目的地址、分组编号及校验码等控制信息，且有标准格式； (3)按存储转发方式传递分组， 由于分组长度较短，利用高速传输实时性较好； (4)各分组可通过不同的传输途径先后到达目的地。第27页，共56页，2022年，5月20日，13点51分，星期二传统的X.25分组交换网非常适合于数据传输， 但存在着传输速率低、网络时延大、吞吐量小以及通信费用高等缺点， 很难满足

16、多媒体通信的要求。新的分组交换技术， 如帧中继(FR)、ATM等提高了分组交换技术的性能。其中FR是一种支持HDLC规程的宽带数据业务标准， 它一方面继承了X.25的优点， 如提供统计复用功能、永久虚电路、交换虚电路等， 另一方面又改进了X.25的性能。帧中继业务兼有X.25分组交换业务和电路交换业务的长处， 在实现上又比ATM简单， 是现阶段数据交换网升级的有效途径。第28页，共56页，2022年，5月20日，13点51分，星期二图9.5 分组交换网与PSN示意图 第29页，共56页，2022年，5月20日，13点51分，星期二4. FDDI(光纤分布式接口) FDDI实际上是以光纤为传输媒

17、介的、速率为100Mbps的令牌环局域网的ANSI标准。IEEE已将FDDI确定为IEEE 802.8标准。 它既可用于主机与外围设备之间、各主机之间的互连， 又可作为主干网，实现了多个LAN连接。FDDI是一种提供面向连接传输服务的高速局域网，固定分配通信信道带宽。16个面向连接服务，每个6.144Mbps。由于它专用于数据传输， 不能为不同媒体选择不同协议、不能动态分配带宽， 所以对多媒体通信支持有局限性。 第30页，共56页，2022年，5月20日，13点51分，星期二图9.6 FDDI结构及应用节点机PABXCTVCTV数据交换机2MbpsTELTELFAXFAX2Mbps会议电视FD

18、DI以太网以太网以太网第31页，共56页，2022年，5月20日，13点51分，星期二 5. ISDNITU ISDN定义： ISDN是以提供端到端连接的电话网IDN为基础发展而成的通信网， 用以支持电话及非话的多种业务。用户对通信网有一个由有限个标准多用途的用户/网络接口构成的出入口：(1)基本速率接口(BRI)2B+D， 即2个传输用户信息的64Kbps的B通道， 1个传输低速数据信息的16Kbps的D通道共计144 Kbps， 距离在7km之内；(2)基群速率接口(PRI)30B+D， 主要面向设有PBX (用户小交换机)或具有召开电视会议用的高速信道等需要大业务量的用户。 第32页，共

19、56页，2022年，5月20日，13点51分，星期二9.4.3 B-ISDN及ATM1. B-ISDNB-ISDN的宽带业务常指其传输速率超过一次群速率的业务。可利用H21(32.768Mbps)， H22(4345Mbps)， H4 (132 138.24 Mbps)等固定速率通路来传送以动态图像为主的编码信息， 其中H21，H22适合传送现有的广播电视信号， H4用来传输HDTV信号。 第33页，共56页，2022年，5月20日，13点51分，星期二图9.7 各类应用及速率要求信息速率ISDNB-ISDN10Kbps， 100kbps， 1Mbps10Mbps，100Mbps传送连续快信息

20、 语音 TV电话、TV会议 FAX CATV HDTV传送数据信息 CAD/CAM 低速数据 LAN间通信 高速数据 可视图文 静态图像检索 高清晰度图像传送多路信息 多媒体多路通信第34页，共56页，2022年，5月20日，13点51分，星期二2. ATM交换技术 B-ISDN中交换主要是高速分组交换、高速电路交换、异步传输模式(ATM)和光交换技术。 在电路交换模式中收发两端之间建立了一条传输速率固定的信息通路。在通信过程中， 不论是否发送信息，该通路均被某呼叫所独占，这种传输模式称同步传输模式(STM)。第35页，共56页，2022年，5月20日，13点51分，星期二 ATM采用的对策(

21、1)以固定长度的信元发送信息，能适应任何速率。信元长为53B，其中5B为信元头，其余48B为数据。 (2)在协议处理上用硬件对头部信息进行识别，采用光纤高速传输，不用误码控制和流量控制，大大降低了时延，使信息传送速度快、容量大。(3)尽量采用简单协议，灵活性强， 用户可以应用从零到极限速率的任一有效码速，并可根据需要灵活地配置网络接口所用的带宽，使带宽“按需分配”。 第36页，共56页，2022年，5月20日，13点51分，星期二 ATM的优点(1)用户信息进入网络具有高度的灵活性。由于不再有通路速率的限制，任何输出速率终端都可以进网通信。(2)可动态分配和更有效地利用网络资源。 ATM本质上

22、是一种高速分组传输模式，与分组长度可变的X.25分组交换相比： (1)它不采用通常存储/转发方式而使用硬件交换； (2)ATM将分组交换协议简化，无误码流量控制。 第37页，共56页，2022年，5月20日，13点51分，星期二 图9.8 ATM的信元 第38页，共56页，2022年，5月20日，13点51分，星期二3. ATM视听业务标准 ATM是ITU-T建议的B-ISDN传输模式，因此制定ATM环境下的视听系统和终端的标准很有必要。该标准不仅应保证ATM环境下不同系统的互通， 而且具有连接在其他类型网络上的终端之间的互操作性， 首先是具备与已广泛应用的H.320系统的互操作性。ITU-T

23、为ATM环境规定了2种系统： (1)H.321 它将H.320终端适配到B-ISDN中，即除了网络接口和呼叫控制外，其余部分还保持H.320终端所使用的协议。 (2)H.310 它定义了B-ISDN上的系统和终端，包括一个H.320 /H.321互操作模式，和一个ATM本地模式，即完全在ATM环境下的模式。H.310包括与320终端互通的部分，是H.321的一个超集。第39页，共56页，2022年，5月20日，13点51分，星期二 图9.9 H.310终端协议参考模型 第40页，共56页，2022年，5月20日，13点51分，星期二9.5 多媒体通信网的QoS 服务质量(QoS)是说明多媒体性

24、能目标的元组，通过该元组的性能说明，可以对通信系统性能进行指定不同应用有不同的QoS要求 第41页，共56页，2022年，5月20日，13点51分，星期二9.5.1多媒体信息传输对网络的要求(1) 吞吐量(throughput) 网络传输二进制信息的速率，又称比特率或带宽。支持不同应用的网络应满足不同吞吐量需求：图像传输： HDTV(MPEG2， 2040Mbps)； 演播室质量的普通电视(MPEG2， 68Mbps)； 广播质量电视(MPEG2， 36Mbps)； 录像质量电视(MPEG1， 1.4Mbps)； 会议质量电视(H.261， 128Kbps)。第42页，共56页，2022年，5

25、月20日，13点51分，星期二 声音传输： 话音(带宽限制在3.4KHz内，压缩后到432Kbps)； 高质量的话音(50Hz7KHz， 4864Kbps)； CD质量的音乐(20KHz， MPEG1，128192Kbps)； 5.1声道立体环绕声(320KHz，AC-3， 320Kbps)。(2) 延时(Delay) 传输延时定义为信源发出第一个比特到信宿接收到第一个比特之间的时间差。 网络的单程传输延时应在100500ms，一般250ms；交互式多媒体应用，系统对用户指令响应12s。第43页，共56页，2022年，5月20日，13点51分，星期二 (3)延时抖动(Delay jitter)

26、网络传输延时的变化。一般来讲， 人耳对声音抖动比较敏感，人眼对视频抖动不很敏感。参考指标：CD质量声音， 小于100ms； 电话质量声音，小于400ms；严格要求的应用(如虚拟现实)，抖动小于2030ms。HDTV图像，小于50ms； 广播质量电视，小于100ms； 会议质量电视，小于400ms。 第44页，共56页，2022年，5月20日，13点51分，星期二 (4) 错误率(Error Rate)误码率BER， 从一点到另一点的传输过程中所残留的错误比特的频数。如光缆传输， 10-910-12的范围。包错误率BER， 指同一个包两次接收、包丢失、或包的次序颠倒而引起的包错误。包丢失率PLR

27、， 指包丢失而引起的包错误。 参考指标：压缩的CD质量声音， BER小于1/10000； 未压缩的CD质量声音，BER小于1/1000； 电话质量声音， BER小于1/100。压缩的HDTV图像， BER小于10-10； 压缩的广播质量电视， BER小于10-9； 压缩的会议质量电视， BER小于10-8。第45页，共56页，2022年，5月20日，13点51分，星期二9.5.2 服务质量(QoS)描述 ITU将QoS定义为决定用户对服务的满意程度的一组性能参数。两种描述方法：确定性描述： QoS参数 =Lower_bound 统计性描述： ProbQoS参数 =Prob_bound Prob

28、QoS参数 =Lower_bound=Prob_bound第46页，共56页，2022年，5月20日，13点51分，星期二9.6 分布式多媒体系统 分布式处理使通信和计算机两个领域都发生深刻变化，并产生了一批新的应用领域，如实时会议系统、计算机协同工作系统、电子报纸共编和发行系统、家庭信息服务和娱乐等。第47页，共56页，2022年，5月20日，13点51分，星期二9.6.1 分布式多媒体系统概述 1.分布式多媒体系统的基本特征所谓分布式处理就是要将所有介入到分布处理过程中的对象、处理及通信都统一控制起来，对合作活动进行有效地协调，使所有任务都能正常地完成。 分布式多媒体系统有以下基本特征：(

29、1)多媒体集成性；(2)资源分散性；(3)运行实时性； (4)操作交互性； (5)系统透明性。 第48页，共56页，2022年，5月20日，13点51分，星期二2.分布式处理中的协同工作 分布系统的建立与控制是建立在网络基础上的，与用户交互有关的分布式应用的控制与协调。 对这种分布式系统从时间和空间概念分类 时间空间同时不同时同地点面对面交互异步交互不同地点同步分布式交互异步分布式交互表9.2 分布处理的时空分类第49页，共56页，2022年，5月20日，13点51分，星期二4种不同情况(1)同时同地点。不是分布处理，属于像电化教室这样的应用。(2)不同时同地点。可以看作一种异步式的交互方式，可以是本机留言或电子布告，是同地点的交互，不属于分布处理。(3)不同时不同地点。存在用户有目的地寻找路径和目的地的动作，属于分布式处理的范畴。不需实时处理，只需存储转发。典型应用如电子邮件。(4)同时不同地点。第50页，共56页，2022年，5月20日，13点51分，星期二9.6.2 分布式多媒体系统的实现模型1.开放分布处理参考模型开放分布处理参考模型可以支持分布处理的建模。多媒体系统为它的用户提供抽象的