网络多媒体技术与应用课件

第1章计算机网络概述

(2)第2章网络应用及应用层协议

(4)第3章因特网技术基础

(4)第4章局域网及网络设备

(4)第5章企业信息基础和服务器平台

(2)第6章

HTML与PHP基础) (2)第7章网络多媒体技术与应用

(2)第8章网站的建设与管理) (2)第9章网络信息服务平台安全性

(2)合计学时 24计算机网络技术第1章计算机网络概述 (2)计算机网络技术第7章

多媒体网络本讲目标:

了解多媒体网络的应用要求

延迟带宽数据丢失学习如何更好使用因特网提供的尽力而为的服务学习因特网将如何进化以便更好的支持多媒体应用本讲概述:多媒体的网络应用存储式音频/视频流RTSP交互式的实时应用IP电话举例RTPH.323andSIP在尽力而为的基础上发展调度和策略的实施集成服务区别服务第7章多媒体网络本讲目标:本讲概述:多媒体概述Audio:-8000(samples/sec)x8bitsvoicephone64Kb.-44,100samples/secx16bitsAudioCDs705.6kbps(1.411Mbpsforstereo).Image:–320x240x8bitsgrayscaleimage77Kb–1100x900x24bitscolorimage3MBVideo(TV):–640x480x24x30frames/sec27.6MB/secPAL–576x576x25x16＝132.MbpsHDTV－1920x1080x30x12＝746Mbps

So,multimediadatamustbecompressed!多媒体概述Audio:多媒体数据冗余：空间冗余－元素（数据对象）的空间强相关性；时间冗余－重复的图或者声音；这两种反映随机信号的统计特性，又称为统计冗余。信息熵冗余（编码冗余）结构冗余知识冗余感觉（听绝、视觉）冗余其它冗余压缩的基础多媒体数据冗余：压缩的基础压缩技术的性能指标压缩比压缩和解压速度重现质量：主观标准（右表）客观标准－信噪比，均方差分数质量级别失真级别5优(Excellent)察觉不到4良(Good)（刚）察觉但不讨厌3中(Fair)（察觉）及有点讨厌2差(Poor)讨厌而不反感1劣(Bad)极讨厌（令人反感）压缩技术的性能指标压缩比分数质量级别失真级别5优(Ex1）音频：音宽与频带语音（Speech）带宽音频（Audio）带宽次声带超声带

203003K20Kf(Hz)音阶CDEFGAB简谱符号1234567频率（Hz）261293330349392440494频率（对数）48.349.350.350.851.852.853.8音阶与基频的对应关系1）音频：音宽与频带频带宽度

声音质量等级与信号带宽电话AM广播FM广播CD－DA1020502003.4K7K15K22Kf(Hz)频带宽度电话AM广播FM广播CD－DA1020502)

图像

单色平面图像——与λ、t无关，x、y为连续变量的静止图像。

一个图像源，就是光辐射能量在空间和时间上的分布图，即t——

时间；

I—

光强度（亮度或灰度），代表光辐射能量；

x,y,z

——

立体空间坐标；

λ

—

光的波长，可见光波长：350≤λ≤780nm。

其中：2)图像单色平面图像——与λ、t无关，x、y为连

彩色平面图像——根据三基色原理，可分解为三幅单色图像：

连续图像

空间坐标离散化（采样）：

灰度值离散化（量化）：对每个样本值进行二进制编码。

图像数字化离散图像数字图像连续坐标（x,y）离散坐标（xi,yj

）

i=0,1,2,...,M-1；

j=0,1,2,..,N-1彩色平面图像——根据三基色原理，可分解为三幅单色图像：色调、亮度和饱和度光的物理性质：波长和幅度人眼对色彩的感觉：色调、亮度和饱和度色调——波长亮度——幅度:光作用于人眼时所引起的明亮程度的感觉，是指色彩明暗深浅的程度，也可称为色阶。饱和度——色光的纯度:色彩纯粹的程度不完全饱和完全饱和不完全饱和色调、亮度和饱和度光的物理性质：波长和幅度不完全饱和色彩的空间表达RGB:显示器信号HIS：适合人的视觉系统：色调（Hue）色饱和度（Saturation或Chroma）亮度（Intensity或Brightness）YUV：电视信号(

为兼容黑白和彩色电视信号，亮度Y和色度U、V分离。)CMY：油墨或颜料(彩色印刷)三基色：青（Cyan）品红（Magenta）黄（Yellow）色彩的空间表达RGB:显示器信号HSI色彩空间和RGB色彩空间转换公式：YUV色彩空间与RGB色彩空间的转换关系：HSI色彩空间和RGB色彩空间转换公式：YUV色彩空间与RG计算机中色值的数学表示基色记录位（bit）色彩数10进制2进制16进制R/G/B80－25500000000－1111111100－FF混合表示法：【RGB】如：红色：【FF0000】绿色：【00FF00】蓝色：【0000FF】黄色：【FFFF00】计算机中色值的数学表示基色记录位（bit）色彩数10进制2进位图与矢量图的比较矢量图位图数据量记录指令，小记录点阵，大放大失真重新计算和绘制，无失真点阵的重复，可能产生“马赛克”应用侧重于“绘制”和“创建”

侧重于“获取”和“复制”

位图与矢量图的比较矢量图位图数据量记录指令，小记录点阵，大放图像文件结构文件头文件体文件尾软件版本号图像分辨率图像尺寸图像深度色彩类型编码方式压缩算法图像数据色彩变换表用户名注释开发日期工作时间图像文件结构文件头文件体文件尾软件版本号图像分辨率图像尺寸图图像压缩的基本概念无损压缩：将相同的或相似的数据或数据特征归类，使用较少的数据量描述原始数据。有损压缩：利用人眼的视觉特性有针对性地简化不重要的数据。图像压缩比：压缩后的图像数据量/压缩前的图像数据量（<1）。图像压缩的基本概念无损压缩：常用图像文件格式

BMP文件--采用位映射存储格式，文件所占用的空间很大。几乎所有Windows环境下的图像处理软件都支持BMP格式。

PCX文件--采用RLE行程编码，文件体中存放的是压缩后的图像数据。是PCPaintbrush（PC画笔）的图像文件格式。TIFF文件--支持多种编码方法。是一种非常通用的图像文件格式。定义了四种不同的子类.

GIF文件--采用了可变长度等压缩算法。最多支持256种色彩的图像。在一个GIF文件中可以存多幅彩色图像，可以构成简单动画。

JPEG文件--(Later)常用图像文件格式BMP文件--采用位映射存储格式，文件JPEGLossyCodecSchemeJPEGLossyCodecScheme3)视频ThescanningpatternusedforNTSCvideoandtelevision.VideoAnalogSystems3)视频ThescanningpatternusedMPEG标准SynchronizationoftheaudioandvideostreamsinMPEG-1.MPEG标准SynchronizationoftheTypesofMpegframesI-frames(intra-codedframes):LikeJPEG,Real-timedecodingdemandsP-frames(predictivecodedframes):ReferencetopreviousI-orP-framesMotionvector,MPEGdoesnotdefinehowtodeterminethemotionvector,differenceofsimilarmacroblocksisDCTcodedDCandACcoefficientsarerunlengthcodedB-frames(bi-directionalpredictivecodedframes):Referencetopreviousandsubsequent(IorP)framesInterpolationbetweenmacroblocksD-frames(DC-codedframes):OnlyDC-coefficientsareDCTcodedForfastforwardandrewindTypesofMpegframesI-frames(SequenceofI-,P-,andB-frames:I-Frames(Intracoded)P-Frames(PredictiveCoded)B-Frames(Bi-directionallyCoded)Sequence:DefinedbyapplicationE.g.,IBBPBBPBBIBBPBBPBB…Orderoftransmissionisdifferent:IPBB...SequenceofI-,P-,andB-fram网络中的多媒体基本特征:一般对延迟敏感.但可以容忍部分数据的丢失:偶尔发生的数据丢失会产生轻微的干扰，可以忽略.数据资料的传输(程序,银行信息,etc.),却正好相反，可以容忍延迟，但不能容忍数据的丢失.多媒体也称“连续媒体（continuousmedia）/流媒体”多媒体应用的分类:存储式的audio/video流媒体直播式的audio/video流媒体实时交互式的audio/video网络中的多媒体基本特征:多媒体应用的分类:存储式流媒体客户端从服务器请求audio/video文件，以流水方式从网络上进行接收并显示交互:用户可进行操作(如同操作录像机:暂停,恢复播放,快进,回退,etc.)延迟:从客户端发出请求到开始播出为1～10秒实况转播（单向实时）:如同TV和无线广播,但是从因特网上传送非交互,只是收视/收听实时交互:电话或视频会议由于实时特性，比流媒体点播和实况转播要求更为严格Video:<150ms尚可Audio:<150ms比较好,<400ms可以接受存储式流媒体实况转播（单向实时）:TCP/UDP/IP协议族提供的是尽力而为,无延迟或延迟变动承诺的服务.流媒体的应用有5-10的延迟今天看来十分普遍,但当链路(越洋线路)拥塞时，情况会急剧恶化

实时交互应用对分组延时和抖动（jitter）具有严格的限制.抖动（Jitter）是指在同一分组流传输过程中发生的分组延时变化.如果在因特网中能分出服务级别，那么多媒体应用的设计将要容易的多.但是在公共因特网中,所有分组所受到的服务完全是相等的.包含实时交互audio和video数据分组在网络中所受到的待遇,和其他分组完全一样.目前对在因特网中提供区别对待的服务的研究一直在进行之中.TCP/UDP/IP协议族提供的是尽力而为,无延迟或延迟变将尽力而为的服务用到极致为减少“尽力而为”的因特网的服务原则的影响，我们可以:

使用UDP来避免TCP和它的慢启动过程…在客户端缓存部分内容和控制回放来弥补传输抖动造成的影响我们可以给分组加上时间戳来提醒接收端及时回放该分组.选择压缩等级来适配可用带宽我们还可以发送冗余的分组来减少分组丢失所造成的影响。

我们将讨论这些“小技”将尽力而为的服务用到极致为减少“尽力而为”的因特网的服务原则因特网应如何进化才能更好的支持多媒体?集成服务（Intserv）的哲学:

改变因特网协议以便应用程序能够预定端对端的带宽需要部署协议来预留带宽必须修改路由器的调度策略来响应带宽预留应用程序必须体为网络提供信息流量的描述,并进而遵循这样的描述.在主机和路由器中开发新的更复杂的软件区别服务（Diffserv）的哲学:对因特网的基础结构进行改造,使其可以提供分级的服务.分组要加标记用户为高级别的服务付出更多的费用.ISP为骨干网络收发高级别的分组付出更多的费用.因特网应如何进化才能更好的支持多媒体?集成服务（Intser自由放任(Laissez-faire)哲学

没有带宽预定,不搞分组标记只要需求增加,供应更多的带宽将存储内容置于网络的边缘:ISP和主干上增加缓存内容提供商将内容置于CDN结点P2P:选择临近的存储有内容的对等结点虚拟专网(VPN)为企业保留永久性的带宽域(blocksofbandwidth）.路由器可以根据IP地址来识别VPN的信息流路由器使用特殊的调度策略来提供预留的带宽.自由放任(Laissez-faire)哲学虚拟专网(存储式Audio&Video流存储式流媒体:Audio/video文件存储在服务器上用户根据需求调用audio/video文件.Audio/video在请求的10秒以内提供.提供交互性(暂停,重新定位等,etc.).媒体播放器（Mediaplayer）:消除抖动解压缩错误校正提供图形交互界面进行控制

可以使用插件（Plug-in）将媒体播放器植入浏览器窗口.存储式Audio&Video流存储式流媒体:媒体播放器（从Web服务器调用流媒体Audio和video文件存储在Web服务器上最原始的方法浏览器使用HTTP请求报文从Web服务器访问流媒体文件Web服务器用HTTP响应报文发送文件content-type首部行描述了audio/video的编码浏览器启动媒体播放器,并将文件传递给它媒体播放器解读该文件主要缺点:

媒体播放器通过浏览器作为中介与Web服务器交互从Web服务器调用流媒体Audio和video文件存储在改进:在服务器和播放器之间建立连接浏览器请求和接收元文件（

metafile）(用来描述对象的文件）而不是接收文件本身);Content-type首部说明是特定的audio/video应用浏览器启动媒体播放器并将元文件传递给它

播放器与服务器建立TCP连接并发送HTTP请求.问题讨论:媒体播放器使用HTTP通信,没有pause,ff,rwnd功能可以考虑使用UDP通信改进:在服务器和播放器之间建立连接问题讨论:从流媒体服务器调用流媒体该结构可以使用非HTTP协议进行通信在服务器和流媒体播放器之间进行通信可以使用UDP来替代TCP.从流媒体服务器调用流媒体该结构可以使用非HTTP协议进行通信实时流媒体协议（RealTimeStreamingProtocol）:RTSPHTTPHTTP所服务的媒体已经定型:HTML,images,applets,etc.HTTP的设计没有考虑流媒体(i.e.,audio,video,etc.)RTSP:RFC2326客户端-服务器应用层协议.可为用户提供播出控制:rewind,fastforward,pause,resume,repositioning,etc…它所不能做到的:没有流媒体传递过程中的audio/video数据的封装不限制流媒体的传递方式;既可以用UDP也可以用TCP没有定义流媒体播放器如何对audio/video数据进行缓存RealNetworks服务器和播放器使用RTSP互相向对方发送控制信息实时流媒体协议（RealTimeStreamingPrRTSP:带外控制-outofbandcontrolFTP使用了“带外”的控制通道:文件传输通过一个通道控制信息(cd,rm,mv,etc.)则通过分离的TCP连接发送.“带外”和“带内”通道使用不同的端口号.RTSP报文也使用带外通道传送:RTSP控制报文使用的端口号与媒体流使用的不同，所以是带外传递.流媒体的分组结构不是由RTPS定义的，因此被认为是在“带内”传输的.如果RTSP报文使用与流媒体相同的端口号，RTSP将与流媒体一起“间隔”传送.RTSP:带外控制-outofbandcontrolRTSP启动和控制传递首先客户端获取多媒体的表示方式描述,这可以由若干媒体流组成.浏览器个根据表示方式所描述的内容类型调用媒体播放器(辅助的应用程序-helperapplication).表示描述中使用URL方法rtsp://将媒体流包含在内播放器发送RTSPSETUP请求;服务器发送RTSPSETUP响应.播放器发送RTSPPLAY请求;服务器发送RTSPPLAY响应.媒体服务器“泵出”流媒体.播放器发送RTSPPAUSE请求;服务器发送RTSPPAUSE响应.播放器发送RTSPTEARDOWN请求;服务器发送RTSPTEARDOWN响应.RTSP启动和控制传递首先客户端获取多媒体的表示方式描述,元文件举例<title>Twister</title><session><grouplanguage=enlipsync>

<switch><tracktype=audioe="PCMU/8000/1"src="rtsp:///twister/audio.en/lofi"><tracktype=audioe="DVI4/16000/2"pt="90DVI4/8000/1"src="rtsp:///twister/audio.en/hifi">

</switch><tracktype="video/jpeg"src="rtsp:///twister/video"></group></session>元文件举例<title>Twister</title>RTSP会话每次RTSP都会有由服务器选择的会话定义符.当客户端用SETUP请求启动会话，服务器就会使用定义符来进行响应.在随后的过程中，客户端反复在每个请求中都使用该定义符,直到客户端使用TEARDOWN请求来结束会话.RTSP端口号为554.RTSP报文可以通过UDP或TCP发送.每个RTSP报文可以通过一个分离的TCP连接进行.RTSP会话每次RTSP都会有由服务器选择的会话定义符.RRTSP:交换实例

C:SETUPrtsp:///twister/audioRTSP/1.0Transport:rtp/udp;compression;port=3056;mode=PLAYS:RTSP/1.02001OKSession4231C:PLAYrtsp:///twister/audio.en/lofiRTSP/1.0Session:4231Range:npt=0-C:PAUSErtsp:///twister/audio.en/lofiRTSP/1.0Session:4231Range:npt=37C:TEARDOWNrtsp:///twister/audio.en/lofiRTSP/1.0Session:4231S:2003OKRTSP:交换实例C:SETUPrtsp://RTSP:流媒体的缓存对RTSP响应报文的缓存没有太大的意义.但希望将媒体流缓存在客户端的邻近处.大部分HTTP/1.1的缓存控制机制也被RTSP采用.缓存的控制首部可以用于RTSPSETUP请求和相应:If-modified-since:,Expires:,Via:,Cache-Control:对给定的流媒体来说代理缓存只能按数据段的形式保持.代理缓存可以从本地缓存中取出部分数据进行服务,而然后必须同原始服务器连接来填充部分丢失的资料,但愿不要在客户端造成传输中断.从原始服务器传回的流媒体将通过代理传到客户端,代理可以使用TCP来获取流媒体;但代理服务器还是把RTSP控制报文发给了原始服务器.RTSP:流媒体的缓存对RTSP响应报文的缓存没有太大的意实时交互式应用PC-2-PCphonePC-2-phoneDialpadNet2phone视频会议Webcams现在来研究PC-2-PCIP电话的案例实时交互式应用PC-2-PCphone现在来研究PC-2-使用“尽力而为服务”的IP电话

Besteffortmodelpacketdelay,lossandjitterIP电话举例现在对分组延迟、丢失、和抖动对电话内容所造成的影响进行分析.IP电话应用程序在对话期间产生分组谈话期间的数据产生的速率为64kb/s在交谈期间,每20ms应用程序将产生160字节(

8kB/s*20ms)的数据块数据块加上首部;然后封装入UDP分组并发送某些分组的丢失和延迟会给传输造成“起伏(fluctuate)”.受话方必须确定何时将数据块进行播放，如何处理缺失的数据块使用“尽力而为服务”的IP电话Besteffortmo分组丢失UDP段封装在IP分组分组在路由器队列中可能溢出TCP虽然可以消除数据丢失,但是重发会增加延迟TCP拥塞控制会降低速率增加冗余分组会有帮助端对端的延迟为发送、传播、排队延迟的总和端对端的延迟一旦超过400ms将严重影响交互性;这种延迟越小越好延迟抖动(delayjitter)考虑交谈期间两个连续的语音分组在发送端初始间隔为20ms,但到达受话方时，间隔可能发生变化(>20ms;<20ms)消除抖动(removingjitter)编顺序号码时间戳(timestamps)延迟播出(delayingplayout)分组丢失端对端的延迟一旦超过400ms将严重影响交互性;IP电话:固定的播放延迟受话方试图在数据块产生的qms后播出.如果数据块有时间戳t,受话方将在t+q以后将数据播出如果数据块在t+q以后到达,受话方将予以丢弃.顺序编号没有必要.对丢失的分组需要采取策略.Q的取值问题:largeq:分组丢失较少smallq:较好的交互性能IP电话:固定的播放延迟受话方试图在数据块产生的qms后第7讲多媒体网络IP电话(4):固定的播放延迟发送方在交谈期间每隔20ms产生分组.

首个分组在时间r到达

第一种播放策略:在p点开始

第二种播放策略：在p’点开始第7讲多媒体网络IP电话(4):固定的播放延迟发送方在从数据丢失中恢复数据丢失:分组没有到达或比其计划中播出时间迟到前向纠错(

forwarderrorcorrection，FEC):简单机制以n个数据块为一组，为每一组创建一个冗余块，该块的形成是通过对这n个原始块的异或（xor）而得发送这n+1个块（chunks）,增加了1/n的带宽.如果从该n+1块里丢失的块最多只有一个的话，该块可以重新构建播出延迟必须限定在这对n+1分组的接收时间里折衷:加大n,带宽浪费较小些加大n,较长的播出延迟加大n,出现2个或2个以上分组丢失的概率增加从数据丢失中恢复数据丢失:分组没有到达或比其计划中播出时间第二种FEC机制

“捎带低品质流媒体”

发送低分辨率的媒体流作为冗余信息

例如,一般流媒体的音

频的PCM为64kb/s而冗余的GSM为13kb/s.

发送端从正常流媒体的第n个数据块与（n-1）数据块中创建冗余流媒体附加上一起发送.

只要数据丢失不是连续的，受话端可以对数据丢失

进行补偿.

在开始播放前只要收到两个分组即可开始

为应付连续的数据丢失，也可以附加(n-1)和(n-2)

的冗余数据块第二种FEC机制只要数据丢失不是连续的，受话端可以对数3.交错（interleave）数据块被分割成较小的单元例如,4～5ms一个数据块将数据块如图交错传送分组将携带来自不同数据块的较小的数据单元在受话方重新装配数据块如果分组丢失,但大部分数据块仍然存在3.交错（interleave）在受话方重新装配数据4.在受话方对受损的音频流进行修复产生一个类似原始替代数据来替代丢失的分组重复：对于较小的分组(4-40ms)和低丢失率可表现出良好的性能4.在受话方对受损的音频流进行修复实时协议RTP(

Real-TimeProtocol)RTP定义了携带audio/video数据的分组结构:RFC1889.RTP分组提供负荷类型定义分组顺序编号时间戳RTP在端系统中运行.RTP分组被封装在UDP数据段中互操作性（Interoperability）:如果两个IP电话应用程序都运行RTP,那么它们就有可能一起工作实时协议RTP(Real-TimeProtocol)RRTP运行在UDP之上RTP库提供了传输层接口来扩展UDP:端口号,IP地址跨段的错误校验负荷类型标记分组顺序编号时间戳RTP运行在UDP之上RTP库提供了传输层接口来扩展RTP举例回顾发送64kb/sPCM-编码的语音通过RTP.应用程序采集已经编码的数据块,e.g.,每20ms=160字节的数据块.音频数据块和RTP首部形成RTP分组,被封装入UDP数据段.RTP首部说明每个分组的音频类型;发送端可以在会议期间改变编码.RTP首部同样包含了顺序号和时间戳.RTP举例回顾发送64kb/sPCM-编码的语音通过RTP和QoSRTP不承诺提供任何实时传递和服务质量保证.RTP封装仅仅可以在端系统进行–与中间的路由器没有关系.路由器的作用还是完成传统的尽力而为的服务，而对RTP分组的传递没有任何实时性促进的作用.

要为应用程序提供QoS,因特网必须要提供其他的机制,例如RSVP,为应用程序预留网络资源.RTP和QoSRTP不承诺提供任何实时传递和服务质量RTP媒体流RTP允许每个信源(例如,一台摄像机或一个麦克风)赋以各自的独立的RTP分组流.例如,对有两个参与者的得视讯会议,要打开4个RTP流:两个用于传输音频(一个方向一个)和两个视频流(同样,一个方向一个).但是,一些常用的编码技术–包括MPEG1和MPEG2–在编码过程中将音频和视频合成一个流媒体.这种情况下，在每个方向上只需一个RTP流.对于一场many-to-many的组播会话来说,所有的发送方和信源一般将RTP流依据同样的组播地址送入同一组播树RTP媒体流RTP允许每个信源(例如,一台摄像机或一个RTP首部PayloadType(7bits):说明传输分组的编码类型.

如果在会议过程中发送端改变编码类型，则通过payloadtype字段通知接受端.Payloadtype0:PCMmu-law,64KbpsPayloadtype3,GSM,13KbpsPayloadtype7,LPC,2.4KbpsPayloadtype26,MotionJPEGPayloadtype31.H.261Payloadtype33,MPEG2videoSequenceNumber(16bits):该序号按所发送的RTP分组递增，可用于测试数据丢失和恢复失序的分组.RTP首部PayloadType(7bits):说Timestampfield(32byteslong).表示RTP数据分组中首个字节的采样瞬间.在接受端可使用该字段消除抖动和提供同步播出.该时间戳是由发送端的采样时钟提供的.例如,音频的时间戳每个采样周期递增一次(forexample,each125usecsfora8KHzsamplingclock);如果音频应用程序产生的数据块包括了160个已编码采样，在信源激活期间，每个RTP分组的时间戳的增量为160.只要信源处于激活状态，时间戳时钟就以恒定的速率递增.SSRCfield(32bitslong).定义信源的RTP流.在一个RTP会话中，每个流都必须有一个独特的SSRC.

Timestampfield(32byteslong实时控制协议RTCP

(Real-TimeControlProtocol)与RTP协同工作.每个在某个RTP会话中的参与者都要周期性的传输RTCP控制分组给所有其它所有的参与者.每个RTCP分组都包含了发送端和/或接收端的统计报告，对应用层有用统计数据包括分组发送数量、分组丢失数量、分组到达的间歇抖动等.这种反馈信息可用于控制应用程序的性能和进行诊断.发送方可根据反馈信息修改传输参数（Thesendermaymodifyitstransmissionsbasedonthefeedback）.实时控制协议RTCP

(Real-TimeControl

一般典型的RTP会话都有一个组播(multicast)地址;所有的RTP和RTCP分组只要同属该会话，就是使用该组播地址.RTP和RTCP分组可使用不同的端口号来相互区别.

为限制数据流量,当参与者增加时，每各与会者都会减少RTCP数据的发送.一般典型的RTP会话都有一个组播(multicast)地址RTCP分组接收端报告分组:丢包比率,最后收到的分组,平均间隔的抖动.发送端报告分组:

RTP流中的SSRC,当前时间,已经发送的分组数量,和发送的字节数量.信源描述分组:

发送端的e-mail地址,发送端的名称,相关RTP流的SSRC.分组提供了SSRC和用户/主机间的映射.RTCP分组接收端报告分组:信源描述分组:流媒体的同步问题RTCP可以协调同一会话中的不同流的同步.考虑一下视讯会议，应用程序对视频流和音频流分别产生一个RTP数据流.在两个媒体流中都携有时间戳是来自采样时钟，而不是来自墙上的挂钟(i.e.,torealtime).每个RTCP发送端报告分组包括,在相关RTP流中最近产生的分组中,RTP分组的时间戳和分组创建的真实时间.这样RTCP发送端报告分组将采样时钟和真实时间联系在一起.接收端可以依据这种联系来同步音频和视频播出.流媒体的同步问题RTCP可以协调同一会话中的不同流的同步.RTCP带宽分配(BandwidthScaling)RTCP试图将其占用的带宽限制在5%的会话带宽以下.例如,假设一个发送端以2Mb/s速率发送视频数据.那么RTCP的信息流量限制在100Kb/s.协议规定把其中75%（75kb/s）的速率留给接收端,其余的25%或25kb/s,给发送端.分配给接收端的75kb/s在接收端之间进行平均分配，假设有R个接收端，每个接收端分得75/Rkb/s而发送端则以25kb/s发送RTCP信息.一个会话参与者(一个接收端或一个发送端)在动态计算平均RTCP分组大小(acrosstheentiresession)的基础上确定RTCP分组的传输周期.RTCP带宽分配(BandwidthScaling)RTCH.323概述H.323终端H.323编码网守(Gatekeeper)网关(Gateway)Audio编码机制Video编码机制H.323概述概述(1)在IP网络上进行音频和视频会议的基础.定位于实时通信(而不是存储式流媒体)兼顾ITU的通信标准.覆盖的范围:独立设备(如：Web电话，Web电视)PC应用程序点对点和多点视讯会议H.323定义包括:终端如何启动/接受呼叫终端间如何使用通用audio/video编码.Audio和video数据如何进行封装和发送.Audio和video如何同步(lip-sync).终端如何同各自的网守程序（gatekeeper）通信

IP电话如何与PSTN/ISDN电话通信.概述(1)在IP网络上进行音频和视频会议的基础.H.TelephonecallsVideocallsConferencesWhiteboards所有支持H.323的终端Telephonecalls所有支持H.323的终端H.323SS7,InbandH.323SS7,InbandH.323端接点必须支持:G.711-ITU语音压缩标准RTP–将媒体数据块封装成分组的协议H.245-“带外”控制协议用于控制H.323终端间的流媒体传输.Q.931–用于建立/结束连接的信令协议RAS(Registration/Admission/Status)信道协议–与网守程序进行通信的协议(如果存在网守-gatekeeper)H.323端接点必须支持:G.711-ITU语音压缩标H.323终端H.323终端H.323编码Audio:H.323终端必须支持G.711标准进行语音压缩.G.711以56～64kb/s的速率传输语音.H.323正在考虑使用G.723=G.723.1,该标准以5.3～6.3kb/s的速率操作（来支持低速链路）.Optional:G.722,G.728,G.729Video对H.323终端来说，视频能力为可选项.任何可视化的H.323终端必须支持QCIFH.261(176x144pixels).也可以选择其他的H.261机制:CIF,4CIFand16CIF.H.261所使用的信道带宽必须是64kb/s的整倍数.H.323编码Audio:Video产生H.323中的音频数据流AudioSourceEncoding:e.g.,G.711orG.723.1RTPpacketencapsulationUDPsocketInternetorGatekeeper产生H.323中的音频数据流AudioEncoding:RTH.245控制通道H.323媒体流可以包含若干信道来传输不同类型的媒体数据每个H.323会话有一个H.245控制信道H.245控制信道是一个可靠的(TCP)信道主要任务:开闭媒体信道能力信息交换:在发送流媒体之前,通信终端对它们之间的编码/算法协商一致H.245控制通道H.323媒体流可以包含若干信道来传输不信息流信息流网守(Gatekeeper)

网守是任选的H.323模块/设备,可以给端点提供:负责”别名”与IP地址的转换带宽管理:可以限制实时会议所消耗的带宽作为可选功能,H.323呼叫可以被引导通过网守,对计费有用.

RAS协议(overTCP)负责端点-网守间的通信H.323terminalsGatekeeperRouterInternetLAN=“H.323Zone”RAS网守(Gatekeeper)网守是任选的H.323模块/设H.323终端必须在网守的辖区内注册.当H.323应用程序在终端上调用时,该终端使用RAS给网守发送其IP地址和(用户提供的)别名.如果区内有网守存在,每个区内的终端必须与网守联系并获取呼叫许可.一旦获得许可,终端将给网守发送电子邮件地址、别名字符串或电话分机.网守将别名翻译成IP地址如有必要,网守将轮询其他辖区中的网守以解决IP地址的解析问题.处理过程如同DNS,但具体做法因厂商而异H.323终端必须在网守的辖区内注册.一旦获得许可,终端将H.323网关(Gateway)H.323terminalsGatekeeperRouterInternetLAN=“H.323Zone”RASGatewayPSTN是IP区和PSTN(orISDN)网络之间的桥梁.终端使用H.245和Q.931与网关进行通信H.323网关(Gateway)H.323terminaAudio编码机制MOS(MeanOpinionScore)Audio编码机制MOS(MeanOpinionScoVideo编码机制(128x96)

(176x144)

(352x288)

(704x576)

(1408x1152)SQCIF

QCIF

CIF

4CIF

16CIFH.261(px64kb/s)ISDN上的视频流分辨率:QCIF,CIFH.263(<64kbit/s)低传输速率通信分辨率:SQCIF,QCIF,CIF,4CIF,16CIFVideo编码机制(128x96)

(176x144实时协议RTP(Real-TimeProtocol)为实时应用程序提供标准化格式的分组一般在UDP之上运行有定义的首部字段如下PayloadType:7比特,提供128可能的编码类型;egPCM,MPEG2video,etc.SequenceNumber:16比特;用来监测分组的丢失实时协议RTP(Real-TimeProtocol)为Timestamp:32字节;给出分组中第一个audio/video字节的采样瞬间;用来消除由于网络传输引起的延迟抖动SynchronizationSourceidentifier(SSRC):32比特;信源媒体流的id;由信源随机制定Timestamp:32字节;给出分组中第一个aud实时控制协议RTCP（RTPControlProtocol）用来报告信源信宿之间多媒体数据交换情况分组的协议定义了三种报告:接收端接收,发送方,及信源描述报告包含了分组发送、分组丢失、间隔抖动等统计数据用于修改发送端的传输速率和诊断实时控制协议RTCP（RTPControlProtoco改进IP网络的QoSIETF工程组一直致力于改进IP网络的QoS控制,i.e.,在尽力而为的服务基础上提供更多的QoS保障正在进行的工作包括RSVP,DifferentiatedServices（分级服务）,和IntegratedServices（集成服务）一个共享和拥塞的简单研究模型:改进IP网络的QoSIETF工程组一直致力于改进IPQoS保证原则假设一个电话应用（1Mb/s）和一个FTP应用在一条1.5Mb/s的链路上共享.突发的FTP分组可以导致路由器拥塞，音频分组会被丢弃

有必要给audio比FTP更高的优先等级原则1:对路由器来说有必要标记分组，以区分不同的类别;而新一代路由器将对不同的分组相应进行不同的处理QoS保证原则假设一个电话应用（1Mb/s）和一个FTP应用应用程序行为失当(假设上例中音频分组的发送超过1Mb/s);原则2:须为某个类别提供保护，将其同其他类别隔离

需要若干策略机制（PolicingMechanisms）来约束发送端遵守带宽要求;标记和策略机制需要在网络边缘实现:应用程序行为失当(假设上例中音频分组的发送超过1Mb/s标记和策略机制的替代方案:给每个应用数据流分配一部分带宽;如果应用数据流不使用分配的定额会造成带宽利用率降低原则3:如果提供隔离,还是希望尽可能多的利用资源标记和策略机制的替代方案:给每个应用数据流分配一部分带宽;超出链路传输能力的信息流量得不到支持原则4:需要一个呼叫审批进程（CallAdmissionProcess）;应用程序申明其需求,网络如果不能满足则予以驳回

超出链路传输能力的信息流量得不到支持小结小结调度和管理机制调度:在队列中选取下一个发送的分组可以基于如下考虑;FIFO:先来后到策略;当缓存已满时，再到的分组可以丢弃，或者使用适当的丢弃策略来选取新到分组还是排队中的分组予以丢弃调度和管理机制调度:在队列中选取下一个发送的分组可以基于如调度策略优先级排队:不同的分组有不同的优先级;分组可以载明优先级别或者用其他的首部信息,egIP信源或信宿,TCP端口,etc.在一个非空队列中把优先级别高的分组首先传送调度策略优先级排队:不同的分组有不同的优先级;分组可以载轮转法:扫描分类队列，在所有非空队列中以“一家一个”的方式传送轮转法:扫描分类队列，在所有非空队列中以“一家一个”的方式加权公平排队（WeightedFairQueuing）:是一种一般化的轮转法调度策略，在一个给定时间段内为某一类分组提供有差分量级的服务加权公平排队（WeightedFairQueuing）:管理机制（PolicingMechanisms）三个评判标准:(长期的)平均速率-(100分组/秒还是6000分组/分钟??),关键在于间隔长度峰值速率-e.g.,平均6000分组/分钟和峰值为1500分组/秒(最大的)突发长度-:最大的连续发送分组数,ie在一个较短的时间段内最多可以发送的分组数量管理机制（PolicingMechanisms）三个评判标管理机制标记蓝机制（TokenBucketmechanism）,为输入提供限制BurstSize和AverageRate的手段.管理机制标记蓝机制（TokenBucketmechani管理机制(续)篮子里可以装b个tokens;篮子未满时，token是以rtoken/sec

的速率产生的.在一个长度为t的时间间隔中，允许接纳的分组必须小于或等于(rt+b).标记蓝（Tokenbucket）

和WFQ结合

可提供延时的上限.管理机制(续)篮子里可以装b个tokens;篮子未满时，综合服务(IntegratedService)为在IP网络上应用会话提供QoS保障的体系结构依靠资源预留,路由器需要维护状态信息(VirtualCircuit??),维护资源分配记录并在此基础上响应新的连接请求

综合服务(IntegratedService)为在IP网络呼叫接纳(CallAdmission)每个会话必须首先申明其QoS要求和通信特点R-spec:定义QoS要求T-spec:定义通信特点需要专门的信令协议为在路由器上预留资源传递R-spec和T-spec;RSVP(ReSourcereserVeProtocol)在目前为首选的信令协议呼叫接纳(CallAdmission)每个会话必须首先申明呼叫接纳呼叫管理:路由器根据呼叫的R-spec和T-spec和当前的资源分配情况管理和分配响应的资源.呼叫接纳呼叫管理:路由器根据呼叫的R-spec和T-spe集成服务:类别GuaranteedQOS(有保障的服务):

该级别提供路由器上排队延迟的固定时限;关照严格的实时性应用程序,这些程序对端对端的延迟和变化极端敏感ControlledLoad(受控负荷服务):该级别在欠负荷的路由器上保障基本的(closelyapproximating

)QOS;可以用来关照当今IP网络的实时应用,这在欠负荷的网络中表现良好集成服务:类别GuaranteedQOS(有保障的服务)有差别的服务(DifferentiatedServices，DS)打算解决困扰Intserv（综合服务）中的一些问题;可扩展性:在高速网络中由于数据流量巨大,维持路由器状态将是一件十分困难的事情

灵活的服务模式:Intserv只有两个级别,需要提供更多服务质量等级;需要提供“相对”服务之间的区别(Platinum,Gold,Silver,…)更简化的信令:(相对RSVP而言)许多应用程序和用户可能只需要定义一些对服务要求的注解有差别的服务(DifferentiatedServices有差别的服务战略思想:在网络的核心实现相对简单的功能,而在端接路由器和主机内实现相对复杂的功能不必定义服务级别,而是在功能组件的基础上建立服务级别有差别的服务战略思想:边缘上的功能在具DS能力的主机或第一个具有DS能力的路由器上分类:边缘结点根据预先定义的分类原则对分组进行标记(可以由网管手工定义,或由某种协议定义)流量调节(TrafficConditioning):

边缘结点可以延迟转发或可以将其丢弃边缘上的功能在具DS能力的主机或第一个具有DS能力的路由器上核心功能转发:根据对每个分组特定的“Per-Hop-Behavior(单跳行为/PHB)”进行;这种PHB是严格按照分类标记执行的(没有任何其他首部字段可能影响PHB)最大优点:路由器不必维持状态信息(Nostateinfotobemaintainedbyrouters)!核心功能转发:根据对每个分组特定的“Per-Hop-Be通信量的分类和调节分组在IPv4中使用“TypeofService,TOS),或IPv6的”TrafficClass”字段6bits用来作为“DifferentiatedServiceCodePoint,DSCP/差别服务码点”并作为该分组所将受到的PHB待遇依据2bits尚未使用(CurrentlyUnused)通信量的分类和调节分组在IPv4中使用“TypeofS通信量的分类和调节(续)有时希望限制某些类别数据的网络注入速率;用户可以申明流量白皮书(trafficprofile)(eg,平均速率和突发数据块的大小);网络将对数据流量进行计量,如果与申明的数额不匹配则可予以整形通信量的分类和调节(续)有时希望限制某些类别数据的网络注入速转发(PHB)PHB会产生出不同的(可计量的)转发性能和行为PHB并没有定义必须采用何种措施来实现需求的PHB性能行为例如:A类在某个特定的时间间隔中得到了x%的输出链路带宽A类分组必须比B类分组优先发出转发(PHB)PHB会产生出不同的(可计量的)转发性能和行转发(PHB)(续)PHB的考虑:ExpeditedForwarding(加急转发):某个类别的分组发送速率必须等于或超过某个特定速率(逻辑链路必须具有最小的保障速率)AssuredForwarding(保障转发):4个类别,每个类别都有一定的最小带宽和缓存保障;每个都附带了三个丢弃分区(droppreferencepartitions)转发(PHB)(续)PHB的考虑:有区别服务的相关进展AF和EF尚未踏上标准化轨道…研究仍在进行之中“虚拟租用线路(VirtualLeasedlines)”和“Olympic”服务也在讨论之中

因跨越多个AS和路由器所带来的影响则是DS无力解决的有区别服务的相关进展AF和EF尚未踏上标准化轨道…研究仍在本讲小结多媒体的网络应用存储式音频/视频流RTSP交互式的实时应用IP电话举例RTPH.323andSIP在尽力而为的基础上发展调度和策略的实施集成服务区别服务本讲小结第1章计算机网络概述

(2)第2章网络应用及应用层协议

(4)第3章因特网技术基础

(4)第4章局域网及网络设备

(4)第5章企业信息基础和服务器平台

(2)第6章

HTML与PHP基础) (2)第7章网络多媒体技术与应用

(2)第8章网站的建设与管理) (2)第9章网络信息服务平台安全性

(2)合计学时 24计算机网络技术第1章计算机网络概述 (2)计算机网络技术第7章

多媒体网络本讲目标:

了解多媒体网络的应用要求

延迟带宽数据丢失学习如何更好使用因特网提供的尽力而为的服务学习因特网将如何进化以便更好的支持多媒体应用本讲概述:多媒体的网络应用存储式音频/视频流RTSP交互式的实时应用IP电话举例RTPH.323andSIP在尽力而为的基础上发展调度和策略的实施集成服务区别服务第7章多媒体网络本讲目标:本讲概述:多媒体概述Audio:-8000(samples/sec)x8bitsvoicephone64Kb.-44,100samples/secx16bitsAudioCDs705.6kbps(1.411Mbpsforstereo).Image:–320x240x8bitsgrayscaleimage77Kb–1100x900x24bitscolorimage3MBVideo(TV):–640x480x24x30frames/sec27.6MB/secPAL–576x576x25x16＝132.MbpsHDTV－1920x1080x30x12＝746Mbps

So,multimediadatamustbecompressed!多媒体概述Audio:多媒体数据冗余：空间冗余－元素（数据对象）的空间强相关性；时间冗余－重复的图或者声音；这两种反映随机信号的统计特性，又称为统计冗余。信息熵冗余（编码冗余）结构冗余知识冗余感觉（听绝、视觉）冗余其它冗余压缩的基础多媒体数据冗余：压缩的基础压缩技术的性能指标压缩比压缩和解压速度重现质量：主观标准（右表）客观标准－信噪比，均方差分数质量级别失真级别5优(Excellent)察觉不到4良(Good)（刚）察觉但不讨厌3中(Fair)（察觉）及有点讨厌2差(Poor)讨厌而不反感1劣(Bad)极讨厌（令人反感）压缩技术的性能指标压缩比分数质量级别失真级别5优(Ex1）音频：音宽与频带语音（Speech）带宽音频（Audio）带宽次声带超声带

203003K20Kf(Hz)音阶CDEFGAB简谱符号1234567频率（Hz）261293330349392440494频率（对数）48.349.350.350.851.852.853.8音阶与基频的对应关系1）音频：音宽与频带频带宽度

声音质量等级与信号带宽电话AM广播FM广播CD－DA1020502003.4K7K15K22Kf(Hz)频带宽度电话AM广播FM广播CD－DA1020502)

图像

单色平面图像——与λ、t无关，x、y为连续变量的静止图像。

一个图像源，就是光辐射能量在空间和时间上的分布图，即t——

时间；

I—

光强度（亮度或灰度），代表光辐射能量；

x,y,z

——

立体空间坐标；

λ

—

光的波长，可见光波长：350≤λ≤780nm。

其中：2)图像单色平面图像——与λ、t无关，x、y为连

彩色平面图像——根据三基色原理，可分解为三幅单色图像：

连续图像

空间坐标离散化（采样）：

灰度值离散化（量化）：对每个样本值进行二进制编码。

图像数字化离散图像数字图像连续坐标（x,y）离散坐标（xi,yj

）

i=0,1,2,...,M-1；

j=0,1,2,..,N-1彩色平面图像——根据三基色原理，可分解为三幅单色图像：色调、亮度和饱和度光的物理性质：波长和幅度人眼对色彩的感觉：色调、亮度和饱和度色调——波长亮度——幅度:光作用于人眼时所引起的明亮程度的感觉，是指色彩明暗深浅的程度，也可称为色阶。饱和度——色光的纯度:色彩纯粹的程度不完全饱和完全饱和不完全饱和色调、亮度和饱和度光的物理性质：波长和幅度不完全饱和色彩的空间表达RGB:显示器信号HIS：适合人的视觉系统：色调（Hue）色饱和度（Saturation或Chroma）亮度（Intensity或Brightness）YUV：电视信号(

为兼容黑白和彩色电视信号，亮度Y和色度U、V分离。)CMY：油墨或颜料(彩色印刷)三基色：青（Cyan）品红（Magenta）黄（Yellow）色彩的空间表达RGB:显示器信号HSI色彩空间和RGB色彩空间转换公式：YUV色彩空间与RGB色彩空间的转换关系：HSI色彩空间和RGB色彩空间转换公式：YUV色彩空间与RG计算机中色值的数学表示基色记录位（bit）色彩数10进制2进制16进制R/G/B80－25500000000－1111111100－FF混合表示法：【RGB】如：红色：【FF0000】绿色：【00FF00】蓝色：【0000FF】黄色：【FFFF00】计算机中色值的数学表示基色记录位（bit）色彩数10进制2进位图与矢量图的比较矢量图位图数据量记录指令，小记录点阵，大放大失真重新计算和绘制，无失真点阵的重复，可能产生“马赛克”应用侧重于“绘制”和“创建”

侧重于“获取”和“复制”

位图与矢量图的比较矢量图位图数据量记录指令，小记录点阵，大放图像文件结构文件头文件体文件尾软件版本号图像分辨率图像尺寸图像深度色彩类型编码方式压缩算法图像数据色彩变换表用户名注释开发日期工作时间图像文件结构文件头文件体文件尾软件版本号图像分辨率图像尺寸图图像压缩的基本概念无损压缩：将相同的或相似的数据或数据特征归类，使用较少的数据量描述原始数据。有损压缩：利用人眼的视觉特性有针对性地简化不重要的数据。图像压缩比：压缩后的图像数据量/压缩前的图像数据量（<1）。图像压缩的基本概念无损压缩：常用图像文件格式

BMP文件--采用位映射存储格式，文件所占用的空间很大。几乎所有Windows环境下的图像处理软件都支持BMP格式。

PCX文件--采用RLE行程编码，文件体中存放的是压缩后的图像数据。是PCPaintbrush（PC画笔）的图像文件格式。TIFF文件--支持多种编码方法。是一种非常通用的图像文件格式。定义了四种不同的子类.

GIF文件--采用了可变长度等压缩算法。最多支持256种色彩的图像。在一个GIF文件中可以存多幅彩色图像，可以构成简单动画。

JPEG文件--(Later)常用图像文件格式BMP文件--采用位映射存储格式，文件JPEGLossyCodecSchemeJPEGLossyCodecScheme3)视频ThescanningpatternusedforNTSCvideoandtelevision.VideoAnalogSystems3)视频ThescanningpatternusedMPEG标准SynchronizationoftheaudioandvideostreamsinMPEG-1.MPEG标准SynchronizationoftheTypesofMpegframesI-frames(intra-codedframes):LikeJPEG,Real-timedecodingdemandsP-frames(predictivecodedframes):ReferencetopreviousI-orP-framesMotionvector,MPEGdoesnotdefinehowtodeterminethemotionvector,differenceofsimilarmacroblocksisDCTcodedDCandACcoefficientsareru