清华大学流媒体讲义-流媒体技术概述课件

1.1流媒体的概念

1.2流媒体的发展与应用1.3流媒体面临的挑战1.4流媒体关键技术第一章流媒体技术概述五道口生活网五道口论坛/bbs1.1流媒体的概念 第一章流媒体技术概述五道口生活网w什么是流媒体？流媒体（StreamingMedia）连续媒体（视频/音频）经压缩编码、数据打包后按照一定的时间间隔要求连续地发送给接收方设备，接收方设备在后续数据不断到达的同时对接收到的数据进行重组、解码和播放。五道口生活网

五道口论坛/bbs什么是流媒体？流媒体（StreamingMedia）连续与传统网络媒体传输方式的区别传统方式（网络浏览、FTP、…）流媒体传输内容文本、图片、二进制文件视频、音频传输模式“先下载，后享用”“边传输，边播放”等待时间下载等待时间漫长初始等待时间非常短磁盘缓存需要大量的磁盘缓存无需磁盘缓存或需要量非常少五道口生活网

五道口论坛/bbs与传统网络媒体传输方式的区别传统方式流媒体传输内容文本、图片与传统网络媒体传输方式的区别DelaysensitiveEnd–to–enddelayDelayjitterLosstolerantfortraditionaldata:lossintolerantbutdelaytolerant五道口生活网

五道口论坛/bbs与传统网络媒体传输方式的区别DelaysensitiveStreamingstoredaudioandvideoStreamingliveaudioandvideoReal-timeinteractiveaudioandvideoClassesofStreamingMediaApplications五道口生活网

五道口论坛/bbsStreamingstoredaudioandviClassesofStreamingMediaApplications五道口生活网

五道口论坛/bbsClassesofStreamingMediaAppClassesofStreamingMediaApplications五道口生活网

五道口论坛/bbsClassesofStreamingMediaAppClassesofStreamingMediaApplications五道口生活网

五道口论坛/bbsClassesofStreamingMediaAppClassesofStreamingMediaApplications五道口生活网

五道口论坛/bbsClassesofStreamingMediaAppClassesofStreamingMediaApplications五道口生活网

五道口论坛/bbsClassesofStreamingMediaApp1.1流媒体的概念

1.2流媒体的发展与应用1.3流媒体面临的挑战1.4流媒体关键技术第一章流媒体技术概述五道口生活网五道口论坛/bbs1.1流媒体的概念 第一章流媒体技术概述五道口生活网w五道口生活网

五道口论坛/bbs五道口生活网五道口论坛w流媒体应用直播与点播互联网广播网移动网多视点/3D视频交互性沉浸感三维显示多媒体传感器网络交通实况环境监测公共安全视频社区播客社区网络…IVVVSystem(HHI)EyeVision(CMU)五道口生活网

五道口论坛/bbs流媒体应用直播与点播IVVVSystem(HHI)Ey13流媒体发展的背景多媒体技术的发展信号处理及多媒体压缩技术的进步多媒体设备处理能力的提升网络通信设施的完善宽带网络建设无线网络数字化家电网络平台用户需求的增长更丰富多彩的网络信息更直观、灵活的交流方式五道口生活网

五道口论坛/bbs流媒体发展的背景多媒体技术的发展五道口生活网www.wdk流媒体的发展与现状五道口生活网

五道口论坛/bbs流媒体的发展与现状五道口生活网www.wdklife.co流媒体的发展与现状现有主流产品RealNetworkRealSystem由媒体内容制作工具RealProducer、服务器端RealServer、客户端软件RealPlayer组成，其流媒体文件包括RealAudio、RealVideo、RealPresentation、RealFlash，系统采用SureStream技术，自动持续调整数据流量适应实际应用的不同网络带宽需求。五道口生活网

五道口论坛/bbs流媒体的发展与现状现有主流产品五道口生活网www.wdkl流媒体的发展与现状五道口生活网

五道口论坛/bbs流媒体的发展与现状五道口生活网www.wdklife.co流媒体发展现状WindowsMedia

微软的WindowsMediaTechnology目的是实现网络视音频等多媒体流信息的传输与播放，由MediaTools、MediaServer、MediaPlayer构成，其核心是ASF媒体格式，支持任意压缩/解压缩编码方式，并可以使用任何底层网络传输协议。工具集丰富以及捆绑在WIN2000中是WindowsMediaTechnology的优势。五道口生活网

五道口论坛/bbs流媒体发展现状WindowsMedia五道口生活网wwwWindowsMedia五道口生活网

五道口论坛/bbsWindowsMedia五道口生活网www.wdklifWindowsMedia五道口生活网

五道口论坛/bbsWindowsMedia五道口生活网www.wdklifWindowsMedia—IntelligentStreamingMultiple-Bit-RateEncodingIntelligentBandwidthControlbandwidthselectingbandwidthswitchingRateshapingIntelligentImageProcessing五道口生活网

五道口论坛/bbsWindowsMedia—IntelligentSt流媒体发展现状QuickTimeApple公司1991年开始发布QuickTime，几乎支持所有主流个人计算平台和各种格式图象、视频、动画，具有内置的Web浏览器插件，支持IETF流标准以及RTP、RTSP、SDP、FTP、HTTP等网络协议。QuickTime包括服务器QuickTimeStreamingServer、带编辑功能的播放器QuickTimePlayer、制作工具QuickTime4Pro、图象浏览器PictureViewer和Web插件五道口生活网

五道口论坛/bbs流媒体发展现状QuickTime五道口生活网www.wdkQuickTimeMediaServer:多媒体服务器（系统图中为MS）MediaCaster:实时广播服务器（系统图中为MC）Mp3Server:MP3音乐播放服务器StreamingPlayer:用户端播放软件MediaE-Mailer:音频多媒体电子邮件软件五道口生活网

五道口论坛/bbsQuickTimeMediaServer:多媒体服务器（QuickTime五道口生活网

五道口论坛/bbsQuickTime五道口生活网www.wdklife.c五道口生活网五道口论坛/bbs五道口生活网五道口论坛w五道口生活网五道口论坛/bbs五道口生活网五道口论坛w服务端软件五道口生活网五道口论坛/bbs服务端软件五道口生活网www.wdklife.co流媒体发展现状IBM公司的VideoChargerVideoCharger是IBM内容管理软件包(IBMContentManager)的重要一员，它与IBMDB2DigitalLibrary和管理多媒体内容的IBMDB2UniversalDatabaseformanagingmultimediacontent通用数据库紧密集成，用户可通过传统的浏览器如IE或Netscape观看视频。VideoCharger支持基于最新标准的技术，可把多媒体内容组织到一体化的平台上，并支持点播，广播和实时压缩播放。Oracle公司的OVSOracle公司的视频服务器软件OVS可在包括网络计算机和机顶盒在内的系列平台上播放视频。同时还可以传送MPEG2、AVI格式视频及WAV音频数据流。Oracle在客户机一端的应用开发工具很强大，它提供全套Java系列和ActiveX控制工具，允许在播放环境下顺利进行集成。适合提供几百个以上的并行输出码流的大型流媒体传送系统。五道口生活网

五道口论坛/bbs流媒体发展现状IBM公司的VideoCharger五道口生活流媒体发展现状Cisco公司的IP／ＴＶ

CiscoIP／ＴＶ方案是端到端完整的网络视频解决方案。CiscoIP／ＴＶ方案充分利用了微软的WindowsMedia技术。同时它与苹果公司的QuickTime客户端，UNIXVIC、Netscape插件结构兼容。Sun公司的SunStorEdgeSunStorEdge媒体中心视频服务器，是SUN公司新推出的视频服务平台。它建立在公开标准上，可以在低比特率通过因特网实时发送高质量视频流。服务器在Solaris上运行，能流任何标准的RTP形式。客户能使用苹果的QuickTime播放器或任何与RTSP兼容的播放器来观看流内容。MacromediaShockwave

能够方便地以流的方式在Web页面中加入图象、动画、交互界面等，实现边下载边播放。…五道口生活网

五道口论坛/bbs流媒体发展现状Cisco公司的IP／ＴＶ五道口生活网www流媒体发展现状五道口生活网

五道口论坛/bbs流媒体发展现状五道口生活网流媒体发展现状标准化组织InternetStreamingMediaAlliance(ISMA)http://www.isma.tv

Apple、Cisco、Kasenna、Philips和Sun五家公司发起在2000年12月成立Internet流媒体联盟，为开发IP端到端媒体流解决方案制定开放标准。

MPEG标准工作组中国数字音视频编码标准工作组（AVS）

五道口生活网

五道口论坛/bbs流媒体发展现状标准化组织五道口生活网www.wdklife1.1流媒体的概念

1.2流媒体的发展与应用1.3流媒体面临的挑战1.4流媒体关键技术第一章流媒体技术概述五道口生活网五道口论坛/bbs1.1流媒体的概念 第一章流媒体技术概述五道口生活网wStreamingVideoRequirementscomfortablevisualqualityofserviceintermsofstringentplaybackcontinuitydemandingbandwidthoverfluctuantandheterogeneousnetworkssystemstabilitytohighchurnratescalabilityforlargegrowingcommunityofusersGoogleInc.,whichacquiredonlinevideo-sharingsiteYouTubelastyear,saidtheInternetwasnotdesignedforTV.Google’sheadofTVtechnologysaidthattheWeb’sinfrastructure–includingthatofGoogle–doesn’tscale,andisnotlikelytoofferthequalityofservicethatconsumerscanexpect.五道口生活网

五道口论坛/bbsStreamingVideoRequirementsGo33网络流媒体面临的挑战

当前的Internet体系结构只能提供“尽力服务”（Best-EffortService），不能严格保障视频播放所需要的传输服务质量（QualityofService，简称QoS），因此，如何在“尽力服务”的网络传输条件下获得良好的视频播放质量成为了一个重大的挑战。五道口生活网

五道口论坛/bbs网络流媒体面临的挑战当前的Internet体系结构只能提网络流媒体面临的挑战

流媒体服务质量要素：画质启动延迟平滑交互五道口生活网

五道口论坛/bbs网络流媒体面临的挑战流媒体服务质量要素：五道口生活网w网络流媒体面临的挑战

带宽有限，动态变化延迟与抖动丢失异构性

HowtosupportlargescaleStreaming五道口生活网

五道口论坛/bbs网络流媒体面临的挑战带宽有限，动态变化五道口生活网www网络流媒体面临的挑战五道口生活网

五道口论坛/bbs网络流媒体面临的挑战五道口生活网www.wdklife.c带宽有限，动态变化DatapathAccessSWDomainADomainBAccessSWSourceReceiver56kb/sR>=56kb/sR<56kb/sNobandwidthreservation五道口生活网

五道口论坛/bbs带宽有限，动态变化DatapathAccessDomain如何支持大规模用户?

视频组播业务需要将高码率的视频数据同时发送给多个用户，因此如何利用有限的带宽，提供一种高效的多点数据传输手段成为Internet视频组播发展需要解决的当务之急。

WillP2Pbesuccessful?delay,throughput,stability,security奥运酷6网带宽有限，动态变化五道口生活网

五道口论坛/bbs如何支持大规模用户?奥运酷6网带宽有限，动态变化五道口生活

延迟ElementsofDelaySamplingPacketizationTransmissionReceptionDecompressSynchronizeDisplayCompress五道口生活网

五道口论坛/bbs延迟ElementsofDelaySamplingP延迟动态变化

延迟DatapathAccessSWDomainADomainBAccessSWSourceReceiver56kb/sDelayedpacketsregardedaslostPlaybackdeadline五道口生活网

五道口论坛/bbs延迟动态变化延迟DatapathAccessDomai

抖动Whatisjitter?Jitter:variationindelayCanbemeasuredasthevarianceofdelay.SenderReciever五道口生活网

五道口论坛/bbs抖动Whatisjitter?Jitter:va

抖动Whydowecareaboutjitteranyway?Smoothnessofplayback.Whatisthecostofajitterbuffer?Increasedend-to-endlatency.Whenwillwecareaboutthis?Interactivestreams.Livestreams.Storedplaybackapplicationscanaffordthecostoflargerjitterbuffers.五道口生活网

五道口论坛/bbs抖动Whydowecareaboutjitte

抖动Howto?ErrorrecoveryErrorresilienceOtherbenefitsofbuffering五道口生活网

五道口论坛/bbs抖动Howto?ErrorrecoveryErro网络拥塞导致丢失严重影响媒体播放质量

丢失DatapathAccessSWDomainADomainBAccessSWSourceReceiverNopacketlossLossofpacketsNoretransmission五道口生活网

五道口论坛/bbs网络拥塞导致丢失丢失DatapathAccessDom

丢失错误传播:视频流对错误极其敏感五道口生活网

五道口论坛/bbs丢失错误传播:视频流对错误极其敏感五道口生活网wwwInternetCongestionControlHowto?五道口生活网

五道口论坛/bbsInternetCongestionControlH组播

流媒体将同一份视频内容同时发送给多个用户，而这些用户在计算处理能力、网络接入方式以及所处子网段的网络传输负载各不相同，因此，如何以一种高效的方式同时服务于这些不同的接收者是Internet视频组播研究中需要解决的另一个重要问题。

五道口生活网

五道口论坛/bbs组播流媒体将同一份视频内容同时发送给多个用户，而这些用户网络流媒体面临的挑战五道口生活网

五道口论坛/bbs网络流媒体面临的挑战五道口生活网www.wdklife.c网络与用户端设备的异构性(Heterogeneity)用户接入方式的不同导致瓶颈带宽的差异 以太网接入、CableModem、ADSL、…各子网段的传输负载的不同导致用户可用带宽的差异用户端设备处理能力的差异

PC,STB,PDA,…异构性五道口生活网

五道口论坛/bbs网络与用户端设备的异构性(Heterogeneity)异构性网络与用户端设备的异构性(Heterogeneity)不同网络接入方式的带宽比较（表中带宽单位为bps）

ModemATMLANEthernetWireless1992年2.4K-9.6K/10M/1996年28.8K600M100M9.6-19.2K2000年56K2.5G100M-1G384K(W3G)1M(WLAN)五道口生活网

五道口论坛/bbs网络与用户端设备的异构性(Heterogeneity)不同网网络与用户端设备的异构性(Heterogeneity)当前流行的各种设备之间的性能差异

CPU频率(Hz)内存大小(Mb)屏幕尺寸(Pixel)解析度(Bits/pixel)High-endPC900-1.2G256-5121280×102424-32MidrangePC650-800M128-2561024×76824-32Laptop650-750M64-1281024×76816-24PDA100-200M8-32300×2002-8五道口生活网

五道口论坛/bbs网络与用户端设备的异构性(Heterogeneity)当前流网络与用户端设备的异构性(Heterogeneity)五道口生活网

五道口论坛/bbs网络与用户端设备的异构性(Heterogeneity)五道口网络与用户端设备的异构性(Heterogeneity)五道口生活网

五道口论坛/bbs网络与用户端设备的异构性(Heterogeneity)五道口无线与移动网络的问题Mobiledevices:imitedprocessingpowerbatterycapacitymemorylimit(notsoimportantnowadays)smallscreen

Wirelessenvironment:higherrorrate(retransmissions)limitedbandwidth(accesslevel)switchingbetweenbasestations(mobility)五道口生活网

五道口论坛/bbs无线与移动网络的问题Mobiledevices:五道口生“隐藏”节点问题五道口生活网

五道口论坛/bbs“隐藏”节点问题五道口生活网“暴露”终端问题五道口生活网

五道口论坛/bbs“暴露”终端问题五道口生活网WirelessnetworkshavehighlossratesRoofnetObjective:

HighthroughputdespitelossylinksAvg.30%loss五道口生活网

五道口论坛/bbsWirelessnetworkshavehighlosrcR1dstR4R2R350%0%50%0%0%0%50%50%FixedRoutingvs.OpportunisticRouting

Bestsinglepathlossprob.50%五道口生活网

五道口论坛/bbssrcR1dstR4R2R350%0%50%0%0%0%50Bestsinglepath

lossprob.50%Inopp.routing[ExOR’05],anyrouterthathearsthepacketcanforwardit

lossprob.0.54=6%OpportunisticroutingpromiseslargeincreaseinthroughputsrcR1dstR4R2R350%0%50%0%0%0%50%50%FixedRoutingvs.OpportunisticRouting

五道口生活网

五道口论坛/bbsBestsinglepathlossprob.五道口生活网

五道口论坛/bbs五道口生活网五道口论坛w1.1流媒体的概念

1.2流媒体的发展与应用1.3流媒体面临的挑战1.4流媒体关键技术第一章流媒体技术概述五道口生活网五道口论坛/bbs1.1流媒体的概念 第一章流媒体技术概述五道口生活网w

流媒体编解码技术

流媒体服务器技术 端到端(EndtoEnd)流媒体技术 流媒体系统技术 数字版权保护流媒体关键技术五道口生活网

五道口论坛/bbs流媒体编解码技术流媒体关键技术五道口生活网www.流媒体应用体系缓存替换算法代理服务器协作机制代理服务器放置策略MultimediaServerMultimediaServerHybridProxyMobileHostMobileHostInternetClientInternetClient智能终端自主版权Codec多媒体流协议族可扩展编码技术流媒体组播码率控制算法面向网络的自适应编码与传输高效网络子系统磁盘调度算法媒体数据分组存储策略多媒体流调度算法兼容无线和Internet的流媒体代理服务器流媒体服务器五道口生活网

五道口论坛/bbs流媒体应用体系缓存替换代理服务器代理服务器Multimedi本章参考文献[1]DapengWu

Hou,Y.T.

WenwuZhu

Ya-QinZhang

Peha,J.M,StreamingvideoovertheInternet:approachesanddirections,

CircuitsandSystemsforVideoTechnology,IEEETransactionson,2001,Volume:11,

Issue:3

[2]D.Wu,T.Hou,W.Zhu,H.-J.Lee,T.Chiang,Y.-Q.ZhangandH.J.Chao.OnEnd-to-EndArchitectureforTransportingMPEG-4VideoovertheInternet,IEEETransactionsonCircuitsandSystemsforVideoTechnology,vol.10,no.6,pp.923-941,Sept.2000.

[3]TNguyenandAzakhor.DistributedvideostreamingoverInternet.MultimediaComputingandNetworking2002,MultimediaConference.2002.[4]B.CarpenterandK.Nichols,DifferentiatedServicesintheInternet,IEEEProceedings,Vol90,No.9,2002.[5]JohnG.Apostolopoulos,Wai-tianTan,SusieJ.Wee,VideoStreaming:Concepts,Algorithms,andSystems,/techreports/2002/HPL-2002-260.pdf五道口生活网

五道口论坛/bbs本章参考文献[1]DapengWu

Hou,Y.T65下次课提前阅读[1]G.J.Conklin,G.S.Greenbaum,K.O.Lillevold,A.F.Lippman,andY.A.Reznik,VideocodingforstreamingmediadeliveryontheInternet,”IEEETrans.CircuitsSyst.VideoTechnol.,vol.11,Mar.2001.

[2]W.Li,OverviewoffinegranularityscalabilityinMPEG-4videostandard,IEEETrans.CircuitsSyst.VideoTechnol,vol.11,no.3,pp.301--317,Mar.2001.

[3]Schwarz,H,Marpe,D,Wiegand,T,OverviewoftheScalableVideoCodingExtensionoftheH.264AVCStandard,IEEETrans.CircuitsSyst.VideoTechnol,Volume17,Issue9,Sept.