（通信与信息系统专业论文）基于p2p技术的流媒体多源同步传输系统研究与设计.pdf

基于p 2 p 技术的流媒体多源同步传输研究与设计 摘要 本文主要提出了基于p 2 p 技术的多源流媒体信息的传输、同步和播放的模 型。众所周知，现有的p 2 p 技术都是针对单源视频进行设计和优化的。经过多 年的发展，单源视频的传输和播放技术都已经十分成熟。但是在某些在特殊应用 场合下，( 比如远程实时教学系统) 系统对一个视频中的某一动态性比较低的场 景( 板书，p p t 等) 有较高的清晰度要求；而对另一部分动态性较高的视频( 教 师肢体语言) 清晰度要求较低。通常的p 2 p 或者流媒体系统往往由于网络带宽 的限制不能两者兼顾，只能在两者之间切换，大大影响了效果。 基于上面的应用需求，本文先提出了多源传输的概念：首先在源采集时使用 多源采集的方式。然后针对其中一个源画面动态性较低的特点，采用较高分辨率 的编码采集方式；同时根据其动态性较低的特点，优化流压缩方式，尽可能缩减 高分辨带来的高数据流，这样形成第一个视频流；对另一个源画面动态性较高的 特点，采用目前最好的流媒体压缩格式h 2 6 4 格式进行传输。通过分多源的方式 来采集和传输视频信息，优化了用户感受。同时本文提出了一种两源视频的同步 传输算法，并设计了特殊的播放器播放两道流。由于利用了p 2 p 技术方式，对 远程实时教学等应用，超越原来的单屏幕输出，可以多个客户端同时显示画面， 每个客户端可以自由选择显示具体部分。多源信息相比单源信息有如下的优点： 1 、信息维度高；2 、信息传递有效性高；3 、用户交互性强。 本文紧接着对流媒体直播应用的研究现状和关键技术进行了分析，指出了现 有p 2 p 软件在特殊应用下的缺陷，提出了自己的改进方案。首先采用了先进的 p 2 p 网络拓扑结构；然后提出了新的节点维护方法，提高了p 2 p 流媒体直播系统 在网络中的稳定性。利用新的p 2 p 传输系统的实验结果表明：在这种构架下传 输多源视频信息，减少了网络的动态性，同时也减少了在同一个n a t 下由于多 客户端连接而造成的网络拥塞，大大优化了在网络视频教学应用下的用户感受。 本文提出的多源同步传输技术，只是用极少的网络平均带宽带来了全新的观 看效果。通过利用健壮性较高的p 2 p 系统，更能使这些应用在多客户端同时使 用时不会对主干网络产生高负担。 基于p 2 p 技术的流媒体多源同步传输研究与设计 关键字：点对点，流媒体，h 2 6 4 ，多源同步 a b s t r a c t t h i sp a p e rm a i n l yp r o p o s e dam u l t is o u r c es t r e a mt r a n s p o r t s ，s y n c h r o n i z e sa n d p l a y sm o d e lw h i c hb a s eo np 2 pt e c h n o l o g y a se v e r y b o d yk n o w s ，p 2 pt e c h n o l o g y i s d e s i g n e da n do p t i m i z e df o r t h es i n g l es o u r c es t r e a ma tp r e s e n t a f t e rm a n yy e a r so f d e v e l o p m e n t ，t h es i n g l es o u r c es t r e a mv i d e o st r a n s m i s s i o na n dp l a ya l r e a d ya r ev e r y m a t u r e w h i l ei ns o m es p e c i a la p p l i c a t i o n ，t h es y s t e mr e q u i r e sam u l t is o u r c es t r e a m f o re x a m p l e ，r e m o t er e a l t i m et e a c h i n gs y s t e ma l w a y sn e e d ss o m ep a r t so ft h ev i d e o s u c ha sb l a c k b o a r dh a sh i g hd e f i n i t i o nw h i l eo t h e rp a r to ft h ev i d e os u c ha st h ew h o l e c l a s s r o o mh a sl e s sd e f i n i t i o nb u th i g hd y n a m i c t h ea c c u s t o m e dp 2 pt e c h n o l o g yo r s t r e a m i n gm e d i as y s t e m sc a n t m a t c hb o t ho ft h er e q u i r e m e n t sd u et on e t w o r k b a n d w i d t h ；t h i sa f f e c t st h er e s u l t sg r e a t l y b a s e do nt h ea b o v ea p p l i c a t i o nr e q u i r e m e n t s ，t h i sp a p e rf i r s tp r o p o s e dt h e c o n c e p to fm u l t i s o u r c et r a n s m i s s i o n f i r s t ，w eu s et w oo rm o r ec a m e r a st oc o l l e c t v i d e os o u r c e ，o n eo ft h e mf o c u so nt h eb l a c k b o a r da n dt h eo t h e r sf o c u so nt h ew h o l e c l a s s r o o m t h e nd u et ot h el o wd y n a m i co ft h eb l a c k b o a r ds o u r c e ，w es e l e c tah i 曲 d e f i n i t i o na n dl o wf r a m er a t ec o d e cm e t h o d ，t h eo t h e r ss o u r c e sw eu s eal o w d e f i n i t i o na n dn o r m a lf r a m er a t e t h r o u g hm u l t is o u r c ec o l l e c t i o na n dc o m p r e s s i n g i nd i f f e r e n tw a y , w ed e v e l o p e du s e rf e e l i n g a tt h es a m et i m e ，t h i sp a p e rp u tf o r w a r da n e ws y n c h r o n o u st r a n s p o r ta l g o r i t h m w ed e s i g n e dan e wm e d i ap l a y e rt op l a ym u l t i s o u r c es t r e a m w ec a nu s em u l t i d i s p l a yo t h e rt h a ns i n g l ed i s p l a yb e c a u s et h ep 2 p t e c h n o l o g y t h i sp a p e ra n a l y z e dt h es t u d yo fr e a lt i m es t r e a ma p p l i c a t i o nn o w a d a y s ，w e p o i n t e do u tt h es h o r tc o m i n g so fp 2 pt e c h n o l o g yu s e di n t om u l t i s o u r c et r a n s p o r t t h e a d o p t i o no fa n e wn o d ed i s c o v e r ya n dn o d em a i n t e n a n c em e t h o d st oi m p r o v et h ep 2 p l i v es t r e a m i n gs y s t e ms t a b i l i t yi nt h en e t w o r k p r o g r e s s i v ei m p r o v e m e n ta f t e rt h eu s e o fp 2 ps t r e a m i n gm e d i at r a n s m i s s i o ns y s t e mt h ee x p e r i m e n t a lr e s u l t ss h o wt h a t ：i n 2 基于p 2 p 技术的流媒体多源同步传输研究与设计 s u c haf r a m e w o r ko fm u l t i s o u r c ev i d e oi n f o r m a t i o nt r a n s m i s s i o n ，ar e d u c t i o no ft h e d y n a m i cn a t u r eo fn e t w o r k s ，a sw e l la sa d e c r e a s eo fn a ti nt h es a m ec i r c u m s t a n c e s a sar e s u l to fm u l t i c l i e n tn e t w o r kc o n n e c t i o n sc a u s e db yc o n g e s t i o ng r e a t l yo p t i m i z e t h ea p p l i c a t i o no fv i d e oi nt h en e t w o r ko ft h eu s e re x p e r i e n c e t h em u l t is o u r c es y n c h r o n i ct r a n s p o r tm e t h o dp u tf o r w a r db yt h i sp a p e rs p e n d sa l i t t l er a i s eo fn e t w o r kb a n dt og e tat o t a l l yn e wr e s u l t u s i n gh i g hr o b u s tp 2 p s y s t e m ， w e g u a r a n t e et h eo o s o fl o t sc l i e n tu s a g e k e y w o r d s ：p 2 p 、m e d i as t r e a m 、h 2 6 4 、m u l t i s o u r c et r a n s p o r t 3 基于p 2 p 技术的流媒体多源同步传输研究与设计 第一章绪论 1 1 研究背景 随着宽带互联网的迅速发展，越来越多的人利用网络共享文件，获取文件。 但是受带宽的限制，文件共享不可能满足大规模的并发请求，于是出现一种p 2 p ( p e e rt op e e r ) 的网络传输方式。p 2 p 要求用户既是下载者又是服务者，在自己 下载的同时也为整个p 2 p 网络服务。在这种模式下，网络中心服务器的负担大 大减小，同样带宽下的中心服务器可以同时服务的用户数有了一个数量级以上的 增长，而且普通用户的下载速度甚至还有所上升。从网络技术上来讲，p 2 p 技术 属于覆盖层网络( o v e r l a yn e t w o r k ) 的范畴，是不同于客户端朋艮务端( c s ) 模式的一 种网络分发技术。在c s 模式中，数据的分发采用专门的服务器，多个客户端都 从此服务器获取数据。这种模式的优点是：数据的一致性容易控制，系统也容易 管理。但是此种模式的缺点是：因为服务器的个数只有一个( 即便有多个也非常 有限) ，系统容易出现单一失效点；单一服务器面对众多的客户端，由于c p u 能 力、内存大小、网络带宽的限制，可同时服务的客户端非常有限，可扩展性差。 在p 2 p 网络中，每个节点既可以从其他节点得到服务，也可以向其他节点提供 服务。这样，客户端也成为了服务端，分担了一部分客户端的压力，一举解决了 c s 模式中的两个弊端。 p 2 p 的优点吸引了众多的学者和研究人员参与研究，但是这些研究很长时间 里大家都是在p 2 p 共享文件方面做工作，期间出现了许多优秀的下载软件。从 刚开始的e m u l e 、电驴，到后来的f l a s h g e t 、b t 、迅雷等。近年来，p p l i v e ，p p s t r e a m ， c o o l s t r e a m 等这样的网络电视软件在网络中空前盛行，引发了人们对流媒体新技 术的极大关注。剖析这些软件所采用的技术，发现它们有一个共同的特征，都是 基于p 2 p 技术的流媒体直播软件，能够为宽带用户提供稳定和流畅的视频直播 服务。可见，流媒体技术的引进创造了一种全新的商业模式，在互联网的世界引 入了一场风暴。p 2 p 的兴起引出了大量的网络直播系统，本文介绍的p e e r c a s t 就 是其中之一。随着p 2 p 技术应用的普遍化，对p 2 p 技术的扩展应用也开始盛行。 近年来，利用p 2 p 技术的视频监控系统，利用视频技术的网络教学系统，以及 4 基于p 2 p 技术的流媒体多源同步传输研究与设计 利用p 2 p 技术的无线传输。 随着p 2 p 技术的越来越广泛的应用，对各种特殊场合的应用也开始有了新 的要求。比如在网络直播视频教学当中，老师的板书或者p p t 是上课时非常重要 的信息传递的媒介，但是现在的网络直播教学系统往往只是对整个教室和黑板的 一种拍摄、压缩和传递，这样一来教师的肢体语言得到了很好的表达。但是，由 于网络带宽和摄像设备的成本的考虑，往往不能把整个黑板的细节得以清晰的表 达。与此类似的还有视频监控系统等。由于网络教学视频都是利用的单源采集视 频信息，然后根据采集者的主观需要来切换采集的细节和方位。这种采集方式在 传统的教学课堂上有其优点：采集简单，压缩简单，传输易。但是随着科技的进 步，现在的课堂和网络视频的受体都有了很大的改变，人们开始不满足于根据采 集视频者的心情来获取自己想要的数据。于是多源采集开始具有其明显的必要 性。随着多源采集的出现，多源采集后出现的多道流传输和存储都开始成为问题。 本文就是从这个角度出发，提出p 2 p 多源传输技术的研究和应用。 由于单源视频测传输技术有了成熟的应用，我们开始考虑在一个视频流中传 输两个以上视频源的信息。这种方法的优点是： 1 、信息维度高 在一个源的信息中，如果要对视频的不同部分采用不同的分辨率和不同的显 示效果，基本上都是通过摄影师的主动改变来达到目的，视频流中信息的含 量和可扩充性都不是很好。但是如果在一个视频流中加入两个采集源采集的 信息，根据两个采集源采集信息各自的特点采用不同的压缩方法同步传输， 那么信息的维度将得到很好的扩展。 2 、信息传输更有效 由于多源采集后的信息采用的是一道视频流来传送，这样基本的同步信息冗 余就可以去掉。并且，由于采集时针对每个源视频各自的特点进行分别压缩， 这样相对于两道视频源分开传送有更好的压缩率和信息传送的有效性。实验 结果也表明，虽然增加了一道视频源但是我们的带宽占用只增加了2 0 左 右。 3 、用户交互性强 由于两个视频源采用的是分开播放的方式，这样用户可以拥有自主决定观看 基于p 2 p 技术的流媒体多源同步传输研究与设计 哪道视频源的信息，从而达到了与视频发布者的交互。 1 2 相关研究现状 目前来看，p 2 p 技术已经得到了很好的普及，从最初开始研究的文件传递， 到现在广泛应用的网络点播、电视直播软件。文件传递中，教育网内有北京大学 研究的文件共享软件天网m a z e 以及清华大学研究的汉魅( h u n t m i n ) 为代表。 都是局域网共享文件、i n t e r n e t 中高速下载的典范。网络电视直播软件以华中科 技大学大学研究的a n y s e e ，商业化运营后叫做p p l i v e 最为出名。国际上大学研 究的由日本研究的p e e r c a s t ，以及h e n d r i kb r e i t k r e u z 在当时的e d o n k e y 2 0 0 0 客户 端基础上做出了更出色的p 2 p 软件1 m u l e 将e d o n k e y 的优点及精华保留下 来，并加入新的功能以及使图形界面变得更好【1 】。 通常的p 2 p 流媒体直播软件中邻居发现是比较耗费时间，而且最优化非常 困难。因为最优路由是n p ( 有限时问内无最优解) ，加上网络客户条件复杂，上 传和下载不对称等问题这个问题至今都是各种p 2 p 亟待解决好的问题。p 2 p 流媒 体直播软件的另一个问题就是直播网络的稳定性，在动态性非常高的互联网中， 直播系统的稳定性直接关系到用户的感受和网络的利用效率。现有的p 2 p 网络 一般具有如下几种覆盖网络拓扑：中心化拓扑、全分布式非结构化拓扑、全分布 式结构化拓扑、半分布式拓手b 2 1 。 最初的p 2 p 流媒体直播系统基本上都是采用中心化拓扑也就是树形结构 【3 】，【4 】。这种结构如下图1 所示： 图1 树状结构 6 基于p 2 p 技术的流媒体多源同步传输研究与设计 这也就是但是这种网络拓扑结构有致命的弱点，在动态性比较高的p 2 p 流 媒体直播当中，越靠近根结点的节点的推出将导致其所有子节点及子节点以下的 节点重连，产生停顿。这样的网络结构是十分脆弱的。而且这种网络没有非常优 秀的邻居发现和节点管理方法，只能通过最一次获得相关的邻居信息后运行。 全分布式非结构化拓扑又叫网状结构如图2 所示，又叫无结构。顾名思义， 这种结构中，所有的节点无规则地连在一起，没有稳定的关系，没有父子关系。 网状结构1 5 】为p 2 p 软件提供了最大的容忍性、动态适应性，在流媒体直播和点 播应用中取得了极大的成功。当网络得更大的时候，常常会在关键的网络中引入 超级节点的，超级节点可以和任何一种以上结构结合起来组成新的结构。本文介 绍的传输系统采用的正是这种网络结构，而且加强了这种网络结构。在这个基础 提出了新的邻居发现和节点管理方法。 图2 网状结构图 全分布式结构化拓扑也即无集中服务器的拓扑结构，但是这种结构加入了 d h t ( 分布式哈希表) 来管理网络的结构。哈希表被分割成不连续的块，每个结 点被分配给一个属于自己的散列块，并成为这个散列块的管理者。通过加密散列 函数，一个对象的名字或关键词被映射为1 2 8 位或1 6 0 位的散列值。一个采用 d h t 的系统内所有结点被映射到一个空间l = 0 ，1 j ，如果散列函数映射一个h 位的名字到一个散列值h ，则有f i 2 h e l 。通常由最接近的节点保存数据的存储 位置。这样，每个节点都只维护一个很小的邻居列表，查询的消息只被转发到相 近的节点。为了在有限跳内总可以查找到资源位置，节点之间的连接还必须参考 特定的网络拓扑结构。d h t 类结构能够自适应结点的动态加入退出，有着良好 的可扩展性、鲁棒性、结点i d 分配的均匀性和自组织能力。由于网络采用了确 7 基于p 2 p 技术的流媒体多源同步传输研究与设计 定性拓扑结构，d h t 可以提供精确的邻居发现。 对网络的拓扑的研究使得现有的p 2 p 技术在直播网络中能够有很好的稳定 性的良好的网络连续性。当然p 2 p 流媒体技术的广泛应用另外一个重要的原因 是m p e g 4 标准的提出，以及优秀的视频压缩方式h 2 6 4 的出现。在这些技术的 支持下，我们才能用现有的带宽获得比较清晰的流畅的点播和直播画面。 m p e g 4 是一套用于音频、视频信息的压缩编码标准，由国际标准化组织i e c 活 动图像专家组( 即m p e g ) 制定，第一版在1 9 9 8 年1 0 月通过，第二版在1 9 9 9 年1 2 月通过，一共有二十个部分。m p e g 4 格式的主要用途在于网上流媒体及 光碟分发，语音传送( 视像电话) ，以及电视广播。m p e g 4 格式规定了音视频 压缩的主要标准，还有网络中传送以及回放的规范。随着m p e g 4 的普及使用， 符合m p e g 4 标准的视频压缩格式相继出现，其中最为著名的就是h 2 6 4 压缩格 式。h 2 6 4 是n u t 以h 2 6 x 系列为名称命名的标准之一，同时a 、，c 是i s o c m p e g 一方的称呼。这个标准通常被称之为h 2 6 舭w c ( 或者a v c h 2 6 4 或者 h 2 6 4 m p e g 4a v c 或m p e g 伽2 6 4a v c ) 。标准和m p e g 4 的第十部分规定 是一致的。h 2 6 4 a v c 包含了一系列新的特征，使得它比起以前的编解码器不 但能够更有效的进行编码，还能在各种网络环境下的应用中使用。这些新特性包 括：多参考帧的运动补偿、变块尺寸运动补偿能够减轻普遍存在于其他基于离散 余弦变换( d c t ) 的视频编解码器的块效应、基于上下文的二元算数编码 ( c a b a c ) 、熵编码、基于上下文的变长编码( c a w _ c ) 等等。上述这些技术， 与其它技术的结合，使得h 2 6 4 比起以前的视频编解码能够带来性能上显著的提 高，并在各种不同的环境下达成更广泛的应用。h 2 6 4 在压缩性能上比起m p e g 2 有很大的提高，在相同的图像质量下可以，码率可以减少到一半或者更少。 在这些技术的基础上，使得流媒体直播可以用较少的码流达到可以接受的清 晰度，于是，网络上各种流媒体直播软件得以盛行。本文对视频的压缩也是利用 这种优秀的压缩格式。 有了这些技术的支持，我们才有可能实现现在的各种各样的视频应用，本文 提出的多源视频信号同步传输在很大程度上也是得益于这些技术的发展。在以往 的直播视频研究中都是对一道源进行传输和优化，而对多源信号的传输和同步研 究比较，尤其在特殊场合下的应用更是没有针对性的研究。由此，我们提出来在 基于p 2 p 技术的流媒体多源同步传输研究与设计 两源采集的基础上的多源采集模型，然后在开源p 2 p 系统上进行网络结构和传 输模式的改进以适应多源同步传输的要求。通过以上的模型我们可以同步的传输 和播放以及存储多源信号。并由此提出了自己的算法和具体实现方法。 1 3 论文主要贡献 本文主要运用p 2 p 技术来实现多源流媒体信息的同步传输。为了实现多源 信息同步传输的经济性、有效性和稳定性，我们提出了新的数据采集方法，新的 数据压缩模式和新的传输方式。并且在这个基础上提出了p 2 p 技术上面的改进 方案。而且对多源视频信息在实际应用中也做了相关探讨。首先，在视频源的采 集方面，我们分析了实际应用当中，用多源信息采集方法的必要性。而且，由于 多源信息的采集，我们提高的了流媒体信息的含量。然而考虑到多源视频信息的 各个视频源都有自己的特性针，我们采用了不同的压缩方法获得两道视频流，然 后采用新的同步传送的方法，以最大化网络带宽的传输能力。本文先提出了自己 的多源采集视频信息的模型，然后在已有的p 2 p 软件基础上对其网络拓扑，传 输方式，缓存系统进行改造，以适应多源信号传输的需要。在这个基础上，提出 两源信号分别压缩，然后同步传送，以及回放的方法。这样就实现了多源的同步 传送。在这个多源同步传送的整个系统中，重点介绍了采集模块，同步传送模块。 这样就达到了对两道不同的视频流稳定的传输，然后通过自己设计的播放器很好 的配合回放，使多源视频同步传输方法能够很好的利用于网络视频教学。 1 4 论文的主要结构 论文按照标准格式，结合自己的实际工作安排如下： 第一章简要介绍论文的主要内容和创新点，提出了多源同步传送主要研究内 容。 第二章主要介绍多源同步传输所依赖的技术以及现有技术的调研。相关的技 术有流媒体视频压缩技术，流媒体传输方法协议。对于流媒体的p 2 p 传输，我 们重点考察了p 2 p 传输中媒体的类型，网络拓扑。重点研究了开源p 2 p 软件 p e e r c a s t 的组织结构以及弊端。 第三章介绍一种基于p 2 p 的多源同步传输系统的结构，详细分析个各个组成 9 基于p 2 p 技术的流媒体多源同步传输研究与设计 部分的设计理念和结构，提出了p 2 p 流媒体多源同步传输的现实应用意义。 第四章介绍如何实现多源的分别压缩和打包传送，以及视频回放。这里主要 涉及到了软件的实现以及在应用。 第五章主要的试验结果。实现了多元同步传输，效果良好，而且网络带宽增幅 很小；对改进后的p 2 p 传输平台进行测试，健壮性和稳定性的大幅度提高。 第六章展望。提出了在将来研究中将多源( 三源以上) 信号传输的可行性进 行分析，提出自己的的看法。在p 2 p 网络上，对于网络的自环以及网络节点管 理的更优化也提出了新的目标。 1 0 基于p 2 p 技术的流媒体多源同步传输研究与设计 第二章p 2 p 多源同步传输的相关技术 2 1 网络多媒体 随着i n t e r a c t 的普及应用，人们从开始的一般上网阅读文字，图片信息到现 在的多媒体需求都开始日益增加。但是与i n t c r n c t 蓬勃发展相对应的是网络带宽 需求的大量上升。但是限于基础建设的工程复杂和投资成本的巨大，实际的互联 网速度往往跟不上网络的需求。在这种情况下，一种可以新型的媒体格式开始出 现，这种媒体格式不需要下载整个文件便可以播放。这就是流媒体【7 】。流媒体 是指采用流式传输的方式在i n t e m e t 播放的媒体格式。流媒体又叫流式媒体， 它是指商家用一个视频传送服务器把节目当成数据包发出，传送到网络上。用户 通过解压设备对这些数据进行解压后，节目就会像发送前那样显示出来。 这个过程的一系列相关的包称为“流”。流媒体实际指的是一种新的媒体传送 方式，而非一种新的媒体。流媒体技术全面应用后，人们在网上聊天可直接语音 输入；如果想彼此看见对方的容貌、表情，只要双方各有一个摄像头就可以了； 在网上看到感兴趣的商品，点击以后，讲解员和商品的影像就会跳出来；更有真 实感的影像新闻也会出现。 流媒体技术发端于美国。在美国目前流媒体的应用己很普遍，比如惠普公司 的产品发布和销售人员培训都用网络视频进行。 流式传输方式则是将整个a n 及3 d 等多媒体文件经过特殊的压缩方式分成 一个个压缩包，由视频服务器向用户计算机连续、实时传送。在采用流式传输方 式的系统中，用户不必像采用下载方式那样等到整个文件全部下载完毕，而是只 需经过几秒或几十秒的启动延时即可在用户的计算机上利用解压设备( 硬件或软 件) 对压缩的a v 、3 d 等多媒体文件解压后进行播放和观看。此时多媒体文件的 剩余部分将在后台的服务器内继续下载。 与单纯的下载方式相比，这种对多媒体文件边下载边播放的流式传输方式， 不仅使启动延时大幅度地缩短，而且对系统缓存容量的需求也大大降低。 流媒体的出现使得实时播放开始成为可能，这样，个大的视频文件可以在 不被全部下载完毕时就可以播放。更重要的是，我们能够利用流媒体的这个特性 基于p 2 p 技术的流媒体多源同步传输研究与设计 实现实时监控或者实时传播图像声音信息。这就是我们的多源同步传输应用的基 本依赖技术。 2 2h 2 6 4 流媒体压缩格式 虽然有了流媒体解决了不用下载整个文件就可以观看的问题，但是网络带宽 的狭窄使得我们不能在网络中直接播放数据率非常大的多媒体。尤其是随着网络 视频的广泛应用，在网站上直接观看视频已经是很平常的事情。但是直接观看视 频往往存在一些需求冲突。我们希望看到的视频是非常清晰，但是网络的带宽无 法承受高清晰度( 分辨率) 带来的高码流( 网络带宽) 。于是各种各样的视频压 缩算法开始出现。我们在比较了相关的压缩方式后，选择了当前比较成熟和先进 的h 2 6 4 的视频压缩格式。所以，对视频压缩格式以及m p e g 4 格式都有相关的 了解和研究。h 2 6 4 是r i - u - t 以h 2 6 x 系列为名称命名的标准之一，同时a v c 是 i s o i e cm p e g 一方的称呼。这个标准通常被称之为h 2 6 舭a v c ( 或者a v c h 2 6 4 或者h 2 6 4 m p e g 4 a v c 或m p e g 伽2 6 4 a v c ) 而明确的说明它两方面的开发 者。该标准最早来自于删- t 的称之为h 2 6 l 的项目的开发。h 2 6 l 这个名称虽 然不太常见，但是一直被使用着。【9 】9 h 2 6 4 | a v c 最初的目标是希望新的编解码器能够在比相对以前的视频标准 ( 比如m p e g 2 或者h 2 6 3 ) 低很多的位元率下( 比如说，一半或者更少) 提供 很好的视频质量；同时，并不增加很多复杂的编码工具，使得硬件难以实现。另 外一个目标是可适应性，即该编解码器能够在一个很广的范围内使用( 比如说， 即包含高码率也包含低码率，以及不同的视频分辨率) ，并且能在各种网络和系 统上( 比如组播、d v d 存储、r t p i p 包网络、i t u t 多媒体电话系统) 工作。 h 2 6 4 格式标准的主要宗旨就是以高运算代价换搞压缩率。 由于我们的视频是实时视频信息，这样一来，利用高压缩率的h 2 6 4 成为了 压缩格式的最佳选择，而且h 2 6 4 的压缩技术细节也非常符合我们对码流不同的 两个视频源的压缩。 2 2 1h 2 6 4 压缩格式的技术细节 h 2 6 4 a v c 包含了一系列新的特征，使得它比起以前的编解码器不但能够 1 2 基于p 2 p 技术的流媒体多源同步传输研究与设计 更有效的进行编码，还能在各种网络环境下的应用中使用。这些新特性包括： 1 、多参考帧的运动补偿。比起以前的视频编码标准，h 2 删c 以更灵活 的方式使用已编码的更多帧来作为参考帧。在某些情况下，可以使用最多3 2 个 参考帧( 在以前的标准里面，参考帧的数目不是1 就是对b 帧来说的2 ) 。该特 性对大多数场景序列都可以带来一定的码率降低或者质量提高，对某些类型的场 景序列，例如快速重复的闪光，反复的剪切或者背景遮挡的情况，它能很显著的 降低编码的码率。 2 、变块尺寸运动补偿。可使用最大1 6 x 1 6 至最小4 x 4 的块来进行运动估计 与运动补偿，能够对图像序列中的运动区域进行更精确的分割。这些类型共有 1 6 1 6 、1 6 8 、8 1 6 、8 8 、8 4 、4 8 、4 4 。 3 、为了减少锯齿( e n - a l i a s i n g ) 并得到更锐化的图像，采用六抽头的滤波 器来产生二分之一像素的亮度份量预测值。 4 、宏块对结构允许场模式中采用1 6 x 1 6 的宏块( 相对于m p e g 2 中的1 6 x 8 ) 。 5 、1 4 像素精度的运动补偿能够提供更高精度的运动块预测，由于色度通常 是亮度抽样的1 2 ( 参见4 ：2 ：o ) ，这时运动补偿的精度就达到了1 8 像素精度。 6 、加权的运动预测，指在运动补偿时可以使用增加权重和偏移的办法。它 能在一些特殊的场合，如淡入、淡出、淡出而后淡入等情况提供相当大的编码增 j 上 盆。 7 、使用了一个环内的除块效应滤波器，能够减轻普遍存在于其他基于离散 余弦变换( d c t ) 的视频编解码器的块效应。 8 、一个匹配的整数4 x 4 变换( 类似于离散余弦变换的设计) ，同样在高精度 拓展中，采用整数8 x 8 变换，并能在4 x 4 变换和8 x 8 变换中进行自适应的选择。 9 、在第一次4 x 4 变换后，对d c 系数( 色度的d c 系数和某种特殊状况的 亮度d c 系数) 再进行一次h a d a m a r d 变换，使得在平滑区域得到更好的压缩效 果。 1 0 、利用临近块的边界像素的i n t r a 空间预测( 比曾在m p e g 2 视频部分使 用的直流系数预测和在h 2 6 3 + 和m p e g 4 视频部分使用的变换系数预测的效果 要好) 。 1 1 、基于上下文的二元算数编码( c a b a c ) ，它能够灵活的将各种语法元素， 基于p 2 p 技术的流媒体多源同步传输研究与设计 在已知相应上下文概率分布的状况下进行更有效的无损熵编码。 1 2 、基于上下文的变长编码( c a c ) ，用于对量化后的变化系数进行编码。 比起c a b a c 它的复杂度相对较低，压缩比不高，但是比起以前的视频编码标准 所使用的熵编码方案，它又是相当有效的。 1 3 、对既不是用c a b a c 也不是用c a v l c 的语法元素，使用指数哥伦布码 ( e x p o n e n t i a l g o l o m b ) ( e x p g o l o m b ) 熵编码方案，进行编码。 1 4 、使用一个网络抽像层( n a l ) ，使得相同的视频语法可以适用于多种网 络环境中；并且使用了序列参数集( s p s s ) 和图像参数集( p p s s ) 来提供更高 的强健性( r o b u s t n e s s ) 和灵活性。 1 5 、切换条带( s w i t c h i n gs l i c e s ，包括s p 和s i 两种) ，它使得编码器能够指 令解码器跳转到一个正在处理的视频码流，用来解决视频码流码率切换和”窍门 模式”( t r i c km o d e ) 操作。当解码器利用s p s i 条带跳转到一个视频码流中间时， 除非之后的解码帧引用切换帧之前的图像作为参考帧，它都可以得到完全一致的 解码重建图像。 1 6 、灵活的宏块排列模式( f m of o rf l e x i b l em a c r o b l o c ko r d e r i n g ，也被称为 条带组s l i c eg r o u p s 技术) 和任意条带排列( a s of o ra r b i t r a r ys l i c eo r d e r i n g ) 模 式，用来更改图像编码的最基本单位宏块的编码顺序。它能够用来提高有绕信 道下码流的强韧性( r o b u s t n e s s ) 以及一些其它的目的。 1 7 、数据分区( d pf o rd a t ap a r t i t i o n i n g ) ，能够将重要程度不同的语法元素 分开打包传输，并使用非平等数据保护( u e pf o ru n e q u a le r r o rp r o t e c t i o n ) 等技 术来改善视频码流对抗信道误码丢包的鲁棒| 生( r o b u s t n e s s ) 1 8 、冗余条带( r sf o rr e d u n d a n ts l i c e s ) ，同样是一个提高码流鲁棒性的技 术。编码器利用该技术可以发送图像某区域( 或者全部) 的另一个编码表示( 通 常是较低分辨率的编码码流) 使得当主表示发生错误或者丢失的时候能够用冗余 的第二个编码表示来解码。 1 9 、使用了一个自动的字节码流打包方法，避免了码流中出现与开始码重复 的码字。开始码是码流中用于随机访问和重建同步的码字。 2 0 、补充增强信息( s e if o rs u p p l e m e n t a le n h a n c e m e n ti n f o r m a t i o n ) 和视频 可用信息( v u if o rv i d e ou s a b i l i t yi n f o r m a t i o n ) 增加了向视频码流中加入信息的 1 4 基于p 2 p 技术的流媒体多源同步传输研究与设计 办法，为各种应用提供了用途。 2 1 、辅助图层( a u x i l i a r yp i c t u r e s ) ，可以用来实现某些特殊的功能，例如a l p h a 复合( a l p h ac o m p o s i t i n g ) 。 2 2 、帧编号，使用该功能支持创建一个视频序列的子序列，可用来支持实现 时域的可伸缩性，还支持对丢失的整帧图像进行检测和隐藏( 丢失可能是由于网 络丢包或者信道误码造成的) 。 2 3 、图像顺序计数，使用该功能使得各帧图像的顺序和解码图像的像素值与 时间信息无关，即使用一个单独的系统对时间信息进行传输、控制、更改，从而 不影响解码图像的像素值。 上述这些技术，与其它技术的结合，使得h 2 6 4 比起以前的视频编解码能够 带来性能上显著的提高，并在各种不同的环境下达成更广泛的应用。h 2 6 4 在压 缩性能上比起m p e g 2 有很大的提高，在相同的图像质量下可以，码率可以减 少到一半或者更少。 我们主要是利用了h 2 6 4 的运动预测( 运动估值) ，由于在我们视频源中， 有的视频动态性比较大，有的视频动态性非常低。在动态性非常低的视频源中利 用h 2 6 4 能够达到很高的压缩率。这样，利用很低的平均码流就可以传输非常高 分辨率的一道视频，体现在网络中就是用很低的带宽获取一道高清晰的视频源。 2 3 流媒体传输 用h 2 6 4 格式压缩的图像在网络上的实时传送一般是利用流媒体实时传送 协议r t p 和r t s p 。我们的传输虽然不是利用的r t p 和r t s p 网路协议，但是由 于这个协议有很大的参考价值，于是我们也做了相关调研。 2 3 1r t p 和r t s p 实时传送协议( r e a l t i m et r a n s p o r tp r o t o c o l 或简写r t p ) 是一个网络传输协 议，它是由i e t f 的多媒体传输工作小组1 9 9 6 年在r f c1 8 8 9 中公布的。国际电 信联盟删t 也发布了自己的r 耶文档，作为h 2 2 5 0 ，但是后来当i e t f 发布 了关于它的稳定的标准r f c 后就被取消了。它作为因特网标准在r f c3 5 5 0 ( 该 文档的旧版本是r f c1 8 8 9 ) 有详细说明。r f c3 5 5 1 ( s t d6 5 ，旧版本是r f c1 8 9 0 ) 基于p 2 p 技术的流媒体多源同步传输研究与设计 详细描述了使用最小控制的音频和视频会议。 r t p 协议详细说明了在互联网上传递音频和视频的标准数据包格式。它一开 始被设计为一个多播协议，但后来被用在很多单播应用中。r t p 协议常用于流媒 体系统( 配合r t s p 协议) ，视频会议和一键通( p u s ht ot a l k ) 系统( 配合h 3 2 3 或s i p ) ，使它成为i p 电话产业的技术基础。r t p 协议和r t p 控制协议r t c p 一 起使用，而且它是建立在用户数据报协议上的。 r t p 的封包结构如下表1 ： 表1r t p 包头格式 位 o 1 2 34 789 1 51 6 3 1 ov r c r pxc cm p t 序号 3 2 t i m e s t a m p ( 时间戳) 6 4s s r c 标示 9 6c s r c 标示 9 6 + ( c c x 3 2 )扩展包头( 可选项) ，长度可调 m o i 数据 v e t ( 2 位) 是目前协定的版本号码，目前版号是2 。p ( 1 位) 是用于r t p 封包( p a c k e t ) 结束点的预留空问，视封包是否需要多余的填塞空间。x ( 1 位) 是否在使用延伸空间于封包之中。c c ( 4 位) 包含了c s r c 数目用于修正标头 ( f i x e dh e a d e r ) ，m ( 1 位) 是用于应用等级以及其原型( p r o f i l e ) 的定义。如果 不为零表示这个包由指定的程序解包。p t ( 7 位) 是指p a y l o a d 的格式并决定将 如何由应用程序加以解译。s s r c 是用于同步的信息。 r t s p ( r e a lt i m es t r e a m i n gp r o t o c 0 1 ) 是用来控制声音或影像的多媒体串流 协议，并允许同时多个串流需求控制，传输时所用的网络通讯协定并不在其定义 的范围内，服务器端可以自行选择使用t c p 或u d p 来传送串流内容，它的语法 和运作跟h 1 曙1 1 类似，但并不特别强调时间同步，所以比较能容忍网络延迟。 而前面提到的允许同时多个串流需求控制( m u l t i c a s t ) ，除了可以降低服务器端 的网络用量，更进而支持多方视讯会议( v i d e oc o n f e r e n c e ) 。 因为与h t t p l 1 1 6 基于p 2 p 技术的流媒体多源同步传输研究与设计 的运作方式相似，所以代理服务器( p r o x y ) 的快取功能( c a c h e ) 也同样适用于 r t s p ，并因r t s p 具有重新导向功能，可视实际负载情况来转换提供服务的服 务器，以避免过大的负载集中于同一服务器而造成延迟。 2 3 2r t p 传送h 2 6 4 流媒体包 h 2 6 4 标准压缩系统由视频编码层( v c l ) 和网络提取层( n e t w o r k a b s