基于 IP 网络的视频流传输

1、基于流基媒于体 （申请工学硕士学位论文） 网技PI络术的的视音频视流频传直输播技和术点研播系 究统设 计与实 现 王 超 张 小 麟 武 汉武理汉 工理大工 学大 学 基于IP网络的视频流传输 技术研究 培养单位 ：信息工程学院 学科专业 ：通信与信息系统 研 究 生 ：王 超 指导教师 ：刘 泉 教授 2006年5月分类号UDC密 级 学校代码学 位 论 文题 目 基于IP网络的视频流传输技术研究 英 文 The Research of Video Stream题 目研究生姓名姓 名 职称指导教师单位名称 申请学位级别学科专业名称 通信与信息系统 论文提交日期论文答辩日期2006年5月18号

2、 学位授予单位 武汉理工大学学位授予日期 答辩委员会主席 陈 伟 评 阅 人 李方敏2006年5月武汉理工大学硕士学位论文摘 要随着IP网络的迅速发展，视频通信正逐步成为通信行业的主要业务之一，视频流的网络通信技术正受到学术界和业界越来越多的关注。如何在现有网络上改善、提高视频通信的质量，以满足多媒体业务的QoS要求，是一项非常有意义的研究课题。针对视频流业务具有连续性传输、数据量大、对实时性和可靠性要求高等特点，以及网络信道的异质特性和时变特性，本文从信源编码和信道传输过程中的多个角度出发，对网络通信中的视频编码与传输技术进行了深入细致的研究，所作的主要工作如下：第一，对视频通信领域中最新的

3、视频编解码H.264标准以及流媒体传输协议等相关理论、技术进行了深入研究。第二，基于H.264标准所提出的SP帧无缝码流切换技术，提出了基于SP帧的智能流文件的设计方案，并实现了关键帧采用SP帧码流切换过程，实现了在视频源端应对网络变化的编码策略。第三，视频差错控制技术是提高视频通信的服务质量的重要技术，在研究H.264标准提出差错掩藏技术的基础上，对时域差错掩藏技术方面改进，提出了一种基于周边匹配的匹配框架，试验结果表明在相同算法复杂度下有效地改善了H.264时域差错掩藏带来的块效应。第四，基于RTP/RTCP协议的基础上提出了一种新的服务质量动态控制算法做到对网络实时变化的监测，从而决定改

4、变视频流码率的策略；为解决因包失序带来的抖动、延时等问题，提出了一种滑动缓冲区算法，试验结果表明具有滑动大小的缓冲区控制算法不仅能及时响应网络条件的变化，而且能尽可能节省接收端的缓冲资源，减小数据处理延时。第五，在研究了DirectShow的技术基础上，设计了一个基于H.264编解码标准的实时视频流传输系统方案，并进行了实现。关键词：视频流，码流切换，差错控制，RTP/RTCP，DirectshowI武汉理工大学硕士学位论文AbstractDue to the explosive growth of the Internet and increasing demand for multimed

5、ia information on the web, streaming video over the Internet has received tremendous attention from academia and industry. How to improve the networks alive and to enhance the quality of video communication, which becomes a challenged and applied valued reseach program.Since transmission of real-tim

6、e video over network typically has bandwidth, delay, continuity, and loss requirements, furthermore the channel is time-vary and heterogeneity, this thesis investigates several key areas of streaming video during source coding and channel communication. Specially, we focus on video compression, scal

7、able encoding, application-layer transmission and controlling strategy, network protocols for real time streaming video.The main contributions and innovation points of the thesis are as follows:I. I focused on the theories and technologies about the latest video codec standard H.264 and stream media

8、 transporting protocols.II. Based on the SP frame code stream switching technology, then, I forward a precept about SP frame intelligent stream files, and describe the process of SP frame switching.III. Video error controlling is one of the most important technology to improve the QoS of video commu

9、nication. Based the study of the Error concealing technology included by H.264, I applied a frame based on circumjacent matching, which improves the H.264 indicated by test result.IV. I put forward a new QoS dynamic controlling arithmetic to inspect the network based on RTP/RTCP protocols, and then

10、to deal the problems caused by packets loss.V. At the end of the thesis, I designed and realized a real-time video stream transporting project based on DirectShow.Keywords：Video Stream, Code Stream Switching, Error Controling, RTP/RTCP,DirectshowII武汉理工大学硕士学位论文目 录第1章 绪论.11.1 研究的目的与意义.11.2 国内外研究现状与技术背

11、景.21.2.1信源端的视频信号处理方法.21.2.2 网络信道的结构及通信协议.51.3 本文的主要工作及组织结构.71.3.1 本文的主要工作.71.3.2本文的组织结构.8第2章 H.264视频编解码标准及实时传输协议研究.102.1基于H.264标准的视频编解码.102.1.1 H.264编码的设计特点.112.1.2 H.264的性能与复杂度.152.2 多媒体传输协议.152.2.1 传输层的重要性分析.162.2.2 TCP协议的局限及UDP的优势.172.3 RTP/RTCP协议.182.3.1 RTP协议在传输层的位置.182.3.2 RTP协议的报文格式.192.3.3 R

12、TP协议的特点.212.3.4 RTCP协议的特点.22第3章 视频流自适应传输与差错控制研究.243.1视频编码技术现有的应对策略与研究方向.243.2 基于H.264的SP帧无缝的码流切换技术.273.2.1 H.264标准中的I帧、P帧、SP帧的编码类型.273.2.2 I帧、P帧、SP帧三种帧类型的编码效率的比较.273.2.3 基于SP帧的智能流文件的设计方案.283.2.4 关键帧采用SP帧的码流切换过程.29 i武汉理工大学硕士学位论文3.3 视频差错控制技术研究.313.3.1 差错掩藏技术.323.3.2 H.264标准中的差错掩藏.333.3.3 H.264时域差错掩藏的改

13、进.40第4章 基于RTP协议的网络自适应控制研究.464.1服务质量的动态监测及意义.464.2 服务质量控制方法.474.2.1 服务质量动态反馈控制的步骤.484.2.2 服务质量动态控制判断依据.494.3 一种新的服务质量动态控制算法.504.4 滑动大小的缓冲区设计.524.5 实验结果.55第5章 基于DirectShow的视频传输方案设计及实现.575.1 视频流实时传输系统总体设计.575.1.1 系统的线程结构.585.1.2 系统总体框架结构.585.1.3 服务器端的设计.595.1.4 客户端的设计.605.2 流媒体传输系统过滤器的设计.615.2.1网络发送端过滤

14、器的设计与实现.615.2.2 网络接收端过滤器的设计与实现.635.3 系统的实现方案.645.3.1 服务器端的实现.645.3.2 客户端的实现.68第6章 总结与展望.726.1全文工作总结.726.2 下一步工作展望.73参考文献.74作者在攻读硕士学位期间发表的论文.77作者在攻读硕士学位期间参与的项目.77致 谢.78 ii武汉理工大学硕士学位论文第1章 绪论1.1 研究的目的与意义随着科学技术的发展和社会生活的进步，人类对信息的需求量越来越大，人们希望无论何时何地都能够方便、快捷、灵活地通过语音、数据、图像与视频等多种方式进行通信。这其中，对视觉信息的需求占据了大约60%以上，

15、它能给人们以直观、生动的形象反映，也正因此，图像/视频的传输更受到人们越来越广泛的关注。近几年来，光纤网、移动通信网和下一代网络的不断飞速发展，大大改善和提高了不同网络业务的可利用带宽资源，这也促使了网络业务类型的多样性发展。视频流传输就是其中一项正在迅速发展的技术，它可以广泛应用于视频点播、网上购物、电视会议、远程教育、远程医疗、安防监控以及实况转播等领域。所谓网络视频流传输，站在服务器的角度来看是一个动态的概念，即连续发送视频数据经过网络信道到达用户端，这一连续的随时间变化的码流数据被称为流；从客户端的角度来看，并不需要下载或者接收全部码流就可以开始解码播放，而且后续码流的到达是连续的、无

16、间隔的。网络视频流传输业务具有连续性传输、数据量大、对实时性和可靠性要求高等特点，同时其传输信道也具有如下不利于该业务的特征，首先基于无链接传输的Internet网络不是为连续媒体数据的传输而设计的，它是一个与时间变化和空间变化都有很强相关性的共享通信信道，这决定了Internet网络“尽力而为”的服务特色，其本身并不确保数据传输的可靠性；其次，网络通信中同一群组的各个用户不仅可能在机器类型、操作系统、外设性能、CPU处理能力等方面存在巨大差异，而且网络接入类型及连接各用户的不同网络段也会在物理通道、带宽资源、传输延时和信道丢包率等方面有所不同，此即所谓的网络异质特性。因此，如何在现有网络结构

17、上改善、提高视频流多播、单播业务质量以适应QoS(Quality of Service)的要求，就成了一项非常具有挑战性和实用价值的研究课题12。针对上述问题，世界各国的研究人员已经提出了很多行之有效的算法和解决方案，这些主要是从如下两个角度来考虑的：1武汉理工大学硕士学位论文1、从信源编码端信号处理的角度来考虑，通过采用各种新的压缩算法提高视频编码的效率，尽量在相同压缩比时提供更好的视频重建质量，或者通过更低的码率提供相同的视频编码质量。同时，针对Internet的网络异质特性，在信源端采用可分级视频编码算法或在网络传输节点上采用转换编码器等；2、从传输信道的网络层角度来考虑，在原有网络结构

18、的基础上进行改进，比如：增加网络带宽资源、采用多播服务类型、增强路由器和服务器功能以及使用数据缓存和边缘服务器等等。同时，在此基础上通过改进现有的网络传输与控制协议或者提出新的算法，尽量避免、缓解网络拥塞，降低数据报文丢包率，缩短传输的环回延时。1.2 国内外研究现状与技术背景1.2.1信源端的视频信号处理方法研究视频数据可以发现其中存在大量的冗余，减少图像的冗余度就可以极大地减少图像的数据量。这些冗余主要表现在空间冗余度、时间冗余度两个方面，其它还包括信息熵冗余、视觉冗余、结构冗余、知识冗余、纹理统计冗余等等。Shannon的编码定理告诉我们：一个具有率失真函数R(D)的信源，若有平均失真D

19、，并有两个任意小的正数与，则必定存在一种信源编译码方法使其信息比特率R > R(D)，而平均失真DD+，也就是说码率在某个界限内的压缩编码是有可能的。这为视频压缩及信道编码奠定了理论基础。图像/视频压缩编码已经有五十多年的发展历史了。1948年，Shannon和他的两个学生Oliver与Pierce联合发表了对电视信号进行脉冲编码调制(PCM)的论文，标志着数字视频压缩编码技术的开端。1966年，Neal对比分析了DPCM和PCM并提出了用于电视的实验数据。1969年在美国举行的首届“图像编码会议”(Picture Coding Symposium)表明图像/视频编码以独立的学科跻身于学

20、术界。半个世纪以来，视频压缩编码技术早已走出实验室，广泛应用于现代社会的各个领域。视频编码方法种类繁多，从信息保持的角度可以分为无损压缩和有损压缩两大类。无损压缩利用数据的统计冗余（数据之间的相关性、可预测性）进行压缩，以预测编码和熵编码为基础，可完全恢复原始数据而不引入任何失真，但其压缩率受到数据统计冗余度的理论限制，一般为2:1到5:1，此类方法广泛用于文本数据、程序和特殊应用场合的图像数据（如指纹图像、医学图像等） 2武汉理工大学硕士学位论文压缩。鉴于压缩比的限制，仅使用无损压缩方法不可能解决图像和数字视频在存储和传输应用中的问题。因此，视频有损压缩方法也得到了长足地进步和发展，它除了利

21、用统计冗余进行压缩编码外，还利用了视频数据的视觉冗余特性，即利用人类视觉系统(HVS)对视频信息中某些频率成分不敏感的特性，允许压缩过程中损失一定的信息，这虽然不能在解码端完全恢复原始数据，但所损失的部分信息对理解原始图像的影响相对较小（即视觉无明显失真），同时却换来了相当大的压缩率。有损压缩以变换编码、矢量量化、模型基编码、分形编码和熵编码为基础。1985年，瑞士学者Kunt提出了第一代、第二代编码的概念，他把早期的以去除冗余为基础的编码方法称为第一代编码，如：空间域的PCM、 DPCM、 QM、亚抽样编码方法，变换域的DFT、 DCT、Walsh-Hadamard变换编码等方法以及以此为基

22、础的混和编码方法；第二代编码方法则是指80年代以后提出的新方法，如金字塔编码、矢量量化、分形编码、基于神经网络的编码、小波变换和子带编码以及模型基编码等。国际标准化协会(ISO，International Organization for Standardization)、国际电子学委员会(IEC，International lectronics Committee)、国际电信协会(ITU， International Telecommunication Union)等组织于二十世纪九十年代领导制订了三个有关视频图像压缩编码的系列化的国际标准：JPEG标准、H.26X标准和MPEG-X标准，这

23、些标准采用的图像编码算法融合了各种性能优良的图像编码方法，代表了当前图像编码的发展水平。一系列标准的制定并不意味着视频压缩算法研究的终止。随着新的应用领域和新的业务类型的不断出现，原有的标准会表现出一定程度的不适应和缺陷。同时，国际标准的制订组织为了兼顾绝大多数图像/视频处理领域的需求，并没有提出或者强制规定某些功能模块的具体算法，因此就为从信源端信号处理方法的角度研究更有效、更高编码效率的视频压缩算法提供了可能性和发展空间。例如，基于全局运动估计和场景分离的视频压缩算法就是在相关标准的基础上，依据统计知识和图像内容识别算法将序列图像分割成基本保持静止的背景图像和运动物体两部分，通过减少对背景

24、的编码来改善整体编码效率，提高压缩比，从而降低传输同等质量视频信号时对网络带宽的需求。即便是对于一个高效压缩编码后的视频流数据，当多个用户试图通过不同的通信链路（具有不同的可利用带宽资源）同时接入相同的视频时，仍会出现相当的困难。例如，某个用户可以在通过高速链路（例如ADSL调制解调器） 3武汉理工大学硕士学位论文连接到服务器的终端上实时下载以1.5Mbps编码的MPEG-1视频并重放，但仅有56kbps调制解调器连接的用户将不能实时接收足够的比特进行重放。这样，视频码流的可分级性概念就应运而生了，它是指通过仅解码一部分压缩的比特流就可物理地恢复有意义的图像或视频信息的能力。如上面所说的网络传

25、输视频流业务，如果数据是可分级的，那么具有高带宽接入的用户可以下载或接收整个比特流以观看高质量的视频，而具有56Kbps低带宽接入的用户则可以只下载或接收视频数据流的一部分，观看一个低质量的演播。上面的例子仅说明了视频编码可分级性的一个方面：比特率可分级性。可分级视频流还可以提供对变化的信道误码特征的适应性以及对接收终端计算能力的适应性。对于无线通信，可分级性允许调整信源编码速率，并采用不等重出错保护技术以适应不同的信道误码环境345。对于Internet网络信道，视频流的可分级性使得同时为具有不同接入速率、信道带宽和终端设备能力的用户提供不同质量的视频通信服务成为可能，因为服务器可以根据不同

26、用户的可利用带宽资源，有选择的丢弃一部分相对不重要的数据，从而保证其他重要数据的传输质量和可靠性。由于分层视频编码提出了一个由网络或者接收端来控制其所接收的码流数据量的概念，从而使视频流发送端可同时面向各种结构的网络和更多的用户，并为在具有异质特性的网络上向大量用户提供视频流业务定义了有效的码流结构，因此也受到世界各国研究人员越来越多的关注。目前最具有代表意义的可分层视频编码算法莫过于 MPEG-4标准中的精细可分层编码技术(FGS，Fine Granular Scalable)，它的最大特点就是增强层码流能够被任意截取，参与解码的增强层码流的多少决定了重建图像质量的高低。最初的FGS有三种算

27、法，一种是基于DCT的比特平面编码，一种是小波变换编码，还有一种是Matching Pursuit编码，后来出于算法简单易行的考虑，基于DCT比特平面编码的FGS技术就成了MPEG-4的主要内容。此外，多描述编码(MDC, Multiple Description Coding)作为一种特殊的分层编码算法，也受到研究人员非常多的关注67。另外，视频编码H.264是一种面向实际应用的新标准，它由ISO/IEC和ITU-T两大国际标准化组织共同制定，是视频编码技术的新发展。它在多模式运动估计、整数变换、统一VLC符号编码、分层编码语法等方面都有它的独到之处。H.264算法具有很高的编码效率，其应用

28、前景非常可观上个世纪80年代以来，国际上一直存在由ISO/IEC制定的MPEG-x和ITU-T制定的H.26x两大系列视 4武汉理工大学硕士学位论文频编码国际标准。从H.261视频编码建议，到H.262/3, MPEG-1/2/4等都有一个共同的不断追求的目标，即在尽可能低的码率下获得尽可能好的图像质量。而且，随着市场对图像传输需求的增加，如何适应不同信道传输特性的问题也日益显现出来。这就是IEO/IEC和ITU-T两大国际标准化组织联手制定的视频新标准H.264所要解决的问题。H.264和以前的标准一样，也是DPCM加变换编码的混合编码模式。但它采用“回归基本”的简洁设计，不用众多的选项，获

29、得比H.263+好得多的压缩性能；加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理；应用目标范围较宽，以满足不同速率、不同解析度以及不同传输场合的需求；它的基本系统是开放的，使用无需版权。因此，在网络带宽不是很高的情况下，选用H.264编码技术作为网络多媒体应用是非常明智的89。虽然网络的发展可使有效带宽变得越来越宽，但实际上由于网络用户数量的增长速度远比有效带宽的增长速度快，因此图像/视频信号的有效压缩始终是一个好的视频流传输系统所必须解决的重要问题。1.2.2 网络信道的结构及通信协议视频流网络通信的传输媒介通常包括光纤、同轴电缆和双绞线、卫星通信、微波通

30、信等，由其中一种或者几种媒介共同构成的IP网络包括无线IP网络上的视频流传输业务是人们关注、研究的热点。考虑到视频流通信的实时性要求，在IP网络中不能简单利用基于链接的TCP协议来传输视频数据的分组报文。有些研究人员提出采用非链接型的UDP协议传输视频流，一定程度上解决了实时性问题，但由于UDP协议没有拥塞控制机制，其数据分组的发送是盲目的，因此很容易导致或加重IP网络的拥塞问题。同时，当网络发生拥塞时，由于TCP流会自动将发送窗口缩小一半，减少待发送的数据；而UDP流则仍会不加变化的继续发送，从而后者会优先的抢占更多的带宽资源，再加上在现有的网络应用中，TCP应用占据大量比重，因此如何保障基

31、于UDP协议的视频流通信业务对TCP流的公平性就成了一个待解决的研究热点问题。此外，采用资源预留协议(RSVP, Resource Reserved Protocol)也是改善IP网络视频通信质量的有效方法，也就是说视频流发送端将资源预留信息传送给网络，网关节点则在相关的传输路由上确定需要预约的传输带宽和缓存容量。 5武汉理工大学硕士学位论文实时传输协议RTP和实时传输控制协议RTCP是一种能有效改善网络视频流传输的质量、用于支持连续媒体通信的传输层协议，其核心思想是提供媒体数据再现时的时钟同步信息，解码端依据这些信息对接收到的数据包加以缓冲、调整以保证解码重播的实时性和连续性。其中RTP协议

32、应用于数据通信，RTCP协议应用于包括时钟同步的控制信息，并且RTP和RTCP协议支持多个用户参与的实时通信过程。实时传输协议应用到网络多媒体业务中的效果相当明显，因此这也成为了IP网络视频流通信的研究热点11。目前的IPv4协议在制订之初并没有考虑实时业务的传送，尽管后续作了很多改进和扩充，但其仍不适合实时多媒体视频通信，因此可以通过用户应用层传输控制策略对其功能进行补充以满足各种新兴业务的需要。比如对音、视频数据进行分层编码，然后在相应IP包头的保留域中加上实时包标志和分层编码层次标志。当网关节点或路由器接收到某个数据包时，首先判别实时包标志，并在资源分配时采用实时码流优先于非实时码流的原

33、则；其次，在同为实时数据包时，还要判别编码层次标志，重要性大的码流（比如基本层）优先于重要性相对较小的码流（比如增强层）发送，从而保证包含较大、较重要信息量的数据包能更快、更可靠的传送。站在用户的角度，服务质量QoS反映了业务的质量要求；而从网络的角度出发，可以认为QoS体现了网络各方面的性能，主要包括吞吐量、延迟，延迟波动、最大时滞、丢包率等。所有这些参数都会在一定程度上影响网络通信的质量，因此对于视频数据的网络通信还必须考虑有效的传输控制技术。这里的传输控制技术可分为三种：1、基于发送方发起机制(Sender-initiated Schemes)。包括在编码端提高压缩效率，采用实时性好、可

34、靠性高的通信协议（如RTP/RTCP、RSVP等）以及基于信道带宽估计的信源码率调整算法等。发送者发起机制的优点是发送者无需同时发送多个视频流，其主要缺陷是不适合异构多播环境，因为它把对视频质量的调节局限在一个统一的模式下，也就是说，只要多播组中有一部分接收者遇到了较大的丢包率，则多播组中所有的接收者都将被迫接受视频质量的降低。因此发送方发起的机制只能满足单一的传输速率要求，不同网络用户对带宽、接收质量的不同要求无法同时满足。2、基于主动网络机制(Active Networks Schemes)。包括采用灵活的可分级视频编码算法以改变码流数据结构，在网络中转节点上使用能有效适应网络时变 6武汉

35、理工大学硕士学位论文特性的传输控制策略，加入自适应不等重前向纠错编码(FEC, Forward Error Correction)技术，采用出错重传(ARQ, Automatic Repeat Request)等。比如发送方将分层视频流所有层的码流全部打包封装发给同一个视频服务器，其中每个分组都不会包含多于一层的数据，并且都有标识其内部包含的视频码流所在层次的标识信息。视频服务器则通过对网络环境的实时监测来控制数据的传输和控制。当有拥塞发生，服务器依据队列长度来丢弃低优先级的报文，同时考虑不同业务流间的公平性，并识别异常流量且将其隔离。主动网络机制的优点在于它很好的解决了发送方发起机制和接收方

36、发起机制所存在的问题，不仅可以满足不同接收者个性化的视频质量要求，又无需在组成员间共享信息，因此很容易进行扩展，并且可以快速自适应动态定制、配置新的服务，实验新的网络体系结构、新的协议，从而提高网络的性能，使视频通信系统更具灵活性和可扩展性。3、基于接受方发起机制(Receiver-initiated Schemes)。主要是指在解码端利用图像的空间或时间相关性来消除或减少传输误码对重建视频质量的影响，也就是误差掩盖技术(Error Concealment)。此外，还有一种接收者发起的自适应机制的简单实现，即编码发送端同时以不同的速率发送数据给多个组播地址，各个数据流之间相互独立，并不需要合在

37、一起解码，不同的网络用户根据自己的终端能力、带宽资源、丢包率等情况加入其中的某一个组。由于此时发送者发送的多个数据流其实是相同的视频以不同速率发送，存在有大量重复数据，会造成对网络带宽的额外浪费，因此这种也称为Simulcast的方法并没有被广泛接收和应用。当然，也可以将可分级视频流应用到Simulcast方法中以减少重复的数据量，但由于这种方法只能用于组播协议，不利用安全加密及同一网络上多个视频节目的同时发送，因此同样没有被大范围的应用。随着相关技术的发展、研究的深入及应用领域的扩展，研究人员己经着手研究如何将上述三种机制有效的结合起来使用，以图最大程度提高视频网络通信的质量。1.3 本文的

38、主要工作及组织结构1.3.1 本文的主要工作本文分别从高效信源压缩、智能流视频编码、网络应用层传输控制策略、传输层打包协议及缓冲控制等四个方面对网络通信中的视频编码与传输技术进 7武汉理工大学硕士学位论文行了深入细致的研究，所作的主要工作如下：第一，对视频通信领域中最新的视频编解码H.264标准以及流媒体传输协议等相关理论、技术进行了深入研究，掌握了视频通信的各类相关技术。第二，基于H.264标准所提出的SP帧无缝码流切换技术，文中提出了基于SP帧的智能流文件的设计方案，并实现了关键帧采用SP帧码流切换过程，实现了在视频源端应对网络变化的编码策略。第三，视频差错控制技术是提高视频通信的服务质量

39、的重要技术，在系统研究H.264标准提出差错掩藏技术的基础上，在时域差错掩藏技术方面改进，提出了一种基于周边匹配的匹配框架，试验结果表明在相同算法复杂度下有效地改善了H.264时域差错掩藏带来的块效应。第四，在RTP/RTCP协议的基础上提出了一种新的服务质量动态控制算法做到对网络实时变化的监测，从而决定改变视频流码率的策略；为解决因包失序带来的抖动、延时等问题，提出了一种滑动缓冲区算法，试验结果表明具有滑动大小的缓冲区控制算法不仅能及时响应网络条件的变化，而且能尽可能节省接收端的缓冲资源，减小数据处理延时。第五，在研究了DirectShow的技术基础上，设计了一个基于H.264编解码的实时视

40、频流传输系统方案，并进行了实现。1.3.2本文的组织结构全文共分为六章：第一章：介绍论文研究目的与意义，总结阐述了视频编解码、视频传输协议的发展，以及视频通信国内外发展研究现状，并陈述了本文的主要研究工作。第二章：介绍了本文所涵盖的知识基础，H.264视频编解码标准以及实时传输RTP/RTCP协议。第三章：介绍了当前视频传输领域中适应网络动态变化的各种技术方案，重点研究了基于H.264的SP帧无缝切换码流技术，在此基础上实现了智能流文件的设计方案及研究了SP帧码流切换的过程实现；在研究视频差错控制技术的基础上提出了一种改进的时域差错掩藏技术并进行了试验验证。第四章：对IP网络的服务质量进行了深

41、入研究，探讨了当前IP网络服务质量自适应控制方面的研究以及相关技术，提出基于RTP协议的一种新服务质量动态控制算法。8武汉理工大学硕士学位论文第五章：在研究了Directshow的技术基础上，设计并实现了基于IP网络的流媒体传输系统。第六章：对本文的工作进行了总结，并针对研究工作中的不足之处进行了展望。9武汉理工大学硕士学位论文第2章 H.264视频编解码标准及实时传输协议研究2.1基于H.264标准的视频编解码H.264/AVC是最新的国际视频编码标准，它的制定过程最早是从1998年开始的12。当时，ITU-T第16研究小组在对H.263不断改进的同时，还启动了另一个研究项目H.26L，目标

42、是制定一个新的数字视频编码标准，使其编码效率能够比当时已投入使用的标准提高一倍。这个项目是由视频编码专家组(VCEG ITU-TSG16 Q.6)负责，2001年I2月，运动图像专家组(MPEG)也加入进来，成立了联合视频小组(JVT, Joint Video Team)，共同来完成了标准的制订工作。2003年3月，标准的最终草案公布并改名为H.264，由于H.264是由两个组织共同创建完成，所以它分别被称为ITU-T标准H.264和ISO/IEC国际标准14496-10 AVC，最终标准于2003年5月发布。H.264编码的标准化范围如图2-1所示：图2.1给出一个典型的视频编码/解码系统流

43、程，和以前的ITU-T和MPEG所制定的编码标准一样，只有视频的解码部分被标准化。通过影响和限制比特流和语法，定义视频解码过程的语法单元，所有符合标准的解码器在给定一段编码后的码流经过解码后都会有相同的结果输出。标准的这种范围限制最大可能地提高了使用各自最适合的方式进行性能优化的自由度。与以前的视频编码标准不同，H.264在结构上分为两层如图2-2所示。一个规定视频编码算法的视频编码层(VCL)和一个规定网络传输规范的网络抽象层(NAL )。视频编码层的主要任务是用高效的方式表述视频数据，也就是进行视频图2-1 视频编码标准化范围10武汉理工大学硕士学位论文数据的压缩；网络适配层则根据网络的特

44、性对数据进行封装打包，使其适于网络传输。H.264/AVC标准在制定时其努力的目标就是针对“会话业务”（视频电话等）和“非会话业务”（存储媒体，广播和流媒体等）的应用，提高压缩性能并提供友好的网络接口，这使得H.264的应用变得非常广泛。H.264可以被广泛应用在以下几个方面：在电缆、卫星、DSL等不同信道上的广播业务；交互式的或连续的光介质或磁介质存储媒体(如DVD等)；在ISDN、以太网、局域网、DSL、无线网络等不同网络上的会话业务；在ISDN、以太网、局域网、DSL、无线网络等不同网络上的视频点播和流媒体业务；在ISDN、以太网、局域网、DSL、无线网络等不同网络上的多媒体短信业务(M

45、MS) 。图2-2 H.264结构和传输环境2.1.1 H.264编码的设计特点H.264与以前的视频编码标准相比性能获得了很大的提高，但它仍采用的是传统的混合编码框架，H.264编码效率的提高也不是其中某一种新的编码技术所产生的决定性的结果，而是多种新算法结合而产生积累效果而致。相对于以前的视频编码标准，H.264具有如下主要特点：1提高预测编码部分能力(MC/ME)的设计1311武汉理工大学硕士学位论文具有更小的块并且块大小可变的运动补偿：H.264标准与已往任何标准相比在运动补偿块的大小和形状上的选择都更为灵活。其亮度运动补偿块大小最小可以是4×4大小。四分之一像素精度的运动补

46、偿：以前大多数的标准最多支持运动矢量精确到二分之一象素。而H.264标准中通过使用四分之一像素精度的运动矢量，使得运动补偿更为精确。可超越图像边界的运动矢量：MPEG-2及其以前的标准，运动矢量只允许指向已解码的参考图像内的点。图像边界外延技术，首先被H.263作为一个可选项而采用，在H.264中也被包含进来，这使得H.264的运动矢量可以指向超出图像边界的点。多参考帧运动补偿：在MPEG-2及其以前的编码方案中，预测帧(称为P帧)只允许用前一帧图像来预测下一帧的图像。而H.264扩展了H.263+中的参考帧选择技术，允许编码器根据运动补偿原则在大量的已解码并存储在解码器的图像中选择参考帧，来达到高效编码的目的。H.264中同样也对双向预测参考帧的参考能力根据双向运动补偿作了扩展。去除显示图像顺序和参考图像顺序的耦合性：在以前的标准中，运动补偿的参考帧使用顺序严格依赖于图像播放的顺序。H.264标准彻底去除了这些限制，允许编码器灵活选择参考图像的顺序和播放图像的顺序，其灵活性只受到存储器