H264编码技术简介

1、H.264编码技术简介摘要： 本文介绍了H.264编码基本概况，技术特点，并与其他标准进行了比较。简单介绍了H.264视频编码标准的几个关键技术，并针对目前H.264在监控领域的应用做了讲解。目录摘要：1一引言2二. H.264视频编码基本概况22.1 什么是H.264编码？22.2 720P H.264高清成市场主流22.3 H.264 视频编码标准状况22.4 H.264 视频编码技术先进性32.5 H.264的核心竞争力是什么？52.6 Main Profile6三、H.264与其他标准的比较63.1 H.264与其他标准的比较63.2 H.264的技术特点83.2.1 分层设计83.2

2、.2 高精度、多模式运动设计83.2.3 帧内预测功能83.2.4 44块的整数变换83.2.5 统一的VLC83.3 H.264的主要特点9四、关键技术10五、H.264在监控的应用125.1 TOYA SDVR 7IV 系统简介125.2 TOYA SDVR 7IV 系统主要特点125.3 主要技术规格135.4 系统功能135.5 TOYA SDVR 7IV系统应用13六、H.264的总体优缺点14七、小结14八、参考文献14一引言随着社会的不断进步和多媒体信息技术的发展，人们对信息的需求越来越丰富，方便、快捷、灵活地通过语音、数据、图像与视频等方式进行多媒体通信已成不可或缺的工具。其中

3、视觉信息给人们直观、生动的形象，因此图像与视频的传输更受到广泛的关注。然而，视频数据具有庞大的数据量，以普通的25帧每秒，CIF格式（分辨率为352288）的视频图像为例，一秒钟的原始视频数据速率高达3.8M字节。不对视频信号进行压缩根本无法实时传输如此庞大的数据量，因此，视频压缩技术成为研究热点。二. H.264视频编码基本概况2.1 什么是H.264编码？H.264是一种目前广泛流行的高清视频编码技术标准。视频编解码技术有两套标准，一是国际电联标准H.261、H.263、H.263+等；二是ISO 的MPEG标准Mpeg1、Mpeg2、Mpeg4等等。H.264/AVC则是两大组织集合H.

4、263+和Mpeg4的优点联合推出的最新标准，主要特点是数据压缩比更高。在同等画质下，H.264数据压缩率比H.263高2倍，比MPEG-4高1.5倍。2.2 720P H.264高清成市场主流只有对MKV/AVI/ RMVB这三大格式完美支持的播放器，才能称得上是一款好的播放器。这3大格式，涵盖了目前网络上最为主流的视频格式，这三种片源格式的影视节目也是最多的。在BT china联盟、VeryCD、迅雷、贪婪等知名视频资源分享平台及论坛中，随处可见H.264格式的高清影片，诸如越狱、变形金刚、功夫熊猫等等。 2.3 H.264 视频编码标准状况 H.264 是由ITU-T 的VCEG（视频编

5、码专家组）和ISO/IEC 的MPEG（活动图像编码专家组）联合组建的联合视频组（JVT：joint video team）提出的一个新的数字视频编码标准，它既是ITU-T 的H.264，又是ISO/IEC 的MPEG-4 的第10 部分。而国内业界通常所说的MPEG-4 是MPEG-4 的第2 部分。H.264标准从1998 年1 月份开始草案征集，到2003 年7 月，整套H.264 （ISO/IEC 14496-10）规范定稿。2005年1 月，MPEG 组织正式发布了H.264 验证报告，从各个方面论证了H.264 的可用性以及各种工具集的效果，从标准的角度，印证H.264 的成熟性。

6、H.264编码的视频从标准制定到颁布，H.264 一直是ITU、MPEG、DVD、DVB、3GPP 等工业化组织共同推进的视频编码国际标准，可以想见，在众多行业巨擘的推动下，H.264 技术的应用将迅速进入到视频服务、媒体制作发行、固定及移动运营网络、平台开发、设备终端制造、芯片开发等多个领域。2.4 H.264 视频编码技术先进性H.264 使图像压缩技术上升到了一个更高的阶段，能够在较低带宽上提供高质量的图像传输，该优点非常适合国内运营商用户量大、接入网/骨干网带宽相对有限的状况。在同等的画质下，H.264 比上一代编码标准MPEG2 平均节约64的传输码流，而比MPEG4 ASP 要平均

7、节约39的传输码流。全球很多IPTV业务运营商都将H.264 作为编解码格式的标准，包括比利时电信，荷兰KPN，泰国ADC 电信，中国电信等等。根据中国电信上海研究院的实际测试结果表明：国内普遍采用的MPEG-4 编码技术在3Mbps 的带宽下尚达不到标清的图像质量，而H.264 编码技术可以在2M 带宽下提供要求的图像效果。因而运营商希望引入更先进的H.264 编码技术，在有限的带宽资源下进一步提高图像质量。3、 H.264 和MPEG-4 的比较目前国内业界主要倾向的两种编码标准是H.264 和MPEG-4，关于采用这两种编码技术的优劣势比较如下：2.5 H.264的核心竞争力是什么？ H

8、.264最具价值的部分无疑是更高的数据压缩比。压缩技术的基本原理就是将视频文件中的非重要信息过滤，以便让数据能够更快地在网络中传输。在同等的图像质量条件下，H.264的数据压缩比能比当前DVD系统中使用的MPEG-2高2-3倍，比MPEG-4高 1.5-2倍。正因为如此，经过H.264压缩的视频数据，在网络传输过程中所需要的带宽更少，也更加经济。 在MPEG-4需要6Mbps的传输速率匹配时，H.264只需要3Mbps-4Mbps的传输速率。我们用交通运输来做更加形象的比喻：同样是用一辆卡车运输一个大箱子，假如MPEG-4能把箱子减重一半，那么H.264能把箱子减重为原来的 1/4，在卡车载重

9、量不变的情况下，H.264比MPEG-2让卡车的载货量增加了二倍。 H.264获得优越性能的代价是计算复杂度的大幅增加，例如分层设计、多帧参论、多模式运动估计、改进的帧内预测等，这些都显著提高了预测精度，从而获得比其他标准好得多的压缩性能。不断提高的硬件处理能力和不断优化的软件算法是H.264得以风行的生存基础。早在十年前，主频为几十兆的CPU就达到了顶级，而如今普通的台式机，CPU的主频已经高达几千兆。按照摩尔定律的说法，芯片单位面积的容量每18个月翻一番，因此H.264所增加的运算复杂度相对于性能提升效果而言微不足道。更何况新的计算方法层出不穷，也相对缓解H.264对处理速度的饥渴需求。进

10、入2008奥运年，“高清”无疑是大家关注的重点内容。正因如此，AMD、NVidia与Intel这三家主板芯片组巨头从2006年开始陆续加入到高清视频的行列，推出各自相关的高清视频解决方案。但是，得先搞清楚2.6 Main ProfileMain Profile是一种视频编码技术（H.264）的一个版本，其中H.264算法分为Baseline Profile、Main Profile、Extended Profile和High Profile四层，采用了Main Profile的视频能用较小的容量达到较好的效果。 H.264算法与以前的算法相比，在算法复杂度上H.264 Baseline Pro

11、file是以前MPEG-4的2倍左右，H.264 Main Profile是MPEG-4的10倍以上，High Profile复杂度最高；在压缩码流方面，Base Profile低于MPEG-4 10-20%，Main Profile低于MPEG-4的一半。大家可以看出，实现H.264 Main Profile 算法后可以使视频码流降低一半，可以实现CIF格式视频在普通的ADSL上实时连续传输，即使在网络有波动的情况下也不会受到影响。同时由于H.264算法具有网络编码层和网络传输层结构，这样对于普通的宽带网络和无线网络的适应性大大加强，不会由于网络的误码影响传输的质量。 然而目前的芯片处理能力

12、还不能够实现完整的H.264算法，现在只能实现H.264算法中的部分功能，因此需要一个过程才能够体验到H.264给大家带来的优点。 三、H.264与其他标准的比较3.1 H.264与其他标准的比较1） 在画质上H.264概述随着市场的需求，在尽可能低的存储情况下获得好的图像质量和低带宽图像快速传输已成为视频压缩的两大难题。为此IEO/IEC/和ITU-T两大国际标准化组织联手制定了新一代视频压缩标准H.264。2）在编码上H.264和以前的标准一样，也是DPCM加变换编码的混合编码模式。但它采用“回归基本”的简洁设计，不用众多的选项，获得比MEPG-4好得多的压缩性能；H.264加强了对各种信

13、道的适应能力，采用“网络友好”的结构和语法，有利于对误友和丢包的处理；H.264应用目标范围较宽，可以满足不同速率、不同解析度以及不同传输（存储）场合的需求。 3）在技术上H.264标准中有多个闪光之处，如统一的VLC符号编码，高精度、多模式的位移估计，基于4块的整数变换、分层的编码语法等。这些措施使得H.264得算法具有很高的编码效率，在相同的重建图像质量下，能够比H.263节约50%左右的码率。H.264的码流结构网络适应性强，增加了差错恢复能力，能够很好地适应IP和无线网络的应用。4） 在传输上H.264能以较低的数据速率传送基于联网协议（IP）的视频流，在视频质量、压缩效率和数据包恢复

14、丢失等方面，超越了现有的MPEG-2、MPEG-4和H.26x视频通讯标准，更适合窄带传输。 5） 在算法上MPEG-1标准视频编码部分的基本得法与H.261/ H.263相似，也采用运动补偿的帧间预测、二维DCT、VLC游程编码等措施。此外还引入了帧内帧（I）、预测帧（P）、双向预测帧（B）和直流帧（D）等概念，进一步提高了编码效率。在MPEG-1的基础上，MPEG-2标准在提高图像分辨率、兼容数字电视等方面做了一些改进，例如它的运动适量的精度为半像素；在编码运算中（如运动估计和DCT）区分“帧”和“场”；引入了编码的可分级性技术，如空间可分级性、时间可分级性和信噪比可分级性等。近年推出的M

15、PEG-4标准引入了基于视听对象（AVO：Audio-Visual Object）的编码，大提高了视频通信的交互能力和编码效率。MPEG-4中还采用了一些新的技术，如形状编码、自适应DCT、任意开头视频对象编码等。但是MPEG-4的基本视频编码器还属于和3相似的一类混合编码器。6）总体上讲MPEG毓标准从针对存储媒体的应用发展到适应传输媒体的应用，其核心视频编码的基本框架是和H.261一致的，其中引人注目的MPEG-4的 “基于对象的编码”部分由于尚有技术障碍，目前还难以普遍应用。因此，在此基础上发展起来的新的视频编码建议H.264克服了前者的弱点，在混合编码的框架下引入了新的编码方式，提高了

16、编码效率，在低码流下可达到优质图像质量。3.2 H.264的技术特点 3.2.1 分层设计 视频编码层具有高效的视频内容表示功能：网络提取层将网络中所需要的数据进行打包和传送；3.2.2 高精度、多模式运动设计 支持1/4或1/8像素精度的运动矢量； 多模式的灵活和细致的划分，大提高了运动估计的精确程度； 多帧参考技术；3.2.3 帧内预测功能 在空间域进行预测编码算法，以便取得更有效的压缩： 3.2.4 44块的整数变换 由于用二变换块的尺寸缩小，运动物体的划分更精确，这样，不但变换计算量比较小，而且在运动物体边缘处的衔接误疾差也大为减小： 为了提高码率控制的能力，量化步长的变化的幅度控制在

17、125%左右，而不是以不变的增幅变化。为了强调彩色的逼真性，对色度系数采用了较小量化长； 3.2.5 统一的VLC 为快速再同步而经过优化的，可以有效防止误码。3.3 H.264的主要特点H264标准是由JVT（Joint Video Team，视频联合工作组）组织提出的新一代数字视频编码标准。JVT于2001年12月在泰国Pattaya成立。它由ITU-T的VCEG（视频编码专家组）和ISO/IEC的MPEG（活动图像编码专家组）两个国际标准化组织的专家联合组成。JVT的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络适应性等目标H264标准。H264标准将作

18、为MPEG-4标准的一个新的部分（MPEG-4 part.10）而获得批准，是一个面向未来IP和无线环境下的新数字视频压缩编码标准。H264标准的主要特点如下：1更高的编码效率：同H.263等标准的特率效率相比，能够平均节省大于50%的码率。2高质量的视频画面：H.264能够在低码率情况下提供高质量的视频图像，在较低带宽上提供高质量的图像传输是H.264的应用亮点。3提高网络适应能力：H.264可以工作在实时通信应用（如视频会议）低延时模式下，也可以工作在没有延时的视频存储或视频流服务器中。4采用混合编码结构：同H.263相同，H.264也使用采用DCT变换编码加DPCM的差分编码的混合编码结

19、构，还增加了如多模式运动估计、帧内预测、多帧预测、基于内容的变长编码、4x4二维整数变换等新的编码方式，提高了编码效率。5H.264的编码选项较少：在H.263中编码时往往需要设置相当多选项，增加了编码的难度，而H.264做到了力求简洁的“回归基本”，降低了编码时复杂度。6H.264可以应用在不同场合：H.264可以根据不同的环境使用不同的传输和播放速率，并且提供了丰富的错误处理工具，可以很好的控制或消除丢包和误码。7错误恢复功能：H.264提供了解决网络传输包丢失的问题的工具，适用于在高误码率传输的无线网络中传输视频数据。8较高的复杂度：264性能的改进是以增加复杂性为代价而获得的。据估计，

20、H.264编码的计算复杂度大约相当于H.263的3倍，解码复杂度大约相当于H.263的2倍。 四、关键技术1帧内预测编码帧内编码用来缩减图像的空间冗余。为了提高H.264帧内编码的效率，在给定帧中充分利用相邻宏块的空间相关性，相邻的宏块通常含有相似的属性。因此，在对一给定宏块编码时，首先可以根据周围的宏块预测（典型的是根据左上角宏块、左边宏块和上面宏块，因为此宏块已经被编码处理），然后对预测值与实际值的差值进行编码，这样，相对于直接对该帧编码而言，可以大大减小码率。H.264提供9种模式进行44像素宏块预测，包括1种直流预测和8种方向预测。在图中，相邻块的A到I共9个像素均已经被编码，可以被用

21、以预测，如果我们选择模式4，那么，a、b、c、d4个像素被预测为与E相等的值，e、f、g、h4个像素被预测为与F相等的值，对于图像中含有很少空间信息的平坦区，H.264也支持1616的帧内编码。2帧间预测编码帧间预测编码利用连续帧中的时间冗余来进行运动估计和补偿。H.264的运动补偿支持以往的视频编码标准中的大部分关键特性，而且灵活地添加了更多的功能，除了支持P帧、B帧外，H.264还支持一种新的流间传送帧SP帧，如图3所示。码流中包含SP帧后，能在有类似内容但有不同码率的码流之间快速切换，同时支持随机接入和快速回放模式。图3 SP-帧示意图H.264的运动估计有以下4个特性。(1)不同大小和

22、形状的宏块分割对每一个1616像素宏块的运动补偿可以采用不同的大小和形状，H.264支持7种模式，如图4所示。小块模式的运动补偿为运动详细信息的处理提高了性能，减少了方块效应，提高了图像的质量。图4 宏块分割方法(2)高精度的亚像素运动补偿在H.263中采用的是半像素精度的运动估计，而在H.264中可以采用1/4或者1/8像素精度的运动估值。在要求相同精度的情况下，H.264使用1/4或者1/8像素精度的运动估计后的残差要比H.263采用半像素精度运动估计后的残差来得小。这样在相同精度下，H.264在帧间编码中所需的码率更小。(3)多帧预测H.264提供可选的多帧预测功能，在帧间编码时，可选5

23、个不同的参考帧，提供了更好的纠错性能，这样更可以改善视频图像质量。这一特性主要应用于以下场合：周期性的运动、平移运动、在两个不同的场景之间来回变换摄像机的镜头。(4)去块滤波器H.264定义了自适应去除块效应的滤波器，这可以处理预测环路中的水平和垂直块边缘，大大减少了方块效应。3整数变换在变换方面，H.264使用了基于44像素块的类似于DCT的变换，但使用的是以整数为基础的空间变换，不存在反变换因为取舍而存在误差的问题，变换矩阵如图5所示。与浮点运算相比，整数DCT变换会引起一些额外的误差，但因为DCT变换后的量化也存在量化误差，与之相比，整数DCT变换引起的量化误差影响并不大。此外，整数DC

24、T变换还具有减少运算量和复杂度，有利于向定点DSP移植的优点。4量化H.264中可选52种不同的量化步长，这与H.263中有31个量化步长很相似，但是在H.264中，步长是以12.5%的复合率递进的，而不是一个固定常数。在H.264中，变换系数的读出方式也有两种：之字形(Zigzag)扫描和双扫描，如图6所示。大多数情况下使用简单的之字形扫描；双扫描仅用于使用较小量化级的块内，有助于提高编码效率。图6 变换系数的读出方式。5熵编码视频编码处理的最后一步就是熵编码，在H.264中采用了两种不同的熵编码方法：通用可变长编码（UVLC）和基于文本的自适应二进制算术编码（CABAC）。在H.263等标

25、准中，根据要编码的数据类型如变换系数、运动矢量等，采用不同的VLC码表。H.264中的UVLC码表提供了一个简单的方法，不管符号表述什么类型的数据，都使用统一变字长编码表。其优点是简单；缺点是单一的码表是从概率统计分布模型得出的，没有考虑编码符号间的相关性，在中高码率时效果不是很好。因此，H.264中还提供了可选的CABAC方法。算术编码使编码和解码两边都能使用所有句法元素(变换系数、运动矢量)的概率模型。为了提高算术编码的效率，通过内容建模的过程，使基本概率模型能适应随视频帧而改变的统计特性。内容建模提供了编码符号的条件概率估计，利用合适的内容模型，存在于符号间的相关性可以通过选择要编码符号

26、邻近的已编码符号的相应概率模型来去除，不同的句法元素通常保持不同的模型。五、H.264在监控的应用 5.1 TOYA SDVR 7IV 系统简介 TOYA SDVR 7IV 是采用止前最为先进H.264视频压缩算法的专业数字监控产品，具有强大的视频/音频压缩引擎，与MPEG-4压缩方式的硬盘录像机相比，压缩比可提高近30%，大大提高了存储和网络传输带宽，同理采用新的算法极大地抑制了由于摄像机噪声导致的图像失真，背景流动现象，便图像质量更加清晰。H.264产品的推出无疑又使我国的数字监控技术上了一个新的台阶。 系统采用最先进的H264视频压缩技术和G。729的音频压缩技术，实现超大无损压缩。具备

27、本地实时监视、音视频同步压缩存储、组合报警、有线或无线网络传输、管理权限设置等多种功能，单个本地系统可完成显示16路监控画面、每路可单独放大和切换，查询录象记录及进行回放。每个本地系统均可通过不同的网络方式组成有线或无线数字监控系统。 5.2 TOYA SDVR 7IV 系统主要特点采用时间最先进的H.264视频编码技术，具有高清晰度的画质； 在压缩处理过程中使用多种专用技术，保证以最低码流达到最佳画质，采用帧内压缩，绝无马赛克出现； 提供多种图像处理方法，加强噪音信号的过滤，画面更平滑。 可同时支持H.264、MPEG-4压缩格式； 实时压缩、实时预览、实时回放； 支持IBP帧多种组合/量化

28、模式，图像压缩比更大； 在压缩过程中，可动态抽帧，可随时恢复，进一步减少存储空间； 预览、压缩不占用CPU时间，互不干扰； 可动态精确设置多种视音频压缩参数，达到最佳视听效果； 码流可调，占用硬盘空间最少可达40兆每小时； 工艺精良，结构稳定；低功耗，发热少，系统可靠性、稳定性高； 5.3 主要技术规格 压缩画面以及分辨，支持CIF/QCIF，图像分辨率352X288，图像压缩 压缩格式：支持H.264、MPEG-4压缩格式； 压缩帧率：1-25帧可调 压缩码率：64K2Mbit/秒，支持CBRVBRHybrid 三种码率控制方式：变码流、动码流、混合码流 网络传输 支持PSTN/DDN/LA

29、N/WAN等网络远程传输与控制 每个服务器支持32路TCP/UDP传输，组播无限制 5.4 系统功能 多画面分割：单路、四路、九路、十六路、全屏显示等多种画面分割； 采用录象方式；常规录象，动态录象，视频移动报警录象，定时录象； 字符/时间叠加功能：可以在每一路视频上叠加地点信息，便于查询； 多用户管理：可设置多级管理员权限； 工作日志：详细记录系统工作状态，方便用户管理； 报警：具有报警输入/输出功能，单独设置报警区域和灵敏度 图像亮度/对比度/色度/饱和度随时可调 支持G.729标准音频压缩，线性音频输入，音质好，占硬盘空间少 回放检索：根据时间、日期、摄象机编号分别回放检索5.5 TOY

30、A SDVR 7IV系统应用 技术的成熟和不断人性化的设计，使得本系统得以全方位进入金融、保险等特殊领域，而且在全能楼宇、文化教育、医学研究、交通指挥管制、在建工程管理、恶劣工况管理、海关及公、检、法商业贸易等诸多领域得到了广泛的应用。六、H.264的总体优缺点VCEG和MPEG联合开发H.264标准带来的最大好处就是，有助于H.264在全球范围内的设备统一化，推广起来更为简便。但是和此前的视频标准一样，为了使得应用范围更广，H.264也还是通过等级区别和类别算法对多种应用场景进行各自的协议支持。H.264可以提供11个等级、7个类别的子协议格式（算法），其中等级定义是对外部环境进行限定，例如

31、带宽需求、内存需求、网络性能等等。等级越高，带宽要求就越高，视频质量也越高。类别定义则是针对特定应用，定义编码器所使用的特性子集，并规范不同应用环境中的编码器复杂程度。H.264除了在技术上的优势，应用上的优点主要体现在被更广泛地接受，成为统一性的全球标准，可以降低总体应用成本。当前主要缺点是：对终端（网络摄像机、显示终端）要求更高。另外，对于家庭用户而言，解码回放设备价格过高，导致普及上存在一定的困难。等待SMPTE批准。这两种编/解码方案都未显示出明确优势，H.264发展的势头更好些。七，H.264在数码产品上的应用台电 M66台电TL-M66 HD作为首款采用瑞芯微RK2806主控芯片的高清MP4，