第6章 数字图像及视频压缩编码标准

1、n6.1 静止图像编码标准静止图像编码标准n6.2 数字视频编码的标准化进展数字视频编码的标准化进展n6.3 MPEG-1/MPEG-2视频编码标准视频编码标准 n6.4 MPEG-4视频编码标准视频编码标准n6.5 H.263视频编码标准视频编码标准n6.6 H.264/AVC视频编码标准视频编码标准n6.7 AVS视频编码标准视频编码标准第第6章章 数字图像与视频压缩编码标准数字图像与视频压缩编码标准n掌握掌握JPEG基本系统的编解码原理。基本系统的编解码原理。n了解了解JPEG2000渐进编码与传输的概念与思想。渐进编码与传输的概念与思想。n理解理解MPEG-2视频编码中的视频编码中的“

2、类类”和和“级级”的含义。的含义。n理解理解I帧、帧、P帧、帧、B帧图像的编码特点，熟悉帧图像的编码特点，熟悉MPEG-2视频码流视频码流的分层结构。的分层结构。n掌握掌握MPEG-4标准中基于内容编码的工作原理。标准中基于内容编码的工作原理。n理解视频对象（理解视频对象（VO）和视频对象平面（）和视频对象平面（VOP）的概念。）的概念。n了解了解H.263视频编码的关键技术。视频编码的关键技术。n熟悉熟悉H.264视频编码标准的主要特点及性能。视频编码标准的主要特点及性能。n了解我国具备自主知识产权的了解我国具备自主知识产权的AVS视频编码技术的性能及应用。视频编码技术的性能及应用。 本章学

3、习目标本章学习目标n静止图像包括两类：黑白（二值）静止图像和连续静止图像包括两类：黑白（二值）静止图像和连续色调（彩色或灰度）静止图像。色调（彩色或灰度）静止图像。n对于静止图像压缩编码，已有多个国际标准，如国对于静止图像压缩编码，已有多个国际标准，如国际标准化组织（际标准化组织（ISO）制订的）制订的JBIG标准（标准（ISO 11544）、）、JPEG标准（标准（ISO 10918）、）、JPEG2000标标准（编号为准（编号为ISO 15444，等同的，等同的ITU-T编号为编号为T.800）等。本节将主要介绍等。本节将主要介绍JPEG和和JPEG2000标准。标准。6.1 静止图像编码

4、标准静止图像编码标准6.1.1 JPEG 标准概述标准概述nJPEG是是Joint Photographic Experts Group（联合图片专家组联合图片专家组）的缩写。的缩写。n由由ISO和和IEC两个组织机构两个组织机构联合联合组成的专家组，负责制定组成的专家组，负责制定静态的静态的数数字图像数据压缩编码标准字图像数据压缩编码标准nJPEG标准标准n标准号标准号：ISO/IEC 10918或或ITU-T T.81n标准名标准名：Information technology Digital compression and coding of continuous-tone still

5、images (信息技术信息技术 连续色调静态图像的数字压缩和编码连续色调静态图像的数字压缩和编码)nJPEG 标准适用范围标准适用范围n 灰度灰度图像，图像，彩色彩色图像图像 n 静止图像静止图像的压缩，视频序列的压缩，视频序列帧内图像帧内图像压缩压缩nJPEG可以大范围地调节图像可以大范围地调节图像码率码率和和质量质量nJPEG算法与颜色空间无关算法与颜色空间无关nRGB和和YUV颜色空间之间的转换不包含在颜色空间之间的转换不包含在JPEG算法中。算法中。n可压缩来自不同颜色空间的数据，如可压缩来自不同颜色空间的数据，如RGB, YCbCr, CMYK。nJPEG算法对每个彩色分量进行算法

6、对每个彩色分量进行单独单独编码，对不同的分编码，对不同的分量可以采用量可以采用不同的不同的量化参数和熵编码表。量化参数和熵编码表。n基于基于 DCT 的顺序编码算法的顺序编码算法n利用视觉系统特性，使用利用视觉系统特性，使用正交变换正交变换、量化量化和和熵熵编码编码相结合的方法，以去掉或减少视觉的冗余相结合的方法，以去掉或减少视觉的冗余和数据本身的冗余和数据本身的冗余nJPEG基本编码系统的算法大致分成三个步骤：基本编码系统的算法大致分成三个步骤：n正交变换：正交变换：使用正向离散余弦变换使用正向离散余弦变换(FDCT)把空间域把空间域上的图像数据变换成频率域上的变换系数上的图像数据变换成频率

7、域上的变换系数n量化：量化：使用加权函数对使用加权函数对DCT系数进行量化，加权函系数进行量化，加权函数对人的视觉系统是最佳的数对人的视觉系统是最佳的n熵编码：熵编码：使用霍夫曼编码器对量化系数进行编码使用霍夫曼编码器对量化系数进行编码6.1.2 JPEG 基本编码系统基本编码系统基于基于DCT的顺序编码算法基本步骤的顺序编码算法基本步骤 n将原图像用亮度、色差表示（分量图像采样将原图像用亮度、色差表示（分量图像采样4：1：1）n分成分成88数据块数据块, 数据数据0255转换为转换为-128127n进行正向离散余弦变换进行正向离散余弦变换(FDCT)n 量化量化(quantization)

8、n Z字形字形(zig-zag)扫描扫描n 使用使用DPCM对直流系数对直流系数(DC)进行编码进行编码n 使用行程编码对交流系数使用行程编码对交流系数(AC)进行编码进行编码n 熵编码熵编码(entropy coding)：哈夫曼或算术编码：哈夫曼或算术编码JPEG 压缩效果原始图像原始图像(5125128)（256KB）压缩压缩 21:1 （12KB）压缩压缩 51:1 （5KB）6.1.3 基于基于DCT的渐进编码的渐进编码n基本思想基本思想n此模式与顺序模式编码步骤基本一致，不同之此模式与顺序模式编码步骤基本一致，不同之处在于渐进编码模式每个图像分量的编码要经处在于渐进编码模式每个图像

9、分量的编码要经过多次扫描才完成。第一次扫描只进行一次粗过多次扫描才完成。第一次扫描只进行一次粗糙的压缩，然后根据此数据先重建一幅质量低糙的压缩，然后根据此数据先重建一幅质量低的图像，以后的扫描再作较细的扫描，使重建的图像，以后的扫描再作较细的扫描，使重建图像质量不断提高，直到满意为止图像质量不断提高，直到满意为止n基本步骤基本步骤（1）降低原始图像的空间分辨率。降低原始图像的空间分辨率。 （2）对已经降低分辨率的图像按照顺序编码模式进行）对已经降低分辨率的图像按照顺序编码模式进行 压缩并存储或传输。压缩并存储或传输。 （3）对低分辨率图像进行解码，然后用插值法提高图）对低分辨率图像进行解码，然

10、后用插值法提高图 像的分辨率。像的分辨率。 （4）将分辨率已经升高的图像作为原图像的预测值，）将分辨率已经升高的图像作为原图像的预测值， 并把它与原图像的差值进行基于并把它与原图像的差值进行基于DCT的编码。的编码。 （5）重复步骤）重复步骤3、4直到图像达到完整的分辨率。直到图像达到完整的分辨率。6.1.3 基于基于DCT的渐进编码的渐进编码n分级编码的操作模式分级编码的操作模式是把一幅原始图像的是把一幅原始图像的空间分辨率分成多个空间分辨率分成多个低分辨图像进行低分辨图像进行“锥锥形形”编码的方法。例编码的方法。例如，水平方向和垂直如，水平方向和垂直方向分辨率均以方向分辨率均以 2n的的倍

11、数改变，如图所示。倍数改变，如图所示。6.1.4 基于基于DCT的分级编码的分级编码nITU-T SG8和和ISO/IEC JTC1 SC29 WG1联合开发联合开发的静态图像压缩编码标准的静态图像压缩编码标准(ISO/IEC 15444)，标准，标准名为名为“JPEG 2000: Image Coding System” 。n开发工作始于开发工作始于1996年年1月，其目标是增强对连续色月，其目标是增强对连续色调图像的压缩效率、管理和传输，而又不使图像调图像的压缩效率、管理和传输，而又不使图像质量有明显的损失。质量有明显的损失。n使用使用小波变换小波变换技术提高压缩比，用户可控制图像技术提高

12、压缩比，用户可控制图像的分辨率，用在网络上传输时可按照用户要求下的分辨率，用在网络上传输时可按照用户要求下载各种分辨率的图像。载各种分辨率的图像。n可提供可提供无损压缩无损压缩的图像，在文档中可提供更多的的图像，在文档中可提供更多的颜色信息。颜色信息。6.1.5 JPEG2000 标准概述标准概述JPEG 2000标准的主要内容标准的主要内容 （1）JPEG 2000最小编、解码系统，是最小编、解码系统，是JPEG 2000核心系统；核心系统；（2）扩展系统，在核心系统的基础上添加了一些功能；）扩展系统，在核心系统的基础上添加了一些功能；（3）运动）运动JPEG 2000，针对运动图像提出的解

13、决方案；，针对运动图像提出的解决方案；（4）兼容性；）兼容性；（5）参考软件；）参考软件；（6）复合图像文件格式，主要针对印刷和传真应用；）复合图像文件格式，主要针对印刷和传真应用；（7）技术报告，介绍实现一部分所需的最少支持环境（已被废弃）；）技术报告，介绍实现一部分所需的最少支持环境（已被废弃）；（8）JPSEC，针对安全应用（加密、水印技术）；，针对安全应用（加密、水印技术）；（9）JPIP，针对交互应用协议；，针对交互应用协议；（10）JP3D，针对，针对3D图像；图像；（11）JPWL，针对无线应用；，针对无线应用；（12）基本媒体文件格式。）基本媒体文件格式。JPEG 2000的编

14、、解码原理框图的编、解码原理框图JPEG2000 压缩效果JPEG2000 压缩效果n支持可分级（scalable）编码n分辨率可分级n质量（信噪比）可分级n提供灵活的解码n支持感兴趣区(region of interest, ROI)的编码n可指定感兴趣的图像区域，在压缩时对这些图像区指定特定的压缩质量，这给用户带来了极大的方便。例如，在有些情况下图像中只有一小块区域对用户是有用的，对这些区域采用低压缩比，而其他区域采用高压缩比，在保证不丢失重要信息的同时能有效地压缩数据量6.1.7 JPEG2000 的主要特点的主要特点n6.1 静止图像编码标准静止图像编码标准n6.2 数字视频编码的标准

15、化进展数字视频编码的标准化进展n6.3 MPEG-1/MPEG-2视频编码标准视频编码标准 n6.4 MPEG-4视频编码标准视频编码标准n6.5 H.263视频编码标准视频编码标准n6.6 H.264/AVC视频编码标准视频编码标准n6.7 AVS视频编码标准视频编码标准第第6章章 数字图像与视频压缩编码标准数字图像与视频压缩编码标准6.2 数字视频编码的标准化进展数字视频编码的标准化进展国际上数字视频编码标准主要有两大系列。一个系列由国际标准化组织（ISO）和国际电工委员会（IEC）制定，另一个系列由国际电信联盟电信标准部（ITU-T）制定。 ISO/IEC: JPEG,JPEG2000,

16、MPEG-1/2/4/7 ITU-T: H.261/2/3/4制定这些标准的背景有所不同，面向的主要应用也有所区别，它们采用的技术有很多共同点，应用领域有所重叠。n两者合作制定标准（例如，MPEG-2/H.262 和 MPEG-4 AVC/H.264）H.264 /MPEG-4 AVCH.261H.262 /MPEG-2H.263 H.263+H.263+ITU-T StandardsJoint ITU-T & ISO/IEC StandardsISO/IEC Standards19841986 1988 1990 1992 1994 1996 19982000 2002 2004MP

17、EG-1MPEG-4视频编码标准：历史JPEGJPEG2000n6.1 静止图像编码标准静止图像编码标准n6.2 数字视频编码的标准化进展数字视频编码的标准化进展n6.3 MPEG-1/MPEG-2视频编码标准视频编码标准 n6.4 MPEG-4视频编码标准视频编码标准n6.5 H.263视频编码标准视频编码标准n6.6 H.264/AVC视频编码标准视频编码标准n6.7 AVS视频编码标准视频编码标准第第6章章 数字图像与视频压缩编码标准数字图像与视频压缩编码标准6.3 MPEG-1/MPEG-2视频编码标准视频编码标准n6.3.1 I帧、P帧和B帧n6.3.2 视频码流的分层结构n6.3.

18、3 MPEG-1/-2视频编解码原理n6.3.4 MPEG-2的功能扩展6.3.1 I帧、P帧和B帧n MPEG标准所规定的视频编码算法在实现高压缩比的同时，又能获得较高的重建图像质量，并且还要满足能够随机存取的要求。所以，MPEG标准将编码图像分为三种类型：nI（Intra）帧nP（Predicated）帧nB（ Bidirectionally-predictive）帧1I帧nI帧，又称帧内编码帧，是作为预测基准的独立帧。该帧采用类似JPEG算法的帧内DCT编码，压缩比相对较低。n设置I帧的主要理由（1）当某帧找不到匹配的参考帧时，就只好进行帧内编码，场景切换或图像中的“遮挡”和“暴露”部分

19、就是这种情况的例子；（2）解码I帧不需要参考帧，因而可以在I帧进行码流的切换和编辑等操作，提供随机存取的插入点；（3）长时间连续地进行预测编码，预测误差会不断累积，使压缩效率逐渐降低，图像质量不断下降。为防止解码图像损伤的逐渐加剧，需定时进行帧刷新，即周期性地插入I帧，以便重新开始一个新的预测编码过程。 2P帧nP帧，又称前向预测编码帧。它用前面最近的I帧或P帧作为参考进行前向预测，采用带运动补偿的帧间预测编码方式。由于同时利用了空间和时间上的相关性，所以P帧比I帧的压缩效率高。P帧也可作为参考帧。 nP帧的压缩编码算法 n算法原理nP帧的编码以宏块(MB)为基本单元，一个宏块定义为1616像

20、素的像块nP帧使用两种类型的参数表示n当前要编码的图像宏块与参考图像的宏块之间的差值n宏块的运动矢量(motion vector, MV)3B帧nB帧，又称双向预测编码帧。它既用源视频序列中位于前面且已编码的I帧或P帧作为参考帧，进行前向运动补偿预测，又用位于后面且已编码的I帧或P帧作为参考帧，进行后向运动补偿预测。即B帧可采用帧内编码、前向预测编码、后向预测编码、或双向预测编码4种技术，其压缩比最高。但B帧不能用作对其他帧进行运动补偿预测的参考帧。 视频数据经过压缩编码后形成视频基本码流（ES）。MPEG为了更好地表示编码比特流，用句法规定了一个分层结构，共分6层，从高到低依次是：(1) 视

21、频序列 (sequence)层(2) 图像组 (group of pictures，GOP)层(3) 图像 (picture)层(4) 宏块条(slice)层(5) 宏块 (macroblock，MB)层(6) 像块(block)层 6.3.2 视频码流的分层结构 MPEG-2与MPEG-1的视频编码原理方框图基本相同，如图6-11所示，采用运动补偿帧间预测编码、DCT编码以及熵编码相结合的方案。n利用运动补偿帧间预测编码消除电视图像信号的时间冗余；n利用DCT消除信号的空间冗余；n对运动矢量和量化后的DCT系数进行熵编码，消除符号统计冗余，以达到进一步压缩数码率的目的。6.3.3 MPEG-

22、1/-2视频编解码原理图图6-11 MPEG-2 视频编码原理框图视频编码原理框图图图6-12 MPEG-2解码器的结构框图解码器的结构框图1MPEG-2定义了“档次”与“级”的概念2MPEG-2有“按帧编码”和“按场编码”两种模式 3MPEG-2增加了可分级性6.3.4 MPEG-2的功能扩展 MPEG-2标准适用范围广，为了解决通用性和特殊性的矛盾，支持灵活的性能价格比，MPEG-2在单一语法的基础上，针对不同的应用，规定了不同的压缩处理方法，即不同的语法子集，这样的语法子集称为“档次”（Profile）。 然而，在同一语法子集中（即同一“档次”中）需要处理的输入图像格式（如分辨率）可能有

23、很大的差别，于是MPEG-2又提出了“级”（Level）的概念。1. “档次档次”与与“级级”的概念的概念n可分级编码使原本一体的码流呈现一种分层结构，使其中的部分码流可单独解码，从而可得到不同的分辨率和所需的数码率。n基本层编码(base-layer coding) ：编码、传输和解码可单独进行n增强层编码(enhancement-layer coding)：编码、传输和解码要依赖基本层或先前的增强层才能完成n可分级编解码的意义在于其码流的独立分层及可分层叠加，从而使该码流适应不同环境的传输信道和不同用户需求的能力大大增加。2. MPEG-2的可分级编码的可分级编码可分级编码模式（1）信噪比

24、可分级）信噪比可分级（Signal-to-Noise Scalability）（2）空域可分级）空域可分级（Spatial Scalability）（3）时域可分级）时域可分级（Temporal Scalability）n6.1 静止图像编码标准静止图像编码标准n6.2 数字视频编码的标准化进展数字视频编码的标准化进展n6.3 MPEG-1/MPEG-2视频编码标准视频编码标准 n6.4 MPEG-4视频编码标准视频编码标准n6.5 H.263视频编码标准视频编码标准n6.6 H.264/AVC视频编码标准视频编码标准n6.7 AVS视频编码标准视频编码标准第第6章章 数字图像与视频压缩编码标

25、准数字图像与视频压缩编码标准 6.4.1 MPEG-4视频编码的主要特点 6.4.2 MPEG-4视频编码方法6.4 MPEG-4视频编码标准6.4.1 MPEG-4视频编码的主要特点为了实现基于内容的交互功能，MPEG-4引入了视频对象（VO）和视频对象平面（VOP）的概念。MPEG-4中的视频对象可以是视频场景中的人物或具体的景物，例如，新闻节目中的主持人的头肩像（没有背景图像），即自然视频对象；也可以是计算机产生的二维、三维图形，即合成视频对象。 MPEG-4视频编码处理的数据类型主要有：n 视频对象（任意形状区域的动态视频）n 二维和三维的网格对象（可变形的对象）n 人脸和身体的动画n

26、 静态纹理（静止图像）n支持从低数码率（5kbps-64kbps)到高数码率（100Mbps）的各种应用，为保证标准的灵活性，它提供一系列的编码算法和工具，以供应用开发者选用。n 标准中使用除包括压缩本身一些技术外，还包括图像分析与合成、计算机视觉、计算机图形、虚拟现实和语音合成等多种多媒体技术。MPEG-4标准提标准提供的工具和算法供的工具和算法MPEG-4 目标（1）基于对象的编码，便于操作和控制对象；可以实现基于内容的交互性功能，主要用于基于内容的多媒体数据存取、游戏或多媒体家庭编辑、网上购物和电子商店、远程监控、医疗和教学等。（2）MPEG-4 在扩展性上具有很好的灵活性，可进行时域和

27、空域的扩展（兼容MPEG-2 扩展功能）；主要用于互联网和无线网等窄带的视频通讯、多质量视频服务和多媒体数据库预览等服务。（3）MPEG-4的编码具有鲁棒性和纠错功能。主要用于在移动通信的易错通讯环境下实现安全的低码率编码和传输，采用再同步、数据恢复、错误隐藏等三种策略。MPEG-4 主要特点主要特点（1） MPEG-4中的数据结构类（2）MPEG-4中形状编码（3）MPEG-4中运动估计（4）MPEG-4中纹理编码6.4.2 MPEG-4视频编码方法（1）MPEG-4中的数据结构类可以认为有四个层次的数据结构，它们都以类的形式定义。n VS（Video Session）：是包含其它三个类的一

28、个类，一个完整的视频序列可以由几个VS组成。n VO（Video Object）：场景中的某个物体，它是有生命期的，由时间上连续的许多帧构成。nVOL（Video Object Layer）：VO的三种属性信息编码于这个类中，这个类的引入主要用来扩展VO的时域或空域分辨率。nVOP（Video Object Plane）：可以看作是VO在某一时刻的表象，即某一帧VO。 以上四个类的关系可以用下图表示： VM中的数据结构类分级图中的数据结构类分级图OutputCompositionVOP 0DecodingVOP 1DecodingVOP 2DecodingDEMUXBitstream解码器流程

29、解码器流程InputVOPDefinitionVOP 0CodingVOP 1CodingVOP 2CodingMUXBitstream编码器流程编码器流程MPEG-4中基于中基于VOP的视频编码框图的视频编码框图DCT变换量化运动纹理编码视频复合器逆量化IDCT变换+帧存储器VOP输入开关切换方式1 预测运动估计方式3 预测方式2 预测形状编码-+位流输出方式方式1预测是指标准预测是指标准88 或或 1616 块的运动估计块的运动估计;方式方式2预测是指使用仿射变换的全局运动补偿预测是指使用仿射变换的全局运动补偿;方式方式3预测是指基于动态预测是指基于动态sprites的全局运动补偿。的全局

30、运动补偿。（2）MPEG-4中形状编码 灰度形状图预处理成二值的形状图运动估计、预测得到纹理图二值形状CAE编码纹理编码 （3）MPEG-4中运动估计nMPEG-4的运动估计与补偿采用了“半像素搜索”（half pixel searching）技术和“重叠运动补偿”（overlapped motion compensation）技术。n为了能适用于任意形状的VOP区域，引入了所谓“重复填充”（repetitive padding）和“修改的块（多边形）匹配”（modified block(polygon) matching）技术。VM中任意形状中任意形状VOP的运动估计的运动估计(1) 对于完

31、全在对于完全在VOP外、但在边框内的宏块，不作运动估计；外、但在边框内的宏块，不作运动估计；(2) 对完全在对完全在VOP内的宏块作与内的宏块作与H.263类似的运动估计；类似的运动估计；(3) 对部分在对部分在VOP内、部分在外的宏块，用内、部分在外的宏块，用“修改的块（多边形）匹配修改的块（多边形）匹配” 技术进行运技术进行运动估计，匹配误差由块中属于动估计，匹配误差由块中属于VOP内部的像素与参考块中相应位置像素的差的绝对值内部的像素与参考块中相应位置像素的差的绝对值的和（的和（SAD）来度量。）来度量。（4） MPEG-4中纹理编码中纹理编码DCT变换基于变换基于88，仍有三种情况：，

32、仍有三种情况：(1) VOP外、边框内的块：不编码；外、边框内的块：不编码；(2) VOP内的块：传统内的块：传统DCT方法编码；方法编码；(3) 部分在部分在VOP内、部分在内、部分在VOP外的块：现用外的块：现用“重复填充重复填充”方法将改块在方法将改块在VOP外的部分进行填充，再用外的部分进行填充，再用DCT编码。编码。n6.1 静止图像编码标准静止图像编码标准n6.2 数字视频编码的标准化进展数字视频编码的标准化进展n6.3 MPEG-1/MPEG-2视频编码标准视频编码标准 n6.4 MPEG-4视频编码标准视频编码标准n6.5 H.263视频编码标准视频编码标准n6.6 H.264

33、/AVC视频编码标准视频编码标准n6.7 AVS视频编码标准视频编码标准第第6章章 数字图像与视频压缩编码标准数字图像与视频压缩编码标准ITU-T H.261n1988年制定，奠定了现代视频编码的基础：n编码结构为：运动补偿预测+DCT 编码+熵编码n关键技术包括 1616宏块运动补偿预测、88 DCT、量化、环路滤波和变字长编码（VLC）等。n这些关键技术后来被其它标准采用。nH.261v2 (1993年早期) 增加了后向兼容的高清晰度图片模式(例如远程教学中的白板）n图像格式：CIF or QCIF，帧率 29.97fpsn数码率为 n64kbit/s (641920 kbit/s)，典型

34、为 384kbit/sn特性：n低复杂、低时延n后向兼容的一个标准n被 H.263 和 H.264 超越H.261 图像格式ITU-R BT.601CIFQCIF720576352288176144基于 MC+DCT 混合视频编码器反量化反量化IDCTMC预测器预测器DCT量化量化运动估计运动估计ME帧缓存器帧缓存器运动补偿预测运动补偿预测MC输入输入信号信号编码码流编码码流(送信道送信道)输入帧的近似输入帧的近似 (送显示送显示)运动矢量和块模式数据运动矢量和块模式数据 (送信道送信道)先前编码先前编码的近似帧的近似帧(虚框表示虚框表示解码器解码器)熵编码熵编码H.263 ：低码率视频编码标

35、准nITU-T H.263 (V1: 1995): 取代 H.261，成为视频会议、可视电话和 Internet 视频流的压缩标准。nH.263 + （1997/1998年） & H.263 + + （2000年）n图像格式通常为 CIF、QCIF or Sub-QCIF（12896）, 也支持16CIF、4CIFn帧率：一般低于 10fpsn数码率：任意，典型 20kbps （对于 PSTN）n在所有的数码率上对优于 H.261，在一半数码率上与 H.261 具有相同的质量n是 MPEG4 标准的压缩 CoreH.263的编码原理框图的编码原理框图n6.1 静止图像编码标准静止图像编

36、码标准n6.2 数字视频编码的标准化进展数字视频编码的标准化进展n6.3 MPEG-1/MPEG-2视频编码标准视频编码标准 n6.4 MPEG-4视频编码标准视频编码标准n6.5 H.263视频编码标准视频编码标准n6.6 H.264/AVC视频编码标准视频编码标准n6.7 AVS视频编码标准视频编码标准第第6章章 数字图像与视频压缩编码标准数字图像与视频压缩编码标准n6.6.1 H.264/AVC历史n6.6.2 H.264/AVC的范围和内容n6.6.3 H.264/AVC的档次（Profiles）与级（Levels）n6.6.4 H.264/AVC新技术n多模式、多参考帧运动补偿n1/

37、4pixel 运动矢量精度n多模式帧内预测（I 帧空域预测）n44 整数变换n熵编码 CAVLC & CABACn其它n6.6.5 H.264/AVC的性能6.6 H.264/AVC视频编码标准视频编码标准6.6.1 H.264/AVC历史nH.264/AVC 标准：n名词众多：nH.26L、JVT CODEC、JM2.x、JM3.x、JM4.x、Beyond H.26L、AVC（Advanced Video CODE）、H.264n2001.12 ITU/ISO 成立 Joint Video Team (JVT) n2002.12 技术截止n2003.05 ITU Rec H.264

38、n2003.07 ISO/IEC Final Draft IS (FDIS)n2003.10 ISO/IEC IS (14496-10) AVCn2003.12 夏威夷 (Hawaii) 最后会议nMPEG-4 Part 10 (Official MPEG Term)：ISO/IEC 14496-10 AVCnH.264 (Official ITU Term)H.264 /MPEG-4 AVCH.261H.262 /MPEG-2H.263 H.263+H.263+ITU-T StandardsJoint ITU-T & ISO/IEC StandardsISO/IEC Standard

39、s19841986 1988 1990 1992 1994 1996 19982000 2002 2004MPEG-1MPEG-4视频编码标准：历史JPEGJPEG20006.6.2 H.264/AVC的范围和内容n为各种业务提供高质量压缩:nIP 流媒体 (501500 kbps)nSDTV 和 HDTV 广播和视频点播 (18+ Mbps)nDVDn可视业务 (1 Mbps 低时延)n标准定义：n解码器功能 (但没有编码器)n文件和流结构n最后结果：和 MPEG-4 相比，压缩效率提高 2 倍，计算复杂度增加 24 倍。nBaseline 在一定数量下没有特许权使用费H.264编码系统结构

40、VCL实现视频数据的编解码；实现视频数据的编解码；NAL定义数据封装格式，为定义数据封装格式，为VCL提供与网络无关的统一接口提供与网络无关的统一接口nH.264 可进行不同的性能配置，基于 “profiles” & “levels”：n档次（profile）：编码算法或工具的集合。n级（level）：对某些关键参数的限制（例如分辨率、码率等）nH.264 分为 4个档次：Baseline、Main、Extended 和 Highn基本（Baseline）：最小实现，逐行扫描、I-frame、P-frame 和CAVLC，但没有 CABAC、B-frame 和 SP-Slices，从视

41、频会议、无线视频通信到数字影院，大多数应用都是良好的。n主（Main）：增加了隔行扫描、B-Slices 和 CABAC等，广播应用n扩展（Extended）：SP/SI帧，帧数据分割，流媒体应用n高（High）：8*8 DCT 变换nH.264/AVC 有 15 级：n分辨率、容量、比特率、缓存器、参考帧数、解码处理速度等n图像尺寸：QCIF 数字影院 D-Cineman匹配国际上通行的设备和发送格式。6.6.3 H.264/AVC的档次与级H.264 Baseline Profile (L2)nI 和 P slice （没有B slice）n熵编码 CAVLC（Context-based

42、Adaptive VLC，基于上下文的自适应变字长码）n去块效应环路滤波器n逐行扫描n 像素运动估计和补偿n增强误码适应性n支持 ASO （Arbitrary slice ordering，ASO）n支持 FMO（Flexible macroblock ordering ，FMO）n支持冗余片（Redundant slices）n应用：IP 视频、视频会议等n支持所有的 Baseline Profile 算法，除了不支持 Baseline Profile 中增强的误码适应性n不包括 Arbitrary slice order (ASO)n不支持 Flexible macroblock orde

43、ring (FMO) n不支持冗余片 Redundant slicesnI、P 、B slice typesnCABAC 和 CAVLC 熵编码n隔行扫描 和逐行扫描nMB 级帧/场切换nB 和 P 帧加权预测n1/4 像素运动估计和补偿n应用: 电视广播H.264 Main Profile nExtended Profile n所有的 Baseline profile 算法或工具nB slicen加权预测nSP/SI 切换帧n更多的误码可靠: 数据分割（Data partitioning）H.264 Extended Profile n仍然采用先前标准中的仍然采用先前标准中的 MCDCT 混

44、合编码算法，混合编码算法，相同的部分相同的部分包括：包括：n1616 宏块宏块n传统的亮度和色度采样格式传统的亮度和色度采样格式 4:2:0 n块运动位移或矢量块运动位移或矢量n运动矢量越过图像边界的算法运动矢量越过图像边界的算法n块大小可变的运动补偿块大小可变的运动补偿n块变换（没有采用小波或分形块变换（没有采用小波或分形 wavelets or fractals)n标量量化标量量化nI、P 和和 B 帧图像类型帧图像类型n变字长编码变字长编码 Variable-length codingH.264 与其它标准相同的技术5.6.4 H.264/AVC新技术n多模式、多参考帧运动补偿 n1/4pixel 运动矢量精度n多模式帧内预测（I 帧空域预测）n去方块效应环路滤波器n44 整数变换n熵编码采用CAVLC 或 CABACnSP-slicesn网