数字电视信源编码技术

数字电视信源编码技术第1页，共135页，2023年，2月20日，星期六概述通过压缩编码技术来去除视频、音频、数据等原始信号的冗余信息，以实现码率压缩与带宽减小，使信号在各种传输信道中能够有效传输。1、数字电视信源编码的目的Copyright©2013.ShiPingCUC第2页，共135页，2023年，2月20日，星期六2、压缩的必要性电视信号数字化后：数码率高，数据量大。例如：4：2：2编码、8比特量化的SDTV信号，其数码率为216Mbps。若按每2bit构成一个周期，则传输这样一路数字电视信号需要有108MHz的通道带宽。4：2：2编码、8比特量化时，一帧SDTV图像的数据量约为8.6Mb，要记录10分钟的电视节目就需要130Gb的存储器容量。综上所述，要实现数字电视信号的有效存储和传输，就需要采取措施降低其数据量和数码率Copyright©2013.ShiPingCUC第3页，共135页，2023年，2月20日，星期六3、压缩的可能性（以视频信号为例）视频压缩过程：去除图像中与信息无关或对图像质量影响不大的部分，即冗余部分。电视信号中存在很多这样的冗余部分，这就为压缩提供了可能性。视频信号的冗余性表现在以下几个方面：空间相关冗余时间相关冗余视觉冗余熵冗余Copyright©2013.ShiPingCUC第4页，共135页，2023年，2月20日，星期六空间相关冗余Copyright©2013.ShiPingCUC第5页，共135页，2023年，2月20日，星期六时间相关冗余（帧间相关冗余）t＝t1t＝t2Copyright©2013.ShiPingCUC第6页，共135页，2023年，2月20日，星期六人眼视觉冗余人眼视觉特性：对静止或缓慢运动图像的灰度等级及图像细节的分辨力高对快速运动图像的灰度等级及图像细节的分辨力低观察大面积图像时，对灰度等级分辨力高，对细节分辨力低观察细节时，对灰度等级分辨力低，对细节分辨力高人眼接收综合信息的能力有限Copyright©2013.ShiPingCUC第7页，共135页，2023年，2月20日，星期六利用人眼的视觉特性对静止或缓慢运动图像：减小帧率在图像细节部分选择较高的取样频率和较低的量化比特数在大面积像块区域选择较低的取样频率和较高的量化比特数对快速运动图像：提高帧率降低取样频率和量化比特数Copyright©2013.ShiPingCUC第8页，共135页，2023年，2月20日，星期六自信息量定义：指某个随机事件（或消息）发生后所提供的信息数量的多少任意随机事件的自信息量为该事件发生概率的倒数的对数。熵冗余Copyright©2013.ShiPingCUC第9页，共135页，2023年，2月20日，星期六信源熵（信源每个符号的平均信息量）：P(xi)是符号xi出现的概率平均码长（每个符号的平均编码长度）：熵冗余＝平均码长－信息熵li是符号xi的编码码长Copyright©2013.ShiPingCUC第10页，共135页，2023年，2月20日，星期六例如：某一图像总共可出现4个灰度级，对每个灰度级进行二进制定长编码时，码长为2比特，即L＝2bit/符号。当每个灰度级出现的概率不相等时：设灰度级1～4的概率分别为1/8、3/8、3/8、1/8，熵冗余＝L–H＝2－1.81＝0.19bit/符号Copyright©2013.ShiPingCUC第11页，共135页，2023年，2月20日，星期六若采用变长编码方式，对概率大的符号赋予短码，对概率小的符号赋予长码，则可降低平均码长L熵冗余＝1.875－1.81＝0.065bit/符号例如，灰度级13/81

灰度级23/801

灰度级31/8001

灰度级41/8000所以，采用变长编码可降低信源熵冗余Copyright©2013.ShiPingCUCreturn第12页，共135页，2023年，2月20日，星期六视频压缩编码技术第一代视频编码技术（经典的视频编码技术）：以香农信息论为基础采用基于象素或象素块的方法来表征视频信息利用图像信号的统计特性来设计编码器未考虑事件本身的具体含义、重要程度及引起后果未充分考虑人眼视觉特性对编码图像的影响只能去除数据冗余－低层压缩1、视频压缩编码技术的研究进展变换编码：DCT+量化预测编码：MC帧间预测熵编码：VLCCopyright©2013.ShiPingCUC第13页，共135页，2023年，2月20日，星期六第二代视频编码技术：突破了香农信息论的框架采用基于内容的方法来表征视频信息充分考虑人眼视觉特性及信源特性通过去除内容冗余来实现数据压缩基于对象的视频压缩－中层压缩基于语义的视频压缩－高层压缩分形编码分级编码模型基编码Copyright©2013.ShiPingCUC第14页，共135页，2023年，2月20日，星期六视频压缩编码用到的主要算法统计编码变换编码预测编码分析、综合编码霍夫曼编码游程编码算术编码字典编码DCT变换编码运动补偿预测编码子带编码分级编码分形编码模型基编码Copyright©2013.ShiPingCUC第15页，共135页，2023年，2月20日，星期六2、视频压缩编码分类按无损压缩和有损压缩进行分类：无损压缩编码、有损压缩编码按信源模型进行分类：基于波形编码、基于内容编码按压缩编码原理进行分类：统计编码、预测编码、变换编码、矢量量化编码Copyright©2013.ShiPingCUC第16页，共135页，2023年，2月20日，星期六3、预测编码3.1预测编码的基本原理预测编码传送的不是实际像素值，而是实际值与其预测值之间的差值，即预测误差。像素的预测值由其在时间和空间上相邻的若干个像素的线性组合产生，它反映了在预测区域内各像素的共性部分，因此用像素的实际值减去其预测值就可基本去除像素间的相关性。Copyright©2013.ShiPingCUC第17页，共135页，2023年，2月20日，星期六预测器＋＋en’Xn’预测器＋－Xnenen’量化器编码器传输通道解码器输入输出＋＋en’＝en＋Δx＝Xn－＋ΔxXn’＝en’＋＝Xn＋Δx若不考虑量化器的影响，则有Xn’＝Xn（无损压缩）Δx：量化误差Copyright©2013.ShiPingCUC第18页，共135页，2023年，2月20日，星期六预测编码的压缩效果取决于预测器的预测精度，精度越高，预测误差越小，量化时所需的量化比特数就越少，压缩率也就越高。一般来说，参与预测的像素数越多，预测值就越精确，但同时预测器电路组成也就越复杂。利用相关像素值x1、x2

……xn-1来预测当前像素值a1、a2······an-1称为相关系数，且满足：

Copyright©2013.ShiPingCUC第19页，共135页，2023年，2月20日，星期六3.2帧内预测编码X1X2X3X4X5X6X7上一行相隔行当前行当前像素a6a4a3a2D6D4D3D2输入由距X7最近的四个像素X6、X4

、X3、X2参与对X7的预测。相关系数为：a6＝1/2、a4＝a2＝1/8、a3＝1/4，则：＝1/2X6＋1/8X4＋1/4X3

＋1/8X2D6＝TS（TS为取样周期）D4＝TH－TS（TH为行周期）D3＝THD2＝TH＋TSCopyright©2013.ShiPingCUC第20页，共135页，2023年，2月20日，星期六3.3帧间预测编码帧存储器＋－Xnenen’量化器编码器输入输出＋＋当图像场景或摄像机静止不动时，当前帧象素块的预测值就是前一时刻参考帧同一位置上的象素块；如果图像场景或摄像机是运动的，则需要在参考帧中找到与当前帧象素块最匹配的象素块，作为当前帧象素块的预测值（运动补偿帧间预测）。Copyright©2013.ShiPingCUC第21页，共135页，2023年，2月20日，星期六3.4预测编码的实质由信息论可知，信源冗余来自信源本身的相关性以及信源概率分布的不均匀性。因此，去除信源相关性以及改变信源的概率分布模型，即可实现数据压缩。预测编码的实质是降低了图像在时间或空间上的相关性。预测编码中：量化环节可造成图像质量下降误码传递可造成局部图像损伤Copyright©2013.ShiPingCUC第22页，共135页，2023年，2月20日，星期六3.5运动估计与运动补偿运动估计：对运动物体的位移作出估计，即求出运动矢量运动补偿：按照运动矢量，对上一帧做位移，然后求出对当前帧的预测值。运动矢量运动估计运动补偿前一帧当前帧预测的当前帧编码差值图像Copyright©2013.ShiPingCUC第23页，共135页，2023年，2月20日，星期六运动补偿帧间预测编码方框图：＋－输入量化器反量化器帧存储器运动补偿运动估计编码器输出当前帧预测帧运动矢量帧差信号＋＋Copyright©2013.ShiPingCUC第24页，共135页，2023年，2月20日，星期六运动估计块匹配法：将图像分成若干个大小为M×N的子像块，假定同一子像块内所有像素具有相同的位移。假定帧间最大水平位移和最大垂直位移分别为Wx和Wy个像素；对于当前帧的每一个块在前一帧相应位置开辟大小为(M+2Wx)×(N+2Wy)的一块搜索区；在搜索区内求出当前帧对应块的最佳匹配块；求出运动矢量。Copyright©2013.ShiPingCUC第25页，共135页，2023年，2月20日，星期六前一帧搜索区当前帧像素块M+2WxN+2WyWxWxWyWyNMCopyright©2013.ShiPingCUC第26页，共135页，2023年，2月20日，星期六jij：垂直位移量i：水平位移量Copyright©2013.ShiPingCUC第27页，共135页，2023年，2月20日，星期六块匹配准则：均方误差（MSE）最小准则

绝对误差均值（MAD）最小准则Copyright©2013.ShiPingCUC第28页，共135页，2023年，2月20日，星期六

最大归一化互相关函数（NCCF）准则Copyright©2013.ShiPingCUC第29页，共135页，2023年，2月20日，星期六搜索方法：穷尽搜索法：对搜索区域内的每一点都用匹配准则进行计算。

二维对数法

三步搜索法

分块全搜索法：Copyright©2013.ShiPingCUC第30页，共135页，2023年，2月20日，星期六4、变换编码4.1变换编码的基本原理通过一种线性运算关系将空间域的图像信号变换到变换域或频率域的正交矢量空间，然后进行编码。像素块化传输通道熵解码输入输出发端收端熵编码量化器反量化器正交变换正交反变换Copyright©2013.ShiPingCUC第31页，共135页，2023年，2月20日，星期六变换编码的根本目的是去除图像的相关性！K-L变换：最佳正交变换，变换后系数互不相关，而且能量主要集中在少数系数上。但K-L变换矩阵不是固定的，而是与图像统计特性有关，因此没有快速算法，只适合进行理论分析与实验。DCT变换：次最佳正交变换，变换压缩性能接近K-L变换，具有良好的去相关性及能量压缩特性，同时变换矩阵是固定的，与图像内容无关，有快速算法。DCT变换在图像压缩领域得到广泛应用。变换编码中对变换系数的量化是造成图像损伤的主要原因。图像损伤的表现形式主要是块效应。Copyright©2013.ShiPingCUC第32页，共135页，2023年，2月20日，星期六DCT变换编码的特点：在变换域中描述视频图像要比在空间域中简单视频图像的相关性明显下降，信号的能量主要集中在少数几个变换系数上，采用量化和熵编码可有效地压缩其数据量可充分利用人眼的视觉特性具有较强的抗干扰能力，传输过程中的误码对图像质量的影响远小于预测编码DCT有快速算法，能实现实时视频处理Copyright©2013.ShiPingCUC第33页，共135页，2023年，2月20日，星期六4.2离散余弦变换（DCT）设图像块的样点数为N×N，其样值方阵用f(x,y)表示，则二维离散余弦变换的公式为：Copyright©2013.ShiPingCUC第34页，共135页，2023年，2月20日，星期六F(u,v)=图像分块及变换：通常将图像分解成8×8的像素块，然后进行DCT变换。变换后得到由8×8频域系数组成的矩阵。F00：DC系数，代表该像素块的直流分量或平均亮度值其它为AC系数Copyright©2013.ShiPingCUC第35页，共135页，2023年，2月20日，星期六一般电视图像的构成都是以大、中面积内容为主，精细内容较少，因而可估计到，系数矩阵中左上方的系数值会大些，而越接近右下角，系数值会越小f(x,y)=F(u,v)=Copyright©2013.ShiPingCUC第36页，共135页，2023年，2月20日，星期六利用人眼的视觉冗余性左上角附近的系数细量化（量化间隔小）右下角附近的系数粗量化（量化间隔大）量化后的系数取整F’(u,v)＝F(u,v)/Q(u,v)Q(u,v)=F’(u,v)=4.3、DCT系数量化Copyright©2013.ShiPingCUC第37页，共135页，2023年，2月20日，星期六5、熵编码5.1熵编码的基本原理根据图像的统计特性来去除图像象素值的概率分布不均匀性，使编码后的图像数据接近于其信源熵，同时不产生任何失真。基于图像概率分布特性的霍夫曼编码、算术编码基于图像相关性的游程编码Copyright©2013.ShiPingCUC第38页，共135页，2023年，2月20日，星期六5.2可变长编码（VLC）按信源符号出现概率的不同分配给不同长度的码字比特数。即出现概率大的符号编码码字短，出现概率小的符号编码码字长。也称可变长编码（VLC）前提条件：必须知道每个符号的出现概率特点：具有单义可译性。即：任何一个长码都不会是另两个短码复合而成，任何一个短码不会是另一个长码的前缀。因此，收信端可从接收到的码字串中分断开每个码字，不会发生码字混淆。Copyright©2013.ShiPingCUC第39页，共135页，2023年，2月20日，星期六是一种最优可变长码，基本原理为：将信源发出的符号按出现概率的大小次序排列对两个概率最小的符号分别赋以“0”、“1”，并将这两个概率相加之后作为一个新符号的概率对符号概率重新排队后再取两个概率最小的符号分别赋以“0”、“1”，并将这两个概率相加依此类推，直到所有概率相加得到1为止由后向前沿各支路逐一写出“0”、“1”，此码字即为霍夫曼编码码字5.3霍夫曼编码Copyright©2013.ShiPingCUC第40页，共135页，2023年，2月20日，星期六例如：设信源各符号出现的概率为：xix1x2x3x4x5x6x7x8

Pi0.200.190.180.170.150.100.0050.005符号(xi)概率(Pi)x1x2x3x4x5x6x7x80.200.190.180.170.150.100.0050.005010.01010.11100.26010.35010.39010.61011.00码字(wi)010011111010110011000110000码长(ni)22333455Copyright©2013.ShiPingCUC第41页，共135页，2023年，2月20日，星期六信源熵：采用等长编码方式时，每个符号需要3bit，即平均码长为3bit/符号，熵冗余为0.38bit/符号。采用可变长编码时，平均码长为：熵冗余为0.11bit/符号Copyright©2013.ShiPingCUC第42页，共135页，2023年，2月20日，星期六5.4DCT系数的熵编码MPEG2中，像素块矩阵经DCT变换、量化后，要进行Z形扫描、游程编码和霍夫曼编码Z形扫描:F’(u,v)=Copyright©2013.ShiPingCUC第43页，共135页，2023年，2月20日，星期六游程编码:将一维序列用二维数组(run,level)表示。run：表示连零的长度level:表示连零之后出现的第一个非零值当所有值都为零时用符号EOB表示Z形读出158，0，-1，-1，-1，-1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0游程编码：（0，158），（1，-1）（0，-1），（0，-1）（0，-1），EOBCopyright©2013.ShiPingCUC第44页，共135页，2023年，2月20日，星期六DC系数：差值编码（DPCM），霍夫曼编码；即：DIFF＝DCi－DCi-1对DIFF进行霍夫曼编码AC系数：游程编码，霍夫曼编码MPEG2中AC系数游程编码：（1，-1）（0，-1），（0，-1）（0，-1），EOBCopyright©2013.ShiPingCUC第45页，共135页，2023年，2月20日，星期六DC系数的DIFF熵编码（查表法）DIFF码字1码字20000-1，10100，1-3，-2，2，301100，01，10，11-7...-4，4…7100000…011，100…111-15…-8，8…151010000…0111，1000…1111-31…16，16…31110…-63…-32，32…631110…-127…-64，64…12711110…-255…-128，128…255111110…-511…-256，256…5111111110…-1023…-512，512…102311111110…-2047…-1024，1024…2047111111110…编码码字＝码字1＋码字2若DIFF＝2，则码字为01110Copyright©2013.ShiPingCUC第46页，共135页，2023年，2月20日，星期六AC系数熵编码（表1）AC系数位长码字2000-1，110，1-3，-2，2，3200，01，10，11-7...-4，4…73000…011，100…111-15…-8，8…1540000…0111，1000…1111-31…16，16…315…-63…-32，32…636…-127…-64，64…1277…-255…-128，128…2558…-511…-256，256…5119…-1023…-512，512…102310…Copyright©2013.ShiPingCUC第47页，共135页，2023年，2月20日，星期六AC系数熵编码（表2）游程/位长码字10/0(EOB)10100/1000/2010/31000/410110/5110100/611110000/7111110000/811111101100/911111111100000100/101111111110000011游程/位长码字11/111001/2110111/311110011/41111101101/5111111101101/611111111100001001/711111111100001011/811111111100001101/911111111100001111/101111111110001000……Copyright©2013.ShiPingCUC第48页，共135页，2023年，2月20日，星期六对于（1，-1）：AC系数为-1，前面有1个零查表1可知，码字2为0，“游程/位长”是1/1查表2可知，1/1对应的码字1为1100对（1，-1）进行霍夫曼编码的码字为11000同理可得，（0，-1）的编码码字为000EOB的码字为1010AC系数游程编码：（1，-1）（0，-1），（0，-1）（0，-1），EOB该图像块编码后为：01110110000000000001010Copyright©2013.ShiPingCUC第49页，共135页，2023年，2月20日，星期六视频压缩编码标准介绍

国际电信联盟（ITU）开发用于低比特率视频电话的H.26x标准，其中包括H.261、H.262、H.263与H.264；国际标准化组织(ISO)主要针对消费类应用，已经针对运动图像压缩定义了MPEG标准。MPEG标准包括MPEG1、MPEG2与MPEG4；

MPEG与ISO开展合作，成立联合视频小组(JVT)，该小组定义了H.264编解码技术，该标准称为H.264/AVC。Copyright©2013.ShiPingCUC第50页，共135页，2023年，2月20日，星期六发展历程：Copyright©2013.ShiPingCUC第51页，共135页，2023年，2月20日，星期六视频电话和视频会议压缩编码标准CCITT1984年开始研究，1990年正式成为标准应用：视频电话、视频会议，传输网络为ISDN（综合业务数据网，64kb/s～2.048Mb/s）图像格式：CIF、QCIF，最大帧频为30Hz，逐行扫描码率：p×64kb/s（p＝1~30）。p＝1、2时，只支持QCIF格式，用于视频电话。p≥6时，支持CIF格式，可用于视频会议。压缩方式：DCT、帧间预测编码H.261Copyright©2013.ShiPingCUC第52页，共135页，2023年，2月20日，星期六低码率图像压缩编码标准ITU-T1995推出草案应用：视频电话、多媒体通信、移动通信、远程监控系统等，传输网络为PSTN（公用电话交换网）图像格式：CIF、QCIF、sub-QCIF（Y：128×96，CR/CB：64×48），最大帧频为30Hz，逐行扫描压缩方式：DCT、帧间预测编码H.263Copyright©2013.ShiPingCUC第53页，共135页，2023年，2月20日，星期六先进的视频编码AVC由ITU-T和ISO/IEC的联合专家组（JVT）于2003年3月起草完成应用：数字电视广播、可视电话、视频会议、实时监控、流式多媒体业务、低比特率下的移动多媒体通信等特点：在同等图像质量条件下，压缩比是H.263和MPEG4的2倍对IP和无线网络环境有良好的适应性H.264(MPEG4AVC)Copyright©2013.ShiPingCUC第54页，共135页，2023年，2月20日，星期六MovingPictureExpertGroup（活动图像专家组）视频及其伴音的压缩标准1988年开始研究，1992成为正式标准应用：数字存储媒体（如VCD等），交互式多媒体系统图像格式：SIF（4:2:0），逐行扫描码率：1.5Mb/s压缩方式：DCT，帧间预测编码MPEG-1Copyright©2013.ShiPingCUC第55页，共135页，2023年，2月20日，星期六活动图像及其伴音信息的通用编码1990年开始制定，1994年成为正式标准应用：SDTV，HDTV，DVD等图像格式：CCIR601等多种格式（4:2:2，4:4:4，4:2:0），逐行扫描，隔行扫描压缩方式：DCT，帧间预测编码有多种档次：5个型，4个级与MPEG-1兼容MPEG-2(H.262)Copyright©2013.ShiPingCUC第56页，共135页，2023年，2月20日，星期六基于内容的压缩编码标准1993年开始制定，1999年成为正式标准应用：交互式多媒体应用、移动通信、个人通信等图像格式：多种格式，逐行扫描，隔行扫描特点：编码对象是图像中的音频和视频对象（AV对象）形状编码分级编码MPEG-4Copyright©2013.ShiPingCUC第57页，共135页，2023年，2月20日，星期六Copyright©2013.ShiPingCUC信息技术先进音视频编码由中国数字音视频编解码技术标准（AudioVideoStandard）工作组于2003年提出应用：高清数字电视、卫星广播电视、移动音视频通信、宽带网络流媒体、视频会议、视频监控等特点：编码效率基本达到了H.264的水平；回避了国外的专利技术包括系统、视频、音频、数字版权管理与保护等四个主要标准技术方案简洁，芯片实现复杂度低AVSreturn第58页，共135页，2023年，2月20日，星期六MPEG2视频编码技术1、MPEG概况MPEG：属于ISO/IEC下属的联合技术委员会任务：制定活动图像的压缩编码标准，压缩码率为1.5Mb/s10Mb/s40Mb/s－MPEG-1（1992，ISO/IEC11172）－MPEG-2（1994，ISO/IEC13818）－MPEG-3（1992，撤销）Copyright©2013.ShiPingCUC第59页，共135页，2023年，2月20日，星期六MPEG视频部分框图IDCT反量化VLC解码缓冲器(b)解码过程DCT量化VLC缓冲器(a)编码过程码率控制Copyright©2013.ShiPingCUC第60页，共135页，2023年，2月20日，星期六2、MPEG-2的型和级

型级简单型SP4:2:0主型MP4:2:0SNR可分级型SNP4:2:0空间可分级型SSP4:2:0高级型HP4:2:04:2:2高级HL1920×1080×301920×1152×25－MP@HLI,P,B80Mb/s－－HP@HLI,P,B100Mb/sH-1440L1440×1080×301440×1152×25－MP@H1440LI,P,B60Mb/s－SSP@H1440LI,P,B60Mb/sHP@H1440LI,P,B80Mb/s主级ML720×480×30720×576×25SP@MLI,P15Mb/sMP@MLI,P,B15Mb/sSNP@MLI,P,B15Mb/s－HP@MLI,P,B20Mb/s低级LL352×240×30352×288×25－MP@LLI,P,B4Mb/sSNP@LLI,P,B4Mb/s－－Copyright©2013.ShiPingCUC第61页，共135页，2023年，2月20日，星期六3、图像编码帧类型I帧（帧内编码帧）仅利用该帧图像本身的信息进行编码DCT、量化、熵编码等I帧提供了进入压缩图像数据序列的随机访问点，便于对图像进行编辑。一般应用中，一秒钟出现两个I帧压缩比：（2～5）：1Copyright©2013.ShiPingCUC第62页，共135页，2023年，2月20日，星期六P帧（前向预测帧）利用前面最靠近的I帧或P帧图像作参考帧，经运动预测编码得到的图像。压缩比：（5～10）：1P帧可以作为B帧和后面的P帧的参考帧P帧会使误码传递下去Copyright©2013.ShiPingCUC第63页，共135页，2023年，2月20日，星期六B帧（双向预测帧）利用过去及将来的I帧或P帧作参考帧，经运动预测编码得到的图像。压缩比：（20～30）：1B帧不用作参考帧B帧不会使误码传递下去通常在两个参考帧之间安排两个B帧Copyright©2013.ShiPingCUC第64页，共135页，2023年，2月20日，星期六编码图像的显示顺序和传送顺序IBBPBBPBBPBBI12345678910111213IBPBBPBBPBBIB14237561089131112图像的显示顺序图像的传送顺序Copyright©2013.ShiPingCUC第65页，共135页，2023年，2月20日，星期六Copyright©2010.ShiPingCUC帧重排运动补偿运动估计帧内/帧间模式判别DCT量化VLC帧间帧内反量化反DCTK1K2运动矢量去VLCI帧存P帧存K4K3I、BPI、PB信源数据＋＋＋－A2A1缓冲器量化控制编码器4MPEG2视频编、解码器框图第66页，共135页，2023年，2月20日，星期六Copyright©2010.ShiPingCUC解码器反量化反DCT帧重排I(P)帧存P帧存MV2MV1BI、PMC值输入码流图像数据VLD量化步长量化表选择第67页，共135页，2023年，2月20日，星期六5视频基本码流（ES流）的组成像块宏块宏块条像块像块宏块宏块宏块条宏块条图像图像图像图像组图像组图像组图像序列Copyright©2013.ShiPingCUC第68页，共135页，2023年，2月20日，星期六8×8像素阵列，DCT变换单元可以是Y像块或CB、CR像块像块Copyright©2013.ShiPingCUC第69页，共135页，2023年，2月20日，星期六宏块由16×16像素的Y阵列和相应画面区域内的CB、CR

色差信号像素阵列共同组成。是运动预测的基本单元，但运动预测只对亮度阵列进行，色差信号的帧间预测编码直接使用亮度阵列中得到的运动矢量。4:2:0宏块结构1234Y6CR5CB4:2:2宏块结构1234Y5CB76CR84:4:4宏块结构1234YCBCR59711610812Copyright©2013.ShiPingCUC第70页，共135页，2023年，2月20日，星期六宏块条由处于同一水平宏块排内的若干个宏块组成是发生误码又不可纠正时数据获得重新同步的单位720（704）576宏块排（44个宏块）1每个宏块排内宏块条数多有利于误码后的重新正确解码，但编码效率变低。每排内宏块条数少则情况相反。Copyright©2013.ShiPingCUC第71页，共135页，2023年，2月20日，星期六图像有I、P、B三种编码图像是图像编码的基本单位，也是独立的显示单元Copyright©2013.ShiPingCUC第72页，共135页，2023年，2月20日，星期六图像组由一个图像序列中连续的几个图像组成是随机存取的视频基本单位图像组中第一帧为I帧一个典型的GOP结构：IBBPBBPBBPBBI12345678910111213GOPCopyright©2013.ShiPingCUC第73页，共135页，2023年，2月20日，星期六图像序列被处理的一串连续的图像是随机存取节目的段落单元一个视频序列大致对应一个镜头Copyright©2013.ShiPingCUC第74页，共135页，2023年，2月20日，星期六6视频基本码流的层次结构系数块宏块宏块条图像图像组视频序列运动矢量条的垂直位置I、P、B时间基准帧内DC精度量化矩阵色度类型隔行/逐行级、类宽高比图像尺寸帧频码率时间码封闭/开放VBV延时信息量化器缩放因子宏块类型Copyright©2013.ShiPingCUC第75页，共135页，2023年，2月20日，星期六GOP1GOPSCGOP头图像1图像2图像3…图像N图像SC图像头条1条2条3…条m条SC条头宏块1宏块2宏块3…宏块nY1宏块编码信息Y2Y3Y4C1C28×8系数块序列层GOP层图像层宏块条层宏块层像块层序列SC序列扩展序列头GOP2…序列EC0x000001B30x000001B80x000001000x000001010x000001AFCopyright©2013.ShiPingCUC第76页，共135页，2023年，2月20日，星期六Copyright©2013.ShiPingCUC视频基本码流层次结构表语法规定的层次功能序列层随机存取段落图像组层随机存取视频单位图像层编码基本单位宏块条层重新同步单位宏块层运动补偿单位像块层DCT单位return第77页，共135页，2023年，2月20日，星期六H.264视频编码技术1、H.264概况目的：实现高效的视频编码和良好的网络亲和性ITU-T：VCEGISO/IEC：MPEGJVTH.264MPEG4AVCCopyright©2013.ShiPingCUC第78页，共135页，2023年，2月20日，星期六高效的视频编码良好的网络亲和性多种新技术所产生的细微效果积累而成。这些新技术包括：多种新的帧内预测方法可变尺寸块的运动补偿技术多参考帧的运动补偿技术

4x4整数变换技术环路滤波技术

······注重对移动和IP网络的适应，采用分层技术，从形式上将编码和信道隔离开来Copyright©2013.ShiPingCUC第79页，共135页，2023年，2月20日，星期六2、H.264视频编码器结构控制数据视频编码层（VCL）数据分区网络提取层（NAL）H.320H.324H.323/IPH.324/M编码的宏块编码的条/分区视频编码层：负责高效的视频内容表示网络提取层：负责按照网络所要求的适当方式对数据进行打包和传送Copyright©2013.ShiPingCUC第80页，共135页，2023年，2月20日，星期六很多标准都有不同的配置Profiles：算法集合Levels：能力的体现（分辨率、解码速度）H.264有3种profiles BaselineProfile(IPVideoPhone,simplestreaming)MainProfile(Broadcast,VOD)ExtendedProfile(StreamingMedia)H.264有16种levels，从QCIF到D-Cinema3、Profiles&LevelsCopyright©2013.ShiPingCUC第81页，共135页，2023年，2月20日，星期六ExtendedProfileSPframesSIframesFMORedundantslicesMainProfileBframesInterlaceCABACH.264ProfilesIframesPframesCAVLCBaselineProfile编码效率main>extended>baselineCopyright©2013.ShiPingCUC第82页，共135页，2023年，2月20日，星期六1）基本类：仅支持逐行视频，支持I帧和P帧编码，支持基于上下文的自适应变长码（CAVLC）。主要用于可视电话、会议电视、无线通信等实时视频通信；2）主类：包含所有基本类的功能，同时还支持隔行视频，支持B帧编码，支持基于上下文的自适应二进制算术编码（CABAC）。主要用于数字广播电视与数字视频存储（SDTV,HDTV,DVD）；3）扩展类：包含所有基本类的功能，同时还支持隔行视频，支持B/SP/SI帧编码。主要用于各种网络的视频流传输。4）高级类：在主类基础上新增：8x8帧内预测、自定义量化、无损视频编码、更多的yuv格式（4:4:4...）等。Copyright©2013.ShiPingCUC第83页，共135页，2023年，2月20日，星期六Copyright©2013.ShiPingCUC第84页，共135页，2023年，2月20日，星期六H.264LevelsCopyright©2013.ShiPingCUC第85页，共135页，2023年，2月20日，星期六Copyright©2013.ShiPingCUC

第86页，共135页，2023年，2月20日，星期六4、视频编码层包含核心压缩引擎，块、宏块以及条的语法级别的定义设计目标：在尽可能独立于网络的情况下实现高效编解码1）图像的划分

一个编码图像通常划分成若干宏块；一个宏块由一个16×16亮度像素和与之对应的一个8×8Cb和一个8×8Cr像素块组成；每个图象中，若干宏块被排列成片的形式。Copyright©2013.ShiPingCUC第87页，共135页，2023年，2月20日，星期六Slice#0Slice#1Slice#2图像（176x144）子宏块（8x8）宏块（16x16）像块Copyright©2013.ShiPingCUC第88页，共135页，2023年，2月20日，星期六片的编码类型：I片、P片、B片。I片只包含I宏块，P片可包含P/I宏块，B片可包含B/P/I宏块。I宏块利用从当前片中已解码的像素作为参考进行帧内预测（不能取其它片中的已解码像素作为参考进行帧内预测）。P宏块利用前面已编码图象作为参考图象进行帧间预测。B宏块则利用双向的参考图象（当前和未来的已编码图象帧）进行帧间预测。Copyright©2013.ShiPingCUC第89页，共135页，2023年，2月20日，星期六2）宏块编码结构EntropyCodingScaling&Inv.TransformMotion-CompensationControlDataQuant.

Transf.coeffsMotionDataIntra/InterCoderControlMotionEstimationTransform/

Scal./Quant.-InputVideoSignalSplitintoMacroblocks16x16pixels

Intra-frame

PredictionDe-blockingFilterOutputVideoSignalCopyright©2013.ShiPingCUC第90页，共135页，2023年，2月20日，星期六I帧编码的基本流程为：

(1)进行帧内预测，决定所采用的帧内预测模式。

(2)像素值减去预测值，得到残差。

(3)对残差进行变换和量化。

(4)变长编码和算术编码。

(5)重构图像并滤波，得到的图像作为其它帧的参考帧。

P帧和B帧编码的基本流程为：

(1)进行运动估计，计算采用帧间编码模式的率失真函数值。P帧只参考前面的帧，B帧可参考后面的帧。

(2)进行帧内预测，选取率失真函数值最小的帧内模式与帧间模式比较，确定采用哪种编码模式。

(3)计算实际值和预测值的差值。

(4)对残差进行变换和量化。

(5)熵编码，如果是帧间编码模式，编码运动矢量Copyright©2013.ShiPingCUC第91页，共135页，2023年，2月20日，星期六与以往的视频编码标准相同之处：

宏块大小是16x16

格式：4:2:0I，P，B图像类型基于块的变换量化

……

运动补偿帧内预测变换编码去块滤波熵编码改进之处：3）与以往的视频编码标准的异同：Copyright©2013.ShiPingCUC第92页，共135页，2023年，2月20日，星期六4）帧内预测亮度：intra4x49种预测模式intra16x164种预测模式色度：intra8x84种预测模式Copyright©2013.ShiPingCUC第93页，共135页，2023年，2月20日，星期六亮度4x4帧内预测模式（9种）模式0：垂直预测模式1：水平预测模式2：DC预测模式3：左下角对角线预测模式4：右下角对角线预测模式5：垂直偏右预测模式6：水平偏下预测模式7：垂直偏左预测模式8：水平偏上预测05461873Copyright©2013.ShiPingCUC第94页，共135页，2023年，2月20日，星期六举例MABCDEFGHIJKLabcdefghijklmnop垂直预测a=e=i=m=A;b=f=j=n=B;c=g=k=o=C;d=h=l=p=DMABCDEFGHIJKLabcdefghijklmnop水平预测a=b=c=d=I;e=f=g=h=J;i=j=k=l=K;m=n=o=p=LCopyright©2013.ShiPingCUC第95页，共135页，2023年，2月20日，星期六举例MABCDEFGHIJKLabcdefghijklmnopDC预测a~p这16个像素的预测值相同，均为：(A+B+C+D+I+J+K+L)/8或(A+B+C+D)/4或(I+J+K+L)/4或128MABCDEFGHIJKLabcdefghijklmnop左下角对角线预测a=(A+2B+C+2)/4b=e=(B+2C+D+2)/4c=f=i=(C+2D+E+2)/4d=g=j=m=(D+2E+F+2)/4h=k=n=(E+2F+G+2)/4l=o=(F+2G+H+2)p=(G+3H+2)/4Copyright©2013.ShiPingCUC第96页，共135页，2023年，2月20日，星期六亮度16x16帧内预测模式（4种）模式0：垂直预测模式1：水平预测模式2：DC预测模式3：平面预测色度8x8帧内预测模式（4种）模式0：DC预测模式1：水平预测模式2：垂直预测模式3：平面预测Copyright©2013.ShiPingCUC第97页，共135页，2023年，2月20日，星期六5）运动补偿

多参考帧可变块大小：树形结构运动补偿Copyright©2013.ShiPingCUC第98页，共135页，2023年，2月20日，星期六

采用大尺寸块时进行运动补偿时，块类型选择所需的比特数少，传送的运动矢量少，但相应的运动补偿误差较大，因而需要编码预测误差数据较多；采用小尺寸块进行运动补偿时，块类型选择所需的比特数多，传送的运动矢量多，但运动预测更加精确，运动补偿后的预测误差较小，所需的编码比特数相应减少。运动补偿块大小的选择对于压缩性能有较大影响，一般来说，大尺寸块比较适合图像中灰度均匀区域，而小尺寸块适合于有较多细节的区域。Copyright©2013.ShiPingCUC第99页，共135页，2023年，2月20日，星期六运动矢量预测精度：

1/4sampleaccuracyforY1/8forU&VCopyright©2013.ShiPingCUC第100页，共135页，2023年，2月20日，星期六6）变换和量化4x4整数变换：变换矩阵只有±1、±2取值，具有较小方块（意味着较少运算量）、整数变换、无乘法、16位运算位长的优点，避免了一向困扰视频编码的浮点IDCT失配问题；二次正交变换：改善图像中大面积平坦区域的编码性能：对16x16的亮度宏块的16个4x4块进行DCT变换后，将每个4x4块的DC系数(还没有经过量化)提取出来，组成一个4x4的亮度DC系数块，进行4x4的Hadamard变换；对8x8的色度宏块的4个4x4块进行DCT变换后，也将每个4x4块的DC系数提取出来，组成一个2x2的色度DC系数块，对其进行2x2的Hadamard变换。Copyright©2013.ShiPingCUC第101页，共135页，2023年，2月20日，星期六二次正交变换Copyright©2013.ShiPingCUC第102页，共135页，2023年，2月20日，星期六Copyright©2013.ShiPingCUC第103页，共135页，2023年，2月20日，星期六7）熵编码Entropycodingmode=0时，选择CAVLC编码ContextAdaptiveVariableLengthCodingEntropycodingmode=1时，选择CABAC编码Context-basedAdaptiveBinaryArithmeticCoding

BaselineProfile只支持mode0；而MainProfile或更高的Profile支持mode0&1。Copyright©2013.ShiPingCUC第104页，共135页，2023年，2月20日，星期六CAVLC与CABACCopyright©2013.ShiPingCUC第105页，共135页，2023年，2月20日，星期六5、数据划分数据划分：使一个片中的宏块数据重新组合，把宏块语义相关的数据组成一个划分，由划分来组装片。 在H.264中有三种不同的数据划分：

A划分-头信息划分：包含片中宏块的类型，量化参数和运动矢量，是片中最重要的信息。

B划分-帧内信息划分：包含帧内CBPs和帧内系数，帧内信息可以阻止错误的蔓延。

C划分-帧间信息划分：包含帧间CBPs和帧间系数，通常比前两个划分要大得多。

Copyright©2013.ShiPingCUC第106页，共135页，2023年，2月20日，星期六

帧内信息划分（B划分）结合头信息划分（A划分）解出帧内宏块；帧间信息划分（C划分）结合头信息划分（A划分）解出帧间宏块。帧间信息划分的重要性最低，对重同步没有贡献。当使用数据划分时，片中的数据根据其类型被保存到不同的缓存，同时片的大小也要调整，使得片中最大的划分小于MTU尺寸。解码端若获得所有的划分，就可以完整重构片；解码端若发现帧内信息或帧间信息划分丢失，可用的头信息仍然有很好的错误恢复性能。这是因为宏块类型和宏块的运动矢量含有宏块的基本特征。Copyright©2013.ShiPingCUC第107页，共135页，2023年，2月20日，星期六6、网络提取层负责将VCL产生的比特字符串适配到各种各样的网络和多元环境中，它覆盖了所有的片级以上的语法级别目的：良好的网络亲和性 H.264中的分层结构取消了序列层和图像层，并将原本属于序列和图像头部的大部分句法元素游离出来形成序列和图像两级参数集，其余的部分则放入片层。Copyright©2013.ShiPingCUC第108页，共135页，2023年，2月20日，星期六NALunit：NAL的基本语法结构，包含整数个字节。其中第一个字节是头信息，其后是一系列原始字节序列载荷（RBSP）。NALU定义了可用于基于分组和基于比特流系统的基本格式1）NAL单元RBSP：在编码的原始数据后面填加了结尾比特（一个bit“1”若干比特“0”），以便字节对齐Copyright©2013.ShiPingCUC第109页，共135页，2023年，2月20日，星期六NALheaderNALU类型（5bit）：说明当前NAL单元的类型；重要性指示（2bit）：标志该NAL单元用于重建时的重要性，值越大，越重要。如果当前NAL是属于参考帧的片，或是序列参数集，或是图像参数集等重要信息时，本句法元素必需大于0；禁止位（1bit）：网络发现NAL单元有比特错误时可设置该比特为1，以便接收方丢掉该单元。Copyright©2013.ShiPingCUC第110页，共135页，2023年，2月20日，星期六0：未规定1：非IDR图像中不采用数据划分的片段2：非IDR图像中A类数据划分片段3：非IDR图像中B类数据划分片段4：非IDR图像中C类数据划分片段5：IDR图像的片段6：补充增强信息(SEI)7：序列参数集8：图像参数集9：分割符10：序列结束符11：流结束符12：填充数据13–23：保留24–31：未规定Copyright©2013.ShiPingCUC第111页，共135页，2023年，2月20日，星期六NAL单元分为VCL和非VCL两种：VCLNAL单元：包含图像编码数据；非VCLNAL单元：包含各种有关的附加信息，例如参数集、附加信息、定时信息等Copyright©2013.ShiPingCUC第112页，共135页，2023年，2月20日，星期六NAL提供了一个编解码器与传输网络的通用接口，而对于不同的网络环境，具体的实现方案是不同的。对于基于流的传输系统如H.320、MPEG等，需要按照解码顺序组织NAL单元，并为每个NAL单元前添加三个字节的起始码ox000001。如果该NALU对应的slice为一帧的开始则用4位字节表示：ox00000001；对于RTP/UDP/IP系统，则可以直接将编码器输出的NAL单元作为RTP的有效载荷；而对于同时提供多个逻辑信道的传输系统，甚至可以根据重要性将不同类型的NAL单元在不同服务质量的信道中传输Copyright©2013.ShiPingCUC第113页，共135页，2023年，2月20日，星期六序列参数集(SPS)：序列头信息，用于一系列相继的视频图像的解码图像参数集(PPS)：图像头信息，用于视频序列中一个或多个图像的解码2）参数集参数集是一个独立的数据单位，不依赖于参数集外的其他句法元素。参数集只是在片层句法元素需要的时候被引用，而且，一个参数集并不对应某个特定的图像或序列，同一个序列参数集可以被多个序列中的图像参数集引用，同理，同一个图像参数集也可以被多个图像引用。只在编码器认为需要更新参数集的内容时，才会发送出新的参数集。在这种机制下，由于参数集是独立的，可以被多次重发或者采用特殊技术加以保护。Copyright©2013.ShiPingCUC第114页，共135页，2023年，2月20日，星期六SPS#1PPS#1Slice#1PPS=1SPS#2PPS#2PPS#3Slice#2PPS=1Slice#3PPS=2Slice#4PPS=3序列和图像参数集机制，减少了重复参数的传送每个VCLNAL单元包含一个标识，指向有关的图像参数集每个图像参数集包含一个标识，指向有关的序列参数集因此，只用少数的指针信息就可引用大量的参数，大大减少每个VCLNAL单元重复传送的信息。序列和图像参数集可以在发送VCLNAL单元以前发送，并且重复传送，大大提高纠错能力。序列和图像参数集可以在“带内”，也可以用更为可靠的其他“带外”通道传送。Copyright©2013.ShiPingCUC第115页，共135页，2023年，2月20日，星期六3）码流结构NAL单元流：包含一个或多个编码的视频序列NAL单元流—编码的视频序列—存取单元—NAL单元编码的视频序列：包含一组在NAL单元流中连续排列的且使用同一个序列参数集的存取单元。每个编码的视频序列可以独立解码。在编码的视频序列中，第一帧是IDR（即时解码刷新）帧存取单元：包含一组NAL单元，对应一帧图像的编码数据。在存取单元之前，通常要有分隔符以指示存取单元的起始。有时还有SEI（补充增强信息，包含图像定时信息），Copyright©2013.ShiPingCUC第116页，共135页，2023年，2月20日，星期六IDR帧IDR帧一定是I帧，但I帧不一定是IDR帧。一个序列中只有一个IDR帧，但可以有很多I帧。I帧之后的帧可以引用I帧之间的帧做运动参考，但IDR帧之后的帧永远不会引用IDR帧之前的帧来解码。H.264引入IDR帧是为了解码的重同步。当解码器解码到IDR帧时，立即将参考帧队列清空，将已解码的数据全部输出或抛弃，重新查找参数集，开始一个新的序列。这样，如果在前一个序列的传输中发生重大错误，如严重的丢包，或其他原因引起数据错位，在这里可以获得重新同步。Co