第四章 数字电视压缩原理

第四章数字电视压缩原理第1页，共70页，2023年，2月20日，星期三一数字电视信号压缩的必要性和可能性1.1压缩的必要性：电视信号数字化后：数码率高，数据量大。例如：4：2：2编码、8比特量化的SDTV信号，其数码率为216Mbps。若按每2bit构成一个周期，则传输这样一路数字电视信号需要有108MHz的通道带宽。4：2：2编码、8比特量化时，一帧SDTV图像的数据量约为8.6Mb，要记录10分钟的电视节目就需要130Gb的存储器容量。综上所述，要实现数字电视信号的有效存储和传输，就需要采取措施降低其数据量和数码率第2页，共70页，2023年，2月20日，星期三1.2压缩的可能性压缩过程：去除图像中与信息无关或对图像质量影响不大的部分，即冗余部分。电视信号中存在很多这样的冗余部分，这就为压缩提供了可能性。电视信号的冗余性表现在以下几个方面：空间相关冗余时间相关冗余视觉冗余熵冗余第3页，共70页，2023年，2月20日，星期三空间相关冗余水平相关垂直相关第4页，共70页，2023年，2月20日，星期三时间相关冗余（帧间相关冗余）t＝t1t＝t2第5页，共70页，2023年，2月20日，星期三人眼视觉冗余人眼视觉特性：对静止或缓慢运动图像的灰度等级及图像细节的分辨力高对快速运动图像的灰度等级及图像细节的分辨力低观察大面积图像时，对灰度等级分辨力高，对细节分辨力低观察细节时，对灰度等级分辨力低，对细节分辨力高第6页，共70页，2023年，2月20日，星期三利用人眼的视觉特性对静止或缓慢运动图像：减小帧率在图像细节部分选择较高的取样频率和较低的量化比特数在大面积像块区域选择较低的取样频率和较高的量化比特数对快速运动图像：提高帧率降低取样频率和量化比特数第7页，共70页，2023年，2月20日，星期三自信息量定义：指某个随机事件（或消息）发生后所提供的信息数量的多少任意随机事件的自信息量为该事件发生概率的倒数的对数。熵冗余第8页，共70页，2023年，2月20日，星期三信源熵（信源每个符号的平均信息量）：P(xi)是符号xi出现的概率平均码长（每个符号的平均编码长度）：熵冗余＝平均码长－信息熵li是符号xi的编码码长第9页，共70页，2023年，2月20日，星期三例如：某一图像总共可出现4个灰度级，对每个灰度级进行二进制定长编码时，码长为2比特，即L＝2bit/符号。当每个灰度级出现的概率相等，即都为1/4时：当每个灰度级出现的概率不相等时：设灰度级1～4的概率分别为1/8、3/8、3/8、1/8，熵冗余＝L–H＝2－1.81＝0.19bit/符号熵冗余＝L–H＝

2－2＝0bit/符号第10页，共70页，2023年，2月20日，星期三若采用变长编码方式，对概率大的符号赋予短码，对概率小的符号赋予长码，则可降低平均码长L熵冗余＝1.875－1.81＝0.065bit/符号例如，灰度级13/81

灰度级23/801

灰度级31/8001

灰度级41/8000所以，采用变长编码可降低信源熵冗余第11页，共70页，2023年，2月20日，星期三二压缩编码方式2.1压缩方式分类按无损压缩和有损压缩进行分类：无损压缩编码、有损压缩编码按帧内压缩和帧间压缩进行分类：帧内压缩编码、帧间压缩编码按压缩编码原理进行分类：预测编码、变换编码、熵编码第12页，共70页，2023年，2月20日，星期三2.2预测编码2.2.1预测编码的基本原理预测编码传送的不是实际像素值，而是实际值与其预测值之间的差值，即预测误差。像素的预测值由其在时间和空间上相邻的若干个像素的线性组合产生，它反映了在预测区域内各像素的共性部分，因此用像素的实际值减去其预测值就可基本去除像素间的相关性。第13页，共70页，2023年，2月20日，星期三预测器＋＋en’Xn’预测器＋－Xnenen’量化器编码器传输通道解码器输入输出＋＋en’＝en

＋Δx＝Xn－＋ΔxXn’＝en’＋＝Xn

＋Δx若不考虑量化器的影响，则有Xn’＝Xn（无损压缩）Δx：量化误差第14页，共70页，2023年，2月20日，星期三预测编码的压缩效果取决于预测器的预测精度，精度越高，预测误差越小，量化时所需的量化比特数就越少，压缩率也就越高。一般来说，参与预测的像素数越多，预测值就越精确，但同时预测器电路组成也就越复杂。利用相关像素值x1、x2……xn-1来预测当前像素值：a1、a2······an-1称为相关系数，且满足：

第15页，共70页，2023年，2月20日，星期三2.2.2帧内预测编码X1X2X3X4X5X6X7上一行相隔行当前行当前像素a6a4a3a2D6D4D3D2输入由距X7最近的四个像素X6、X4、X3、X2参与对X7的预测。相关系数为：a6＝1/2、a4＝a2＝1/8、a3＝1/4，则：＝1/2X6＋1/8X4＋1/4X3＋1/8X2D6＝TS（TS为取样周期）D4＝TH－TS（TH为行周期）D3＝THD2＝TH＋TS第16页，共70页，2023年，2月20日，星期三2.2.3帧间预测编码帧存储器＋－Xnenen’量化器编码器输入输出＋＋第17页，共70页，2023年，2月20日，星期三2.3变换编码2.3.1变换编码基本原理像素块化传输通道熵解码输入输出发端收端熵编码量化器反量化器正交变换正交反变换通过一种线性运算关系将空间域的图像信号变换到变换域或频率域的正交矢量空间，然后进行编码。第18页，共70页，2023年，2月20日，星期三变换编码的特点：在变换域中描述视频图像要比在空间域中简单；视频图像的相关性明显下降，信号的能量主要集中在少数几个变换系数上，采用量化和熵编码可有效地压缩其数据量；可充分利用人眼的视觉特性；具有较强的抗干扰能力，传输过程中的误码对图像质量的影响远小于预测编码；

DCT等变换有快速算法，能实现实时视频处理。第19页，共70页，2023年，2月20日，星期三2.3.2离散余弦变换设图像块的样点数为N×N，其样值方阵用f(x,y)表示，则二维离散余弦变换的公式为：第20页，共70页，2023年，2月20日，星期三F(u,v)=图像分块及变换：通常将图像分解成8×8的像素块，然后进行DCT变换。变换后得到由8×8频域系数组成的矩阵。F00：DC系数，代表该像素块的直流分量或平均亮度值其它为AC系数第21页，共70页，2023年，2月20日，星期三一般电视图像的构成都是以大、中面积内容为主，精细内容较少，因而可估计到，系数矩阵中左上方的系数值会大些，而越接近右下角，系数值会越小f(x,y)=F(u,v)=第22页，共70页，2023年，2月20日，星期三DCT系数量化:利用人眼的视觉冗余性,对系数矩阵左上角附近的系数进行细量化（量化间隔小）而对右下角附近的系数进行粗量化（量化间隔大），然后对量化后的系数取整。其具体实现方法:F’(u,v)＝F(u,v)/Q(u,v)Q(u,v)=F’(u,v)=第23页，共70页，2023年，2月20日，星期三Z形扫描和游程编码:F’(u,v)=Z形读出：79，0，－2，－1，－1，－1，0，0，－1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0游程编码：（0，79），（1，－2）（0，－1），（0，－1）（0，－1），（2，－1）EOB游程编码:将一维序列用二维数组(run,level)表示。run：表示连零的长度level:表示连零之后出现的第一个非零值当所有值都为零时用符号EOB表示第24页，共70页，2023年，2月20日，星期三2.4熵编码按信源符号出现概率的不同分配给不同长度的码字比特数。即出现概率大的符号编码码字短，出现概率小的符号编码码字长。也称可变长编码（VLC）前提条件：必须知道每个符号的出现概率特点：具有单义可译性。即：任何一个长码都不会是另两个短码复合而成，任何一个短码不会是另一个长码的前缀。因此，收信端可从接收到的码字串中分断开每个码字，不会发生码字混淆。第25页，共70页，2023年，2月20日，星期三基本原理：将信源发出的符号按出现概率的大小次序排列；对两个概率最小的符号分别赋以“0”、“1”，并将这两个概率相加之后作为一个新符号的概率；对符号概率重新排队后再取两个概率最小的符号分别赋以“0”、“1”，并将这两个概率相加；依此类推，直到所有概率相加得到1为止；由后向前沿各支路逐一写出“0”、“1”，此码字即为霍夫曼编码码字。2.4.1霍夫曼编码第26页，共70页，2023年，2月20日，星期三例如：

设信源各符号出现的概率为：

xi：x1x2x3x4x5x6x7x8

Pi：0.200.190.180.170.150.100.0050.005符号(xi)概率(Pi)x1x2x3x4x5x6x7x80.200.190.180.170.150.100.0050.005010.01010.11100.26010.35010.39010.61011.00码字(wi)010011111010110011000110000码长(ni)22333455第27页，共70页，2023年，2月20日，星期三信源熵：采用等长编码方式时，每个符号需要3bit，即平均码长为3bit/符号，熵冗余为0.38bit/符号。采用可变长编码时，平均码长为：熵冗余为0.11bit/符号第28页，共70页，2023年，2月20日，星期三像素块矩阵经DCT变换、量化和Z形扫描后：2.4.2DCT系数的熵编码DC系数：差值编码（DPCM），熵编码；即：DIFF＝DCi－DCi-1对DIFF进行熵编码AC系数：游程编码，熵编码第29页，共70页，2023年，2月20日，星期三DC系数的DIFF熵编码（查表法）DIFF码字1码字20000-1，10100，1-3，-2，2，301100，01，10，11-7...-4，4…7100000…011，100…111-15…-8，8…151010000…0111，1000…1111-31…16，16…31110…-63…-32，32…631110…-127…-64，64…12711110…-255…-128，128…255111110…-511…-256，256…5111111110…-1023…-512，512…102311111110…-2047…-1024，1024…2047111111110…编码码字＝码字1＋码字2若DIFF＝2，则码字为01110第30页，共70页，2023年，2月20日，星期三AC系数熵编码（表1）AC系数位长码字2000-1，110，1-3，-2，2，3200，01，10，11-7...-4，4…73000…011，100…111-15…-8，8…1540000…0111，1000…1111-31…16，16…315…-63…-32，32…636…-127…-64，64…1277…-255…-128，128…2558…-511…-256，256…5119…-1023…-512，512…102310…第31页，共70页，2023年，2月20日，星期三AC系数熵编码（表2）游程/位长码字10/0(EOB)10100/1000/2010/31000/410110/5110100/611110000/7111110000/811111101100/911111111100000100/101111111110000011游程/位长码字11/111001/2110111/311110011/41111101101/5111111101101/611111111100001001/711111111100001011/811111111100001101/911111111100001111/101111111110001000……第32页，共70页，2023年，2月20日，星期三F’(u,v)=AC系数游程编码：（1，－2）（0，－1），（0，－1）（0，－1），（2，－1）EOB对于（1，－2）：AC系数为－2，前面有1个零查表1可知，其对应的“游程/位长”是1/2，码字2为01查表2可知，1/2对应的码字1为11011所以，对（1，－2）进行熵编码的码字为1101101第33页，共70页，2023年，2月20日，星期三2.5运动估计与运动补偿运动估计：对运动物体的位移作出估计，即求出运动矢量运动补偿：按照运动矢量，对上一帧做位移，然后求出对当前帧的预测值。运动矢量运动估计运动补偿前一帧当前帧预测的当前帧编码差值图像第34页，共70页，2023年，2月20日，星期三运动补偿帧间预测编码方框图：＋－输入量化器反量化器帧存储器运动补偿运动估测编码器输出当前帧预测帧运动矢量帧差信号＋＋第35页，共70页，2023年，2月20日，星期三运动估计块匹配法：将图像分成若干个大小为M×N的子像块，假定同一子像块内所有像素具有相同的位移。假定帧间最大水平位移和最大垂直位移分别为Wx和Wy个像素；对于当前帧的每一个块在前一帧相应位置开辟大小为(M+2Wx)×(N+2Wy)的一块搜索区；在搜索区内求出当前帧对应块的最佳匹配块；求出运动矢量。第36页，共70页，2023年，2月20日，星期三前一帧搜索区当前帧像素块M+2WxN+2WyWxWxWyWyNM第37页，共70页，2023年，2月20日，星期三jij：垂直位移量i：水平位移量第38页，共70页，2023年，2月20日，星期三块匹配准则：均方误差（MSE）最小准则绝对误差均值（MAD）最小准则第39页，共70页，2023年，2月20日，星期三最大归一化互相关函数（NCCF）准则第40页，共70页，2023年，2月20日，星期三搜索方法：穷尽搜索法：对搜索区域内的每一点都用匹配准则进行计算。二维对数法三步搜索法分块全搜索法：第41页，共70页，2023年，2月20日，星期三三视频压缩国际标准1、视频编码图像格式标准CCIR601ISO/MPEG-1CCITTH.261参数PALNTSCSIFCIFQCIF帧频2530253030每帧有效行数YCRCB5762882884802402402881441442401201202881441441447272每行有效象素数YCRCB720360360360（352）180（176）180（176）3521761761768888第42页，共70页，2023年，2月20日，星期三

H.2612、视频压缩标准概述视频电话和视频会议压缩编码标准CCITT1984年开始研究，1990年正式成为标准应用：视频电话、视频会议，传输网络为ISDN（综合业务数据网，64kb/s～2.048Mb/s）图像格式：CIF、QCIF，最大帧频为30Hz，逐行扫描码率：p×64kb/s（p＝1~30）。p＝1、2时，只支持QCIF格式，用于视频电话。p≥6时，支持CIF格式，可用于视频会议。压缩方式：DCT、帧间预测编码第43页，共70页，2023年，2月20日，星期三

JPEG

JointPhotographicExpertsGroup（静止图像专家组）静止图像压缩标准1986年开始研究，1992通过标准的第一部分应用：静止图像的压缩压缩方式：DCT8×8像素块Z形扫描DCT变换系数量化DC:DPCMAC:RLC熵编码熵编码MotionJPEG第44页，共70页，2023年，2月20日，星期三

JPEG2000静止图像压缩标准1997年开始研究，2000通过标准应用：静止图像的压缩压缩方式：小波变化特点：良好的低比特率压缩性能按照图像质量或分辨率的累进式传输支持有损和无损压缩对码流的随机存取和感兴趣区域（ROI）的编码MotionJPEG2000第45页，共70页，2023年，2月20日，星期三

MPEG-1MovingPictureExpertGroup（活动图像专家组）视频及其伴音的压缩标准1988年开始研究，1992成为正式标准应用：数字存储媒体（如VCD等），交互式多媒体系统图像格式：SIF（4:2:0），逐行扫描码率：1.5Mb/s压缩方式：DCT，帧间预测编码第46页，共70页，2023年，2月20日，星期三

MPEG-2活动图像及其伴音信息的通用编码1990年开始制定，1994年成为正式标准应用：SDTV，HDTV，DVD等图像格式：CCIR601等多种格式（4:2:2，4:4:4，4:2:0），逐行扫描，隔行扫描压缩方式：DCT，帧间预测编码有多种档次：5个型，4个级与MPEG-1兼容第47页，共70页，2023年，2月20日，星期三

H.263低码率图像压缩编码标准ITU-T1995推出草案应用：视频电话、多媒体通信、移动通信、远程监控系统等，传输网络为PSTN（公用电话交换网）图像格式：CIF、QCIF、sub-QCIF（Y：128×96，CR/CB：64×48），最大帧频为30Hz，逐行扫描压缩方式：DCT、帧间预测编码第48页，共70页，2023年，2月20日，星期三

MPEG-4基于内容的压缩编码标准1993年开始制定，1999年成为正式标准应用：交互式多媒体应用、移动通信、个人通信等图像格式：多种格式，逐行扫描，隔行扫描特点：编码对象是图像中的音频和视频对象（AV对象）形状编码分级编码第49页，共70页，2023年，2月20日，星期三

MPEG-7多媒体内容描述接口由MPEG组织于1996开始研究，2001年公布目的：对各种多媒体信息的描述进行标准化，从而使用户对感兴趣的素材进行快速而高效的检索。MPEG-7包括：描述符、描述方案、描述定义语言、编码方案。应用：数字图书馆、数据库、多媒体目录服务等第50页，共70页，2023年，2月20日，星期三

MPEG-21多媒体框架目标：建立一个交互式的多媒体框架，协调各个标准之间的配套衔接。通过网络和设备可存取、使用并交互操作各种多媒体对象，实现多种业务。第51页，共70页，2023年，2月20日，星期三四、MPEG-2视频部分4.1MPEG概况MPEG：属于ISO/IEC下属的联合技术委员会任务：制定活动图像的压缩编码标准，压缩码率为1.5Mb/s10Mb/s40Mb/s－MPEG-1（1992，ISO/IEC11172）－MPEG-2（1994，ISO/IEC13818）－MPEG-3（1992，撤销）第52页，共70页，2023年，2月20日，星期三MPEG视频部分框图IDCT反量化VLC解码缓冲器(b)解码过程DCT量化VLC缓冲器(a)编码过程码率控制第53页，共70页，2023年，2月20日，星期三4.2MPEG-2的型和级型级简单型SP4:2:0主型MP4:2:0SNR可分级型SNP4:2:0空间可分级型SSP4:2:0高级型HP4:2:04:2:2高级HL1920×1080×301920×1152×25－MP@HLI,P,B80Mb/s－－HP@HLI,P,B100Mb/sH-1440L1440×1080×301440×1152×25－MP@H1440LI,P,B60Mb/s－SSP@H1440LI,P,B60Mb/sHP@H1440LI,P,B80Mb/s主级ML720×480×30720×576×25SP@MLI,P15Mb/sMP@MLI,P,B15Mb/sSNP@MLI,P,B15Mb/s－HP@MLI,P,B20Mb/s低级LL352×240×30352×288×25－MP@LLI,P,B4Mb/sSNP@LLI,P,B4Mb/s－－第54页，共70页，2023年，2月20日，星期三4.3图像编码帧类型I帧（帧内编码帧）仅利用该帧图像本身的信息进行编码DCT、量化、熵编码等I帧提供了进入压缩图像数据序列的随机访问点，便于对图像进行编辑。一般应用中，一秒钟出现两个I帧压缩比：（2～5）：1第55页，共70页，2023年，2月20日，星期三P帧（前向预测帧）利用前面最靠近的I帧或P帧图像作参考帧，经运动预测编码得到的图像。压缩比：（5～10）：1P帧可以作为B帧和后面的P帧的参考帧P帧会使误码传递下去第56页，共70页，2023年，2月20日，星期三B帧（双向预测帧）利用过去及将来的I帧或P帧作参考帧，经运动预测编码得到的图像。压缩比：（20～30）：1B帧不用作参考帧B帧不会使误码传递下去通常在两个参考帧之间安排两个B帧第57页，共70页，2023年，2月20日，星期三编码图像的显示顺序和传送顺序IBBPBBPBBPBBI12345678910111213IBPBBPBBPBBIB14237561089131112图像的显示顺序图像的传送顺序第58页，共70页，2023年，2月20日，星期三4.4MPEG2视频编、解码器框图帧重排运动补偿运动估计帧内/帧间模式判别DCT量化VLC帧间帧内反量化反DCTK1K2运动矢量去VLCI帧存P帧存K4K3I、BPI、PB信源数据＋＋＋－A2A1缓冲器量化控制编码器第59页，共70页，2023年，2月20日，星期三解码器反量化反DCT帧重排I(P)帧存P帧存MV2MV1BI、PMC值输入码流图像数据VLD量化步长量化表选择第60页，共70页，2023年，2月20日，星期三4.5视频基本码流（ES流）的组成像块宏块宏块条像块像块宏块宏块宏块条宏块条图像图像图像图像组图像组图像组图像序列第61页，共70页，2023年，2月20日，星期三4.5.1像块8×8像素阵列，DCT变换单元可以是Y像块或CB、CR像块第62页，共70页，2023年，2月20日，星期三4.5.2宏块由16×16像素的Y阵列和相应画面区域内的