04-2图像信息处理技术课件

第四章图像信息处理技术(2)104-2图像信息处理技术4.9活动图像压缩编码标准204-2图像信息处理技术一、活动图像编码概述活动图像由图像序列组成电视信号动画图像低速图像数字化后的图像信号称为数字图像。活动图像的编码要求实时和高效。04-2图像信息处理技术图1活动图像编码传输系统活动图像编码传输系统系统中有两个传输缓冲存储器，随着图像内容的变化，活动图像编码输出是不均匀码流，与信道的传输特性不相适应，利用缓冲存储器来存储数据流，保证数据能不间断地匀速输出。04-2图像信息处理技术图像编码应用层次：标准数字电视：图像分辨率为720×576，采用ISOMPEG―2标准，约8Mb/s的码率可以达到演播室级的图像质量要求。地面广播时，采用现代数字调制技术，可在一路8MHz信道传送4路标准数字电视。会议电视：图像分辨率为352×288，采用ITU―TH.261建议，码率为n×64kb／s(n=1～30)，属中、低速码率的图像压缩。一般认为，码率为384kb／s(n=6)以上时，图像质量才比较满意。04-2图像信息处理技术视频压缩编码标准H系列H.261H.263、H.264MPEG系列MPEG-1MPEG-2MEPG-4等等。常见视频编码标准的视频信号格式如表4.9-1所示。04-2图像信息处理技术数字影碟机：

图像分辨率为352×288，国际标准为MPEG―1，码率为1.5Mb／s，其中约1.2Mb／s用于图像，其余用于声音和同步。可达到VHS录像带图像质量。可视电话：

图像分辨率为176×144，采用ITU―TH.263建议，码率为64kb／s以下，经调制解调后，能在现有的模拟电话线上传送活动的彩色电视电话图像，因此也称为极低码率的图像编码。

高清晰度电视：图像分辨率可高达1920×1080，具有两倍于现有标准的水平和垂直清晰度，采用ISOMPEG―2标准，码率约为20Mb／s。04-2图像信息处理技术表4.9-1常见视频编码标准信号格式804-2图像信息处理技术视觉特性静态图像人眼对静止图像分辨力较高，要有较高的分辨率，却可以减少传输帧数。运动图像人眼对于图像中运动物体的分辨率随着物体运动速率的增大而降低，可以降低这部分图像的分辨率，物体的运动速度越高，可用越低的分辨率进行传输。缓慢变化图像对于变化缓慢的图像，帧间相关性强，宜采用帧间预测；904-2图像信息处理技术帧内编码：利用每幅图像内部的相关性进行帧内压缩编码；变换编码：DCT、MDCT、小波变换预测编码：DPCM帧间编码利用相邻帧之间的相关性进行帧间压缩编码；运动补偿预测编码混合编码：变换编码和预测编码相结合的编码方法。活动图像编码方法1004-2图像信息处理技术二、运动补偿预测编码对于运动的物体，估计出物体在相邻帧内的相对位移，用上一帧中物体的图像对当前帧的物体进行预测，将预测的差值部分编码传输，就可以压缩这部分图像的码率。1104-2图像信息处理技术帧间预测编码帧间预测将画面分为三种区域：背景区：相邻的帧背景区的绝大部分数据相同，帧间相关性很强。运动物体区：若将物体运动近似看作简单的平移，则相邻帧的运动区的数据也基本相同。假如能采用某种位移估值方法对位移量进行“运动补偿”，那么两帧的运动区之间的相关性也是很强的。暴露区：是指物体运动后所暴露出的曾被物体遮盖住的区域。如果存储器将暴露区的数据暂存，则再次遮盖后暴露出来的数据与存储的数据相同。1204-2图像信息处理技术1、运动补偿和运动估值运动补偿如果要对运动区域进行预测，首先要估计出运动物体的运动矢量V，然后再根据运动矢量进行补偿，即找出物体在前一帧的区域位置，求出比较小的预测误差。通过运动补偿，减少帧间误差，提高压缩效率1304-2图像信息处理技术物体的划分：划分静止区域和运动区域。运动估计：对每一个运动物体进行位移估计。运动补偿：由位移的估值建立同一运动物体在不同帧的空间位置对应关系，从而建立了预测关系。补偿后的预测信息编码：对运动物体的补偿后的位移帧差信号(DFD)，以及运动矢量等进行编码传输。块匹配运动补偿预测把一幅图像分为互不重叠的N×N像素的子块，对每个子块估计位移（运动）矢量，将它编码传送到接收端。运动补偿帧间预测编码过程：1404-2图像信息处理技术像素递归法（PRA）对每个像素的位移进行递归估计对多运动画面的适应能力强，但只能跟踪较小的位移（2～3像素/帧），块匹配法（BMA）把图像划分为很多适当大小的小块，再设法区分是运动的小块还是静止的小块，并寻找小块的运动矢量精度低于PRA，但其位移跟踪能力强（不低于6～7像素/帧），且实现简单，尤其适合于物体作平移运动运动矢量的估计算法：1504-2图像信息处理技术块匹配法全搜索算法：估计像素的位移(运动)时，取以该像素为中心的一个子块，在前一帧图像中寻找一个与之最匹配(相关最大)的子块，该子块中心与当前像素的位移即为估计的位移(运动)矢量。简单搜索法三步搜索算法TSS(ThreeStepSearch)：在三步法中，搜索范围为±8，即在上一帧以当前子块为原点，将当前子块在其上下左右距离为8的范围内按一定规则移动，每移动到一个位置，取出同样大小的子块与当前子块进行匹配计算。1604-2图像信息处理技术全搜索法搜索过程A为当前帧（第k帧）中的一个待处理的子块，我们在其前一帧（第k-1帧）以A为中心、上下各距dy个像素、左右各距dx个像素的区域B内寻找一个与A最近似的子块C，它与A的坐标偏移量即为估计的运动矢量V。B是一个尺寸为(M+2dx)×(N+2dy)的窗口，又称搜索窗。图4.5-3块匹配算法示意图1704-2图像信息处理技术块匹配过程匹配的过程就是求误差函数的最小值的过程匹配准则：均方误差准则绝对误差准则1804-2图像信息处理技术三、ITU―TH.261标准在视频压缩的国际标准中，首次采用了DCT加帧间运动补偿预测的混合编码模式。它规范的数据格式、编码器模块结构、编码输出码流的层次结构以及开放的编码控制与实现策略等技术，对后来制定的视频编码标准产生了深远的影响。1990年7月ITU―T通过H.261建议——“n×64kb/s视听业务的视频编解码器”。其中,n=1～30。该标准的应用目标是会议电视和可视电话，通常n=1，2时适用于可视电话，n大于6时可以适用于会议电视业务。1904-2图像信息处理技术图4.9-1H.261标准的视频编解码系统框图2004-2图像信息处理技术H.261采用的是“混合编码”法：帧间预测(DPCM)帧内变换(2D―DCT)若前后两帧很相似，则编码器进行帧间预测，然后对所得的帧间预测误差进行二维离散余弦变换(2D―DCT)；若前后两帧图像不很相似，则对该当前帧图像进行帧内DCT编码，即把该帧图像中每一个8×8块进行DCT，再对所得的DCT系数进行量化，然后把所得的量化值进行二维变长编码。2104-2图像信息处理技术1、H.261标准视频编码器原理2204-2图像信息处理技术编码器主要由帧间预测、帧内分块变换和量化组成。输入的数字视频信号，经过：对帧序列中的第一幅图像或景物变换后的第一幅图像，采用帧内变换编码而帧间采用混合编码方法。变换后的系数经二维游程编码后送至量化单元。2304-2图像信息处理技术两个双向选择开关由编码控制器控制，当它们同时接到上边时，输入信号直接进行DCT变换，然后再量化输出，因此编码器工作在帧内编码模式。当双向开关同时接到下方时，输入信号与预测信号相减，然后将预测误差进行DCT变换，再进行量化输出，因此编码器是帧间预测与DCT组成的混合编码器，这时称编码器工作在帧间编码模式。根据应用的需要，还可以加入运动估计和补偿，改善帧间预测的效果。2404-2图像信息处理技术2、视频数据复用格式为了便于不同制式彩色电视信号的互连，ITU提出先把不同制式彩色电视信号都转换成公共中间格式，ITU-T的H.261标准中，规定了输入数字视频格式为CIF(公共中间格式）或QCIF（1/4CIF）。2504-2图像信息处理技术公共中间格式

（CommonIntermediateFormat,CIF格式）亮度信号按每行352个像素，每帧288行进行正交抽样，抽样频率为6.75MHz；行（44*8）*列（36*8）（8*8像素块）色差信号按每行176个像素，每帧144行进行正交抽样，抽样频率为3.375MHz；行（22*8）*列（18*8）两个色差29.97帧/秒逐行扫描。每帧2376块2604-2图像信息处理技术QCIF(QuarterCIF)格式QCIF(QuarterCIF)格式亮度和色度样点数在水平和垂直方向都减半亮度信号为176×144；色差信号为88×72；29.97帧/秒逐行扫描；2704-2图像信息处理技术一帧图像数据CIF格式每帧图像(Picture)分为12个块组GOB(GroupofBlocks）;每个GOB包括33个宏块MB(Macroblock）;每个宏块有6个块B(Block），其中4个亮度块和2个色度块，块由8×8像素数据（变换系数TC）组成，像素是CIF格式中最基本的编码单位。CIF格式图像层次结构如图所示。QCIF格式3个GOB6*33*12=23762804-2图像信息处理技术图

CIF格式图像层次结构一帧图像P一个块组GOB一个块组MB一个块B2904-2图像信息处理技术H.261规定：MB是作运动估计的基本单元B是作DCT的基本单元。对每个亮度MB进行带运动估计的帧间预测，由此得到的运动矢量也同样用于色度像块，从而在编码过程中尽可能多地消除其时间冗余度。3004-2图像信息处理技术CIF和QCIF的数据结构CIF和QCIF的数据结构分为四个层次：(1)图像层：由图像头和块组数据组成，图像头由一个20比特的图像起始码、视频格式和时间参数(帧数)等标志信息组成(2)块组层：由块组头和宏块数据组成。块组头由16比特的块组起始码、块组编号和量化步长等组成。(3)宏块层：由宏块头和块数据组成。宏块头由宏块地址、宏块类型和量化步长等组成(4)块层：由变换系数（TC）和块结束符（EOB）等组成。3104-2图像信息处理技术H.261数据结构示意图3204-2图像信息处理技术3、压缩编码模式编码器在编码时为每个宏块选择一种压缩模式帧内模式还是帧间预测模式是否需要传送运动矢量是否要改变量化器的量化步长等基本的判决准则：那种模式给出较小的编码比特如果经判决采用帧间模式，则经运动补偿的预测误差，即当前块和最佳匹配预测块之间的帧差被编码发送。否则，当前块就以帧内模式编码发送，将图像数据直接进行DCT。量化步长调节3304-2图像信息处理技术表4.9-2H.261标准的各种编码模式及其码字3404-2图像信息处理技术4.BCH纠错为了提高信道的抗误码能力，H.261采用了一种叫BCH(511,493)的纠错编码，一个纠错帧中自动纠正2bit的错误。5.编码控制编码中采用了变长编码技术，经压缩编码后的数据是速率不均匀的码流，为了以恒定速率在通信网中传送，用缓冲存储器进行数据的平滑。根据缓冲存储器当前已缓存的数据量3504-2图像信息处理技术MPEG(MotionPictureExpertsGroup)是运动图像专家小组的英文缩写。其任务是给用于数字存储介质、电视广播和通信的活动图像和伴音制定一系列的编码方法，专家组先后制定了MPEG-1、MEPG-2和MPEG-4、MPEG-7和MPEG-21等标准。四、MPEG-1标准3604-2图像信息处理技术MPEG-1MPEG-1标准于1993年8月公布，用于传输1.5Mbps数据传输率的数字存储媒体运动图像及其伴音的编码。规定了编码数据流的表示语法和解码方法，该语法支持的操作有运动估计、运动补偿预测、DCT、量化和变长编码。MPEG-1标准不像JPEG那样，它没有定义产生合法数据流所需的详细算法，而是在编码器设计中提供了大量的灵活性。

3704-2图像信息处理技术1.MPEG-1标准组成包括五个部分:第一部分：系统；规定电视图像数据、声音数据及其他相关数据的同步第二部分：视频；规定电视图像数据的编解码第三部分：音频；规定声音数据的编解码第四部分：一致性测试；说明了检验解码器或编码器的输出比特流符合前三部分规定的过程。第五部分：软件模拟；是一个用完整的C语言实现的编码和解码器。3804-2图像信息处理技术2.MPEG-1标准的特点：（1）经MPEG-1压缩编码后存储在介质上的视频及伴音可以随机存取；

（2）对视频及伴音可以快速正向或反向进行搜索，并能实现反向演播；（3）视频和音频信息的同步处理以及合理的编码/解码延时，以满足实时性的要求；（4）视频及伴音的可编辑性；（5）对视频信息的格式（空间分辨率、时间分辨率）有很大灵活性；（6）实现成本适中。3904-2图像信息处理技术3.MPEG-1视频编解码原理MPEG-1标准和H.261标准的混合编码方法是一致的，即采用帧间DPCM和帧内DCT相结合的方法。MPEG-1视频编解码原理框图如图4.9-6所示。4004-2图像信息处理技术图4.9-6MPEG-1视频编解码原理框图

(a)编码原理；4104-2图像信息处理技术图4.9-6MPEG-1视频编解码原理框图(b)解码原理4204-2图像信息处理技术4．MPEG-1图像类型问题：压缩比和随机存取之间的矛盾解决办法

MPEG-1采用画面分组及在组内用预测和插补进行帧间编码的技术。MPEG-1将一系列视频画面按一定的帧数分成组，每组画面有三种类型，如图4.9-7所示。4304-2图像信息处理技术MPEG专家组定义了三种图像：帧内图像I(intrapictures)预测图像P(predictedpictures)插补（双向预测）图像B(bidirectionallyinterpolated)4404-2图像信息处理技术帧内画面（I）：以静止图像的压缩进行处理，全部信息都必须进行传送，并作为以后随机存取的存取点。预测画面（P）：只对预测误差信息进行编码后传送，并作为进一步预测的参数之用。插补画面（B）：以前面和后面的画面进行插值处理而得到，本身不作为参考画面使用，所以不必传送，但需要传送运动补偿信息。4504-2图像信息处理技术MPEG―1可以处理的图像格式没有严格规定，通常认为在亮度信号采用352×240像素×30帧/秒（NTSC）或352×288像素×25帧/秒（PAL）的情况下，即SIF（SourceInputFormat）格式时，MPEG―1算法效率最高，压缩后的码率约1.2Mb/s，对于典型的应用，MPEG―1定义了SIF格式。下表分别为由CCIR601到SIF的格式转换数据和采样模式。MPEG-1图像格式SIF4604-2图像信息处理技术4:2:2亮度(Y):858样本/行×525行/帧×30帧/秒×10比特/样本=135兆比特/秒(NTSC)864样本/行×625行/帧×25帧/秒×10比特/样本=135兆比特/秒(PAL)Cr(R-Y):429样本/行×525行/帧×30帧/秒×10比特/样本=68兆比特/秒(NTSC)429样本/行×625行/帧×25帧/秒×10比特/样本=68兆比特/秒(PAL)Cb(B-Y):429样本/行×525行/帧×30帧/秒×10比特/样本=68兆比特/秒(NTSC)429样本/行×625行/帧×25帧/秒×10比特/样本=68兆比特/秒(PAL)总计:27兆样本/秒×10比特/样本=270兆比特/秒实际：～207Mb/s；8比特：166Mb/sITU-RBT.601标准数据率4704-2图像信息处理技术

CCIR601到SIF的格式转换数据4804-2图像信息处理技术由CCIR601到SIF的格式转换采样模式采亮度、色差信号只采亮度信号4904-2图像信息处理技术帧内图像I不参照任何过去的或者将来的其他图像帧，压缩编码采用类似JPEG压缩算法帧内图像I的压缩编码算法5004-2图像信息处理技术预测图像P使用两种类型的参数来表示：一种参数是当前要编码的图像宏块与参考图像的宏块之间的差值，另一种参数是宏块的移动矢量。预测图像P的压缩编码算法5104-2图像信息处理技术移动矢量的算法框图预测图像P的压缩编码算法5204-2图像信息处理技术预测图像P的压缩编码算法绝对差值AE均方误差MSE平均绝对帧差MAD最佳匹配判据5304-2图像信息处理技术二维对数搜索法(2D-logarithmicsearch)预测图像P的压缩编码算法最佳匹配简化算法5404-2图像信息处理技术预测图像P的压缩编码算法三步搜索法(three-stepsearch)最佳匹配简化算法5504-2图像信息处理技术预测图像P的压缩编码算法对偶搜索法(conjugatesearch)最佳匹配简化算法5604-2图像信息处理技术B帧数据只有I帧数据的百分之十五、P帧数据的百分之五十以下。压缩比：200：1插补图像B的压缩编码算法5704-2图像信息处理技术MPEG三种图像的压缩后的典型值(比特)5804-2图像信息处理技术两幅B位于两个参考图像间每15帧插入一幅IMPEGVideo典型流结构5904-2图像信息处理技术3.视频码流分层结构图像序列序列开头、连续图像、结束图像长宽、帧速率、位速率、缓冲器大小图像组连续的几个图像帧，一个随机存取单元图像SIF格式、主要编码单元片图像再同步单元，误码处理单元宏块4个亮度、2个色度块组成，运动补偿基本单元块8*8像素块，DCT变换基本单元6004-2图像信息处理技术图4.9-8MPEG-1码流分层结构示意图6104-2图像信息处理技术图像序列：一个编码的图像序列由一个序列头开始，接着是被处理的连续图像，最后用一个图像终止码结束。这层给出了这一段视频信息的一些参数，例如图像宽度、图像高度、宽高比、帧速率、位速率、缓冲器大小等。图像组：是将一个图像序列中连续的几个图像组成一个小组。它是在图像序列中随机存取的单元。图像：为SIF格式，这时Y信号为360点×288行×25帧/秒或360点×240行×30帧/秒。对应的色差信号Cr或Cb分别为180×144×25/秒或180×120×30/秒。图像层是主要编码单元。6204-2图像信息处理技术片：由若干宏块组成。一帧图像中片的数目越多，则对处理误码越有利，就可以跳过这一片到下一片。但片越多，编码效率就越低。片是图像再同步的基本单元。宏块：由4个8×8亮度块和2个8×8色度块组成。宏块是运动补偿的基本单元。块：无论是亮度块还是色度块都由8×8像素组成。它是作DCT的基本单元。6304-2图像信息处理技术五.MPEG-2压缩编码标准MPEG组织于1994年推出MPEG-2压缩标准，以实现视/音频服务与应用互操作的可能性。MPEG-2标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定，编码码率从每秒3兆比特～100兆比特，标准的正式规范在ISO/IEC13818中。6404-2图像信息处理技术1、MPEG-2标准组成第一部分：系统；规定电视图像数据、声音数据及其他相关数据的同步第二部分：视频；规定电视图像数据的编解码第三部分：音频；规定声音数据的编解码第四部分：一致性测试；说明了检验解码器或编码器的输出比特流符合前三部分规定的过程。第五部分：软件模拟；是一个用完整的C语言实现的编码和解码器。6504-2图像信息处理技术MPEG-2标准组成第六部分：数字存储媒体命令和控制扩展协议第七部分：先进的声音编码，AAC第八部分：系统解码器实时接口扩展标准第九部分：DSC-CC一致性扩展测试第十部分：先进的声音编码修正6604-2图像信息处理技术2.MPEG-2特点高清图像质量提供广播级的视频和CD级的音质。可提供一个范围较广的可变压缩比，以适应不同的画面质量、存储容量以及带宽的要求。6704-2图像信息处理技术3、MPEG2与MPEG1相似处不同之处处理隔行扫描的视频图像的能力更高的色信号取样模式可伸缩的视频编码方式6804-2图像信息处理技术（1）处理隔行扫描的视频图像的能力在MPEG-2编码中为了更好地处理隔行扫描的电视信号，分别设置了“按帧编码”和“按场编码”两种模式，并相应地对运动补偿作了扩展。增加了场图像的场间预测、帧图像的场间预测、用于P帧的双基预测和用于场图像的16×8预测，对隔行扫描更为有效对隔行扫描的块，增加了交替扫描方式将DCT系数矩阵转化为一维序列6904-2图像信息处理技术0462022363852157212337395328182434405054391825354151551017263042465660111627314347576112152832444858621314293345495963与交替扫描顺序0156141527282471316262942381217253041439111824314044531019233239455254202233384651556021343747505659613536484957586363之字形扫描顺序7004-2图像信息处理技术（2）更高的色信号取样模式MPEG1使用4：2：0模式，色差信号水平、垂直放方向上样点数都是亮度信号的1/2MPEG2除使用4：2：0模式外，还使用4：2：2和4：4：4模式，前者垂直方向色差、亮度相同，水平方向为1/2；后者完全相同7104-2图像信息处理技术（3）可伸缩的视频编码方式可伸缩对码流的一部分进行解码和对码流的全部进行解码能够获得不同质量的重建图像。MPEG2支持空间可伸缩、时间可伸缩、信噪比可伸缩和数据分割等4种方式。范畴与层次MPEG2用范畴（profile）（档次）以及范畴中的一个或几个层次来描述不同的编码参数集。7204-2图像信息处理技术SimpleMainSNRSpatialHighscalabilityscalabilityHighHigh-1440MainLow4:2:01920×1152×6080Mb/sI,P,B4:2:0,4:2:21920×1152×6080Mb/sI,P,B4:2:01440×1152×6060Mb/sI,P,B4:2:01440×1152×6060Mb/sI,P,B4:2:0,4:2:21440×1152×6060Mb/sI,P,B4:2:0720×576×3015Mb/sI,P4:2:0720×576×3015Mb/sI,P,B4:2:0720×576×3015Mb/sI,P,B4:2:0720×576×3020Mb/sI,P,B4:2:0352×288×304Mb/sI,P,B4:2:0352×288×304Mb/sI,P,BMPEGVideo图像规范档次等级7304-2图像信息处理技术关于档次（级别）的划分：(1)低级(LL，LowLevel)的图像以亮度像素(记为pel)数计，是352×240×30pel／s或352×288×25pel／s，最大输出码率是4Mb／s。(2)主级(ML，MainLevel)的图像完全符合ITU―R601标准，即720×480×30pel／s或720×576×25pel／s，最大输出码率为15Mb／s(高类主级是20Mb／s)。(3)高1440级(H14L，High―1440Level)的图像是1440×1152pel的高清晰度格式，最大输出码率为60Mb／s(高类为80Mb／s)。(4)高级(HL，HighLevel)的图像是1920×1152的高清晰度格式，最大输出码率为80Mb／s(高类为100Mb／s)。

7404-2图像信息处理技术MPEG2Video级别7504-2图像信息处理技术(1)简单类(SP，SimpleProfile)是最低的类。(2)主类(MP，MainProfile)，比简单类增加了双向预测压缩工具。主类没有可分级性，但质量要尽量好。(3)信噪比可分级类(SNRP，SNRScalableProfile)。(4)空间可分级类(SSP，SpatiallyScalableProfile)。(5)高类(HighProfile)则支持逐行同时处理色差信号(例如4∶2∶2)，并且支持全部可分级性。类的划分：7604-2图像信息处理技术MPEG2Video配置7704-2图像信息处理技术SNRP和SSP两个类允许将编码的视频数据分为基本层以及一个以上的上层信号。基本层包含编码图像的基本数据，但相应的图像质量较低。上层信号用来改进信噪比或清晰度。7804-2图像信息处理技术信噪比可分级（SNR

scalability）：可以分级改变DCT系数的量化阶距，它指的是对DCT系数使用不同的量化阶距后的可解码能力。对DCT系数进行粗量化后可获得粗糙的视频图像，它是和输入的视频图像在同一时空分辨率下。增强层简单地说是指粗糙视频图像和初始的输入视频图像间的差值。7904-2图像信息处理技术空间域可分级（Spatialscalability）：是利用对像素的抽取和内插来实现不同级别的转换。它是指在没有先对整帧图像解码和抽取的情况下，以不同的空间分辨率解码视频图像的能力。例如从送给SSP@H1440解码的