《多媒体技术》讲稿第4章-2-2003

1、第四章-第二部分运动图象编码4.2动态图象、图形处理4.2.1概述n利用人眼的视觉惰性作用：对亮度信号保持感觉1/201/10秒n序列图象、图形(动画)(2530帧/S)形成运动感觉特点：(1)时间连续、适于表示“过程”(2)逐帧显示、属于离散型时基媒体(3)数据量大，需要压缩编码(4)相关性强，这是动态的基础，也是压缩的条件(5)实时性强4.4 预测编码多媒体技术基础及应用4帧间编码帧间编码n帧间编码技术处理的对象是序列图帧间编码技术处理的对象是序列图像（也称为运动图像）；像（也称为运动图像）；nASIC的迅速发展，已有可能把几的迅速发展，已有可能把几帧图像存储起来作实时处理，利用帧图像存储

2、起来作实时处理，利用帧间的时间相关性进一步消除图像帧间的时间相关性进一步消除图像信号的冗余度，提高压缩比。信号的冗余度，提高压缩比。n帧间编码的技术基础是预测技术帧间编码的技术基础是预测技术 。4.2.2帧间预测编码n三维预测：利用本行前几个取样值，前几行相邻取样值，还有上一帧或前几帧取样值等，电视信号相邻帧间的相关性即时间相关性去掉冗余度，达到压缩码率的目的。4.2.2.1帧间差值的统计特性 Frame Difference是指活动图象序列的某一固定象素位置(m , n)上，当前帧的图象亮度值X (m ,n)与上一帧的亮度值X-1(m ,n)之差，即 统计资料表明：对于变化较为缓慢的256级

3、灰度的黑白图象序列帧间差值超过阈值3的象素大约不到4%；对于变化较为剧烈的256级亮度值的彩色电视图象序列，帧间差值超过阈值6的象素数平均只有7.5%，而色度信号平均只有7.5%。这些是帧间压缩编码的依据。),(),(),(1nmxnmxnmd4.2.2.2条件帧间修补法Conditional Frame Replenishment CFR称条件帧间修补法，对第帧的当前象素X (m ,n)的预测值定义为其中X-1(m n)为第-1帧中对应象素X-1(m ,n)的复原值，进而定义当前象素X(m ,n)的帧间差值),(),(1nmxnmx),(),(),(),(),(1nmxnmxnmxnmxnm

4、FDn规定一个阈值TH，若满足则认为当前象素X(m ,n)位于图象的背景区或相对静止部分，隔几帧才传输一次。n反之若则认为当前象素X(m ,n)位于图象的运动物体区，需用全码传送。THnmFD),(THnmFD),(n 进一步的改进是此时传输FD(m ,n)，而不是传输X(m ,n)本身，在接收端则通过获得X(m ,n)的复原值。),(),(),(1nmFDnmxnmx4.4 预测编码多媒体技术基础及应用10帧间预测编码条件补充法n若帧间对应像素的亮度差超过阈值，则把这些像素存入缓存中，并以恒定的传输速度传送；n阈值以下的像素不传送，在接收端用上一帧相应像素值来代替。n 只传送图像中亮度差超过

5、阈值的像素，且传送的只是帧间差值，可以得到较好的压缩比。n上述预测法(CFR)可获得平均1bit/象素，压缩比为8的结果。 4.4 预测编码多媒体技术基础及应用11帧间预测编码条件次取样n条件补充法还可以和内插法相结合应用，称为条件次取样 ；n在时间轴采用次取样，对于未取样的当前场的某一点，可以用隔场的四个邻点的亮度均值作为该点亮度的预测值。 4.4 预测编码多媒体技术基础及应用12条件次取样（续一）条件次取样（续一）n图中两场像素取样点错开半个像素，称为梅花状取样。在时间轴采用次取样。 4.4 预测编码多媒体技术基础及应用13条件次取样（续二）条件次取样（续二）n在时间轴采用次取样。预测值为

6、So=(SaSbScSd)/4;n如果像素的亮度实际值与预测值之间的差值小于阈值，则此像素信息就不传输；n如果这个差值超过阈值，则补充传送。 4.2.2.3运动补偿预测n目前，从H.261到MPEG-1，MPEG-2都无一例外地采用“简单帧间预测运动补偿”(或者“简单帧间预测+有条件地切换为帧内编码”)的技术框架。nMotion Compensation运行补偿简写为MC4.4 预测编码多媒体技术基础及应用15运动补偿技术运动补偿技术n它是Mpeg中使用的主要技术之一。对提高编码压缩比很有好处。尤其对于运动部分只占整个画面较小的会议电视和可视电话，此技术后，压缩比可以提高很多。n用这一技术计算

7、图像中运动部分位移的两个分量可使预测效果大大提高。n运动补偿方法是跟踪画面内的运动情况对其加以补偿之后再进行帧间预测。n这项技术的关键是运动向量的计算。运动补偿预测技术通常由下面几方面组成：把图象分割为静止和运动两部分，并假设运动物体仅作平移。估计物体的位移值。用位移估值(即运动矢量)进行运动补偿预测。预测信息编码运动估值示意图例如图中将当前预测值的位置沿物体平移的方向错开Dx个象素再进行预测，称运动补偿预测。运动预测与补偿技术示意运动预测与补偿技术示意图象分割(Image Segmentation)是运动补偿预测的基础，分割的办法：n实际分割成不同运动的物体，但较困难。n把图象分为矩形子块，

8、将子块分为动与不动两种，估计出运动子块的位移。n对每个象素的位移都进行递归估计。将s0,经行帧存储后，即为前一帧的数据，把前一帧和当前数据送进运动参数估值器后就得到运动位移的估值，有了运动位移参数和前帧复原数据，就可作出当前象素的预测值。4.2.3运动估值方法4.2.3.1块匹配法Block Matching Algorithm简称BMA，它假设块内各象素只作相等的平移，H.261和MPEG都采用了BMA。首先确定M*N块与搜索区的几何关系如下图，用MXN子块在搜索区内寻求最优匹配来得到运动矢量估值(dx ,dy)。块匹配示意图判决准则：归一化互相关函数(NCCF)均方误差MSE帧间绝对差(M

9、AD)三种估值结果差别不大，但MAD便于计算与硬件实现. MAD定义为：),(),(1),(111jnimSnmSMNjiMADKNnKMm其中SK表示第K帧灰度值，i,j分别为水平与垂直方向的偏移量。n搜索方法中最简单可靠的是穷尽搜索法，对搜索范围内每点都计算MAD值，最小的MAD(i,j)即对应着最优匹配，它共需计算(M+2Mx)(N+2My)个MAD值。块匹配法存在的问题：n块尺寸的选择，块小的时候才可近似认为块内各点作相等平移，但块太小易干扰噪声的影响，不可靠，而且矢量场比特数多，块大可减轻噪声影响，但影响估值精度。而且大的块常包含多个不同运动的物体，块内运动一致性难于满足。H261和

10、MPEG的建议选1616作为“宏块”。n估值得到的运动矢量场一致性不够好，这是由于分割图象为块的缘故。n块内包含前景背景两个不同区的运动估值，这时块内运动一致性假设不成立，还存在背景的遮挡和露出问题。4.2.3.2像素递归法基本公式 Sk(x ,y)=Sk-1(x-dx ,y-dy)即若K帧的(x ,y)点是由K-1帧中位于(x-dx y-dy)处的点运动dx,dy过来的，则这两点灰度值相等。定义偏移帧差通过修正公式(迭代)找到使DFD为最小的 ,将上述作泰勒展开，用梯度法求解使DFD为最小的运动矢量 ，得迭代修正公式由于受稳定性限制，取得很小，如1/1024，因此收敛慢。),(),(),(1yxKKyxdydxSyxSddyxDFDyxdd,TyxddD),(),(),.(11iyixKiyixiidydxSddyxDFDDD4.2.3.3相位相关法在频域中进行运动估值设Sk-1(x,y)和Sk(x,y)分别为两帧图象中大小为N*N的子块，记Sk-1(x,y)的付立叶变换为则根据付立叶变换的性质，Sk-1(x,y)的空间平移 的付立叶变换为它与Sk-1(u,v)之间相位差为:).(),(11vuSyxSFKK),()(