第五章序列图像编码及运动估计

第五章

序列图像编码及运动估计中国矿业大学信电学院主要内容

5.1概述

5.2视频信号的数字化5.3二维运动估计

5.4采用时间预测和变换编码的视

频编码5.1概述概念：活动图像信号，也称为数字序列图像或连续帧图像，指由多幅尺寸相同的静止图像组成的图像序列。例如数字化后的电视或视频信号。其中的每幅静止图像称为一个帧。

活动图像与静止图像相比，可以认为多了一个时间轴，成为三维信号，因此活动图像也被称为三维图像。活动图像都是一帧一帧地传输，看作一个沿时间轴分布的图像序列，统称为序列图像。这里主要讨论序列图像中的视频图像的压缩编码视频图像压缩编码分类：

帧内编码：也称为空间压缩。利用每幅(单帧)图像内部的相关性进行帧内压缩编码。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息。帧内一般采用有损压缩算法。压缩后的视频数据仍可以以帧为单位进行编辑。帧内压缩一般达不到很高的压缩。

帧间编码：也称为时间压缩。利用时间轴上相邻帧之间的相关性(前后两帧信息变化很小)进行帧间压缩编码。帧间压缩一般是无损的。

混合编码：为不同的编码方法组合在一起相结合的编码方法。如变换编码和帧间预测编码。视频图像编码要求：

实时性：图像传输系统必须能实时地对活动电视

图像进行编码传输。

高效性：必须能使数字视频信号以一定目标码率

传输。如视频信号8bit/像素，数码率高

达216Mbit/s。视频图像编码目的：在保证一定重建质量前提下，以尽量少数据量来表征视频信息，以减少视频序列的码率，便于能够在给定的通信信道上实时传输视频信号。5.2视频信号的数字化5.2.1电视制式帧：一段视频中的每一幅图像称为一帧。根据视觉暂留原理，要使人的视觉产生连续的动态感觉，每秒钟图像的播放帧数要在24～30（帧频）帧频：每秒播放的帧数。电视制式：即电视的播放标准（扫描分辨率、帧频、色彩空间的转换关系不同）。目前国际上有三种不同的电视制式:①NTSC;②PAL;③SECAMNTSC(nationaltelevisionsystemcommittee),

是国家电视制式委员会的缩写。美国研制的一种与黑白电视兼容的彩色电视制式。帧频：每秒播放30帧画面扫描行数（扫描分辨率）：每帧有526行像素美国、加拿大、日本、韩国、菲律宾、台湾等

NTSC制式优点：在信号传输无失真情况下，具有比较高彩色图像质量；兼容性好；重现的彩色图像无明显的“爬行”和亮度闪烁现象；较易于实现信号处理；色度信号的形成和分离都比较简单。PAL(PhaseAlternationLine),

是相位逐行交替的缩写。西德在1962年研制的一种与黑白电视兼容的彩色电视制式。帧频：每秒播放25帧画面扫描行数（扫描分辨率）：每帧有625行像素西欧国家、新加坡、澳大利亚、中国大陆以及香港等

PAL制式基本原理：采用逐行倒相正交平衡调幅的色度信号，解调时先经过逐行梳状滤波器将色度信号分离后再同步检波；最后利用视觉平均作用补偿小幅度串色所引起的彩色偏差。

PAL制式优点：对相位失真不敏感，多径接收对PAL信号影响小。SECAM(SequentialCouleurAvecMemoire)

是顺序与存储彩色电视系统的缩写。法国研制的一种与黑白电视兼容的彩色电视制式；帧频：每秒播放25帧画面扫描行数（扫描分辨率）：每帧有625行像素

法国、俄罗斯等东欧国家和中东一带

SECAM制式优点：传输失真对色度信号影响小，大面积彩色图像几乎不受微分增益和微分相位失真的影响，受传输通道频率特性和多径接收的影响也不大。SECAM是一种顺序同时制。是采用错开传输时间的方法（时分原则）来避免串色以及造成的彩色失真。SECAM编码解码方式与PAL制式完全不同。不同电视制式的技术指标TV制式NTSCPALSECAM帧频/Hz302525行/帧525625625亮度带宽/MHz4.26.06.0彩色幅载波/MHz3.584.434.25色度带宽/MHz1.3(I)，0.6(Q)1.3(U)，1.3(V)>1.0(U)，>1.0(V)声音载波/MHz4.56.56.55.2.2视频信号的数字化（1）复合数字化：先用高速模/数转换器对彩色全电视信号进行数字化，然后在数字域中进行分离亮度和色度，以获得所希望的YUV（PAL，SECAM制）分量或YIQ（NTSC制）分量，最后转换成RGB分量数据。此种方法称为复合数字化。（2）分量数字化：从复合彩色电视图像中分离出彩色分量的亮度和色度，得到YUV或YIQ分量，然后用3个模/数转换器对3个分量分别进行数字化，最后再转换成RGB空间，此种方法称为分量数字化。

分量数字化是视频信号数字化的主流。1．视频信号数字化方法分类2．视频信号采样结构的选择

概念：采样结构是指采样点在空间与时间上的相对位置。

采样结构分类：正交结构：在图像平面上沿着水平方向采样点等间隔排列，沿垂直方向采样点上下对齐排列。行交叉结构：每行内采样点数为整数加半个。（a）正交结构（b）行交叉结构3．数字视频的采样格式

在复合电视信号中，亮度信号的带宽是色度信号带宽的两倍。因此其数字化时可采用对信号的色差分量的采样率低于对亮度分量的采样率。用Y:U:V来表示YUV三分量的采样比例，则数字视频的采样格式有如下4种：

（1）Y:U:V=4:4:4

指在每条扫描线上在水平和垂直方向上每4个连续的取样点取4个亮度Y样本、4个红色差Cr样本和4个蓝色差Cb样本，相当于每个像素包含3个样本。即对每个采样点，亮度Y、色差U和V各取一个样本，也就是每个像素用3个样本表示。

采样格式××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××4:4:4采样格式4:2:2采样格式×表示亮度Y采样点○表示色度UV采样点

（2）Y:U:V=4:2:2

这种方式指在每条扫描线上，在每4个连续的采样点上，取4个亮度Y的样本值，而色差U、V分别取其第一点和第三点的样本值，共8个样本，平均每个像素用2个样本表示。这种方式能给信号的转换留有一定余量，效果更好一些。这是通常所用的方式，每4个连续的采样点取4个亮度Y样本、2个红色差Cr样本和2个蓝色差Cb样本，结果相当于平均每个像素用2个样本表示。

色度信号在水平方向上采样点数为亮度信号的一半，而在垂直方向上的采样点数相同。

（3）Y:U:V=4:1:1这种方式是在每4个连续的采样点上，取4个亮度Y的样本值，而色差U、V分别取其第一点的样本值，共6个样本，每个像素用1.5个样本表示。

色差信号在在水平方向上采样点数为亮度信号的1/4，而在垂直方向上的采样点数相同。采样格式××××××××××××××××××××××××××××××4:1:1采样格式×表示亮度Y采样点○表示色度UV采样点（4）Y:U:V=4:2:04:2:0子采样格式是指分别在水平和垂直方向上每2个连续的采样点上取2个亮度Y样本、1个红色差Cr样本和1个蓝色差Cb样本，平均每个像素用1.5个样本表示。色差信号分别在水平方向和垂直方向上采样点数为亮度信号的1/2。采样格式4:2:0采样格式4:2:0采样格式×表示亮度Y采样点○表示色度UV采样点MPEG1、H.261支持MPEG2支持扫描方式小结电视图像既是空间的函数，也是时间的函数，而且又是隔行扫描式，所以其采样方式比扫描仪扫描图像的方式要复杂得多。分量采样时采到的是隔行样本点，要把隔行样本组合成逐行样本，然后进行样本点的量化，YUV到RGB色彩空间的转换等，最后才能得到数字视频数据。

4．数字视频标准为了在PAL、NTSC和SECAM电视制式之间确定共同的数字化参数，国际无线电咨询委员会（CCIR）制订了广播级质量的数字电视编码标准，称为CCIR601标准。该标准规定了彩色电视图像转换成数字图像时使用的采样频率，彩色空间之间的转换关系等。（1）采样频率ITU-RBT.601标准为三种电视制式规定了共同的电视图像采样频率。其基本的计算方法是：对PAL制、SECAM制，采样频率fs为：fs=625×25×N=15625×N=13.5MHz，N=864其中：N为每一扫描行上的采样数目。在PAL制、SECAM制中，625是指行数，25表示每秒帧数。

（2）有效显示分辨率对PAL制和SECAM制的亮度信号，每一条扫描行采样864个样本；对NTSC制的亮度信号，每一条扫描行采样858个样本。为了使这些制式的采样点兼容，规定每一扫描行的有效样本数均为720个。（3）数据量CCIR601规定，每个样本点都按8位数字化，即有256个等级。但实际上亮度信号占220级、色度信号占225级，其他位作同步、编码等控制用。如果按fs的采样率和4:2:2的格式采样，则数字视频的数据量为：

13.5(MHz)×8(bit)+2×6.75(MHz)×8(bit)=27MB/s

（4）CIF、QCIF和SQCIF为了兼容625行的电视图像和525行的电视图像，CCITT定义了公用中分辨率格式CIF（CommonIntermediateFormat），1/4公用中分辨率格式（Quarter-CIF，QCIF）和（Sub-QuarterCommonIntermediateFormat，SQCIF）格式。CIF格式具有如下特性：

电视图像的空间分辨率为352×288。

使用非隔行扫描（Non-InterlacedScan）。

使用NTSC帧速率，电视图像的最大帧速率为30000/1001≈29.97幅/秒。CIFQCIFSQCIF行数/帧像素/行行数/帧像素/行行数/帧像素/行亮度（Y）288360(352)144180(176)96128色度（Cb）144180(176)7290(88)4864色度（Cr）144180(176)7290(88)4864下表是CIF、QCIF和SQCIF图像格式参数。5.3视频信号编码方法一、视频信号编码的依据：1、视频信号编码的出发点：

对于活动图像，相邻帧的时间间隔很短(1/251/30s),在景物运动不很剧烈场合，相邻帧间相关性很强。编码时充分利用活动图像的相邻帧(在时间轴方向)的相关性进行预测。2、视频信号编码的依据：

依据1：从信源角度看，自然景物大多都处于相对不变或缓变状态，为帧间相关性存在前提条件。5.3.1视频信号编码基础帧间预测典型情况：可视电话图像可视电话图像内容通常为一个细节不十分复杂背景前，有一个活动量不大的单个人物的头-肩像。假定人位置在第k帧与第k-1帧相比有一定x方向位移,可将画面分为3个各具特点区域：背景区、运动物体区、暴露区背景区：指摄像机不动而摄取人物后面的背景。一般背景区是静止的，若外界条件不变，则这两帧背景区绝大部分数据相同，意味着两帧背景区之间帧间相关性很强。运动物体区：若将物体运动近似看作简单平移，则第k帧与第k-1帧的运动区的数据也基本相同。简单平移看作只有x方向位移量Dx，则可采用某种位移估值方法对位移量进行“运动补偿”。暴露区：指在运动后所暴露出的原来曾被物体遮盖住区域。若有存储器将这暴露区的数据暂时存储，则再次经遮盖后再暴露出来的数据与原先存储数据相同，这为一帧间相关性。注意：如果将整个画面从一类景物切换为另一类景物时，则谈不上帧间相关性利用。因为整个画面内容数据全部改变了。这三类区域的帧间相关性是帧间压缩编码的重要依据。

依据2：利用人眼视觉特性，在活动图像编码中针对图像内容在清晰度和活动性(帧频)适当调整码率，可使重建图像在视觉上保持一致主观效果。保证对于传输序列图像的静止部分的较高空间分辨率。同时，可降低时间轴分辨率，通过抽帧或跳帧减少传输帧数，在接收端依靠帧存储器把未传输帧补充。可降低序列图像中的运动物体部分的分辨率。物体的运动速度愈高，可用更低清晰度进行传输。二、视频信号编码的关键问题：对于序列图像中大量存在的静止或缓变区域，如何把运动区域和静止或缓变区域分割开来？？对于静止区域如何压缩编码？？对于运动区域如何压缩编码？？如何把运动区域和静止或缓变区域分割？设第k帧图像位于位置z=(x,y)的像素采样值为Ik(z)。其预测值为第k-1帧图像(前一帧图像)的相对应同一位置处像素复原值I’k-1(z)。则有：定义一阈值TH，则有：若|FDk(z)|TH

，认为Ik(z)位于图像相对静止部分

(背景区)

若|FDk(z)|TH

，认为Ik(z)位于图像运动区域。帧间差如何对于静止或缓变区域压缩编码？帧（场）重复工作形式：通常用在可视电话等传输码率很低应用场合。在序列图像传输中进行抽帧，使少传一些帧。在接收端可以采用对前帧重复读出方式补满。如何对于运动区域压缩编码？运动估计与补偿预测方法：相邻画面高度相似，其中差别变化是由于物体运动或摄象机运动所引起的。画面中物体或像素的运动是可以估计的。因此，可以从前面的画面预测当前画面，编码器只对预测误差进行编码。不能进行预测的画面或区域使用JPEG进行编码（利用画面内部相关性）。相邻帧间的主要变化是由于构成景物的各物体的运动引起的。5.3.2运动估计与补偿的基本概念

定义：将活动图像分为若干个块，检测出当前帧中每个块在前一帧(参考帧)图像中的对应位置，从而可以估计出这个块的位移，用运动矢量表示。这个过程叫做运动估计。

运动估计通常以宏块为单位进行，计算被压缩图像与参考图像在对应位置处的宏块间的位置偏移。该位置偏移是以运动矢量描述，代表水平和垂直两个方向的位移。1.运动估计场景中物体运动反映在画面中，表现为当前画面部分内容是前一画面部分内容的位移运动。2.运动补偿

定义：就是根据求出的运动矢量，找到当前帧的像素（或像素块）是从前一帧的哪个位置移动过来的，从而得到当前帧像素（或像素块）的预测值。由于用当前帧在前一帧图像中对应部分来对当前帧进行预测，而相邻两帧中对应的运动部分图像信息会有所不同，所以一般会产生补偿残差。

运动估计及补偿的基本原理：利用帧间运动估计得到待编码图像块的一个（或多个）参考块，然后用这个参考块进行运动补偿，将补偿后残差进行DCT变换和可变长编码。3.运动补偿帧间预测编码定义：对于运动的物体，如果能估计出物体在相邻帧内的相对位移，那么用上一帧中物体的对应区域对当前帧物体进行预测，编码传输预测误差部分，就可压缩这部分区域的码率。这种考虑了运动物体对应区域的位移或运动的预测方式称为运动补偿帧间预测编码。帧间运动估计与补偿预测的基本过程运动补偿帧间预测编码原理框图：+-熵编码帧间预测器运动补偿压缩图像块输入图像块enfnfn运动补偿预测帧间误差图像运动补偿预测图像其中：fn为输入图像块；fn为运动补偿预测图像运动补偿帧间预测编码技术的组成：物体的划分：划分静止区域和运动区域。这里假设运动物体仅作平移。

运动估计：对每一个运动物体进行位移估计。

运动补偿：由位移估值建立同一运动物体在不同帧空间位置对应关系，建立预测关系。

补偿后的预测信息编码：对运动物体的补偿后的位移帧差信号DFD，以及运动矢量等进行编码传输。5.3.3基于块的运动估计—块匹配算法块匹配算法通过对图像序列中相邻两帧图像间的子块匹配来进行运动估计。前提条件：在块匹配算法中，图像被分割为子块，把子块分成静止和运动两类，运动子块中的所有像素的运动矢量被认为相同，都只作相等的平移。基本思想：对于帧k(当前帧)中像素(n1,n2)的位移，通过考虑一个中心定位在(n1,n2)的块，搜索帧来找出同样大小的最佳匹配块的位置来确定。1.基本思想

初始搜索点的选择。①直接选择参考帧对应块中心位置；②选择预测的起点。

匹配准则。一般方法有均方误差函数和平均绝对误差函数等准则。

搜索方法。有全搜索、三步搜索、交叉搜索、分层运动估计算法等。

块的大小选择。块的大小应满足下列要求：每一个块几乎都只具有单一运动或者没有运动。块不能过小，以保证可以搜索到正确的块。目前块大小用较多为16，有时也取4，8。2.提高搜索效率的主要技术常用的匹配准则给定两个图像块Bi和Bi-1，均方误差绝对误差求这两个误差函数对应最小值时(∆x,∆y)为最佳运动估计⑴全搜索算法（FS）基本思想：要估计一个像素的位移(运动)时，在当前帧中取以该像素为中心的一个子块，然后在前一帧图像中所有可能位置寻找一个与之最匹配(相关最大)的子块，则匹配子块中心与当前帧中子块中心的位移即为估计的位移(运动)矢量。匹配准则：最小平均绝对误差函数（MAD)设将当前帧中划分为NN像素子块，A为待处理的子块。水平和垂直方向最大位移均为dm。3.典型的块匹配算法块匹配算法就是在其前一帧以A为中心的搜索区SR:

(N+2dm)(N+2dm)内寻找一个与A相关性最大的同样大小的子块B，B与A的坐标偏移量即为估计的子块A的运动矢量设B与A的坐标偏移量为(i，j)，则：平均绝对

误差MAD第k帧灰度值则在某一个位置偏移(i，j)下有最小误差minij，选定一阈值T，则有：当minij

T，说明在一定误差范围内达到匹配，运动矢量为dx=i，dy=j当minij

>T，说明不能匹配。应该对该子块直接帧内编码。在全搜索条件下，块匹配算法达到全局最优，但缺点为运算量大，总共要计算(1+2dm)(1+2dm)次匹配运算，且搜索算法时间占到整个编码时间的50%~80%。⑵二维对数算法（TDL）开创了快速算法的先例。基本思想：从原点开始，以“十”字形分布的五个点构成每次搜索的点群，通过快速搜索跟踪最匹配点。算法步骤：从原点开始，选取一定的步长，在以“十”字形分布的五个点处进行块匹配计算并比较若最匹配点在边缘四个点处，则以该点作为中心点，保持步长不变，重新搜索“十”字形分布的五个点若最匹配点位于中心点，则保持中心点位置不变，将步长减半，构成“十”字形点群，在五个点处计算若步长为1，在中心及周围8个点处找出最匹配点，该点所在位置即对应最佳运动矢量，算法结束；否则，重复第2步算法搜索过程图示：11111222223333344444-7-6-5-4-3-2-101234567-7-6-5-4-3-2-1012345674444算法搜索过程图示：起初步长=2⑶三步搜索法（TSS）基本思想：搜索范围为7。即在上一帧以当前子块为原点，将当前子块在其上下左右距离为7范围内按一定规则移动，每移动到一个位置，取出同样大小的子块与当前子块进行匹配计算。匹配准则：最小均方误差函数(MSE)或最小平均绝

对误差函数（MAD)具体方法：第一步：在搜索范围内，以当前子块为中心，以4为步幅。选择标记为“1”的9个点分别为中心位置的子块与当前子块进行匹配，求出最佳匹配的子块中心位置，然后把中心位置移到该点。如果在某点找到最小的MSE或MAD，则表示在该点一定范围内达到最佳匹配。第二步：以第一步求出最佳子块为中心，以2为步幅。选择9个标记为“2”点分别为中心位置的子块与当前子块进行匹配，求出最佳匹配的子块中心位置，然后把中心位置移到该点。第三步：以第二步求出最佳子块为中心，以1为步幅。选择9个标记为“3”点分别为中心位置的子块与当前子块进行匹配，求出最佳匹配的子块中心位置。则它与当前子块中心位置偏移量为估计的位移量。结论：在dm=7时，三步法仅需要39-7=25次匹配，比全搜索算法匹配次数少很多。三步搜索算法111111111222222222333333333搜索9+8+8＝25次-7-6-5-4-3-2-101234567-7-6-5-4-3-2-101234567

⑷交叉法（CSA）是在TDL、TSS基础上为进一步减少计算量发展起来的基本思想：从原点开始，以“×”字形分布的五个点构成搜索点群，以TDL的搜索方式搜索最匹配点，仅在最后一步采用“十”字形点群算法描述：从原点开始，选取最大搜索长度的一半作为步长，在以“×”字形分布的五个点处进行块匹配计算并比较以上一步的最匹配点为中心，步长减半，继续进行“×”字形五点搜索，若步长大于1，重复本步；若步长为1，则进行第三步若上一步最匹配点处于中心点、左下角或右上角，做“十”字形搜索；若上一步最匹配点处于左上角或右下角，则做“×”字形搜索。搜索到的最匹配点为最佳运动矢量，算法结束交叉法搜索过程图示：111112222233333搜索5+4+4＝13次-7-6-5-4-3-2-101234567-7-6-5-4-3-2-101234567

⑸四步搜索法（FSS）基本思路现实中序列图像的运动矢量大多都是中心分布的，从而在5×5大小的搜索窗口上构造了有9个检测点的搜索模板步骤以搜索区域原点为中心选定5×5的搜索窗，然后在9个检测点处进行匹配计算若最匹配点位于中心点，跳到第3步，即缩小搜索窗口为3×3最匹配点不在中心点，跳到第2步窗口保持5×5，搜索模式改变上一步最匹配点位于窗口4个角上，则另外再搜索5个检测点上一步最匹配点位于窗口的4边中心点处，则需再搜索3个检测点若这一次的最匹配点在窗口中心，则跳到第3步，否则，重复本步将窗口缩小到3×3，计算出最匹配点的位置即对应最佳运动矢量四步搜索法过程图示1111111112222333333444444444-7-6-5-4-3-2-101234567-7-6-5-4-3-2-101234567最匹配点分别为：(0,-2)(2,-4)(2,-4)(3,-4),搜索共分4步。

⑹菱形搜索法（DS）本算法经过多次改进，已成为目前快速匹配算法中性能最优异的算法之一；1999年10月，DS算法被MPEG-4国际标准采用并收入验证模型。基本思想：使用两种搜索模板，9个检测点的大模板LDSP和5个检测点的SDSP

搜索时，先用大模板计算，当最匹配块出现在中心点处时，换大模板为小模板，再进行匹配计算，5个点中的最匹配点即为最优点。大模板LDSP小模板SDSP算法步骤：用LDSP在搜索区域中心及周围8个点处进行匹配计算，若最匹配点位于中心，则进行

Step3；否则，到Step2

以上一次找到的最匹配点为中心点，用新的LDSP来计算，若最匹配点位于中心点，则进行Step3；否则，重复本步以上一次找到的最匹配点为中心点，将LDSP换为SDSP，在5个点处计算，找到最匹配点，该点所在位置即为最佳运动矢量。菱形搜索算法过程图示1111111112222223333344444-7-6-5-4-3-2-101234567-7-6-5-4-3-2-101234567最匹配点分别为：(2,0)(2,-2)(2,-2)(2,-3),使用３次LDSP和１次SDSP,搜索共分5步。菱形搜索算法分析选用了大小两种形状的搜索模板，先用LDSP搜索，步长大，搜索范围广，进行粗定位，避免搜索窗口太小时，陷入局部最优；粗定位后，再用SDSP准确定位，保证匹配精度从前图中可看出，搜索时各步之间相关性强，模板移动只需要在几个新的检测点处进行匹配计算，提高了搜索速度复习：视频信号编码技术————

运动补偿帧间预测编码技术物体的划分：划分静止区域和运动区域。这里假设运动物体仅作平移。

运动估计：对每一个运动物体进行位移估计。

运动补偿：由位移估值建立同一运动物体在不同帧空间位置对应关系，建立预测关系。

补偿后的预测信息编码：对运动物体的补偿后的位移帧差信号，以及运动矢量等进行编码传输。②③④抽帧或跳帧复习：如何实现运动矢量估计？——块匹配算法

初始搜索点的选择。①直接选择参考帧对应块中心位置；②选择预测的起点。

匹配准则。一般方法有均方误差函数和平均绝对误差函数等准则。

搜索方法。有全搜索、三步搜索、交叉搜索等。

块的大小选择。块的大小应满足下列要求：每一个块几乎都只具有单一运动或者没有运动。块不能过小，以保证可以搜索到正确的块。目前块大小用较多为16，有时也取4，8。复习：块匹配方法全搜索算法二维对数搜索算法三步搜索算法交叉法四步搜索算法菱形（钻石形）搜索算法②以“十”字形分布的五个点构成每次搜索的点群，若步长为1，周围8邻域匹配。③搜索范围为7—“4-2-1”④以“×”字形的五个点构成搜索点群，若步长为1，上一步最匹配点处于中心点、左下角或右上角，“十”字形搜索；若处于左上角或右下角，则“×”字形搜索。⑤“5×5”的搜索窗口，若步长为1，则“3×3”的搜索窗口⑥9个检测点的大模板LDSP和5个检测点的SDSP大模板LDSP小模板SDSP整像素运动估计

⑺

亚像素搜索法（DS）前几种运动估计算法，得到的运动矢量为整数值，称之为整像素精度运动估计。在块匹配算法中，搜索相应块的步长不一定是整数。也就是实际图像的运动并不一定是整像素，所以，整像素运动估计有一定的误差。为进一步提高精度，希望估计到的运动矢量为分数像素数，或称亚像素。使用亚像素步长的一个问题是对于当前帧里给定的一个采样点，在参考帧里可能没有相应的采样点，必须由可利用的样点内插得到。对图像进行插值运算，得到整像素点之间的分数像素点的值，然后再进行运动估计。块匹配搜索移动时，块中心点可以和分数像素点对准，使得到更精确的运动矢量。

MPEG和H.263均采用了1/2像素精度运动估计，证实了比整数运动估计更有效。

H.264采用了1/4像素精度运动估计.插值算法：一般采用双线性插值。×××××整像素位置●半像素位置采用双线性内插法实现半像素精度预测5.3.4基于像素的运动估计在基于像素的运动估计中，对每个像素估计其运动矢量，显然这个问题难以处理：如果使用恒定亮度假设，对于参考帧的每个像素，在目标帧里将会有许多完全相同亮度的像素在图像编码的发展过程中，该办法曾起过重要作用，但没有被标准所采用。实验研究也表明，它的有效性不如块匹配