CH5 5.2-5.3视频信号运动估计技术3.1简介ppt课件

1、 数字视频技术数字视频技术第三章第三章视频信号运动估计技术视频信号运动估计技术L o g oL o g o3.1.1 3.1.1 运动估计研讨现状运动估计研讨现状u一、运动估计一、运动估计Motion Estimation,ME是最根底和是最根底和有效的方法有效的方法u将活动图像的每一帧都划分为大小一样、互不重叠的子块将活动图像的每一帧都划分为大小一样、互不重叠的子块，按照一定的判别准那么，在前一帧中寻觅与编码块最匹，按照一定的判别准那么，在前一帧中寻觅与编码块最匹配的图像块，这个过程通常叫做运动估计。配的图像块，这个过程通常叫做运动估计。u运动估计运动估计Motion Estimation,

2、 ME是去除时间冗是去除时间冗余最根底有效的方法，也是各类视频编码算法所普遍采用余最根底有效的方法，也是各类视频编码算法所普遍采用的一项中心技术；的一项中心技术；L o g oL o g ou二、运动估计的优劣直接决议编码效率和重构视频质量二、运动估计的优劣直接决议编码效率和重构视频质量u运动估计越准确，补偿的残差图像越小，编码效率越高，在运动估计越准确，补偿的残差图像越小，编码效率越高，在一样码率下的解码视频就具有更好的图像质量；一样码率下的解码视频就具有更好的图像质量；u运动估计的计算复杂度占到编码器的运动估计的计算复杂度占到编码器的50%50%以上，为保证视频编以上，为保证视频编/ /解

3、码的实时性，运动估计该当具有尽能够低的计算复杂度；解码的实时性，运动估计该当具有尽能够低的计算复杂度；u如何提高运动估计算法的性能，使运动估计更快速、准确和如何提高运动估计算法的性能，使运动估计更快速、准确和强壮遭到广泛关注。强壮遭到广泛关注。L o g oL o g ov评价运动估计算法优劣的规范：评价运动估计算法优劣的规范：v图像质量图像质量v计算复杂度计算复杂度v存储器需求存储器需求L o g oL o g o3.1.1 3.1.1 运动估计研讨现状运动估计研讨现状三、运动估计的分类三、运动估计的分类全局运动估计全局运动估计基于块的运动估计基于块的运动估计基于像素点的运动估计基于像素点的

4、运动估计基于区域的运动估计基于区域的运动估计基于网格的运动估计基于网格的运动估计时域运动估计时域运动估计频域运动估计频域运动估计DFT、DCT、DWTv 像素递归法像素递归法:v 根据像素间亮度的变根据像素间亮度的变化和梯度，经过递归修正化和梯度，经过递归修正的方法来估计每个像素的的方法来估计每个像素的运动矢量。运动矢量。L o g oL o g oL o g oL o g oL o g oL o g o3.1 3.1 运动估计算法简介运动估计算法简介u二、二、 为什么进展运动补偿预测？为什么进展运动补偿预测？u 对于活动图像编码，帧间预测是主要的手段；对于活动图像编码，帧间预测是主要的手段；

5、u 根本帧间预测方法对于存在大量静止区域或缓变区域的根本帧间预测方法对于存在大量静止区域或缓变区域的图像，预图像，预u 测效果不错；测效果不错；u 对于活动的物体，预测效果不理想；对于活动的物体，预测效果不理想；u 对于一些发生运动的图像进展预测编码，采用运动补偿对于一些发生运动的图像进展预测编码，采用运动补偿预测的方预测的方u 法。法。L o g oL o g o 运动估计研讨现状运动估计研讨现状三、三、 运动补偿预测的根本原理运动补偿预测的根本原理将当前帧中目的的运动信息告知解码器端，将当前帧中目的的运动信息告知解码器端，解码器可根据运动信息和前一帧图像内容来更新当前帧图像，解码器可根据运

6、动信息和前一帧图像内容来更新当前帧图像，获得当前帧的真实数据；可有效降低编码所需数据量获得当前帧的真实数据；可有效降低编码所需数据量用其在前一帧图像中的对应部分对当前帧中的子块进展预测，能用其在前一帧图像中的对应部分对当前帧中的子块进展预测，能够大大减小预测误差，这种预测称为运动补偿够大大减小预测误差，这种预测称为运动补偿Motion Motion Compensation, MCCompensation, MC。L o g oL o g o 运动估计研讨现状运动估计研讨现状u 运动估计运动估计(ME)(ME)将活动图像分为假设干部分构造，检将活动图像分为假设干部分构造，检测出每个部分构造在前

7、一帧图像中的位置，从而可以估计测出每个部分构造在前一帧图像中的位置，从而可以估计出这个构造的位移，用运动矢量表示；出这个构造的位移，用运动矢量表示；u 运动补偿运动补偿(MC)(MC)由位移的估值建立部分构造在不同帧由位移的估值建立部分构造在不同帧的空间位置对应关系，用前一帧图像中的对应部分对当前的空间位置对应关系，用前一帧图像中的对应部分对当前帧中的部分构造进展预测。帧中的部分构造进展预测。 L o g oL o g o 运动估计研讨现状运动估计研讨现状运动估计与运动补偿预测编码步骤：运动估计与运动补偿预测编码步骤： 分割图像为假设干部分构造分割图像为假设干部分构造划分静止和运动区域；划分静

8、止和运动区域； 最简一方法分块；最简一方法分块； 运动估计运动估计对每一个运动物体进展位移估计；对每一个运动物体进展位移估计； 运动补偿运动补偿由位移估计建立同一运动物体在不同帧空间位置由位移估计建立同一运动物体在不同帧空间位置对应关系，建立预测关系；对应关系，建立预测关系； 对于运动补偿后的位移帧差信号、运动矢量进展编码传输。对于运动补偿后的位移帧差信号、运动矢量进展编码传输。L o g oL o g o 运动估计研讨现状运动估计研讨现状 a b c当前帧当前帧后一帧后一帧运动矢量运动矢量MVMV前一帧前一帧u 对当前子块进展运动估计，就是找在前一帧图像中哪一对当前子块进展运动估计，就是找在

9、前一帧图像中哪一个子块和当前子块最类似，估计它的位移矢量。个子块和当前子块最类似，估计它的位移矢量。L o g oL o g o 运动估计研讨现状运动估计研讨现状运动运动矢量矢量L o g oL o g o3.1.2 - 3.1.2 - 3.1.3 3.1.3 块匹配运动估计块匹配运动估计一、根本思想一、根本思想将视频序列的每一帧都划分为许多大小一样、互不将视频序列的每一帧都划分为许多大小一样、互不重叠的子块并做假设：子块内一切像素具有运重叠的子块并做假设：子块内一切像素具有运动一致性，并且只做平移运动，不包含旋转、伸动一致性，并且只做平移运动，不包含旋转、伸缩；缩；然后对每个子块到参考帧某一

10、给定特定搜索范围然后对每个子块到参考帧某一给定特定搜索范围匹配窗内根据一定的匹配准那么找出与当前匹配窗内根据一定的匹配准那么找出与当前块最类似的块，即预测块匹配块；块最类似的块，即预测块匹配块；预测块与当前块的相对位移即为运动矢量预测块与当前块的相对位移即为运动矢量Motion Motion Vector, MVVector, MV，预测块和当前块之间的差值称为，预测块和当前块之间的差值称为残差图像；残差图像；L o g oL o g ou视频紧缩的时候，只需保管运动矢量和残差数据视频紧缩的时候，只需保管运动矢量和残差数据就可以完全恢复出当前块；预测越准确，残差中就可以完全恢复出当前块；预测越

11、准确，残差中的数值越小，编码后所占用的比特数越少；的数值越小，编码后所占用的比特数越少；u利用运动矢量在参考帧上进展运动补偿，补偿残利用运动矢量在参考帧上进展运动补偿，补偿残差经差经DCTDCT变换、量化、编码后与运动矢量共同编码变换、量化、编码后与运动矢量共同编码传送。传送。L o g oL o g o3.1.2 - 3.1.2 - 3.1.3 3.1.3 块匹配运动估计块匹配运动估计L o g oL o g o 块匹配算法中块与运动矢量的关系L o g oL o g o3.1.2 - 3.1.2 - 3.1.3 3.1.3 块匹配运动估计块匹配运动估计匹配窗大小：匹配窗大小：S=(N+2d

12、)(N+2d)；d为垂直和程度方向上的最大位移。为垂直和程度方向上的最大位移。u子块大小的选择：子块大小的选择：u 必需足够大，太小会发生匹配到必需足够大，太小会发生匹配到有一样像素值但与场景无关的块；有一样像素值但与场景无关的块；块小也会添加运算量，同时添加所块小也会添加运算量，同时添加所需传输的运动矢量信息；需传输的运动矢量信息；u 必需足够小，假设一个块里存在必需足够小，假设一个块里存在不同的运动矢量，匹配块不能提供不同的运动矢量，匹配块不能提供准确有效估计。准确有效估计。L o g oL o g o3.1.2 - 3.1.2 - 3.1.3 3.1.3 块匹配运动估计块匹配运动估计二、

13、提高搜索效率的主要技术二、提高搜索效率的主要技术 运动估计算法研讨的目的运动估计算法研讨的目的提高预测精度，加快估计速提高预测精度，加快估计速度，降低编码比特率；度，降低编码比特率； 提高算法效率采用的方法：提高算法效率采用的方法： 初始搜索点的选择；初始搜索点的选择； 匹配准那么；匹配准那么； 运动搜索战略。运动搜索战略。L o g oL o g o3.1.2 - 3.1.2 - 3.1.3 3.1.3 块匹配运动估计块匹配运动估计1、初始搜索点的选择、初始搜索点的选择 直接选择参考帧对应的直接选择参考帧对应的0，0位置位置 方法简单，易堕入部分最优点初始步长太大，原点不是最方法简单，易堕入

14、部分最优点初始步长太大，原点不是最优点，有能够使快速搜索跳出原点周围能够性较大的区域优点，有能够使快速搜索跳出原点周围能够性较大的区域而去搜索远间隔的点，导致搜索方向不确定，能够堕入部而去搜索远间隔的点，导致搜索方向不确定，能够堕入部分最优；分最优；L o g oL o g ou 选择预测的起点选择预测的起点利用相关性预测初始搜索点利用相关性预测初始搜索点，减少搜索次数，减少搜索次数u 基于基于SAD(sum of difference)值的起点预测方法值的起点预测方法求出当前块与相邻块间的求出当前块与相邻块间的SAD值，选取值，选取SAD最最小的块的运动矢量作为预测值。预测精度高，计小的块的

15、运动矢量作为预测值。预测精度高，计算量大；算量大；u 利用相邻块和相邻帧对应块的运动矢量来预测当利用相邻块和相邻帧对应块的运动矢量来预测当前块的搜索起点，为简化系统多采用同帧块的空前块的搜索起点，为简化系统多采用同帧块的空间相关性来预测运动；间相关性来预测运动；u 基于相邻运动矢量相等的起点预测方法，保证精基于相邻运动矢量相等的起点预测方法，保证精度根底上利用运动矢量相关性大大减少计算量。度根底上利用运动矢量相关性大大减少计算量。L o g oL o g o3.1.2 - 3.1.2 - 3.1.3 3.1.3 块匹配运动估计块匹配运动估计2、匹配准那么平均绝对误差平均绝对误差均方误差均方误差归一化相互关函数归一化相互关函数u 常见的运动估计匹配准那么有三种：常见的运动估计匹配准那么有三种：MADMAD、MSEMSE和和NCCFNCCF，由于，由于MADMAD没有乘除操作，不需做乘法运算，实现简一方便，所以运用没有乘除操作，不需做乘法运算，实现简一方便，所以运用较多。通常运用求和绝对误差较多。通常运用求和绝对误差SADSAD替代替代MAD MAD 。L o g oL o g o3.1.2 - 3.1.2 - 3.1.3 3.1.3 块匹配运动估