H264中基于图像差值的编码模式快速选择

1、梁德坚1，刘玉琼1，谢翠兰2摘要：分析了现有的基于率失真优化的图像帧编码模式选择方法，指出了该算法运算复杂度高的原因。提出了一种基于图像差值的快速编码算法，详细介绍了该算法的提出思想和可行性分析。给出了基于该算法编码模式的具体选择方法，以及其参考帧的选取依据。给出了算法流程，最后从编码速度、比特率等角度测试了算法的性能。关键词：编码模式；H.264；率失真优化；快速算法；差值0 引言在大多数的自然视频序列中都存在较大面积的时域静止区域或颜色一致的运动区域，这些区域中的宏块不存在表观运动，通常称为静止宏块。静止宏块采用较大块尺寸的运动补偿即可获得准确的预测，省略对较小块尺寸编码模式的测试并不影响

2、编码性能。此外，若宏块处于运动一致性强的物体内部区域，采用一个运动矢量可以精确地描述其运动，变换系数经量化后可能全部为零，此类宏块称为DCT系数为零块。DCT系数为零块的运动补偿预测较精确，预测残差能量较小，采用更小块尺寸的编码模式、尝试更多的参考帧并不会进一步提高编码性能。运动物体边缘通常引起遮挡和背景显露，对于包含此类像素的宏块，采用较多参考帧可能获得更好的预测效果。因此，本文针对图像序列中这两个特征，提出了在保证静止宏块的有效检测的前提下，如何根据视频序列的统计特征，设计快速的编码模式选择算法，以提高编码的速率。1 基于图像差值的编码算法原理图像序列中静止块的寻找原则是利用相邻帧间的差值

3、绝对值来判别。比如，在运动物体边缘或纹理复杂的运动物体内部区域，差值较大。在静止区域或颜色一致性强的运动区域，差值较小。目前，比较常见的方法有计算宏块内绝对差值和，然后与预设的阈值相比较以检测此类宏块，但是该阈值往往是基于统计规律的，难以准确地确定，判别的可靠性不够高。还有通过比较宏块的平均绝对差值与整帧的平均绝对差值检测静止宏块，避免了阈值选择问题。显然，当宏块跨越运动物体与静止背景的边界时，仅有小部分像素如4*4小块处差值较大，上述方法采用整个宏块内绝对差值的累加和很容易误检测为静止的。为了解决上述问题，本文根据宏块内差值较大的像素的数目检测此类宏块。假设当前帧与前一帧（原始图像而不是重建

4、图像）在像素点(x，y)处的灰度值分别为C(x，y)和P(x，y)，则绝对差值阈值化后所得二值图为：其中，T_p为阈值，M(x，y)为1表示此像素属于运动区域。阈值的选择需要在编码效率与算法的运算速度之间做适当的折衷，通过实验确定阈值为11。在二值图内，统计宏块内活动像素点的总数，若总数不大于阈值T_SB，则判断为静止宏块。在避免噪声影响的同时，能检测出运动物体边缘引起的小面积像素块，阈值T_SB选取为8（最小块4×4的一半）比较合理。图1-2全模式下的编码图1-1静止宏块检测结果以Foreman视频序列中的图像帧为例，采用上述方法检测的静止宏块（图中全黑色的宏块）如图1-1所示，图

5、1-2为基于率失真优化的全模式选择算法所得的结果，叠加在图像上的线框代表了选择的编码模式对应的块分裂方式。可见，尽管由于摄像机晃动引起背景区域的轻微运动，仍然有大量的静止宏块。此外，在运动明显但颜色一致的帽子内部区域，宏块为静止的。对于静止宏块，大多采用了大块尺寸的编码模式。图2-1给出了Foreman序列中一帧的位移差值图像，采用了16×16块运动补偿，灰度中值代表零值，亮灰色表示正值，深灰色表示负值。在运动物体头部、眼睛及左肩的边缘，位移差值较大而静止宏块或运动一致性好的区域，位移差值较小。当宏块残差经变换量化后所得系数全为零时，不能进一步降低编码所需的比特数，采用更小块尺寸的编

6、码模式或搜索更多的参考帧仅能稍微地增强图像质量。图2-3全模式编码方式图2-2系数全零块图2-1位移差值图像在图2-2中叠加的“×”标记了DCT系数为零块，其余宏块内对残差的绝对值大于的像素用白色标记，大致反映了运动复杂的边缘。图2-3为基于率失真优化的全模式选择算法所得的结果，叠加在位移差值图像上的线框代表了选择的编码模式对应的块分裂方式。可见，16×16块运动补偿后的DCT系数为零块极少采用子宏块级编码模式，对于具有复杂纹理和运动细节的区域，测试较小块尺寸的编码模式有益于提高编码效率。2 编码模式的快速选择算法由上述研究与分析可知，充分利用静止宏块与DCT系数为零块在编

7、码模式及参考帧选择方面的统计特征，可以有效地降低编码过程的计算量。本文在设计该算法之前，先选取一些典型的视频测试序列进行分析，验证该方法的可行性。表1中给出了典型的视频序列的统计分析结果，其中QP=30，这些视频序列覆盖了大部分的纹理和运动复杂度变化范围，能较好地反映自然视频序列的特点。主要统计以下几个特征值的概率：静止宏块所占比例P1=Prob(SB)，静止宏块编码时能够采用大块尺寸模式的概率，P2=Prob(Big_Size_Mode|SB)，尺寸可选为16*16，16*8，8*163种之一。静止宏块采用16*16的块运动补偿后为DCT系数全零，且参考帧也为零的概率为P3=Prob(P16

8、*16|SB，DCT=O，Ref=0)。静止宏块的最佳参考帧Ref=0的概率P4=Prob(Ref=O|SB)。表1 典型视频测试序列主要特征值统计概率视频测试序列特征值统计概率PlP2P3P4News85.2%96.1%96.2%94.7%Foreman33.4%94.9%95.1%72.8%Tempete24.8%93.7%91.1%59.4%Tennis42.8%90.7%91.5%82.4%Silent73.7%96.4%94.0%92.6%Stefan23.8%94.9%82.2%58.3%Average47.3%94.5%91.7%76.7%统计结果表明：第一，平均有47.3%的宏

9、块为非活动的，对于运动程度较小的图像序列(News和Silent)则高达80%左右，对于运动剧烈，图像非常复杂的视频序列(Stefan和Tempete)与也将近25%。因此，充分利用静止宏块的特点可以有效地降低计算量。第二，无论序列的内容特征如何，静止宏块中选择大块尺寸模式为最佳编码模式的概率很高，不低于90%，因此可以省略对其他小块尺寸模式的测试。第三，采用大块尺寸16*16运动补偿后为DCT系数全零块，且最佳参考帧号Ref=0的静止宏块中，平均有91.7%的视频编码时不需要测试其他模式。第四，对于运动比较复杂或者纹理细节较多的视频序列，仅有75%左右的静止宏块选择前一帧为最佳参考帧，因此仅

10、搜索前一帧将不能获得满意的率失真性能。因此，利用上述编码模式选择的统计特性，可以在对编码性能影响较小的前提下，减少需要测试的候选模式数目。但是如果要省略对提高率失真性能影响很小的参考帧的搜索，则需要进一步利用其他信息。对静止宏块，尽管仅搜索前一帧并不充分，利用对不同块尺寸运动补偿预测有益的参考帧范围的统计结果，也可以减少参考帧的搜索数目。表二给出了对于静止宏块或DCT值为零的块，最佳编码模式为P16*8或P8*16时，最佳参考帧号不大于16*16模式的最佳参考帧号的概率记为Pl=Prob(Ref_16*16>=maxRef_16*8，Ref_8*16)，从表中可得，该值平均可达88%。另

11、外，实验中也测试了8*4、4*8和4*4块尺寸类型的最佳参考帧号不大于8*8块尺寸类型的最佳参考帧号的概率P2=Prob(Ref_8*8=maxRef_8*4,Ref_4*8,Ref_4*4)，该值平均值为84%。因此，根据此分析结果，可以限制运动估计过程中需要搜索的参考帧的范围。表2最佳参考帧选择大于小尺寸的概率统计视频测试序列概率统计PlP2News91.7%92.4%Foreman86.1%81.6%Tempete83.5%79.7%Tennis87.4%84.4%Silent90.2%90.4%Stefan92.7%76.5%Average88.6%84.1%此外，对帧内编码模式的统计

12、数据表明P帧宏块中采用帧内编码模式的比例最大约为4%，平均只有1.5%，如果最佳帧间模式下的编码系数全为零，最终选取帧内模式的概率不到0.5%，因此可以忽略帧内预测及模式选择过程。3算法流程及性能分析根据本文对视频测试序列的分析结果，本文提出了一种编码模式快速算法，算法的主要步骤如下：1)使用静止宏块检测算法对当前编码帧内的宏块分类。2)在所有可选的参考帧内进行块尺寸的运动估计。如果当前宏块为静止的，跳转第三步，否则跳转至第五步。3)如果16*16的块运动补偿后为DCT系数全零块，且当前最佳参考帧Ref也为零，计算SKIP与16*16模式的率失真复杂度，选择SKIP与16*16模式中率失真复杂

13、度最小的为最佳编码模式，然后转第二步对下一个宏块编码。否则，转第四步。4)在参考帧号Ref不大于Ref_16*16的参考帧内，进行16*8与8*16块尺寸的基于率失真优化的运动估计。计算SKIP、16*16、16*8、8*16模式下的率失真复杂度，选取率失真复杂度最小的模式为最佳编码模式，然后转第二步对下一个宏块编码。5)进行16*8与8*16块尺寸的基于率失真优化的运动估计：若块运动补偿后为DCT系数全零的块，仅选择参考帧号Ref不大干Ref_16*16的参考帧。否则，选择所有可用的参考帧进行运动估计。6)在所有可用参考帧内进行8*8块尺寸的运动估计。进行8*4、4*8与4*4块尺寸的基于率

14、失真优化的运动估计，仅选择Ref<=Ref_8*8的参考帧。对所有帧间编码模式，计算率失真复杂度，并选择最佳帧间编码模式。若最佳帧间模式下系数全为零，跳过帧内预测及帧内模式选择过程否则，进行帧内预测与帧内模式选择。选取使得率失真复杂度最小的模式为最佳编码模式，转第二步编码下一个宏块。为测试所提算法的性能，本文实现了编码模式及参考帧快速选择算法并进行测试。实验环境如下：采用率失真优化、快速运动估计，运动估计搜索范围为16像素，1/4像素精度，参考帧数为5，首帧为I帧（帧内编码），其余各帧都为P帧。在量化参数为28、32、36以及40时，对典型的视频序列进行编码测试，以测试不同量化参数下所提

15、算法对编码效率的影响。选择的测试序列具有不同程度的纹理和运动复杂度，帧率为30帧秒，各100帧，充分测试算法的性能。以PSNR代表新算法引起的重建亮度信号的峰值信噪比的提高，主要用于衡量重建的图像质量，bit_rate代表采用新算法后所引起的比特率的增加，主要反映压缩效率的差异。Coding_speed代表采用新算法后运算速度的差异。表3是对不同测试序列下的测试结果。表3不同测试序列下改进后的算法与全模式算法性能对比测试视频序列QP28323640NewsPSNR(DB)bit_rate0:84Coding_speedForemanPSNR(DB)bit_rateO180,69Coding_s

16、peedTempetePSNR(DB)bit_rateCoding_speed1,69TennisPSNR(DB)0,03bit_rate0,45Coding_speedSilentPSNR(DB)bit_rateO28-0,53Coding_speedStefanPSNR(DB)bit_rateCoding_speed从测试中可知，改进后的算法信噪比上变化不大，说明采用新算法构建的图像质量并未有太大的下降，同时在比特率上同样也是保持了较高的比率，但是在编码速度上，平均提高了一倍以上，对于中低复杂度的视频序列甚至编码速度提高了2倍以上。4 总结本文提出基于图像差值的编码模式快速选择算法，相对与全模式的编码算法，能够较大地提高编码速度，同时在编码质量和压缩率上保持与全模式相当的性能。但是算法的性能受视频序列内容的影响较大，对纹理和运动复杂度较高的序列编码复杂度仍然较高，对编码速度的提高不够明显，因此这也是本文所提算法的不足之处。参考文献：1周韬,刘少华，熊志辉，张茂军H264中基于全零块的编码模式快速选择J.计算机工程与设计，2007，28(14).2王正宁，彭强，诸昌钤，基于频域特征的H264/AVC帧内编码模式快速预测J西南交通大学学报，2007，42(3)3于宗良，齐丽娜，朱秀昌H264中基于先验预测的帧间编码模式选择算法研究J电子与信息学报，2006，28(1