基于纹理相似度判断的H264帧内预测快速算法研究

1、1ICIEICIE基于纹理相似度判断的基于纹理相似度判断的H.264帧内预测帧内预测快速算法研究快速算法研究西安电子科技大学硕士论文中期报告西安电子科技大学硕士论文中期报告报告人：焦昶哲报告人：焦昶哲导导 师：郭宝龙师：郭宝龙 教授教授20122012年年1 1月月2ICIEICIEAgendaAgenda3ICIEICIE 选题意义及背景选题意义及背景1、研究视频压缩标准的必要性、研究视频压缩标准的必要性众所周知，视频信号所包含的信息量大，其内容可以是活动众所周知，视频信号所包含的信息量大，其内容可以是活动的，也可以是静止的；可以是彩色的，也可以是黑白的；有的，也可以是静止的；可以是彩色的，

2、也可以是黑白的；有时变化多、细节多，有时十分平坦。一路高清晰度电视信号时变化多、细节多，有时十分平坦。一路高清晰度电视信号（HDTV），不压缩需），不压缩需1Gbps带宽来进行传输，而一张带宽来进行传输，而一张DVD仅能存储几秒钟相当于电视质量的分辨率和帧率的原始视频。仅能存储几秒钟相当于电视质量的分辨率和帧率的原始视频。这都给视频信息的存储和传输带来很大困难，使得我们必须这都给视频信息的存储和传输带来很大困难，使得我们必须对其进行压缩。对其进行压缩。 4ICIEICIE选题意义及背景选题意义及背景2、研究视频压缩标准的有利性、研究视频压缩标准的有利性 对视频压缩标准的研究有利于我国打破国外技

3、术壁垒，在新一对视频压缩标准的研究有利于我国打破国外技术壁垒，在新一代视频编码标准的制定中获得话语权。以西班牙电信为例，它代视频编码标准的制定中获得话语权。以西班牙电信为例，它在全球有在全球有22个子公司，个子公司，2011年所支付的年所支付的H.264专利费用超过了专利费用超过了1.5亿美元。所以目前学术界和商业界已形成一个共识，就是亿美元。所以目前学术界和商业界已形成一个共识，就是一流的企业制定标准，二流的企业运营品牌，三流的企业制造一流的企业制定标准，二流的企业运营品牌，三流的企业制造产品。产品。5ICIEICIE选题意义及背景选题意义及背景视频压缩的可能性视频压缩的可能性:空间冗余空间

4、冗余6ICIEICIE选题意义及背景选题意义及背景时间冗余时间冗余第一帧第一帧第二帧第二帧7ICIEICIE选题意义及背景选题意义及背景残差值残差值8ICIEICIEH.264H.264视频编码标准介绍视频编码标准介绍 H.264视频编码标准是由国际电信联盟视频编码标准是由国际电信联盟(ITU)和国际标准和国际标准化组织化组织(ISO)共同成立的联合视频专家组（共同成立的联合视频专家组（JVT）于）于2003年年3月颁布的，月颁布的，H.264 视频编码标准在当前的压缩标准中效率是视频编码标准在当前的压缩标准中效率是最高的，比最高的，比H.263 标准提高了将近一倍。标准提高了将近一倍。9IC

5、IEICIEH.264H.264视频编码标准介绍视频编码标准介绍H.264视频数据压缩的三个关键环节：视频数据压缩的三个关键环节： 1、预测编码、预测编码 2、变换编码、变换编码 3、熵编码、熵编码 10ICIEICIEH.264H.264视频编码标准介绍视频编码标准介绍预测编码预测编码预测编码分为帧间预测编码与帧内预测编码，分别对应压预测编码分为帧间预测编码与帧内预测编码，分别对应压缩视频序列的时间冗余与空间冗余。缩视频序列的时间冗余与空间冗余。 11ICIEICIEH.264H.264视频编码标准介绍视频编码标准介绍变换编码变换编码大量统计表明，图像的能量主要集中在直流部分和低频区，高大量

6、统计表明，图像的能量主要集中在直流部分和低频区，高频区占小部分。这样，将空间域的图像变换到频域或所谓的变频区占小部分。这样，将空间域的图像变换到频域或所谓的变换域，会产生相关性很小的一些变换系数，并可对其进行压缩换域，会产生相关性很小的一些变换系数，并可对其进行压缩编码，即所谓的变换编码。编码，即所谓的变换编码。比较常用的有离散余弦变换（比较常用的有离散余弦变换（DCT）和离散小波变换（）和离散小波变换（DWT） 12ICIEICIEH.264H.264视频编码标准介绍视频编码标准介绍熵编码熵编码利用信源的统计特性进行码率压缩的编码就称为熵编码，也叫利用信源的统计特性进行码率压缩的编码就称为熵

7、编码，也叫统计编码。视频编码常用的有两种：变长编码，也称哈夫曼编统计编码。视频编码常用的有两种：变长编码，也称哈夫曼编码及算术编码。码及算术编码。 13ICIEICIEH.264H.264视频编码标准介绍视频编码标准介绍H.264编码器编码器14ICIEICIEH.264H.264视频编码标准介绍视频编码标准介绍H.264解码器解码器15ICIEICIEH.264H.264视频编码标准介绍视频编码标准介绍帧间预测帧间预测一个最简单的时域预测方法是采用过去的某帧图像作为当前帧的一个最简单的时域预测方法是采用过去的某帧图像作为当前帧的预测帧。当前帧的残差值为当前帧减去预测帧。预测帧。当前帧的残差值

8、为当前帧减去预测帧。 第一帧第一帧第二帧第二帧16ICIEICIEH.264H.264视频编码标准介绍视频编码标准介绍残差（无运动补偿）残差（无运动补偿）这种方法的一这种方法的一个明显问题在个明显问题在于残差图像的于残差图像的能量过高，这能量过高，这意味着后续模意味着后续模型仍然存在大型仍然存在大量的信息需要量的信息需要压缩。压缩。17ICIEICIEH.264H.264视频编码标准介绍视频编码标准介绍现在普遍采用的运动补偿方法是将当前帧分成许多长方形的块，现在普遍采用的运动补偿方法是将当前帧分成许多长方形的块，对每个块进行运动补偿。如将当前帧分成对每个块进行运动补偿。如将当前帧分成MXN大小

9、的块，对每大小的块，对每块图像可以进行如下操作：块图像可以进行如下操作：1. 在参考帧中搜索在参考帧中搜索MXN尺寸的匹配块。将当前尺寸的匹配块。将当前MXN块与参考帧块与参考帧搜索区域中的部分或所有搜索区域中的部分或所有MXN块相比较，找出其中的最佳匹配块相比较，找出其中的最佳匹配块。搜索最佳匹配块的过程称为运动估计。块。搜索最佳匹配块的过程称为运动估计。 18ICIEICIEH.264H.264视频编码标准介绍视频编码标准介绍2. 将最佳匹配块作为当前块的预测块，当前块减去预将最佳匹配块作为当前块的预测块，当前块减去预测块后得到相应的测块后得到相应的MXN残差块。残差块。3. 对残差块进行

10、编码和传输，同时预测块和当前块的对残差块进行编码和传输，同时预测块和当前块的相对位置相对位置d(i, j)（即运动矢量（即运动矢量)也将被传输给解码器。也将被传输给解码器。解码器根据运动矢量寻找预测块，与解码后的残差块解码器根据运动矢量寻找预测块，与解码后的残差块相加，以重建原始图像。相加，以重建原始图像。 19ICIEICIEH.264H.264视频编码标准介绍视频编码标准介绍16X16宏块的运动矢量宏块的运动矢量20ICIEICIEH.264H.264视频编码标准介绍视频编码标准介绍运动补偿后的参考帧运动补偿后的参考帧运动补偿后的残差帧运动补偿后的残差帧21ICIEICIEH.264H.2

11、64视频编码标准介绍视频编码标准介绍帧内预测帧内预测H.264/AVC 引入了基于空域的帧内编码方法，即在空域利用当前引入了基于空域的帧内编码方法，即在空域利用当前帧中已编码重建过的宏块数据对当前待编码宏块的像素值进行预帧中已编码重建过的宏块数据对当前待编码宏块的像素值进行预测，接着再对预测残差进行变换、量化及熵编码。测，接着再对预测残差进行变换、量化及熵编码。 22ICIEICIEH.264H.264视频编码标准介绍视频编码标准介绍因为大量统计表明，同一幅图像的邻近像素之间有因为大量统计表明，同一幅图像的邻近像素之间有着相关性，或者说这些像素值相似。邻近像素之间着相关性，或者说这些像素值相似

12、。邻近像素之间发生突变或发生突变或“很不相似很不相似”概率很小。我们可以利用概率很小。我们可以利用这些性质进行视频压缩。这些性质进行视频压缩。图像差值信号的概率分布图像差值信号的概率分布 23ICIEICIEH.264H.264视频编码标准介绍视频编码标准介绍一个简单的一个简单的帧内预测模帧内预测模型型编码端：编码器预测编码端：编码器预测 P(X) = (2A + B + C)/4 残差残差 R(X) = X P(X) 被编码传输被编码传输解码端：解码端：R(X)被传输，并得到相同预测被传输，并得到相同预测 P(X) 重建值重建值 X = R(X) + P(X)24ICIEICIEH.264H

13、.264帧内预测全搜索算法帧内预测全搜索算法待预测待预测44亮度子块及其参考像素亮度子块及其参考像素44亮度块的帧内预测模式亮度块的帧内预测模式H.264帧内预测全搜索算法描述帧内预测全搜索算法描述25ICIEICIEH.264H.264帧内预测全搜索算法帧内预测全搜索算法4X4亮度块预测模式亮度块预测模式26ICIEICIEH.264H.264帧内预测全搜索算法帧内预测全搜索算法QCIF待预测的待预测的4X4亮度块亮度块27ICIEICIEH.264H.264帧内预测全搜索算法帧内预测全搜索算法9种模式得种模式得到的到的4X4亮度块预亮度块预测结果测结果28ICIEICIEH.264H.26

14、4帧内预测全搜索算法帧内预测全搜索算法16X16帧内预测模式帧内预测模式对于比较平滑的区域有时会采取对于比较平滑的区域有时会采取16X16宏块进行亮度预测宏块进行亮度预测29ICIEICIEH.264H.264帧内预测全搜索算法帧内预测全搜索算法使用使用H.264帧内预测产生的预测亮度帧帧内预测产生的预测亮度帧30ICIEICIEH.264H.264帧内预测全搜索算法帧内预测全搜索算法帧内预测的模式决策帧内预测的模式决策Rate Distortion Optimization率失真优化（率失真优化（RDO）全搜索模式）全搜索模式JDR(1 2 ) / 30 .8 5 2Q P2, ( ,)(

15、,)SSDx yDb x ybx y31ICIEICIEH.264H.264帧内预测全搜索算法帧内预测全搜索算法1 1、将宏块分为将宏块分为16个个4x4子块子块 ，计算每个子块的最优值，计算每个子块的最优值RDcost，相加得，相加得到到Intra_44下的总代价值下的总代价值Cost_44 。2、对当前宏块进行、对当前宏块进行Intra_16l6 下的最优预测模式选择。运用下的最优预测模式选择。运用Intra_16l6 的的4 种预测模式分别对宏块进行预测，得到相应的种预测模式分别对宏块进行预测，得到相应的4 种预测种预测模式中代价值最小的模式中代价值最小的RDcost值记为值记为Cost

16、_1616。3、比较、比较Cost_44 和和Cost_1616，若，若Cost_44 较小，则宏块的最佳较小，则宏块的最佳预测模式为预测模式为Intra_44，否则为，否则为Intra_1616。RDO全搜索算法步骤全搜索算法步骤32ICIEICIEH.264H.264帧内预测全搜索算法帧内预测全搜索算法全搜索算法的外循环是色度块最佳模式的选择，内循环是亮度块的最全搜索算法的外循环是色度块最佳模式的选择，内循环是亮度块的最佳模式选择。因此，佳模式选择。因此， 要得到一个宏块的最佳编码模式，要得到一个宏块的最佳编码模式， 需要计算相需要计算相应的应的RDcost代价值的次数为：代价值的次数为：

17、Mode8(Mode416+Mode16)=4(916+4)=592 次次 33ICIEICIEH.264H.264帧内预测经典快速算法帧内预测经典快速算法帧内预测快速算法优化方向：帧内预测快速算法优化方向：1、简化、简化 RDO代价函数代价函数2、通过概率预测及阈值判断来减少候选模式、通过概率预测及阈值判断来减少候选模式34ICIEICIEH.264H.264帧内预测经典快速算法帧内预测经典快速算法基于优势边缘强度的帧内预测快速算法（基于优势边缘强度的帧内预测快速算法（J. Wang算法）算法）5种图像边缘种图像边缘35ICIEICIEH.264H.264帧内预测经典快速算法帧内预测经典快速

18、算法J. Wang通过边缘强度通过边缘强度检测将需要搜索的模式检测将需要搜索的模式数从数从9种减少到了种减少到了4种。种。最终实验结果表明，最终实验结果表明，Wang提出的帧内预测提出的帧内预测快速算法所需要的计算快速算法所需要的计算时间只相当于全搜索算时间只相当于全搜索算法的法的40%。4x44x4亮度块的候选决策模式亮度块的候选决策模式36ICIEICIEH.264H.264帧内预测经典快速算法帧内预测经典快速算法类似的还有类似的还有F. Pan等人提出的基于边缘方向直方图预测最佳等人提出的基于边缘方向直方图预测最佳帧内模式的算法，仅在几个大概率模式中进行选择，显著减帧内模式的算法，仅在几

19、个大概率模式中进行选择，显著减少了候选预测模式数，提高了编码速度。少了候选预测模式数，提高了编码速度。然而这些方法在提高编码速度的同时，编码性能都有所下降。然而这些方法在提高编码速度的同时，编码性能都有所下降。我们对多种序列的我们对多种序列的9种帧内预测模式所占比重进行了统计，种帧内预测模式所占比重进行了统计，并基于统计结果提出了一种单向直接预测与多方向预测相结并基于统计结果提出了一种单向直接预测与多方向预测相结合的自适应算法。合的自适应算法。37ICIEICIE基于纹理相似度判断的帧内预测快速算法基于纹理相似度判断的帧内预测快速算法待预测待预测44子块及其参考像素子块及其参考像素 38ICI

20、EICIE基于纹理相似度判断的帧内预测快速算法基于纹理相似度判断的帧内预测快速算法在这种情况下，使用这些模式进行预测得到的残差值在这种情况下，使用这些模式进行预测得到的残差值也很可能相同。当也很可能相同。当 不完全相同但非常近似时，考虑不完全相同但非常近似时，考虑到量化步骤会将比较相近的残差值量化为相同的值，到量化步骤会将比较相近的残差值量化为相同的值，我们也可以得出同样的结论。因此，在上述情况下，我们也可以得出同样的结论。因此，在上述情况下，我们默认使用一种固定的预测模式进行预测，并且不我们默认使用一种固定的预测模式进行预测，并且不需要在码流中进行标识，只需在解码端执行同样的参需要在码流中进

21、行标识，只需在解码端执行同样的参考像素相似度检测，从而不但可以节省标识预测模式考像素相似度检测，从而不但可以节省标识预测模式所需要的码流，还可以节省其余所需要的码流，还可以节省其余8种预测所进行的率种预测所进行的率失真决策计算量。失真决策计算量。 ilil39ICIEICIE基于纹理相似度判断的帧内预测快速算法基于纹理相似度判断的帧内预测快速算法Sequence (CIF)Mode0 (%)Mode1 (%)Mode2 (%)Mode3 (%)Mode4 (%)Mode5 (%)Mode6 (%)Mode7 (%)Mode8 (%)pairs19.1923.1326.053.284.434.2

22、05.584.0810.06news20.4522.9932.592.753.414.473.914.305.13foreman9.1514.2933.393.9211.915.267.413.9110.76football6.7932.1823.377.474.5610.78mobile15.9315.6928.255.537.535.276.175.749.89container7.5929.3131.593.314.672.308.432.6710.13bus15.6720.5528.484.496.305.004.915.059.55Average13.5422

23、.5929.113.936.354.416.274.339.47表表1 帧内预测各模式分布情况帧内预测各模式分布情况40ICIEICIE基于纹理相似度判断的帧内预测快速算法基于纹理相似度判断的帧内预测快速算法（1）（2）122011()132pklkfloorlm21162Q PT hfloor41ICIEICIE基于纹理相似度判断的帧内预测快速算法基于纹理相似度判断的帧内预测快速算法基于纹理相似度判断的基于纹理相似度判断的的帧内预测流程的帧内预测流程图图42ICIEICIE基于纹理相似度判断的帧内预测快速算法基于纹理相似度判断的帧内预测快速算法SequenceBit-Rate(%)PSNR(dB)Time saving (%)QCIFForeman