多媒体编码通信04-预测

1、多媒体编码与通信多媒体编码与通信赵海武赵海武上海大学通信学院上海大学通信学院目录目录lDPCMl帧内预测l帧间预测DPCMDPCM编码编码lPCM：脉冲编码调制56,58,62,55,57,60,59,56lDPCM：差分脉冲编码调制56,2,4,-7,2,3,-1,-3DPCM可以用于像素的分量值，也可以用于变换以后的DCT直流系数7071696870727172686869707273701-2-12211-401111DPCMDPCM编码编码lDPCM编码器DPCMDPCM解码解码lDPCM解码器DPCMDPCM预测器预测器lDPCM的性能主要取决于预测器的性能。一般的线性预测器形式是x

2、n=a1xn-1+a2xn-2+akxn-kl其中k称为阶数lDPCM的特点是算法简单，易于硬件实现帧内预测帧内预测l分块l基于块的预测基于块的帧内预测基于块的帧内预测lDPCM以像素值或直流分量值为预测单位，没有利用更大尺度上的相关性l基于块的预测方法以块块为预测单位，利用相邻的已经解码的像素预测当前要编码的块l块通常是正方形的，尺寸有4x4, 8x8, 16x16等l下面以8x8为例来说明分块分块基于块的帧内预测基于块的帧内预测8x8块预测模式基于块的帧内预测基于块的帧内预测l基于块的帧内预测有以下模式l方向模式l垂直l水平l左下l右下ll直流模式l平面模式基于块的帧内预测基于块的帧内预测

3、l垂直模式Intra_8x8_Vertical当ri （i=18）可用时，该模式才被使用，此时predMatrixx,y = rx+1（x,y=07）l水平模式Intra_8x8_Horizontal当ci （i=18）可用时，该模式才被使用，此时predMatrixx,y = cy+1（x,y=07）基于块的帧内预测基于块的帧内预测l左下模式Intra_8x8_Down_Left当ri、ci（i=116）均可用时，该模式才被使用，此时predMatrixx,y=(rx+y+1+2rx+y+2+rx+y+3+2)2+(cx+y+1+2cx+y+2+cx+y+3+2)2)1（x,y=07）l右下

4、模式Intra_8x8_Down_Right当ri、ci（i=016）均可用时，该模式才被使用，此时如果x等于y，predMatrixx,y = (c1+2r0+r1+2)2（x,y=07）；否则如果x大于y，predMatrixx,y = (rx-y+1+ 2rx-y+rx-y-1+2)2（x,y=07）；否则如果y大于x, predMatrixx,y = (cy-x+1+2cy-x+cy-x-1+2)2（x,y=07）。基于块的帧内预测基于块的帧内预测l直流模式Intra_8x8_DC如果ri、ci（i=09）都可用,则predMatrixx,y= (rx+2rx+1+rx+2+2)2+(

5、cy+2cy+1+cy+2+2)2)1（x,y=07）；否则如果ri（i=09）可用，则predMatrixx,y = (rx+2rx+1+rx+2+2)2（x,y=07）；否则如果ci（i=09）可用，则predMatrixx,y = (cy+2cy+1+cy+2+2)2（x,y=07）；否则predMatrixx,y = 128（x,y=07）基于块的帧内预测基于块的帧内预测l平面模式Intra_Chroma_Plane当ri、ci （i=18）均可用时，该模式才被使用，此时predMatrixx,y = Clip1(ia+(x-3)ib+(y-3)ic+16)5)（x,y=07）。其中，

6、ia = (r8+c8)5, ic = (17iv+16)5,ih = iv =Clip1(v) = v 255 ? 255 : v )30(1)( 53)iiriri30(1)( 53)iicici基于块的帧内预测基于块的帧内预测l基于块的帧内预测还有l更多的块尺寸和形状l更多的方向模式l更多的预测算法双线性模式参考像素滤波基于块的帧内预测基于块的帧内预测l更多的块尺寸和形状基于块的帧内预测基于块的帧内预测l更多的方向模式帧间预测帧间预测l综述l运动向量l块划分l预测块与残差块l匹配准则l搜索算法帧间预测综述帧间预测综述l时间上相邻的图像存在很大的相关性，用帧间预测可以有效地消除这种相关性l

7、帧间预测主要是基于块的预测方法，也有整帧的预测方法运动向量：匹配块的位置与当前块的位置的差，运动向量：匹配块的位置与当前块的位置的差，MV = (xm-xc, ym-yc)其中其中(xm, ym) 是匹配块的亮度分量的左上角样本在整个帧的是匹配块的亮度分量的左上角样本在整个帧的亮度样本构成的矩阵中的坐标，亮度样本构成的矩阵中的坐标， (xc, yc)的含义类似的含义类似YYCbCrCrCb参考帧当前帧当前块匹配块同位块MV帧间预测：运动向量帧间预测：运动向量帧间预测：块划分帧间预测：块划分l通用模式是矩形块，MxNl固定大小的正方形l宽高比最大为2的矩形MV = (xm-xc, ym-yc)

8、= (xv, yv)predMatrixx,y = refPicx+xc+xv,y+yc+yv如果如果x+xx+xc c+x+xv v和和y+yy+yc c+y+yv v小于小于0 0，则以，则以0 0代替，如果大于水平或代替，如果大于水平或垂直方向的最大值，则用最大值代替。垂直方向的最大值，则用最大值代替。diffMatrixx,y=currMatrixx,y-predMatrixx,y叫做叫做残差块残差块或者或者残差矩阵残差矩阵YYCbCrCrCb参考帧当前帧当前块匹配块同位块MV帧间预测：预测块与残差块帧间预测：预测块与残差块帧间预测：匹配准则帧间预测：匹配准则l判断两个块接近程度的方法

9、l最小绝对差（MAD）l最小均方误差（MSE）l归一化互相关函数（NCCF）帧间预测：匹配准则帧间预测：匹配准则MADMADl当前块记为f(x,y),候选参考块记为g(x,y)，x=0.M-1,y=0.N-1N 1 M 1y 0 x 01MADf(x,y)g(x,y)MNl可见，MAD是两个块对应像素值的差的绝对值的平均值。MAD越小表示两个块越接近，使MAD达到最小值的那个（些）候选块叫做MADMAD最佳匹配块最佳匹配块帧间预测：匹配准则帧间预测：匹配准则SADSADN 1 M 1y 0 x 0SADf(x,y)g(x,y)l由于在寻找一个块的最佳匹配块的过程中块的大小是不变的，所以比较总和

10、和比较平均值的结果是一样的，计算总和可以简化计算。l绝对差值和（SAD）的计算公式是帧间预测：匹配准则帧间预测：匹配准则MSEMSEN 1 M 12y 0 x 01MSEf(x,y)g(x,y)MNlMAD最佳匹配块在实际编码的时候不一定是最佳的，因为变换系数的值不仅和MAD有关，还和每个差值具体取值及其分布有关lMSE比MAD更加接近真实的变换结果lMSE的计算公式是l可见，MSE是两个块对应像素值的差的平方的平均值。MSE越小表示两个块越接近，使MSE达到最小值的那个（些）候选块叫做MSEMSE最佳匹配块最佳匹配块帧间预测：匹配准则帧间预测：匹配准则NCCFNCCFN 1 M 1y 0 x

11、 0N 1 M 1N 1 M 122y 0 x 0y 0 x 0f(x,y)g(x,y)NCCFf(x,y)g(x,y)lNCCF叫做归一化互相关函数，它的计算公式是lNCCF描述的是两个块的相关性。NCCF的值越大，表示两个块的相关性越强。使NCCF达到最大值的那个（些）候选块叫做NCCFNCCF最佳匹配块最佳匹配块lNCCF和变换的原理是类似的，所以在理论上NCCF比MAD和MSE更好。帧间预测：匹配准则练习帧间预测：匹配准则练习ref89988989B88785456l分别计算SAD，MAD和NCCFcur88887777B66665555帧间预测：搜索算法帧间预测：搜索算法l全搜索法（

12、full search algorithm,FSA）l三步搜索法（three step search,TSS）l新三步搜索法（novel TSS, NTSS）l四步搜索法（four step search, FSS）l菱形搜索法（diamond search, DS）l六边形搜索法（hexagon-based search,HEXBS）l混合非对称交叉多六边形网格搜索法（UMHexagonS）帧间预测：全搜索帧间预测：全搜索l全搜索是最笨但也是最优的方法l确定一个搜索窗l计算搜索窗中每个可能的mv的匹配效果（选一种匹配准则）l取匹配效果最好的mvl计算量最大l保证得到最优的mv帧间预测：三步法

13、帧间预测：三步法l三步法是一种典型的快速搜索算法，主要思想是由粗到精l从搜索窗中心点开始，按一定步长去周围8个点作匹配计算，选一个匹配最好的点，记为MBDl将步长减半，以MBD为新的中心点，取8个点再做匹配计算l如此递推，知道搜索步长为1，得到最后的MBD作为最终的mvl计算量变小，但不能保证获得最优的mv帧间预测：新三步法帧间预测：新三步法l三步法采用9点正方形搜索模板，第一步步长过大，容易陷入局部最优l新三步法第一步的搜索模板上有17个点，如果MBD位于模板中心，则搜索结束l如果MBD是8个相邻点之一，则以MBD为新的中心，在3x3邻域内逐步搜索，直到MBD位于模板中心l如果第一步的MBD

14、不是8个相邻点之一，则令步长减半，按照三步法继续搜索l引入提前终止l可以适应小运动的视频序列帧间预测：四步法帧间预测：四步法l四步法基于实际视频的一个特征，即MV都是中心分布的l四步法第一步的搜索窗为5x5l每一步将搜索中心移到MBD处l后续各步的搜索窗大小依赖于MBD点的位置帧间预测：菱形搜索法帧间预测：菱形搜索法l搜索模板的大小和形状会影响算法的速度和性能，搜索模板太大易产生错误的搜索路径l太小又容易陷入局部最优l菱形搜索采用两种模板：9点和5点l搜索时先用大模板，l当MBD出现在大模板的中心时改用小模板作业作业4 4 如下表所示的4x4编码块，在SAD准则下，比较水平预测模式和垂直预测模式哪个更好568465676777778989799998作业作业4 4 如下所示的8x8参考块和当前编码块，请计算两个块匹配的MSE 51 54 52 51 52 52 49 50 53 52 52 58 51 47 50 52 53 51 53 55 51 53 45 44 48 47 55 47 51 48 46 44 53 53 47 43 54 49 50 40 57 47 43 47 62 60 45 39 50 41 50 60 80 79 48 38 53 50 50 57 94 93 76