H.265讲解最终牛逼版课件

指导老师：齐美彬

报告人：陈秀丽余登超朱广辉2012.12.8Contents简介HEVC描述帧内预测（intraPrediction)帧间预测（interPrediction）熵编码与环路滤波器（EntropyCodingandLoopFiltering简介1、简介2002音视频编码标准我国自主的视频编码标准2006年获颁为国家标准H.JPEGMPEGAVS1992ISO与CCITT通过JEPG2000ISO与CCITT通过JEPG20001991ISO/TEC通过MPEG-11994ISO/TEC通过MPEG-21998ISO/TEC通过MPEG-41988CCITT通过H.2611995ITU-T通过H.2632003.3ITU-T与ISO/IEC通过H.264数字图像编码的发展HEVC也被称为H.2651、简介未来数字视频的特点：数字视频的应用格式从720P到1080P，数字视频帧率从30fps到60fps1）宏块个数的爆发式增加。2）宏块内容复杂度的降低化。3）运动矢量数值的大幅度增加。H.264需要改进的原因：对于宏块级数字视频压缩的处理过程，H.264没有任何的修改，包括帧间预测、帧内预测、变换量化、熵编码和去块效应处理过程，都还一直保持着2003年草稿发布时的实现方式。也就是说H.264核心压缩原理一直没有调整更新。H.264向H.265过渡的原因1、简介H.265引入了32×32、64×64甚至于128×128的宏块类型,目的在于减少高清数字视频的宏块个数，减少用于描述宏块内容的参数信息。1）更大的变换块，H.265扩充到16×16、32×32甚至于64×64的变换和量化算法，用于大大减少H.264中变换相邻块间的相似系数2）使用一种新的MV（运动矢量）预测方式3）H.265会引入更加复杂的帧内预测方法4）H.265熵编码仅使用改进过的CABAC(H.264—CAVLC）5）H.265提出多个更加灵活的自适应去块效应滤波器下一代视频编码H.265的新特点HEVC描述HEVC描述HEVC(HighEfficiencyVideoCoding)-高效视频编码---H.265基于块的混合编码结构（变换加预测）灵活的四叉树编码块分割结构包含CTU（Codingtreeunit)—LCU(LargestCU)CU(Codingunit)PU(Predictionunit)TU(Transformunit)四种编码单元分为图像分割，帧内/帧间预测，变换和量化，熵编码，环形滤波器1、编码结构综述HEVC描述HEVC并不明确规定一个编解码器如何实现，而是规定了一个编码后的视频比特流的句法，和该比特流的解码方法，各厂商的编解码器在该框架下可以互通，在实现上具有较大的灵活性.1、编码结构综述HEVC描述HM编码器框图编码结构综述HEVC描述1、CTU（LCU）分割2、片结构（slice）3、砖结构（tile）4、CU分割5、PU分割6、TU分割

2、图像分割HEVC描述1、CTU（CodingTreeUnit)分割（LCU)

一个LxL亮度样本块(L=163264)CTUor单色平面的一个LxL样本块两个相应色度样本块CTU大致与AVC（H.264）中的宏块类似(宏块:由一个16x16亮度像素和附加的一个8x8Cb和一个8x8Cr彩色像素块组成)允许的最大尺寸为64x642、图像分割HEVC描述2、片结构（Slicestructure)作用：传输视频编码数据分组片结构熵片组在熵片之间执行，其他与片组相同，一个片结构可以包含好几个熵片。2、图像分割headerCUCU………CUHEVC描述3、砖结构一行和一列中同规格的编码树块（CTB）的整数数量矩形结构，并包含一个整数数量的CTB（Codingtreeblock)片结构与砖结构的关系（满足其中一个或都满足）：

1）一个片结构中的全部CTB属于同一个砖结构

2）一个砖结构中的全部CTB属于同一个片结构CTB光栅扫描在砖结构中是连续的，在图像中不一定连续2、图像分割HEVC描述4、编码单元（CU）结构作用：用于帧内/帧间编码的区域分割正方形结构尺寸：最小8x8，最大与CTU相同（最大64x64）

skipped无MV差异和残差信息的帧间预测模式CUnon-skipped可用于帧内/帧间预测中的任一个2、图像分割CU树结构对于亮度被限制在8x8到64x64之间，无分割时则为CU3的情况。

CU根据两种性能来进行划分：1）最大CU（LCU，largestCU）-CTU2）CU所属的LCU中的最大分层深度如果LCU尺寸=16和分层深度=2，则其编码结构与H.264中的宏块相同HEVC描述5、预测单元（PU）结构作用：获取预测过程的相关信息不一定是正方形，目的是为了促进与图像中实物边界相匹配的分割方式帧间编码PU有8种分割模式non-skipped

帧内编码PU有2种分割模式Skipped仅有一种分割模式2、图像分割HEVC描述帧间编码PU有8种分割模式后四种为不对称分割(1/4,3/4)与CU的关系如下：

1）PART_NxN模式仅在相应CU尺寸大于最小CU尺寸（8x8）时使用；

2）PART_2Nx2N模式的CU只有一个PU，PART_NxN模式下的CU有4个PU，其余的预测模式有2个PU。4x4尺寸块在帧间编码PU中不可使用，目的是减少运动补偿的存储宽度2、图像分割HEVC描述帧内编码PU有2种分割模式PART_2Nx2N模式的CU只有一个PU，PART_NxN模式下的CU有4个PUskipped模式仅有一种2Nx2N模式2、图像分割HEVC描述2、图像分割Example:128x128CUSkip模式：PU=128x128Intra模式：PU=128x128orPU=64x64Inter模式：PU=128x128or128x64or64x128or64x64or128x32or128x96or32x128or96x128HEVC描述6、变换单元（TU）结构作用：用于变换和量化过程TU为正方形，TU尺寸为4x4~32x32的亮度样本尺寸CU可能包含1个或更多个TU，一个PU也可能包含1个或更多个TU2、图像分割HEVC描述多个TU可以排列成一个四叉树结构，如图2、图像分割HEVC描述四叉树结构的最大深度是可调的，会在片头语法中直接指明2、图像分割headerCUCU………CUHEVC描述TU尺寸标志（TUsizeflag）置0时，TU尺寸与其PU一样置1时，PU对称---NxN，PU不对称---N/2xN/22、图像分割HEVC描述CU

PUTU三者的关系2、图像分割RQT—残差四叉树变换帧内预测（intraPrediction)帧内预测

亮度帧内预测模式帧内编码PU生成帧内预测样本色度帧内预测模式PU中的所有TU应该对每个成员使用同样的相关帧内预测模式编码器可以从35个预测模式中选取最优的亮度帧内预测模式（DC，平面和33个角度）1、预测模式帧内预测帧间预测方向和帧间预测模式标数间的映射关系---亮度1、预测模式帧内预测色度预测模式---5种：平面（0），垂直（1），水平（2），DC（3），直接采用与亮度相同的预测模式(4)

与亮度预测方向相同1、预测模式帧内预测用于帧内预测样本生成的相邻样本是在其生成过程之前进行滤波。intraFilterType（帧内滤波器类型）推导过程：1）变量minDistVerHor推导如下：minDistVerHor=Min(Abs(intraPredMode-26),Abs(intraPredMode-10))2)如果intraPredMode为intra_DC（预测模式为DC），intraFilterType置13）如果minDistVerHor比intraHorVerDistThres[nS]大，intraFilterType置1，否则置0.2、相邻样本滤波帧内预测x=-1…nS*2-1滤波样本数列pF[x,y]推导过程：

y=-1…nS*2-1intraFilterType[nS][intraPredMode]置12、相邻样本滤波Contents帧间预测（interPrediction）PredictionModes(预测模式)在HM编码器中，一个帧间编码的CU可分割成多个帧间PUs，每个帧间编码的PU有一组运动参数，这些运动参数由多于一个的运动矢量，相应的参考图像索引，以及参考图像列表使用标志组成。一个帧间编码的CU可以用如下编码模式编码：MODE_SKIP和MODE_INTER当一个CU使用skip模式(i.e.,PredMode==MODE_SKIP)进行编码时，对该CU不进行划分，只包含一个PU，其大小为PART_2Nx2N，即不进行预测，直接将CU的运动参数赋给PU进行编码，无残差数据。当一个CU使用MODE_INTER，有八种类型的分区模式(PART_2Nx2N,PART_2NxN,PART_Nx2N,PART_2NxnU,PART_2NxnD,PART_nLx2NandPART_nRx2N，PART_NxN【该分区模式指定CB划分成四个相等大小的PBs，但该模式仅支持CB大小等于最小允许的CB大小（即4×4）的时候。即仅在达到CU最大深度级时使用，此时N=4】。对于每个PU可以使用基于运动合并（合并模式）或实际运动参数估计的一般的帧间预测（帧间模式）。跳跃模式：通过使用合并模式推导当前PU的运动参数。运动参数通过检查所有可用的合并候选人决定，选择最好的运动参数集，其代价Jmode（模式决定的代价函数）最小的。帧间模式：当一个CU使用MODE_INTER时，每个PU的运动参数决定首先基于ME（运动估计）代价Jpred,SATD（用于预测参数决定的基于代价函数的SATD）完成。分为两种情况：1)合并模式情况，运动参数的决定从检查相邻PUs的可用性开始以形成合并候选。如果没有可用的候选，HM编码器则简单跳过合并模式的代价计算，当前PU也不会选择合并模式。2)帧间模式情况，最好的运动参数通过调用运动估计过程推导。在运动估计过程中，最好的运动参数基于代价函数Jpred,SATD获得，并与合并模式推导的运动参数代价Jpred,SATD进行比较，选择较小代价的作为最好的运动参数。PredictionModes(预测模式)HEVC包括一种合并模式，用来从空间或时间的相邻块推导运动信息。它被表示为合并模式，是因为它形成了一个合并区域共享所有的运动信息。运动合并是为了寻找相邻帧间编码的PU，它的运动参数可以被推断为当前PU的运动参数。编码器从多个候选中选择推断出最好的运动参数，这些候选通过空间相邻PUs和时间相邻PUs形成，并传输相应的索引来表明选择的候选是哪些。PredictionModes(预测模式)运动合并候选的推导过程运动合并中选择两种类型的合并候选：1）spatialmergecandidate（空间合并候选）：从5个不同位置的候选中选择4个合并候选；2）temporalmergecandidate（时间合并候选）：从2个候选中选择1个合并候选。产生空间-时间候选列表，除去list中具有相同运动参数的重复的候选。因为在解码器中假设每个PU中有恒定数目的候选，当候选的数目没有达到合并候选的最大数目(MaxNumMergeCand--在sliceheader中标志)时需生成额外的候选。如果候选的数目达到最大数目，则推导过程停止。在目前常见的测试条件下，MaxNumMergeCand被设为5。运动合并候选的推导过程运动合并候选的推导过程仅用于B片，产生联合双向预测和非缩放双向预测运动合并候选的推导过程运动合并候选的推导过程可用于B片和P片，添加在列表的最后空间合并候选图中为5个空间合并候选者的位置,对于每个候选人的位置，其可用性检查的顺序为：a1->b1->b0->a0->b2如果块位于帧内编码的位置或当前slice(或tile)的外部位置，则被认为不可用。仅当a1,b1,b0,a0不可用或为帧内编码时，才使用位置b2。若Nx2N,nLx2NandnRx2N水平分区的第二个PU为当前PU，则不考虑位置a1以阻止仿真2Nx2N分区，推导顺序即可用性检查顺序为：

b1->b0->a0->b2。若2NxN,2NxnUand2NxnD垂直分区的第二个PU为当前PU,则不使用位置b1,推导顺序为：a1->b0->a0->b2。空间合并候选时间合并候选co-locatedPU的位置从两个候选位置C3（中心位置）和H中选择，如图所示。如果位置H处的PU不可用或为帧内编码，或在当前LCU的外部，则使用位置C3。否则，使用位置H进行时间合并候选的推导。合并候选的生成联合双向预测候选（combinedbi-predictivecandidates）和非缩放双向预测候选（non-scaledbi-predictivecandidates），零合并候选（zeromergecandidates），前两个仅用于B片，均是利用空间-时间候选列表中的候选产生的，零合并候选用于P片和B片，最大数目分别限制为：5，1，与参考索引数相同。合并候选的最大数目在slice头中指定。当片为P片或合并候选的数目仍然小于最大数目时，零运动矢量相关的参考索引【从0到（参考图像数目-1）】被用于填充合并候选列表中的剩余项。运动矢量预测运动矢量预测利用相邻PUs运动矢量的空间-时间相关性，用于运动参数的显式传输。首先，通过先检查左边和顶部临时相邻PU位置的可用性来构造运动矢量候选列表，去除多余的候选并增加零矢量以使候选列表为固定长度。然后，通过选择运动矢量预测候选使代价函数Jpred，SAD最小，这个标准决定候选中最佳的一个。绝对差值和，用于预测参数决定的基于代价函数的SATD在运动矢量预测中，考虑两种类型的运动矢量候选者：spatialmotionvectorcandidate和temporalmotionvectorcandidate运动矢量候选推导spatialmotionvectorcandidate：从每个PU位于5个不同位置的运动矢量中选择2个，其中一个运动矢量候选利用当前PU左侧的PUs进行选择，一个利用当前PU顶部的PUs产生。temporalmotionvectorcandidate：一个运动矢量候选从2个候选中选择，这两个候选基于两个co-located位置衍生。第一个空间-时间候选列表产生后，将除去列表中重复的运动矢量。如果候选数目大于2，则索引大于1的运动矢量候选被从列表中除去；如果小于2，则添加零运动矢量候选到列表中。空间运动矢量候选在空间运动矢量候选的衍生过程中，从5个候选中最多选择2个，这五个候选从如图所示PU所处的位置中推导。运动矢量预测的候选位置与运动合并的位置一样一样。第一个空间运动候选从左边位置集a0和a1中选择，第二个从顶部位置集b0,b1和b2中选择。Temporalmotionvectorcandidates（时间运动矢量候选）除了参考图像索引的推导，所有的处理与时间合并候选一样。参考图像索引被传送到解码器。分数像素内插Fractionalsampleinterpolation除了运动矢量有整数值的情况，分数像素内插被用于产生非整数采样位置的预测样本。如H.264/AVC中一样，HEVC支持亮度样本间距离为1/4单元的运动矢量。对于色度样本，运动矢量精度由色度样本格式决定，对于4:2:0采样结构为色度样本间距离的1/8单元。HEVC中亮度样本的分数像素内插在半像素位置使用8抽头滤波器，1/4像素位置使用7抽头滤波器。且HEVC中改用一个单一的可分离的内插过程生成所有的分数位置而没有中间的舍入操作，这提高了精度并简化了分数样本内插的体系结构。这里使用更长的滤波器是为了改善插补精度。对于1/4像素位置使用7抽头而不是8抽头滤波器，主要是因为1/4像素位置比半像素位置更接近整数像素位置，7抽头滤波器已足够。亮度内插的整数和分数像素位置图中大写字母代表整像素位置小写字母代表非整像素位置表格中为用于亮度分数像素内插的滤波器系数色度分量的分数像素内插过程是类似于亮度分量的，除了滤波器抽头数目为4，且对于通常的4:2:0色度格式，使用1/8分数精度。色度分数像素内插的滤波器系数滤波器系数filter1[i],filter2[i],filter3[i],filter4[i],i=-1...2,各自用于内插色度采样1/8，2/8，3/8，4/8分数位置，对称分数位置5/8，6/8，7/8，各自使用镜像值filter3[1-i],filter2[1-i],filter1[1-i]。色度内插Contents熵编码与环路滤波器（EntropyCodingandLoopFilteringHEVC支持从4x4到32x32的变换尺寸（TUsize）。变换系数（quant.transf.coeff）dij(i,

j=0..nS-1)由变换矩阵cij(i,

j=0..nS-1)和残差值rij(i,

j=0..nS-1)推导得到的，推导过程如下：

1.中间变量像素eij(i,

j=0..nS-1)的推导公式eij=ci0*rj0+ci1*rj1+…+cinS-1*rjnS-1

，i,j=0,..,nS-12.中间变量像素fij(i,j=0,..nS-1)的推导公式fij=(

eij+2nS-10+BitDepth

)>>(

nS

+BitDepth–9),i,j=0,...,nS-13.未缩放的变换系数的gij(i,

j=0..nS-1)的推导公式gij=ci0*fj0+ci1*fj1+…+cinS-1*fjnS-1，i,j=0,..,nS-14.变换系数dij

(i,

j=0..nS-1)的推导公式dij=(

gij+2nS+5

)>>(

nS+6

)，i,j=0,...,nS-1.变换和量化1、变换2、变换矩阵变换矩阵cij(i,

j=0..nS-1)，nS=4,8,16,和32例如nS=4nS=8cij=cij=变换和量化3、量化量化系数qij(i,

j=0..nS-1)是由变换系数dij(i,

j=0..nS-1）推导出的，推导公式如下：qij=(

dij*f[QP%6]+offset

)>>(

29+QP/6

–nS–BitDepth),i,j=0,...,nS-1

f[x]={26214,23302,20560,18396,16384,14564},x=0,…,5228+QP/6–nS-BitDepth

<offset<229+QP/6–nS-BitDepth

变换和量化熵编码HEVC目前规定只使用一种熵编码，即基于上下文的自适应二进制算术编码(CABAC)。1、算术编码

算术编码是把各符号出现的概率表示在单位概率[0，1]区间之中，区间的宽度代表概率值的大小。符号出现的概率越大对应于区间愈宽，可用较短码字表示；符号出现概率越小对应于区间愈窄，需要较长码字表示。举例如下：2、CABAC

在CABAC中，每编码一个二进制符号，编码器就会自动调整对信源概率模型（一个“状态”）的估计，随后的二进制符号就在这个新的概率模型基础上进行编码。熵片（Entropyslice）EntropySlice允许在一个slice内部再切分成多个EntropySlices，每个EntropySlice可以独立的编码和解码，从而提高了编解码器的并行处理能力。

每一个slice可以划分为多个EntropySlice熵编码环状滤波器（LoopFiltering）去块效应滤波器作用：消除反量化和反变换后重建图像中由于预测误差产生的块效应，即块边缘处的像素值跳变。原因：1）基于块的帧内和帧间预测残差的DCT变换的系数量化过程相对粗糙，因而反量化过程恢复的变换系数带有误差。2）运动补偿预测中运动补偿块可能是从不同帧的不同位置上的内插点数据复制而来，运动补偿块的匹配不可能是绝对准确的。1、去块效应滤波器（Deblockingfilter）一个边界有三种滤波状态：nofiltering,weakfilteringandstrongfiltering。每种滤波的选择都是基于边界强度Bs和门限值ß和tc。去块滤波器的全过程环状滤波器（LoopFiltering）SAO在编解码环路内，位于Deblock之后，通过对重建图像的分类，对每一类图像像素值加减一个偏移，达到减少失真的目的，从而提高压缩率，减少码流。采用SAO后，平均可以减少2%~6%的码流,而编码器和解码器的性能消耗仅仅增加了约2%。目前自适应样点补偿方式分为带状补偿（BandOffset,BO）和边缘补偿（EdgeOffset,EO）两大类1）带状补偿将像素值强度等级分为若干个条带，每个条带内的像素拥有相同的补偿值。进行补偿时，根据重构像素点所处的带来选择相应的带状补偿值进行补偿。现在的HM模型将像素值强度从0到最大值划分为32个等级。同时这32个等级条带还分为两类，第一类是位于中间的16个等级条带，剩余的为第二类条带。编码时只将一类条带的补偿信息写入片头；另一类条带信息则不传送。这样方式编码将具有较小补偿值的一