HEVC相关技术简介..ppt

新一代视频编码标准hevc(highefficiencyvideocoding)相关技术简介,刘晟何美伶许晴晴2014-11-10,纲要,hevc产生的背景hevc与h.264/avc的联系与区别hevc编码层结构,视频应用发展趋势,hdtv3dtv自由多视点视频实时视频会议iptv业务3g无线网络,应用范围更广,码率与带宽,复杂的应用环境,视频应用发展趋势,高清晰度(higherdefinition)：数字视频的应用格式从720p向1080p全面升级，在一些视频应用领域甚至出现了4kx2k、8kx4k的数字视频格式高帧率(higherframerate)：数字视频帧率从30fps向60fps、120fps甚至240fps的应用场景升级高压缩率(highercompressionrate)：传输带宽和存储空间,压缩要求更高,h.264编码的局限性,码率压缩趋势,hevc在h.264/avc的基础上提出码率压缩提升一倍，符合发展规律！,hevc的提出,iso-iec/mpeg和itu-t/vceg成立了一个研究视频编码的联合协作小组jct-vc(thejointcollaborativeteamonvideocoding)，其宗旨是建立新一代的视频编码标准。2010年4月在德国德雷斯顿召开了jct-vc第一次会议，确定了新一代视频编码标准的名称：hevc(highefficiencyvideocoding)。并且建立了测试模型tmuc(testmodelunderconsideration)，分领域搜集和审阅技术提案。初步定于2012年7月完成标准的最终稿。2010年10月在广州召开了jct-vc第三次会议，会上确立了hevc的第一个试验模型hm1。新一代视频压缩标准的核心目标，是在h.264的基础上将压缩效率提高一倍。即在保证相同视频图像质量的前提下，视频流的码率减少50%。在提高压缩效率的同时，可以允许编码端适当提高复杂度。,纲要,hevc的背景hevc与h.264/avc的联系与区别hevc编码层结构,h.264和hevc关键特性对比,纲要,hevc的背景与h.264/avc之比较hevc编码层结构,hevc编码器框架,混合编码结构,reconstructedvideooutput,hevc编码器框架,hevc以lcu块为单位对输入视频帧进行处理，首先是进行预测，可进行帧内预测或帧间预测。帧内预测：预测块由当前帧中已编码并解码重建的相邻块预测得到。帧间预测：预测块通过基于一个或多个参考帧的运动估计和运动补偿得到。然后通过当前块减去预测块得到预测残差。预测残差进一步进行变换编码和量化，从而得到量化后的残差系数。然后对量化后的残差系数、编码模式以及相关的编码参数等信息进行熵编码，从而得到压缩后的比特流。同时量化残差还要进行反变换和反量化，然后将残差和预测值相加起来重建图像，再进行滤波，生成参考帧。,hevc编码层结构,基于四叉树结构的分割技术帧内预测编码技术帧间预测编码技术并行化设计,cu、pu和tu,cu(codingunit),cu是进行帧内预测和帧间预测编码的基本单元，它总是方形的从scu（8x8）到lcu（64x64），cu块从lcu块开始递归划分，一个块被划分为四个相同大小的子块。通过率失真代价（rdcost=sad+bits）选取最优的分割大小。,cu、pu和tu,actu(lcu),cu(codingunit),cu递归分割。支持8x864x64,cu总是平方块，且亮度单位常为8x8,16x16,32x32,64x64。,基于四叉树结构的分割技术,这种扫描顺序保证了对于不同分割都能按照相同的遍历顺序进行寻址，有利于程序中的递归实现。,如果仍是采用光栅扫描顺序，对cu的寻址会很不方便，因此，hevc定义了z扫描顺序。,2.pu（predictionunit）,pu是用来传输和预测过程的信息的基本单元，它是在编码单元cu基础上进行划分的。一般来说，它不一定是正方形的，这是为了分块能更好与图像中真实物体存在的边界匹配。每一个cu中可以包含一个或多个pu。,2.pu（predictionunit）,inter,intra,asymmetricmotionpartition(amp),帧内pu分割,帧间pu分割,note：part_nxnonlyfor8x8cuamponlyfor64x64cu,cu划分完以后，针对每个cu划分pu，pu是进行预测的单元。每个cu可以包含一个或多个pu。,amp,amp模式示例(racehorses),ampmodesareeffectivelyusedfortextureswhichcannotberepresentedbysquareorsymmetricpartitionmodes.,3.tu（transformunit）,tu用于变换和量化的单元。与pu相同，tu也是在cu基础上划分的。tu的形状取决于pu的划分模式，当pu为正方形时，tu也是正方形的（4x4to32x32）当pu为非正方形时，tu也是非正方形的（32x8、8x32、16x4、4x16）。一个cu可以包含一个或多个tu，tu也是一个四叉树结构。,3.tu（transformunit）,划分成最小的,基于四叉树结构的分割技术,cu,tu的由cu的大小决定，亮度和色度具有相同的分级深度。dct:44、8x8、16x16、3232。dst:4x4（仅适用于帧内预测，在单边预测模式中，距离参考像素越远，预测误差越大，左边像素为参考像素，右边像素为预测像素，那么左边预测像素的预测准确性高于右边预测像素的预测精度，离散正弦变换能够很好地适应这种预测误差的统计特性）。,transformunit(tu)structure,编码单元、变换单元的四叉树结构关系图,帧内预测编码技术,intraprediction,帧内预测：利用图像的空间相关性，用周围重建像素值对当前编码块进行预测。,帧内预测编码技术,intraprediction,目前hm模型中共包含了35种预测模式，左图并未显示planar预测方法。色度分量的帧内预测采用了5种预测模式，分别为水平、垂直、dc预测、亮度模式以及对角模式。,帧内预测编码技术,intraprediction,帧内预测编码技术,planar模式,在平面预测中，首先右下角的像素由图中重建像素和平均得到，然后利用重建像素和与进行线性插值计算出最下面一行和最右边一列像素值，如图中像素和，然后利用插值得到的像素进行双线性插值计算其它预测像素值，如图中像素,线性插值,双线性插值,最有可能模式（mpm，mostprobablemode）是指当前块周围已编码过的左边块和上边块的最佳预测模式。,帧内编码流程,帧间预测编码技术,interprediction,帧间预测利用连续图像之间的相关性，通过运动估计和运动补偿的编码方法去消除视频信息的时间冗余。利用先前已编码重建帧作为参考帧进行预测。1、帧间预测采用融合模式时，当前pu块的运动信息(包括运动矢量、参考索引、预测模式)都可以通过相邻pu的运动信息推导得到。编码时，当前pu块只需要传送融合标记(mergeflag)以及融合索引(mergeindex)，无需传送其运动信息。2、帧间预测还可以通过空域相邻pu以及时域相邻pu的运动矢量信息构造出一个预测运动矢量候选列表，pu遍历运动矢量候选列表，在其中选择最佳的预测运动矢量。（时空域mvp）,运动融合技术：skip模式和merge模式,1）skip模式本身就是一种特殊的merge模式。skip=merge+（cbf=0）2）hevc里的merge模式是整合了h.264中的direct模式和skip模式。h.264中的direct模式是给定预先设定的值进行传输。而hevc里的merge和skip不是这样。3）skip模式和merge模式之间的区别：skip模式不传残差，只传skip_flag和merge_index。merge模式传残差和merge_index。skip模式作用：节省码率。5）merge模式：不需要进行复杂的运动估计，只有运动补偿，当前pu块的运动信息都可以通过相邻pu的运动信息推导得到。,inter模式下预测运动矢量选取,note：只有左边超出slice或者帧内编码，才能缩放上边。,空域候选左边选择一个，上边选择一个,获取顺序：左边a0a1scaleda0scaleda1上边b0b1b2scaledb0scaledb1scaledb2,缩放条件：周围块的运动矢量参考帧的poc和当前预测单元的参考帧的poc不一致时才能缩放,如果空域得到的2个预测运动矢量都存在且不相等，则跳过时域候选,时域候选先h后c3,如果h位置的pu和当前pu不在同一个对应的lcu中，则标记不可用,最后将时域候选和空域候选得到的预测运动矢量加入列表，进行去冗余，添加0运动矢量，得到一个只有2个预测运动矢量的列表，然后根据代价值选择最佳的预测运动矢量,环路滤波,环路滤波,自适应环路滤波(alf),去块滤波,采样点自适应偏移(sao),无4x4块,采样点自适应偏移(sampleadaptiveoffset),带状偏移将像素值强度等级划分为若干个条带，每个条带内的像素拥有相同的偏移值。现有的hm模型将像素值强度从0到最大值划分为32个等级。同时这32个等级条带还分为两类，第一类是位于中间的16个条带，剩余的16个条带是第二类。编码时只将其中一类具有较大补偿值的条带偏移信息写入片头；另一类条带信息则不传送。这样的方式编码将具有较小偏移值的一类条带忽略不计，从而节省了编码比特数。,带状偏移,32级像素值条带分割示意图,采样点自适应偏移(sampleadaptiveoffset),边缘偏移主要用于对图像的轮廓进行偏移。它将当前像素点值与相邻的2个像素值进行对比，用于比较的2个相邻像素可以在图9中所示的4种模板中选择，从而得到该像素点的类型：局部最大、局部最小或者图像边缘。解码端根据码流中标示的像素点的类型信息进行相应的偏移校正。,4种边缘样点偏移模板,边缘偏移,自适应环路滤波,自适应环路滤波(adaptiveloopfilter,alf)在编解码环路内，位于deblock和sao之后。对于亮度分量，采用cu为单位的四叉树alf结构。滤波使用55，77和99三种大小的二维钻石型模板。滤波器计算每个44块的laplacian系数值，并根据该值将所有44块分成16类，分别对应16种滤波器。,对于色度分量，滤波的选择过程会简单许多。原因如下：首先，色度分量的滤波只需要在图像层级上进行。其次，滤波时色度分量统一使用55矩形滤波模板，不需要通过laplacian系数来选择滤波器类型。,3种alf滤波模板,并行化设计（一）,用垂直和水平的边界将图像划分为一些行和列，划分出的矩形区域为一个tile，每一个tile包含整数个lcu，tile之间可以互相独立，以此实现并行处理。,tile划分示意图,tile,并行化设计（二）,entropyslice与slice的关系,entropyslice,一个entropyslice不能跨越slice边界，也就是一个slice可以含有多个entropyslice，但是一个entropyslice只能属于一slice,熵编码