HEVC H.265编码技术

1、HEVC H.265Agent2n H.265的发展背景和历程n H.265的关键技术n H.265编码能力对比n H.265的产品实现n H.265应用实测n H.265与4K视频背景 (1)3视频应用向以下几个方向发展的趋势愈加明显：l 高清晰度(Higher Definition)：数字视频的应用格式从720 P向1080 P全面升级，在一些视频应用领域甚至出现了4K x 2K、8K x 4K的数字视频格式;l 高帧率(Higher frame rate )：数字视频帧率从30 fps向60fps、120fps甚至240fps的应用场景升级;l 高压缩率(Higher Compressi

2、on rate )：传输带宽和存储空间一直是视频应用中最为关键的资源，因此，在有限的空间和管道中获得最佳的视频体验一直是用户的不懈追求。背景（2）4由于数字视频应用在发展中面临上述趋势，如果继续采用H.264编码就出现的如下一些局限性：(1) 宏块个数的爆发式增长，会导致用于编码宏块的预测模式、运动矢量、参考帧索引和量化级等宏块级参数信息所占用的码字过多，用于编码残差部分的码字明显减少。(2) 由于分辨率的大大增加，单个宏块所表示的图像内容的信息大大减少，这将导致相邻的4 x 4或8 x 8块变换后的低频系数相似程度也大大提高，导致出现大量的冗余。(3) 由于分辨率的大大增加，表示同一个运动的

3、运动矢量的幅值将大大增加，H.264中采用一个运动矢量预测值，对运动矢量差编码使用的是哥伦布指数编码，该编码方式的特点是数值越小使用的比特数越少。因此，随着运动矢量幅值的大幅增加，H.264中用来对运动矢量进行预测以及编码的方法压缩率将逐渐降低。(4) H.264的一些关键算法例如采用CAVLC和CABAC两种基于上下文的熵编码方法、deblock滤波等都要求串行编码，并行度比较低。针对GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU，H.264的这种串行化处理越来越成为制约运算性能的瓶颈。H.265应运而生5基于以上应用发展趋势和H.264的局限性，面向更高清晰度、更高帧率、更高

4、压缩率的高效视频编码标准(High Efficiency Video Coding）HEVC (H.265)协议标准应运而生。 HEVC的:l 核心目标：在H.264/AVC high profile的基础上，保证相同视频质量的前提下，视频流的码率减少50%。在提高压缩效率的同时，允许编码端适当提高复杂度（三倍计算复杂性下）。l 编码框架：沿用H.263的混合编码框架，即用帧间和帧内预测编码消除时间域和空间域的相关性，对残差进行变换编码以消除空间相关性，熵编码消除统计上的冗余度。HEVC在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。l 技术创新：基于大尺寸四叉树结构的分割技术

5、，多角度帧内预测技术，运动估计融合技术，高精度运动补偿技术，自适应环路滤波技术以及基于语义的熵编码技术。H.265（HEVC）标准完成时间点6l 2010年1月，ITU-T VCEG(Video Coding Experts Group) 和ISO/IEC MPEG(Moving Picture Experts Group)联合成立JCT-VC(Joint Collaborative Team on Video Coding)了联合组织，统一制定下一代编码标准：HEVC(High Efficiency Video Coding)。l 2012.2：委员会草案（标准草案完成稿）；HEVC委员会草

6、案获得通过。l 2012.7：HEVC国际标准草案获得通过；l 2013.1：国际标准最终获得通过；Agent7n H.265的发展背景和历程n H.265的关键技术n H.265编码能力对比n H.265的产品实现n H.265应用实测n H.265与4K视频H.265关键技术(1)四叉树编码结构8该结构使用编码单元(Coding Unit, CU)，预测单元(Prediction Unit, PU)和变换单元(Transform unit, TU) 3个概念描述整个编码过程。l 编码单元：HEVC定义了5种类型的编码元: 128128(LCU)，6464，3232，1616，88(Smal

7、lest Coding Unit, SCU)。l 对于每个CU，HEVC使用PU来实现该CU单元的预测过程，对于帧内预测，HEVC定义了34种帧内预测方向（H.264为9种），对于帧间预测，HEVC采取了运动矢量方案(MVR )、差值滤波(IF)、运动共享(MS)、运动向量竞争(MVC)和基于块的照明竞争(B-BIC)来提高编码性能。l 变换单元，则是针对正交变换和量化。对于正交变换，HEVC采用包含了1616，3232和6464等尺寸块的变换矩阵、旋转变换和基于模式的方向性变换来提高编码性能。H.265关键技术(1)四叉树编码结构9 LCU的树形结构示意图的树形结构示意图(a) 2N2N(b

8、) N2N(c) 2NN(d) NN 4种种PU分割类型分割类型6464CU所支持的所支持的4种种AMP分割形态分割形态HEVC的变换结构突破了原有的变换尺寸限制，可支持44至3232的编码变换，以TU为基本单元进行变换和量化。为提高大尺寸编码单元的编码效率，DCT变换同样采用四叉树型的变换结构。下图为编码单元、变换单元的四叉树结构关系图，其中虚线为变换单元四叉树分割，实线为编码单元四叉树分割，编号为各编码单元的编码顺序。H.265关键技术(1)四叉树编码结构10左图是传统的H.264标准，每个宏块大小都是固定的；右图是H.265标准，编码单元大小是根据区域信息量来决定的H.265关键技术(1

9、)四叉树编码结构11H.265关键技术(2)预测编码技术12HEVC的帧间、帧内预测的基本框架与H.264基本相同：采用相邻块重建像素对当前块进行帧内预测，从相邻块的运动矢量中选择预测运动矢量，支持多参考帧预测等。HEVC改进之处：帧内预测将原有的8种预测方向扩展至33种，增加了帧内预测的精细度。另外，帧内预测模式保留了DC预测，并对Planar预测方法进行了改进。目前HM模型中共包含了35种预测模式，下图只显示了34种，未显示Planar预测方法。n 多角度帧内预测多角度帧内预测H.265关键技术(2)预测编码技术13n 帧间预测技术帧间预测技术 l 广义B预测技术：HEVC仍然采用了H.2

10、64中的B预测方式，同时还增加了广义B(Generalized P and B picture，GPB)预测方式。GPB预测结构对传统P帧采取双向预测方式进行预测，前向和后向参考列表中的参考图像都必须为当前图像之前的图像，且两者为同一图像，这种运动预测方式增加了运动估计的准确度，提高了编码效率。l 高精度运动补偿技术：a. HEVC的编码器内部增加了像素比特深度，最大可支持12 bit的解码图像输出，提高了解码图像的信息精度。b. HM模型采取了高精度的双向运动补偿技术，即无论最终输出图像比特深度是否增加，在双向运动补偿过程中都将使用14 bit的精度进行相关计算。l 运动融合技术：将以往的跳

11、过预测模式(Skip Mode)和直接预测模式(Direct Mode)的概念进行了整合。采用融合模式时，当前PU块的运动信息(包括运动矢量、参考索引、预测模式)都可以通过相邻PU的运动信息推导得到。编码时，当前PU块只需要传送融合标记(Merge Flag)以及融合索引(Merge Index)，无需传送其运动信息l 自适应运动矢量预测技术：为一般的帧间预测PU服务，通过相邻空域相邻PU以及时域相邻PU的运动矢量信息构造出一个预测运动矢量候选列表，PU遍历运动矢量候选列表，在其中选择最佳的预测运动矢量。利用AMVP技术可充分发掘时域相关性和空域相关性。H.265关键技术(3)环路滤波141个

12、HEVC环路滤波包括3个环节：l 去块滤波：在H.264的去块滤波技术的基础上发展而来的，但为了降低复杂度，目前的HM模型取消了对44块的去块滤波l 采样点自适应偏移(Sample Adaptive Offset，SAO)：HEVC采用的新技术，SAO在编解码环路内，位于Deblock之后，通过对重建图像的分类，对每一类图像像素值加减一个偏移，达到减少失真的目的，从而提高压缩率，减少码流。分为带状偏移(Band Offset，BO)和边缘偏移(Edge Offset，EO)两大类l 自适应环路滤波(Adaptive Loop Filter，ALF)：HEVC采用的新技术，在编解码环路内，位于D

13、eblock和SAO之后，用于恢复重建图像以达到重建图像与原始图像之间的均方差(MSE)最小。H.265关键技术(4)熵编码15H. 264的熵编码CABAC编码器采用串行处理的方式，解码端需要非常高频率的计算能力；而H.265选用了两种并行商编码方案，提高并行处理能力，降低对解码端芯片的频率要求：l 可支持上下文自适应变长编码(CAVLC)：用于低复杂度的编码场合l 基于语法元素的上下文自适应二进制算术编码(SB-CABAC)：用于高效的编码场合。H.265关键技术(5)细粒度slice分块边界16H.265的熵编码slice边界划分不以LCU为单位，而是以更小的CU为单位，每个slice的

14、大小都可以精确控制，同时解决了码率控制和负载均衡的问题。但是带来的代价是slice边界处理更为复杂。片的分割如图：H.265关键技术(6)比H.264改进之处17相对于H.264，H.265标准的算法复杂性有了大幅提升，以此获得较好的压缩性能。H.265在很多特性上都做了较大的改进，具体各项改进如表所示： H.264H.265MB/CU大小441616446464亮度插值Luma-1/2像素1,-5,20,20,-5,1Luma-1/4像素1,1Luma-1/2像素-1,4,-11,40,40,-11,4,-1Luma-1/4像素-1,4,-10,57,19,-7,3,-1Luma-1/4像素

15、-1,3,-7,19,57,-10,4,-1MVP预测方法空域MVP预测空域+时域MVP预测AMVPMerge亮度Intra预测44/88/1616:9/9/4模式34种角度预测+Planar预测DC预测色度Intra预测DC,Horizontal,Vertical,PlaneDM,LM,planar,Vertical,Horizontal,DC,diagonal变换DCT 44/88 DCT 44/88/1616/3232 DST 44 去块滤波器44和88边界Deblock滤波较大的CU尺寸，44边界不进行滤波Agent18n H.265的发展背景和历程n H.265的关键技术n H.26

16、5编码能力对比n H.265的产品实现n H.265应用实测n H.265与4K视频编码能力对比19图像大小-帧数场景视频质量PSNR Y主观同等质量下的码率(kbps)码率降低比率H.264H.265D1-24fps简单4353835134.8%风景45.8120575037.8%运动38.5123078036.6%720P-24fps简单42.583553735.7%风景45.4207013593.5%运动39.52252144236.0%分别采用不同的编码技术编出D1和720P的视频，在同等分辨率下每种编码技术码率对比如下表所示：编码能力对比20l 相同质量情况下，H.265编码比H.2

17、64编码的码率减少25%35%。l 质量越高，编码后的码率差别越大。编码能力对比21编码能力对比22编码标准码率降低的平均值H.264/MPEG-4 AVC HPMPEG-4 ASPH.263 HLPH.262/MPEG-2 MPHEVC MP35.4%63.7%65.1%70.8%H.264/MPEG-4 AVC HP-44.5%46.6%55.4%MPEG-4 ASP-3.919.7%H.263 HLP-16.2%相同PSNR时，几种不同视频编码标准的对比：压缩能力对比23Agent24n H.265的发展背景和历程n H.265的关键技术n H.265编码能力对比n H.265的产品实现

18、n H.265应用实测n H.265与4K视频H.265的产品实现编码器251.编码器（硬件）：2. 编码器（软件）：l 2013年1月8日，Vanguard Video发表了V.265，一个专业的纯软件HEVC编码器，能达到实时的编码性能。同年6月， V.265专业HEVC编码器加入了Main 10 profile的支持，成为第一个支持Main 10 profile的实时HEVC软件编码器。l 2013年8月8日，日本电信电话发布了他们的HEVC-1000 SDK软件编码器，能支持Main 10 profile、分辨率最高7680 x4320以及祯率最高到120 fps。l 2013年9月，

19、北京瑞普图视发布其国内首款H.265实时编码软件，可以轻松地分别实现1路1080p、2路720p、4路480p的实时输入、编码压缩、实时输出，延时小于1秒以内，画面清晰流畅l 2013年10月，Ateme正式发布HEVC编码器，能够以60fps、平均15 Mbit/s的码率编码3840 x2160p分辨率的视频l 2012年8月22日，Ericsson发表了世界第一个HEVC编码器Ericsson SVP 5500，可做到实时编码视频，并首先用于在移动网络上提供电视节目。H.265的产品实现解码器（硬件）26l 2012年9月，法国Allegro DVT推出了全球首款HEVC广播配件：AL12

20、00HD-SDI解码器与AL2200IP转码器，并于2013年7月改进了其HEVC解码器IP，增加Main 10 profile的支持。l 2013年1月8日，博通发表了一个UHD解码芯片BCM7445，能够运行解码HEVC至最高4096x2160p分辨率于60 fps。BCM7445采用28纳米ARM架构，能达到21,000Dhrystone的每秒百万指令，预计在2014年中批量生产。l 2013年2月11日，MIT于国际固态电路研讨会(ISSCC)上，展示了世界第一个HEVC ASIC解码器。他们的芯片能够实时解码3840 x2160p 30fps的视频流，并消耗低于0.1瓦的电力l AR

21、M不仅在其Mali-T600 GPU上实现了1080P的HEVC解码，2013年10月，ARM还发布其全球第一个4Kx2K 实时硬解H.265的GPU芯片Mali-T764，可支持OpenGL ES 3.0和OpenCL 1.2。Mali-T764最大特点是采用第三代MIDgard架构。H.265的产品实现解码器（软件）27l 2012年2月29日， 世界移动通信大会上，高通展示了一个HEVC解码器运行在Android平板上，使用了Qualcomm SnapdragonS4 双核心处理器运行在1.5GHz，将同一个视频以H.264/AVC和HEVC同时并发播放，HEVC展现了较H.264/AV

22、C几乎节省了50%的比特率l 2013年3月，NTT DoCoMo开始授权其HEVC解码软件，能够在个人计算机上拨放4K UHDTV的视频于60 fps以及在智能手机上拨放1080p的视频，在一个JCT-VC文件内，该软件解码器能够在2.7 GHz 四核心Ivy BridgeCPU的平台上，以3个线程解码3840 x2160于60 fpsl 2013年4月3日，Ateme发布了第一个开放源代码实现的HEVC软件播放器，基于OpenHEVC解码器和GPAC视频播放器(两者都基于LGPL授权)。OpenHEVC解码器支持HEVC Main profile，能够用宏内核的CPU来解码1080p 30

23、fps的视频，同时还有一个支持HEVC的实况转码器搭配GPAC视频拨放器。H.265的产品实现编解码器28l 2012年9月6日，Rovi Corporation发表一个HEVC适用的MainConcept SDK， HEVC MainConcept SDK包含了一个解码器、编码器及传输多任务器，可在Microsoft Windows、Mac OS、Linux、iOS及Android上运行。l 2013年3月14日，Ittiam Systems发布了一个HEVC视频编码器及解码器，其中编码器是基于Intel x86软件，能编码高清(HD)放送质量的视频。而解码器软件可在基于ARM Cortex

24、-A9以及Cortex-A15的SoC上运行，允许大部分现存的消费性电子设备譬如智能手机、平板电脑、智能电视、机上盒来拨放高解析的HEVC内容。l 2013年9月6日，Thomson Video Networks展示了一个试验式的UHD传输用的HEVC编解码器，并且被人造卫星传输营运商HISPASAT所采用。H.265的产品实现转码器及其他29l 2013年9月11日，ViXS Systems了XCode 6400 SoC，在HEVC Main 10 profile下支持4K分辨率于60 fps，以及Rec. 2020色彩空间。并于2013年12月18日正式出货。l 2013年8月21日，Mi

25、crosoft发布了一个用于HEVC的DXVA（DirectX Video Acceleration）规范，支持Main、Main 10及Main Still Picture profile。DXVA 2.0可进行HEVC解码的硬件加速，兼容的解码器可使用DXVA 2.0进行以下操作：比特流解析、去区块、反量化缩放、反转换以及运动补偿。l 2013年9月，DivX在DivX 10.0中提供了DivX HEVC Plug-in，激活后即可播放或将其他格式视频转换为HEVC视频。 DivX 10.1 Beta版的解码器能分别以210.9 fps、101.5 fps、29.6 fps的速度来解码72

26、0p、1080p、4K的视频。l 2013年1月，三星电子在F8500等离子电视支持HEVC解码。H.265的产品实现云网行CR12 30l 采用最新的瑞芯微RK3288芯片。l CPU：四核Cortex-A17构架处理器，最高主频达到1.8GHz。l GPU：最新、最强的8核MaliT76X。l 强劲的CPU、GPU，支持4K*2K视频H.265硬解。l 通过HDMI2.0展现完美的4K视频播放输出。云网行2014年6月推出的新品-云网行CR12：Agent31n H.265的发展背景和历程n H.265的关键技术n H.265编码能力对比n H.265的产品实现n H.265应用实测n H

27、.265与4K视频H.265应用实测（迅雷）32测试配置：Athlon II X4 640 3.0GHz；DDR3 1333 6GB （DC+ enabled）；Windows 7 64bit测试仅用一个场景片段，一个码率预设值，来测试迅雷HEVC编码器的速度与压缩效率，同时与H264作对比。测试参数配置：编码测试结果：CPU基本满载编码，HEVC用时83分钟，H.264用时10分钟左右。（绝对数值与硬件配置有关）解码测试结果： 从启动播放器到播放到30秒处的CPU时间分别如下：HEVC: 27秒；H264: 19秒测试片源：1280X720，时长1分33秒编码软件：Lentoid HEVC

28、Encoder（北京视骏 ） ； 解码软件： Lentoid Codec, 版本是2.0.02013年3月30日迅雷看看独家首发了H.265升级版客户端，成为行业内首个将H.265技术标准从试验阶段正式大规模投入商用的企业。H.265应用实测（迅雷）33HEVC在控制block方面做得很不错。线条方面，HEVC的线条走样远小于AVC方案，但水面细节涂抹的很严重。高动态下的效果，HEVC对细节的涂抹非常严重，甚至x264都保留了更多背景的粒子特效源片H.265/HEVCH.264/AVCH.265应用测试（PPS）34臻高清测试环境：Windows7旗舰版、AMD FX-5000 (4核)、显卡

29、GTX-260、 内存 DDR3 4GB2013年4月，PPS发布了支持H.265技术的“PPS影音”客户端，并以“臻高清”命名成为独立品牌，成为国内首家自主研发支持H.265技术，并掌握核心技术的视频应用公司，实现在线视频1080P画质。2012年9月，PPS正式成立了H.265研发团队。这个由有8人组成的团队，经过半年的时间开发，推出了国内首家支持H.265技术的客户端产品。H.265应用测试（PPS）35PPS普通画质版-见龙卸甲截图，刘备眼部模糊PPS高清画质版-见龙卸甲截图，刘备面部略灰PPS超清画质版-见龙卸甲截图，刘备面部比较清晰PPS臻高清画质版-见龙卸甲截图，刘备目光锐利、面部栩栩如生测试一：画质清晰度对比H.265应用测试（PPS）36测试二：四种