HEVC H.265编码技术

1、HEVC H.265 Agent 2 n H.265的发展背景和历程 n H.265的关键技术 n H.265编码能力对比 n H.265的产品实现 n H.265应用实测 n H.265与4K视频 背景 (1) 3 视频应用向以下几个方向发展的趋势愈加明显： l 高清晰度(Higher Definition)：数字视频的应用格式从720 P向1080 P全面升 级，在一些视频应用领域甚至出现了4K x 2K、8K x 4K的数字视频格式; l 高帧率(Higher frame rate )：数字视频帧率从30 fps向60fps、120fps甚至 240fps的应用场景升级; l 高压缩率(

2、Higher Compression rate )：传输带宽和存储空间一直是视频应用 中最为关键的资源，因此，在有限的空间和管道中获得最佳的视频体验一直是 用户的不懈追求。 背景（2） 4 由于数字视频应用在发展中面临上述趋势，如果继续采用H.264编码就出现的如下一些局限 性： (1) 宏块个数的爆发式增长，会导致用于编码宏块的预测模式、运动矢量、参考帧索引 和量化级等宏块级参数信息所占用的码字过多，用于编码残差部分的码字明显减少。 (2) 由于分辨率的大大增加，单个宏块所表示的图像内容的信息大大减少，这将导致相 邻的4 x 4或8 x 8块变换后的低频系数相似程度也大大提高，导致出现大量的

3、冗余。 (3) 由于分辨率的大大增加，表示同一个运动的运动矢量的幅值将大大增加，H.264中 采用一个运动矢量预测值，对运动矢量差编码使用的是哥伦布指数编码，该编码方式的特 点是数值越小使用的比特数越少。因此，随着运动矢量幅值的大幅增加，H.264中用来对运 动矢量进行预测以及编码的方法压缩率将逐渐降低。 (4) H.264的一些关键算法例如采用CAVLC和CABAC两种基于上下文的熵编码方法、 deblock滤波等都要求串行编码，并行度比较低。针对GPU/DSP/FPGA/ASIC等并行化程 度非常高的CPU，H.264的这种串行化处理越来越成为制约运算性能的瓶颈。 H.265应运而生 5

4、基于以上应用发展趋势和H.264的局限性，面向更高清晰度、更高帧率、更高压 缩率的高效视频编码标准(High Efficiency Video Coding）HEVC (H.265)协议标准 应运而生。 HEVC的: l 核心目标：在H.264/AVC high profile的基础上，保证相同视频质量的前提下，视 频流的码率减少50%。在提高压缩效率的同时，允许编码端适当提高复杂度（三倍 计算复杂性下）。 l 编码框架：沿用H.263的混合编码框架，即用帧间和帧内预测编码消除时间域和空 间域的相关性，对残差进行变换编码以消除空间相关性，熵编码消除统计上的冗余 度。HEVC在混合编码框架内，着

5、力研究新的编码工具或技术，提高视频压缩效率。 l 技术创新：基于大尺寸四叉树结构的分割技术，多角度帧内预测技术，运动估计融 合技术，高精度运动补偿技术，自适应环路滤波技术以及基于语义的熵编码技术。 H.265（HEVC）标准完成时间点 6 l 2010年1月，ITU-T VCEG(Video Coding Experts Group) 和ISO/IEC MPEG(Moving Picture Experts Group)联合成立JCT-VC(Joint Collaborative Team on Video Coding)了联合组织，统一制定下一代 编码标准：HEVC(High Efficie

6、ncy Video Coding)。 l 2012.2：委员会草案（标准草案完成稿）；HEVC委员会草案获得通过。 l 2012.7：HEVC国际标准草案获得通过； l 2013.1：国际标准最终获得通过； Agent 7 n H.265的发展背景和历程 n H.265的关键技术 n H.265编码能力对比 n H.265的产品实现 n H.265应用实测 n H.265与4K视频 H.265关键技术(1)四叉树编码结构 8 该结构使用编码单元(Coding Unit, CU)，预测单元(Prediction Unit, PU)和 变换单元(Transform unit, TU) 3个概念描述

7、整个编码过程。 l 编码单元：HEVC定义了5种类型的编码元: 128128(LCU)，6464，3232， 1616，88(Smallest Coding Unit, SCU)。 l 对于每个CU，HEVC使用PU来实现该CU单元的预测过程，对于帧内预测， HEVC定义了34种帧内预测方向（H.264为9种），对于帧间预测，HEVC采取 了运动矢量方案(MVR )、差值滤波(IF)、运动共享(MS)、运动向量竞争(MVC) 和基于块的照明竞争(B-BIC)来提高编码性能。 l 变换单元，则是针对正交变换和量化。对于正交变换，HEVC采用包含了 1616，3232和6464等尺寸块的变换矩阵、

8、旋转变换和基于模式的方向 性变换来提高编码性能。 H.265关键技术(1)四叉树编码结构 9 LCU的树形结构示意图的树形结构示意图 (a) 2N2N(b) N2N(c) 2NN (d) NN 4种种PU分割类型分割类型 6464CU所支持的所支持的4种种AMP分割形态分割形态 HEVC的变换结构突破了原有的变换尺寸限制，可支持44至3232的编 码变换，以TU为基本单元进行变换和量化。为提高大尺寸编码单元的编码 效率，DCT变换同样采用四叉树型的变换结构。下图为编码单元、变换单 元的四叉树结构关系图，其中虚线为变换单元四叉树分割，实线为编码单 元四叉树分割，编号为各编码单元的编码顺序。 H.

9、265关键技术(1)四叉树编码结构 10 左图是传统的H.264标准，每个宏块大小都是固定的；右图是H.265标准， 编码单元大小是根据区域信息量来决定的 H.265关键技术(1)四叉树编码结构 11 H.265关键技术(2)预测编码技术 12 HEVC的帧间、帧内预测的基本框架与H.264基本相同：采用相邻块重建像素对当 前块进行帧内预测，从相邻块的运动矢量中选择预测运动矢量，支持多参考帧预测 等。HEVC改进之处： 帧内预测将原有的8种预测方向扩展至 33种，增加了帧内预测的精细度。另外， 帧内预测模式保留了DC预测，并对Planar 预测方法进行了改进。目前HM模型中共包 含了35种预测

10、模式，下图只显示了34种， 未显示Planar预测方法。 n 多角度帧内预测多角度帧内预测 H.265关键技术(2)预测编码技术 13 n 帧间预测技术帧间预测技术 l 广义B预测技术：HEVC仍然采用了H.264中的B预测方式，同时还增加了广义 B(Generalized P and B picture，GPB)预测方式。GPB预测结构对传统P帧采取双向预测 方式进行预测，前向和后向参考列表中的参考图像都必须为当前图像之前的图像，且两者 为同一图像，这种运动预测方式增加了运动估计的准确度，提高了编码效率。 l 高精度运动补偿技术： a. HEVC的编码器内部增加了像素比特深度，最大可支持12

11、 bit的解码图像输出，提高了 解码图像的信息精度。 b. HM模型采取了高精度的双向运动补偿技术，即无论最终输出图像比特深度是否增加， 在双向运动补偿过程中都将使用14 bit的精度进行相关计算。 l 运动融合技术：将以往的跳过预测模式(Skip Mode)和直接预测模式(Direct Mode)的概 念进行了整合。采用融合模式时，当前PU块的运动信息(包括运动矢量、参考索引、预测 模式)都可以通过相邻PU的运动信息推导得到。编码时，当前PU块只需要传送融合标记 (Merge Flag)以及融合索引(Merge Index)，无需传送其运动信息 l 自适应运动矢量预测技术：为一般的帧间预测P

12、U服务，通过相邻空域相邻PU以及时域 相邻PU的运动矢量信息构造出一个预测运动矢量候选列表，PU遍历运动矢量候选列表， 在其中选择最佳的预测运动矢量。利用AMVP技术可充分发掘时域相关性和空域相关性。 H.265关键技术(3)环路滤波 14 1个HEVC环路滤波包括3个环节： l 去块滤波：在H.264的去块滤波技术的基础上发展而来的，但为了降低 复杂度，目前的HM模型取消了对44块的去块滤波 l 采样点自适应偏移(Sample Adaptive Offset，SAO)： HEVC采用的新技术，SAO在编解码环路内，位于Deblock之后，通过 对重建图像的分类，对每一类图像像素值加减一个偏移

13、，达到减少失真 的目的，从而提高压缩率，减少码流。分为带状偏移(Band Offset， BO)和边缘偏移(Edge Offset，EO)两大类 l 自适应环路滤波(Adaptive Loop Filter，ALF)： HEVC采用的新技术，在编解码环路内，位于Deblock和SAO之后，用 于恢复重建图像以达到重建图像与原始图像之间的均方差(MSE)最小。 H.265关键技术(4)熵编码 15 H. 264的熵编码CABAC编码器采用串行处理的方式，解码端需要非常 高频率的计算能力；而H.265选用了两种并行商编码方案，提高并行处 理能力，降低对解码端芯片的频率要求： l 可支持上下文自适应

14、变长编码(CAVLC)：用于低复杂度的编码场合 l 基于语法元素的上下文自适应二进制算术编码(SB-CABAC)：用于高 效的编码场合。 H.265关键技术(5)细粒度slice分块边界 16 H.265的熵编码slice边界划分不以LCU为单位，而是以更小的CU为单位， 每个slice的大小都可以精确控制，同时解决了码率控制和负载均衡的问题。 但是带来的代价是slice边界处理更为复杂。片的分割如图： H.265关键技术(6)比H.264改进之处 17 相对于H.264，H.265标准的算法复杂性有了大幅提升，以此获得较好的压缩性 能。H.265在很多特性上都做了较大的改进，具体各项改进如表

15、所示： H.264H.265 MB/CU大小441616446464 亮度插值Luma-1/2像素1,-5,20,20,-5,1 Luma-1/4像素1,1 Luma-1/2像素-1,4,-11,40,40,-11,4,- 1 Luma-1/4像素-1,4,-10,57,19,-7,3,-1 Luma-1/4像素-1,3,-7,19,57,-10,4,-1 MVP预测方法空域MVP预测空域+时域MVP预测 AMVPMerge 亮度Intra预测44/88/1616:9/9/4模式34种角度预测+Planar预测DC预测 色度Intra预测DC,Horizontal,Vertical,Plane

16、DM,LM,planar,Vertical,Horizontal, DC,diagonal 变换DCT 44/88 DCT 44/88/1616/3232 DST 44 去块滤波器44和88边界Deblock滤波较大的CU尺寸，44边界不进行滤波 Agent 18 n H.265的发展背景和历程 n H.265的关键技术 n H.265编码能力对比 n H.265的产品实现 n H.265应用实测 n H.265与4K视频 编码能力对比 19 图像大小- 帧数 场景 视频质量 PSNR Y 主观同等质量下的码率 (kbps) 码率降低比 率 H.264H.265 D1-24fps 简单4353

17、835134.8% 风景45.8120575037.8% 运动38.5123078036.6% 720P- 24fps 简单42.583553735.7% 风景45.4207013593.5% 运动39.52252144236.0% 分别采用不同的编码技术编出D1和720P的视频，在同等分辨率下每种编码技术码 率对比如下表所示： 编码能力对比 20 l 相同质量情况下，H.265编码比H.264编码的码率减少25%35%。 l 质量越高，编码后的码率差别越大。 编码能力对比 21 编码能力对比 22 编码标准 码率降低的平均值 H.264/MPEG -4 AVC HP MPEG-4 ASPH.

18、263 HLP H.262/MPEG -2 MP HEVC MP35.4%63.7%65.1%70.8% H.264/MPEG -4 AVC HP -44.5%46.6%55.4% MPEG-4 ASP-3.919.7% H.263 HLP-16.2% 相同PSNR时，几种不同视频编码标准的对比： 压缩能力对比 23 Agent 24 n H.265的发展背景和历程 n H.265的关键技术 n H.265编码能力对比 n H.265的产品实现 n H.265应用实测 n H.265与4K视频 H.265的产品实现编码器 25 1.编码器（硬件）： 2. 编码器（软件）： l 2013年1月8

19、日，Vanguard Video发表了V.265，一个专业的纯软件HEVC编码器，能达 到实时的编码性能。同年6月， V.265专业HEVC编码器加入了Main 10 profile的支持， 成为第一个支持Main 10 profile的实时HEVC软件编码器。 l 2013年8月8日，日本电信电话发布了他们的HEVC-1000 SDK软件编码器，能支持Main 10 profile、分辨率最高7680 x4320以及祯率最高到120 fps。 l 2013年9月，北京瑞普图视发布其国内首款H.265实时编码软件，可以轻松地分别实现1 路1080p、2路720p、4路480p的实时输入、编码压

20、缩、实时输出，延时小于1秒以内， 画面清晰流畅 l 2013年10月，Ateme正式发布HEVC编码器，能够以60fps、平均15 Mbit/s的码率编码 3840 x2160p分辨率的视频 l 2012年8月22日，Ericsson发表了世界第一个HEVC编码器Ericsson SVP 5500，可做到实时编码视频，并首先用于在移动网络上提供电视节目。 H.265的产品实现解码器（硬件） 26 l 2012年9月，法国Allegro DVT推出了全球首款HEVC广播配件：AL1200HD-SDI解码器与 AL2200IP转码器，并于2013年7月改进了其HEVC解码器IP，增加Main 10

21、 profile的支持。 l 2013年1月8日，博通发表了一个UHD解码芯片BCM7445，能够运行解码HEVC至最高 4096x2160p分辨率于60 fps。BCM7445采用28纳米ARM架构，能达到21,000Dhrystone 的每秒百万指令，预计在2014年中批量生产。 l 2013年2月11日，MIT于国际固态电路研讨会(ISSCC)上，展示了世界第一个HEVC ASIC解 码器。他们的芯片能够实时解码3840 x2160p 30fps的视频流，并消耗低于0.1瓦的电力 l ARM不仅在其Mali-T600 GPU上实现了1080P的HEVC解码，2013年10月，ARM还发布

22、其 全球第一个4Kx2K 实时硬解H.265的GPU芯片Mali-T764，可支持OpenGL ES 3.0和 OpenCL 1.2。Mali-T764最大特点是采用第三代MIDgard架构。 H.265的产品实现解码器（软件） 27 l 2012年2月29日， 世界移动通信大会上，高通展示了一个HEVC解码器运行在Android平 板上，使用了Qualcomm SnapdragonS4 双核心处理器运行在1.5GHz，将同一个视频以 H.264/AVC和HEVC同时并发播放，HEVC展现了较H.264/AVC几乎节省了50%的比特率 l 2013年3月，NTT DoCoMo开始授权其HEVC

23、解码软件，能够在个人计算机上拨放4K UHDTV的视频于60 fps以及在智能手机上拨放1080p的视频，在一个JCT-VC文件内，该软 件解码器能够在2.7 GHz 四核心Ivy BridgeCPU的平台上，以3个线程解码3840 x2160于60 fps l 2013年4月3日，Ateme发布了第一个开放源代码实现的HEVC软件播放器，基于 OpenHEVC解码器和GPAC视频播放器(两者都基于LGPL授权)。OpenHEVC解码器支持 HEVC Main profile，能够用宏内核的CPU来解码1080p 30fps的视频，同时还有一个支持 HEVC的实况转码器搭配GPAC视频拨放器。

24、 H.265的产品实现编解码器 28 l 2012年9月6日，Rovi Corporation发表一个HEVC适用的MainConcept SDK， HEVC MainConcept SDK包含了一个解码器、编码器及传输多任务器，可在Microsoft Windows、Mac OS、Linux、iOS及Android上运行。 l 2013年3月14日，Ittiam Systems发布了一个HEVC视频编码器及解码器，其中编码器是 基于Intel x86软件，能编码高清(HD)放送质量的视频。而解码器软件可在基于 ARM Cortex-A9以及Cortex-A15的SoC上运行，允许大部分现存的

25、消费性电子设备 譬如智能手机、平板电脑、智能电视、机上盒来拨放高解析的HEVC内容。 l 2013年9月6日，Thomson Video Networks展示了一个试验式的UHD传输用的HEVC编 解码器，并且被人造卫星传输营运商HISPASAT所采用。 H.265的产品实现转码器及其他 29 l 2013年9月11日，ViXS Systems了XCode 6400 SoC，在HEVC Main 10 profile下支持 4K分辨率于60 fps，以及Rec. 2020色彩空间。并于2013年12月18日正式出货。 l 2013年8月21日，Microsoft发布了一个用于HEVC的DXVA

26、（DirectX Video Acceleration）规范，支持Main、Main 10及Main Still Picture profile。DXVA 2.0可 进行HEVC解码的硬件加速，兼容的解码器可使用DXVA 2.0进行以下操作：比特流解析、 去区块、反量化缩放、反转换以及运动补偿。 l 2013年9月，DivX在DivX 10.0中提供了DivX HEVC Plug-in，激活后即可播放或将其他 格式视频转换为HEVC视频。 DivX 10.1 Beta版的解码器能分别以210.9 fps、101.5 fps、 29.6 fps的速度来解码720p、1080p、4K的视频。 l

27、2013年1月，三星电子在F8500等离子电视支持HEVC解码。 H.265的产品实现云网行CR12 30 l 采用最新的瑞芯微RK3288芯片。 l CPU：四核Cortex-A17构架处理器，最高主频达到1.8GHz。 l GPU：最新、最强的8核MaliT76X。 l 强劲的CPU、GPU，支持4K*2K视频H.265硬解。 l 通过HDMI2.0展现完美的4K视频播放输出。 云网行2014年6月推出的新品-云网行CR12： Agent 31 n H.265的发展背景和历程 n H.265的关键技术 n H.265编码能力对比 n H.265的产品实现 n H.265应用实测 n H.2

28、65与4K视频 H.265应用实测（迅雷） 32 测试配置：Athlon II X4 640 3.0GHz；DDR3 1333 6GB （DC+ enabled）；Windows 7 64bit 测试仅用一个场景片段，一个码率预设值，来测试迅雷HEVC编码器的速度与压缩效率，同时与H264作对比。 测试参数配置： 编码测试结果：CPU基本满载编码，HEVC用时83分钟，H.264用时10分钟左右。（绝对数值与硬件配置有关） 解码测试结果： 从启动播放器到播放到30秒处的CPU时间分别如下：HEVC: 27秒；H264: 19秒 测试片源：1280X720，时长1分33秒 编码软件：Lentoi

29、d HEVC Encoder（北京视骏 ） ； 解码软件： Lentoid Codec, 版本是2.0.0 2013年3月30日迅雷看看独家首发了H.265升级版客户端，成为行业内首个将H.265技术标准从试验阶段正 式大规模投入商用的企业。 H.265应用实测（迅雷） 33 HEVC在控制block方面 做得很不错。 线条方面，HEVC的线条走 样远小于AVC方案，但水 面细节涂抹的很严重。 高动态下的效果，HEVC对 细节的涂抹非常严重，甚 至x264都保留了更多背景 的粒子特效 源片 H.265/ HEVC H.264 /AVC H.265应用测试（PPS） 34 臻高清测试环境：Win

30、dows7旗舰版、AMD FX-5000 (4核)、显卡GTX-260、 内存 DDR3 4GB 2013年4月，PPS发布了支持H.265技术的“PPS影音”客户端，并以“臻高清” 命名成为独立品牌，成为国内首家自主研发支持H.265技术，并掌握核心技术的视 频应用公司，实现在线视频1080P画质。 2012年9月，PPS正式成立了H.265研发团队。这个由有8人组成的团队，经 过半年的时间开发，推出了国内首家支持H.265技术的客户端产品。 H.265应用测试（PPS） 35 PPS普通画质版-见龙卸甲截图，刘备眼部模糊PPS高清画质版-见龙卸甲截图，刘备面部略灰 PPS超清画质版-见龙卸甲截图，刘备面部比较清晰PPS臻高清画质版-见龙卸甲截图，刘备目光锐利、 面部栩栩如生 测试一：画质清晰度对比 H.265应用测试（PPS） 36 测试二：四种画质流量占用统计： 测试影片来源清晰度下载文