视频编码技术前沿与方向 PPT

1、视频编码技术前沿与方向视频编码与理解课程第一讲一、课程概要 课程概要授课目的掌握数字媒体所涉及的基本原理和技术，培养解决实际问题的能力深入理解数字媒体技术的前沿研究进展和发展方向，从而引导同学们开展更深入的专题科学研究课程内容视频编码：最新技术、应用前景、学科发展方向。视频分析：计算机视觉、模式识别、媒体分析与检索、媒体安全与版权保护最新报告：视频编码、媒体分析与检索、数字版权管理、计算机视觉等先修课程：本科生课程数字媒体技术基础没修过的同学可以旁听本学期课程（周二3-4节，三教407）或者从媒体所网站下载去年的讲稿（解压密码）课程资料课程网站下载资料、上载作业等 。参考书目主要是教师提供的资

2、料较为系统的参考教材视频编码方向：Image and Video Compression for Multimedia Engineering: Fundamentals, Algorithms, and Standards. (Second Edition) by Yun Q. Shi, Huifang Sun. 视频理解方向：Image Processing, Analysis and Machine Vision by (Third Edition) by Milan Sonka, Vaclav Hlavac, Roger Boyle. (Second Edition 有影印版和中文译本

3、)课程内容（一）概论第1讲：视频编码技术前沿与方向 第2讲：视频理解技术前沿与方向 第3-4讲：数字媒体标准概述 视频编码第5-9讲：视频编码技术第10、11讲：课程论文报告第12讲：三维电视与多视编码第13讲：视频芯片第14讲：视频编码课程设计课程内容（二）视频分析第15讲：计算机视觉第16讲：计算机动画生成第17讲：模式识别第18讲：机器学习第19讲：多媒体分析与检索第20讲：媒体安全与版权保护第21讲：多媒体检索课程设计第22-23讲：课程论文报告综合部分第24讲：最新研究报告（外请专家：李卫平、陈长汶、芮勇、杨强等）考核方法1、课堂记录与讨论(20%)2、课程设计(50%)3、专题报告

4、 (30%)就课程覆盖的高级论题或自选论题（须经教师认可）撰写综述报告，主要考察文献综述是否比较齐全、报告是否抓住了主要思想及其发展脉络、能否对未来发展提出独特的思路、报告内容及其组织方式的独特性。 授课教师的构成情况主讲教师高文教授黄铁军博士（数字版权管理） 王亦洲博士（计算机视觉）田永鸿博士（统计学习、媒体分析与检索）马思伟博士（视频编码）段凌宇博士（媒体分析与检索）张楠博士（三维电视）殷海兵博士（芯片设计）联系人主讲教师：高文理科2号楼2641助讲教师：田永鸿/马思伟/ , 62754541/理科2号楼2641助教：王振宇（） Office Hours by Appointment二、视

5、频编码技术前沿与方向提纲视频编码技术现状简介视频编码技术前沿与方向基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准数字视频应用传统视频编码技术原理传统视频编码方法从信号处理层面入手，以像素、块为表示基础基于香农信息论，采用混合编码框架：变换 + 预测 + 熵编码视频编码的极限数学极限 熵差别感知能力 Weber定律， 心理学模型t+1t时间冗余空间冗余感知冗余DCT视频编码技术发展历程编码效率进一步提高已很艰难色彩空间和变换编码已接近最优用计算复杂度换取预测增益的空间越来越小熵编码提高增益的路也不宽1950差分预测编码调制隔行编码B帧P帧场景自适应编码块运动估计D

6、CT 宏块混合编码哈夫曼编码变换编码运动矢量预测视频对象基于对象的可分级编码容错一般的B帧高级的去块效率虑波基于位平面的可伸缩编码高精度运动补偿基于上下文的算术编码2014多视 编码分布式编码19991985专利可免费使用专利可免费使用ISO/IEC MPEG MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC/H.264, MPEG HVCITU-T VCEGH.261, H.262(MPEG-2), H.263, H.264, VCEG H.NGC中国 AVSAVS-P2, AVS-S 下一代标准？方向、技术？年代MPEG-11993200119972005MPEG-4

7、AVC/H.2641989MPEG-2MPEG-42013AVS下一代标准20092017视频编码标准发展历程问题分析：客观指标与主观感知的差异？峰值信噪比=6.24峰值信噪比=5.98一般认为：峰值信噪比与图像质量近似成正比关系。结论：1、峰值信噪比度量与人的视觉感知并不完全一致！ 2、需要寻求更加符合人类视觉感知的客观度量方法以 及相应的编码理论和方法。群组编码稀疏编码视觉注意运动感知视觉机理视频编码稀疏编码JPEG (50倍)JPEG (14倍)基于视感知的压缩(200倍)感知图对视觉感知机理的认识逐渐深入，用于视频编码的潜力很大可能突破方向：借鉴视觉感知机理Guo03, ICCV提纲视

8、频编码技术现状简介视频编码技术前沿与方向基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准视网膜侧膝体人类“眼脑”视觉信息系统处理基本流程下颞叶皮质区信息论视觉信息论视频编码理论基础视频编码框架与方法基于数字信号处理的框架与方法基于视觉模型的框架与方法光学刺激像素图像块局部特征部件/物体视觉信息表示的基本粒子结构基于视觉特性的视频编码视觉信息论 从像素到基元（熵）质量评价方法 与主观感知一致编码方法 多维度感知编码、分布式视觉编码香农信息熵视觉熵像素集基元词典扩展基于视觉特性的视频编码技术1：纹理分析合成编码*Thomas Wiegand: New Techniqu

9、es for Improved Video Coding基于视觉特性的视频编码*Thomas Wiegand: New Techniques for Improved Video Coding纹理分析合成编码*实验结果对比基于视觉特性的视频编码技术2：基于Inpainting技术的视频编码*码率节省达18%*D. Liu; X. Sun; F. Wu; S. Li; Y. Zhang, Image Compression With Edge-Based Inpainting, IEEE-TCSVT, Vol. 17, No. 10, Oct. 2007 pp. 12731287.基于视觉特性的

10、视频编码技术3：视觉感知机理与编码“像素-基元/纹理-对象-场景” 层次模型S. Zhu, UCLA感知图获取结构感知合成纹理原始图像合成图像纹理区域估计基于视觉特性的视频编码基于视觉特性的视频编码符合人眼特性的图像/视频质量评价标准块效应、模糊效应、振铃效应的模型表示 图像/视频库主观质量评价视觉失真测度模型提纲视频编码技术现状简介视频编码技术前沿与方向基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准传统可伸缩编码时域可分级空域可分级质量可分级时域可分级质量可分级传统可伸缩编码H.264 SVC Hierarchical Picture编码, 完全可兼容AVC的

11、SVC编码方案, 通过层次预测实现时域可分级编码传统可伸缩编码H.264 SVC SNR可分级：层间预测多维度可伸缩视频编码可伸缩编码框架：融合时域、空域、质量、注意、动态范围等的多维度可伸缩编码方法注意编码：基于注意模型的感兴趣区域表达、编码及码流优化截取方法空域可伸缩时域可伸缩质量可伸缩注意可伸缩动态范围可伸缩提纲视频编码技术现状简介视频编码技术前沿与方向基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准多视编码多视采集系统线阵排列多视编码多视采集系统弧形排列多视编码采集系统面阵排列多视编码多视点预测编码H.264 MVC视内预测视间预测：消除视间的冗余多视编码

12、H.264 MVC 编码效率立体视频编码立体感的产生视差原理立体视频编码立体电视与自由视点电视立体视频编码立体显示戴眼镜观看：互补色、时分立体电视不戴眼镜即可观看：三维显示器立体视编码多视预测编码深度信息获取立体摄像机直接获取：成本高双目立体匹配方法：匹配点不唯一问题，遮挡问题单目单图示线索方法 ：可利用图示信息较少，提取深度不准确其他研究：单目多图示线索方法 立体视编码纹理图深度图分块模型深度信息编码基于模型的编码，通过编码模型参数来表示深度信息对相邻帧间深度信息进行差分预测、量化编码编码过程中的率失真优化立体电视示范系统多视点立体视频采集装置自动立体显示器分时立体显示器深度图生成平台多视点

13、立体视频编码器直播点播服务器解码绘制终端现有视频节目显示适配器网络立体视编码韩国立体电视广播示范系统2002 FIFA World Cup Korea/Japan (5 games)提纲视频编码技术现状简介视频编码技术前沿与方向基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准分布式编码原理Slepian-Wolf理论独立编码信源X,Y也可达到联合熵下界独立编码相关信源X,Y可在解码端通过联合解码进行重建满足条件约束1 Slepian-Wolf, Noiseless coding of correlated information sources, IEEE tra

14、ns. on Inf. Theory, 1973.2 Wyner-Ziv, Recent results in the Shannon theory, IEEE trans on Inf. Theory, 1974.分布式编码系统Standford DVC编码器以常规方法编码信源Y(Key frame)以Wyner-Ziv 编码信源X, 通过Slephian-Wolf Coder传送校验位分布式编码系统Berkeley DVC编码器PRISM (Power-efficient Robust hIgh-compression Syndrome-based Multimedia coding)：将

15、高效的预测编码模式和帧内预测编码模式有效的结合起来，相应地需要：低复杂度边信息编码高复杂度边信息解码分布式编码应用独立、低复杂度编码适合分布式监控、无线传感网络等应用上行：Wyner-Ziv编码器编码码流传送到级站下行：级站进行转码，用通用编码器编码，终端采用通用低复杂度解码器解码提纲视频编码技术现状简介视频编码技术前沿与方向基于视觉特性的编码多维度可伸缩编码多视/立体视编码分布式编码下一代视频编码标准下一代视频编码标准MPEG HVC, 2009年2月需求文档w10361两大应用前景需要支持HD甚至UHD应用的家庭影院、数字相机等移动终端应用压缩效率比现有技术有显著提高图像分辨率支持4Kx2

16、K，甚至高达8Kx4K支持采样格式 YCbCr4:2:0, YCbCr/RGB 4:4:4，采样精度最高达14bit 典型帧率支持2460fps，支持灵活帧率复杂度/性能较好的折中下一代视频编码标准VCEG, H.NGC, Geneva, 27 January - 6 February 2009 编码码率比H.264/AVC再降低50%编码复杂度低于3倍的H.264/AVC复杂度增加50%时应能提供25%的码率降低较好的容错性能支持8-bit 4:2:0到12-bit 4:4:4编码分辨率支持8K x 4K，帧率23.976 Hz甚至更高下一代视频编码标准可选择的编码工具超宏块预测变块尺寸预测高精度运动补偿增强型帧内预测自适应插值滤波器，运动矢量预测.下一代视频编码标准“Beyond Macroblock based Predictive Beyond Predictive Coding for Ultra HD Video”, w10174_4-2, October 14, 2008下一代视频编码标准变块尺寸预测下一代视频编码标准变块尺寸预测Triangular Sub-Macroblock Partitioning For Motion Compensated Prediction, w10174, October 14,