视频技术革新提升用户体验

4K视频技术革新提升用户体验张文军上海交通大学未来媒体网络协同创新中心“智慧家庭与大数据发展”论坛BetterPixelsBetterProcessingBetterExperience新型媒体处理(显示,编码,交互)技术新型计算、存储、网络、传输技术新型CG合成、视频非线编技术体验驱动技术革新提纲技术动态全4K演进之路：HDR及标准化进展视频编码进展：AVS2及技术趋势视频服务新体验：SMT及VR动态总结展望Full4K演进—HDR及标准化进展欧盟UHD路线图视频质量影响因素HighDynamicRange(HDR)色彩更加饱和色调渐变细腻亮度动态范围小HDR技术色域窄真实自然颜色更逼真亮度更接近真实，黑的更黑、亮的更亮。宽色度空间(WCG)HDR标准化和产业编解码Codec标准 —HEVC/H.265 —AVS2转移特性曲线标准

SMPTE

2084(杜比,PQ)

ATRIB

B67(BBC&NHK,HLG)

ITU-R

EOTF(BT.2100,PQ&HLG)

AVS2-SLF场景高保真转移特性曲线(海思)HDR标准化，主要由Codec标准和转移特性曲线标准组合而成转移特性曲线是影响HDR端到端的视频质量的关键技术转移特性曲线转移特性曲线对比主要特性曲线SLFTF、SMPTE2084、HLG转移特性曲线函数Weber分数与施赖伯阈值(黑色):SLF

TF(蓝色)

SMPTE

2084（红色）Hybrid

Log-Gamma（绿色）转移特性曲线函数对比(OETF):SLF

TF(蓝色)SMPTE

2084（红色）Hybrid

Log-Gamma（绿色）HDR的标准化步伐SMPTE(2015):ST.2084,2086,2096HDMI2.0a/CEA(Apr.2015):support4K-HDR

UltraHDBlu-ray(Oct.2015):supportHDR10UHDAllianceHDRstandardin2015.10UHDForum,UHDPhaseASpec.in2016.1MPEGExploration,FCDin2016.10ITU,BT.2100-0,2016.7ATSC3.0,DemoandComparisonin2016.6AVS联合工作组,HDR标准进行中

RecITU-RBT2020(08/2012)RecITU-RBT2100-0(07/2016)HDR标准化—ITUAVS技术应用联合推进工作组下设HDR专题工作组和3DAudio专题工作组。AVS

HDR及3DAudio动态AVS技术应用联合推进工作组HDR专题工作组3DAudio专题工作组总体组知识产权组协同组HDR技术组HDR测试评估组3DAudio技术组3DAudio测试评估组2016年5月-6月30日，完成技术需求、测试方案、工作章程、知识产权政策四份文档的讨论和制定。2016年7月1日起，启动技术提案征集。2016年10月，完成提案的技术评估、测试和专利评估工作。2016年11月，技术组、测试评估组、知识产权组分别提交相关工作报告。2016年12月，完成标准文本草案。HDR、3DA专题工作组计划视频编码进展—AVS2及技术趋势视频编码标准30年：三代标准ISO/IEC的视频压缩：MPEG-1,2,4,AVC,

HEVC图像压缩：JBIG1/2,JPEG,

JPEG2000ITU-T

H.26X视频压缩标准H.261,2,3,3+,3++,4,5MPEG-ChinaAVS1H.264/MPEG-4AVC中国HEVCH.265AVS22010~2013被动采用国际标准第一代标准第二代标准第三代标准HD:20MbpsSD:5MbpsHD:10MbpsSD:

2.5Mbps1991199420032018

202315050压缩比AVS1,VC-1AVC/H.264MPEG-1HEVC/H.265AVS2MPEG-22013HD:5MbpsSD:1Mbps300第一代标准第二代标准第三代标准第四代标准FVC/H.266AV1,AVS3600视频压缩效率“倍增定律”压缩率每十年增长一倍!AVS2比AVS+编码效率再翻一番18类型编码工具编码增益帧结构参考帧选择及管理5-10%块结构递归编码单元划分~3-20%帧内预测多方向帧内预测、短距离帧内预测等6-10%帧间预测非对称预测、双向帧间预测、DCT-IF插值滤波等~10%变换大块变换、非正方形变换、两级变换等~3%熵编码两级系数组编码、率失真优化量化3-5%环路滤波像素自适应补偿滤波1-3%不同技术对性能增益的贡献新一代高效视频编码框架AVS2AVS2

4K主观性能2015年1月21日～2016年2月3日国家广播电影电视总局广播电视计量检测中心AVS24K超高清主观性能测试8个4K、10bit的视频序列目标平均码率36Mbps结论：AVS2和HEVC相对于源图像质量下降分别为2.9%、3.0%AVS2性能略好于HEVC下一代视频编码-FVC注：正在集成中的JEM3预计可以带来额外的5%的增益

JEM1.0vsHM16.6GOP-size=8forbothJEM2.0vsHM16.9GOP-size=16forboth

YUVYUVClassA1

-22.4%-21.1%-24.2%ClassA2

-28.8%-29.1%-22.8%ClassB-21.3%-13.2%-9.2%-21.8%-21.5%-15.8%ClassC-20.7%-14.8%-18.2%-20.7%-19.4%-21.7%ClassD-20.5%-9.8%-12.1%-21.2%-16.4%-17.1%Overall-20.8%-16.7%-15.4%-22.9%-21.5%-20.1%Enc.Time6.05.3Dec.Time8.08.4MPEG与ITU组成联合组-JVET,开展FutureVideoCoding/H.266的工作，JEM为编码算法平台下一代视频编码-AOM不收专利费、走开源路线基于VP10(Google)、Daala(Mozilla)和Thor(Cisco)

聚集了业内主要的视频内容商、浏览器厂商、硬件厂商AOMedia1(AV1)计划在2017H1年发布第一版本，性能超过H.265视频服务新体验—SMT及VR动态智能媒体传输(SMT)概念任何类型媒体内容统一封装单向/双向异构网络混合传输固定/移动终端耦合承载多源/多元内容同步呈现智能媒体传输(SMT)功能媒体编码层封装功能区传输功能区传输层(TCP,UDP)信令功能区InternetProtocol(IP)指示如何构建传输实体容易处理的内容单元指示如何有效自适应组包和内容复用指示如何消费媒体和控制传输支持任意类型的媒体数据（时序+非时序）媒体感知的碎片化通用封装单元存储与传输格式的便捷转换封装功能区指导媒体消费：接收与呈现控制传输质量：QoS信令功能区IP友好分发支持单播、多播与广播多种模式支持单一协议在广播与宽带网络下使用传输功能区智能媒体传输(SMT)特征异构环境：多屏管理与多视角同步呈现来自不同网络的同步内容根据主视频中场景变换辅视频灵活的调整位置根据主视频场景的内容添加额外的内容将用户需要的内容移到移动终端上根据接收端的需求智能媒体传输(SMT)特征沉浸式富媒体：多元内容聚合服务智能媒体传输(SMT)特征个性化广告智能推荐女性用户男性用户相同节目用户A用户B相同节目辅屏幕的个性推送/拉取基于用户兴趣的不同广告推送同时回到主节目虚拟现实(VR)视频定义：以影像的形式模拟现实世界视觉信息，提供用户Anytime,Anywhere,Anyview的视觉沉浸感视频技术的发展一直在朝这个方向努力1Dfortime—Anytime3Dforviewpoint—Anywhere2Dforraydirection—Anyview1Dforwavelength—Pixelvalue问题：信息量过大，采集、传输和显示等技术问题短期难以获得突破理想的VR视频—7维全光函数FromMcMillan95全景视频-对全光函数的简化由7维简化4维：1Dfortime—Anytime2Draydirection—Anyview1Dforwavelength—Pixelvalue支持3自由度的运动交互Yaw：绕Y轴旋转Pitch：绕X轴旋转Roll：绕Z轴旋转++++更高级的VR视频形态全景视频是VR视频的初级形态，弱点：不提供场景深度信息，用户临场感降低不支持用户移动，无法提供Anywhere体验高级VR视频形态：全景3D视频提供3D视觉，但不支持Anywhere体验自由沉浸立体视频在一定空间范围内提供Anywhere+Anytime+Anyview+Stereo的沉浸体验全景3D视频表示全景视频+深度图要求：在显示端依据用户头部位置通过DIBR实时合成左右两路虚拟视点自由沉浸立体视频在一定空间范围内实现Anywhere+Anytime+Anyview+Stereo全景3D视频是自由沉浸立体视频的子集如何紧凑表示？光场的数据量过大难以实用端到端VR视频系统IEEE1857.9－

StandardforImmersiveVisualContentCoding2015.12完成立项（approvedbyIEEESA），开始制定任务：定义VR视频紧凑表示方法和编码工具，促进VR设备互联互通，提升VR视频压缩效率。分三个阶段定义VR视频内容编码标准：第一阶段：全景/1803D视频，2016.12CD第二阶段：3603D视频第三