(完整版)360Lib使用介绍

(完整版)360Lib使用介绍(完整版)360Lib使用介绍(完整版)360Lib使用介绍360Lib介绍文档360Lib是JVET小组设计并面向使用者公开的全景视频研究平台，主要关注投影方案的评价标准.360Lib内置了多种成熟的全景视频投影格式,并且可以完成对输入视频序列的投影格式转换；嵌入到HM或JEM后能够结合平台已有的功能完成投影转换的评估,包括IBP帧的PSNR数值、耗时和码率。360Lib的一个重要特点是内置了多种以全景视频为目标的新型PSNR标准。1360Lib使用说明为了符合现有的视频编码标准要求，球面全景视频需要投影转换为平面图像,进行后续的编码和传输；在用户端经过解码后，则进行逆投影过程重新获得球面全景。360Lib中集成了投影格式转换和质量评估的功能，用户通过命令行参数配合cfg配置文件来使用360Lib，程序执行完毕后输出数值报表。需要用户提供ERP格式的yuv420视频序列作为输入。1.1360Lib单独使用使用360Lib的投影格式转换功能时，将TApp360Convert设为启动项，并按照如下命令行参数进行配置。cfg类型文件保存用户设置，分为投影转换配置文件和帧序列配置文件，包含投影视窗坐标、输入序列分辨率、帧率和位深度等信息.以实现ERP转换CMP（Cubemap3x2)格式为例：-c./cfg—360Lib/360Lib/360convert_ERP_Cubemap3x2.cfg 投影转换配置文件—c./cfg-360Lib/per—sequence/360/360test_Trolley.cfg 帧序列配置文件-i。/test/ERP_1920x960_30fps_8bit_420。yuv输入序列-f1 转换帧数-oCMP3x2FromERP。yuv 输出序列1.2360Lib结合HM使用在HM中配置好360Lib，并将TAppEncoder设为启动项.仍以从ERP转换（CMP）Cubemap3x2格式为例，命令行信息如下：-c。/encoder_randomaccess_main10。cfg编码配置文件—c。/encoder_360_CMP.cfg 编码投影格式配置文件—c。/360test_Trolley.cfg 帧序列配置文件-c./360test_Trolley_DynamicViewports.cfg视窗配置文件—-SphFile=./sphere_655362.txt 球面坐标文件-i./ERP_1920x960_30fps_8bit_420.yuv 输入序列-—CodingFaceWidth=960 编码窗口宽度—-CodingFaceHeight=960 编码窗口高度--IntraPeriod=32 指定I帧周期—b。/bin/HM_test.bin 输出码流文件--SEIDecodedPictureHash=1 计算差值SEI信息—q27 量化步长CMP投影输出报表2360Lib中的新型PSNR标准PSNR即为峰值信噪比，是一种评价图像的客观标准，常用于判断前后图像的品质差别.基于逐点计算的PSNR并不符合人眼对亮度信息敏感而对色度信息迟钝的特性；同时人眼对一幅图像的观看重点往往落于视觉中心。因此传统的PSNR评价结果与人的主观感觉不一致。在360Lib平台中的搭建中JVET小组采纳了一些学者提出的新型评价标准作为全景视频的客观质量评估标准，并实现了内置.它们包括WS—PSNR、S-PSNR、CPP-PSNR等。框架中的各种评价标准总结评价方式对应的方案仅编码WS—PSNR,S—PSNR跨格式CPP-PSNR,S—PSNR端对端S—PSNR，WS-PSNR传统PSNR360Lib中的全景视频评估系统框架360Lib框架中新增的多种评价标准使用情况各不相同不同,同一种标准也可以在不同的情况下使用.评价对象的选取方式分为四种，分别为仅编码分析、跨格式分析、端对端分析和传统分析.仅编码分析对应框架中间部分，用于分析格式转换后编码前的图像与经过编码解码后的图像之间的失真，用来评价投影方式对编解码失真度适应性.跨格式分析在不同投影格式的图片之间进行分析，通过球面全景作为中间步骤链接，能反映出投影方式与球面投影之间均匀性关系.端对端分析是在跨格式的基础上，再升采样并重构出ERP格式后进行失真比较的方式，在系统框架图中跨度最长，能综合反映投影好坏.360Lib评价标准框架全面考虑各种情形，针对性地发现各种投影方案的优缺点。下面对360Lib中新型PSNR评价标准进行介绍.360Lib中对各种评价标准的描述MetricnameNotesWeightedtoSphericallyuniformPSNR（WS—PSNR）［15]Thedistortionateachsamplepositionisweightedbytheareaonthespherecoveredbythegivensampleposition。Allsamplesonthe2DprojectionplaneareusedinWS-PSNRcalculation。Thetwoinputstothemetriccalculationmusthavethesameresolutionandprojectionformat。SphericalPSNRw/ointerpolation（S—PSNR—NN）［16］CalculatePSNRbasedonasetofpointsuniformlysampledonthesphere。Tofindthesamplevalueatthecorrespondingpositionontheprojectionplane,nearestneighborroundingisapplied。Thetwoinputstothemetriccalculationcanhavedifferentresolutionand/orprojectionformat。CPP—PSNR［15]ApplyanotherprojectionformatconversiontoconvertthetwoinputsintotheCrastersParabolicProjection（CPP）domain，andcalculatePSNRinCPPdomain。Thetwoinputstothemetriccalculationcanhavedifferentresolutionand/orprojectionformat.2。1WS-PSNRWS—PSNR（WeightedtoSphericallyuniformPSNR）通过引入权重的方式对源视频与输出视频直接计算PSNR。其计算公式如下，记图像的大小为M*N.其中s(i,j)和d(i,j)分别为参考图像和测试图像点的像素值，w(i,j)为权重.权重值对于不同的投影方式有不同的选取。常见的ERP和CMP格式的投影权重的计算公式和示意图如下所示，亮度越高代表权重越大。ERP与CMP权重分布示意图WS-PSNR通过在平面图像上引入权重值来计算图像质量，遵循了人眼的观看习惯，客观性高；完全平面操作使其与现有视频编码框架兼容性好，复杂度低；图像中的每一个点都参计算，准确性高。它的缺点是无法进行跨投影格式的评估,因为参考图像和测试图像必须是相同投影类型,否则不同格式的权重值无法客观比较。2.2S-PSNRS—PSNR(SphericalPSNR）使用球面上一系列预先确定位置的点来对参考图像和测试图像进行采样，比较它们两两之间的差值，累加得到整幅图像的S-PSNR值。S-PSNR的计算过程示意如下所示。对于球上的点s，分别找到参考序列和测试序列上相应位置的点（在360Lib中非整数位置用距离其最近的整数位置像素代替，而不使用差值，因此360Lib中的S-PSNR也写作S—PSNR-NN），然后计算两者之间像素值之差。对文件预先确定的点遍历，累加差值，最终得到S-PSNR。S-PSNR计算过程示意图S-PSNR的优点是能进行跨格式评估,同时不要求参考序列与测试序列图像分辨率相同,提高了灵活性.与WS-PSNR不同,S—PSNR用到了立体坐标计算，对于特定的全景图片来说,可以指定采样点的位置，对人眼更关注信息位置进行更密集的计算，以更贴近人眼的实际观看效果。S-PSNR的不足是对于高分辨率图片来说，像素利用率低。在360Lib中使用的采样点位置信息文件中包含655362个点，以4K视频为例（3840x1920=7372800个像素），实际上仅有8。9％的像素参与失真计算，这对于其真实性是不利的。2.3CPP-PSNR克拉斯特抛物线投影(Craster’sParabolicProjection,CPP），是一种在地图学上常用的伪圆柱等面积投影方式,投影示意如图所示。CPP投影在相同空间分辨率下形状失真优于ERP投影，因为ERP两极区域像素被无限拉伸而引入数据冗余，而CPP对其进行了改进.全景视频从球坐标到CPP投影坐标的变换公式如下：,全景视频从CPP投影坐标到球坐标的逆变换公式如下:,CPP投影示意图360Lib中CPP—PSNR计算过程为，将输入序列从ERP格式转换成CPP格式，再由CPP变换到其他的投影格式进行编码和后续操作，这样做的优势是免去了对冗余像素的处理过程，提高转换和编码效率。在进行CPP-PSNR计算时需要对有效区域进行标注，因为CPP投影并没有完全填充矩形区域，原来ERP格式中的冗余像素在CPP格式中即显示为无有效含义像素，就像上图中的矩形角落.对参考序列和测试序列的有效区域进行传统PSNR计算，得到的值即作为CPP-PSNR输出。相对于传统PSNR，CPP—PSNR可以计算不同分辨率和不同投影格式的序列之间的PSNR。3360Lib中各种投影方式效果ERP格式投影CMP格式投影OHP格式投影SSP格式投影图3.4-8TSP格式投影参考资料：[1]JointVideoExplorationTeam（JVET)ofITU—TSG

16WP

3andISO/IECJTC

1/SC

29/WG

116thMeeting：Hobart，“Algorithmdescriptionsofprojectionformatconversionandvideoqualitymetricsin360Lib",AU，31March–7April2017[2],JointVideoExplorationTeamofITU-TSG16WP3andISO/IECJ