技术报告-面向多终端视频服务h.265编码质量评价

一、项目来源、目的和用 二、H.264、H.265编性能对比测 2.1质量测试方 2.1.1源分 测试序 2.1.3测试方法选 2.2质量测试流 色盲测 测试工具与设 测试测试环 测试流 数据处理与分 平均分计 置信区间的计 三、H.264、H.265编性能测试对比结果及分 不同分辨率下两种编表现分 两种编总体表现分 以H.264为评判基 两种编综合比 四、多终端服务的H.265编性能测 测试序列甄 参数设 质量测试方 测试序列源分 测试序 编设 质量测试流 4.3.1测试方法选 测试流 测试终端设 测试、色盲测试与数据处理与分 五、多终端服务的H.265编性能平板终端总体总体不同序列相同分辨率下(Test 相同序列不同分辨率(Test 终端总体不同序列相同分辨率下(Test 相同序列不同分辨率下(Test 电视终端六、H.265编码质量评测结 附录一Test2实验数 附录二Test3实验数 附录三测试者基本信 附录四测试测试表 针对目前常用的两种移动终端设备——智能与平板电脑，完成视频质量分析和评价方法研究比较两种现有标准在不用分辨率下于不同人眼测试下的编码效果。针对目前常用的两种移动终端设备——智能与平板电脑以为编码方式、不同码率点及分辨率下的质量测试研究本次测试所选取的终端具有主流的尺寸和分辨率源的选取也贴近实际 二、H.264、H.265编性能对比测为了区分的类型，ITU-T组织建议采用空域与时域信息作为度量的空域信息（SpatialInformation）是基于Sobel滤波器计算得到的，序列的每一

的时间信息（TemporalInformation）主要描述帧与帧之间物体的运动信息，用表示第nMni,jFn(i,j)Fn1i,j

场景切换帧处，序列的时间信息很大。TIMaxtime{stdspace[Mn(i,对于10个源序列，做上述运算，得到下图2-1。其中，每组数据

图2-1源序列的时域信息与空域信测试序2-16A、B、C2-19ABC根据三种分辨率1920x 共18个序列。其中，经H.264与H.265编码后容器为MP4。具体参数配置如表2-2所示。表2-2源序列参数配1—2—表2-2（续）源序列参数配3—456789频顺序可能对带来的影响故先将同一序列按编码方式不同随机排序，其次将两台设备内的按序列进行随机排序。测试序列如图2-2所示，给出了参考源截图 图2-2序 图2-2（续）序 测试方法选按照ITU-500的国际标准[1]，测试采取其中的双激励损伤量表（DSIS）设备硬件限制，以经H.264高码率编码后的作为无损参考序列。2.2质量测试流色盲测了色盲测试，经检测，401人为色弱，故取消其资格，另补一位同学。最终参加测试的40盲均在正常范围内。2-3所示。2-3屏幕清晰度5.7HTCNEXUS8.9(GorillaGlass测试，我们通过网络自主报名的形式在全校范围内征集了39名交大在校学生及1名财经大学学生在18到23岁之间，包含不同与学历，测试者的试的色盲测试分数分布情况，图2-4展示了测试的分布，图2-5展，示了测试的男女比例图2-3测试者色盲测试分 图2-4测试者比 图2-5测试者男女比测试环2-32-3测试环8:3016:3055测试流指导下进试训练，3个训练序列包含了质量从好到坏的示例平均分计对结果分析的第一步是计算每一演示的平均分ujkr 1N

uijkrijkr 测试完成后，产生了1至5的整数值的分布。由于各测试者的判断之间存在按照，由下式给出95%置信区间[uijrjkr,ujkrjkr

1.96SNNN N (N 24之间，则这一分布被视为2或者乘以，也就是与相比较。每当发现测试者的评分高于，与每5%30%i必须舍弃。对于每次测试演示，计算均值ujkr、标准差Sjkr和峰态系数2jkr2

2(m2xmxx

N

N

uijkr对于每一位测试者iPi和Qi，即：对于j,k,r=1,1,1至J,K,R22jkr4，则：若uijkrujkr2S

若uijkrujkr2S 若uijkrujkr

20S

若uijkrujkr

20S 若PiJ*K*

0.05，且|PiQi|

测试条件的数目，本次测试中J=3，表示不同的编码方式 测试图像或序列数目，本次测试中K=54 391三、H.264、H.265编性能测试对比结果及分应采用五级损伤量表如图3-1所示。该量表中分值为DMOS（DifferentOpinionScore）分值[2]，表示是对“损伤程度”进行打分，而非“绝对质量”，3-1五级损伤量DMOS54321 编在所有序列上的平均表现，同样以DMOS值作为衡量度量。3-2832x4801280x720两个分辨率上，H.265的表现明显优H.264832x480分辨率上，H.265DMOSH.26426.45%1280x720分辨率上，H.265DMOSH.2645.47%表3- 不同分辨率下各编DMOS平均—H.264为评判基基准，H.265码率为H.264码率点的0.73-3给出了H.265H.264相DMOS为衡量度量。由表3-3可得H.265则仅在序列6的表现逊于H.264DMOS值降低1.1834%，8H.264。表3- H.265相对于H.264的DMOS评1—2—3—456789两种编综合比不考虑分辨率、序列及测试设备的影响，表3-4给出了两种编H.265H.264DMOS表3- 两种编的综合DMOS平均3-4H.264H.265，DMOS3.22%。可H.265H.26470%H.264四、多终端服务的H.265编性能测设置：特定的码率点（QP19QP40）、空间分辨率（如360p、480p、720p1080p）以及帧率（24fps、25fps、50fps60fps）。经HEVC编码后容器为MP4。4-1HEVC参设比特率360p,480p,720p2.1.1H.265ClassBCDVL提供的源序列[3]。表4-2列出了及其特征。工347个测试序列4-2测试序列及其特类序空间分辨帧注释1：Test3中所用的进行测试的序列BQTerrace即为Test1中的BQTerrace序列；BQTerrace_720p、BQTerrace_480pBQTerrace_360pTest1中的BQTerrace序列进行降采样而得到。注释2：Test2中所用的进行测试的序列Kimono_1080p即为Test1中所用Kimono源序列经过H.264压缩编码后的序列；Kimono_720pTest2中Kimono_1080p进行降采样而得到。其余四个序列同上。4-2（续）值对其用HEVC进行编码；Test210个序列，每个序列都按照28,31,34,37QPH.264172考虑到顺序可能对带来影响，在测试者不知情的情况下，序，其次将两台设备内的按照源序列进行随机排序。4-2，列出了所用测试序列的源序列截图。 2-2 4-2（续）截编设 HEVC的mainprofileQPConfiguration为了避免不同码率控制算法带来的不确定性，编码QP值进行编码。GOPStructures8帧Bslice分层结构（HierarchicalBcodingstructureswithGOPsizeof8）IRAP 使用IDR设定（closed-gopforHEVC）RAP (例如，24/25fps24帧，50fps48帧，60fps64帧) 测试方法选按照ITU-500的国际标准[4]，考虑到在实际使用中序列一般不包含参考源，并且考虑到测试中的双激励（DSIS）法无法再现实际使用中的单激励条件，故测试采取ACR（AbsoluteCategoryRatingMethod）法，即4-3所示。4-3ACR评价方法流本次测试采用了五级质量量表如表2-3所示。该量表中分值为MOS（Mean4-3五级质量量MOS分描5优4良3中2差1劣测试流首先，测试者在评分软件上填写个人测试。然后，测试者在指导下进试训练，3个训练序列包含了质量从好到坏的示例，用以帮助测束后正式开始测试。求，以个人视距为佳。测试时间安排如表4-4所示。4-4工作内时，其中预测试包含三个训练序列及讲解终端测试及平板终端测试以，者Test1及Test2为第一轮测试，Test34测试终端设测试使用了三种常用的终端设备：智能及平板电脑以及4K电视。4-5所示。4-5屏幕清晰度小米5.7SONYXperiaZ410.185测试过程中，始终保持全屏2.2.32.3五、多终端服务的H.265编性能本次质量测试使用了三种终端，分别为小米NOTE与SONYXperiaZ44KSONYKD-85X9500B4.3.3同序列的测试，以及同一序列在不同分辨率下的测试。总计共六组。平板终端总体总体图5-1展示了测试在平板终端的总体结果。其中，平均95%置信区间为图5-1平板终端总体：包含趋势RMSE的一种模型[6]来对该曲线进行拟合，以提供一个较为简单MOS：测试评Bitrate：编码码5-1平板终端结果曲线拟合参数数参具体数ab5-25-1的横坐5-2对数坐标轴下的平板终端总体按照上述拟合结果，在全屏的情况下，若想在平板终端达到41982.3kbps不同序列相同分辨率下(Test5-35-125-3序列Kimono在平板终端的MOS-Bitrate5-4序列ParkScene在平板终端的MOS-Bitrate5-5序列PedestrianArea在平板终端的MOS-Bitrate5-6序列PedestrianArea在平板终端的MOS-Bitrate5-7序列Station2在平板终端的MOS-Bitrate5-8序列BasketBallDrive在平板终端的MOS-5-9序列BQTerrace在平板终端的MOS-5-10序列Cactus在平板终端的MOS-5-11序列ControlledBurn在平板终端的MOS-5-12序列SnowMountain在平板终端的MOS-观察图5-3与图5-12并与3GPP的[7]进行对比，可以认为本次测试Kimono序列，本次测试与3GPP测试均显示当码率约为1000kpbs时，可以获得4MOSParkScene3GPP测试均显示当码率1800kpbs4分的MOS值。相同序列不同分辨率(Test5-13Test2的实验结果，为了方便MOS值在附录一表A-1中。95%1.795。Test24-25-13平板终端Test2实验结码率固定分辨率越高的序列总会获得更高的MOS值评分即在同率下，高帧率序列的分辨率越高，人眼的感受越佳。同时，通过分析附录一中表A-13-13可估计得知在平板终端，若希望MOS值达到3.5分（即GoodQuality），在全屏时所需的最小5-2所示。5-2MOS达到3.5码率考虑到目前市场上无论是OTT还是数字电视，大部分均为24fps。5-14平板终端_≤25fps5-1410用过的模型进5-3。5-3平板终端_小于等于25fps参参具体数ab按照上述拟合结果，在全屏的情况下，帧率小于等于25fps时，若想在平板终端达到MOS42061.0kbps的码率，与全体帧率情况1982.3kbps5-425fps帧率的情况与整体帧率具有相同的趋势。5-4平板终端MOS=4分时的预测码帧MOS=4分时的预测码率5-15图5-15对数坐标轴下的平板终端_小于等于其次，本次实验同时针对同一序列在不同分辨率下的表现进行了测试Test354-25-165-20给出了Test35-16两种分辨率下序列Kimono在平板终端的MOS-Bitrate5-17两种分辨率下序列ParkScene在平板终端的MOS-Bitrate5-18两种分辨率下序列Pedestrian在平板终端的MOS-Bitrate5-19两种分辨率下序列RiverBed在平板终端的MOS-Bitrate5-20两种分辨率下序列Station2在平板终端的MOS-Bitrate从图中分析可得知，在平板终端上，在低帧率下，当处于低码率时，720p序列的S1080p序列的OS1080p序列的S720p序列的S1080p（720p码后，高分辨率序列的内容损失相对于低分率序列的内容损失，反应到主观效果则为S留，反映到效果则为S值更高。而从最高评分来看，1080pMOS720pMOS计得知在平板终端，上述10个低帧率序列若希望MOS值达到3.5分（即GoodQuality），在全屏时所需的最小码率，如表5-5所示。5-5MOS达到3.5分时的最小码码率5.2终端总体图5-21展示了测试在平板终端的总体结果。其中，平均95%置信区间1.542。521单模型中最小SE（10为简单的码率估测模型。图5-21终端总体：包含趋势5-225-21的5-6表5-6终端结果曲线拟合参数数参具体数ab图5-22对数坐标轴下的终端总按照上述拟合结果，在全屏的情况下，若想在终端达到41809.4kbps不同序列相同分辨率下(Test图5-23至图5-32给出了各个序列在终端上的评分结果。观察图5-23图5-32可以认为本次测试与3GPP的测试获得了相似的结果。如：在×1080Kimono3GPP测试均显示当码率约为800kpbs时，可以获得4分的MOS值；而对于ParkScene序列，本次测试3GPP1500kpbs4MOS值。图5-23序列Kimono在终端的MOS-Bitrate图5-24序列ParkScene在终端的MOS-Bitrate图5-25序列PedestrianArea在终端的MOS-Bitrate图5-26序列Riverbed终端的MOS-Bitrate图5-27序列Station2在终端的MOS-Bitrate图5-28序列BasketBallDrive在终端的MOS-图5-29序列BQTerrace在终端的MOS-图5-30序列Cactus在终端的MOS-图5-31序列ControlledBurn在终端的MOS-图5-32序列SnowMountain在终端的MOS-相同序列不同分辨率下(Test终端上Test2的参数设置与平板终端Test24-25-33Test2的实验结果，为了方便MOS值在附录一表A-2中。95%1.569。码率固定，分辨率越高的序列总会获得更高的MOS值评分。即，在终端，在同率下，高帧率序列的分辨率越高，人眼的感受越佳。图5-33终端Test2实验结A-25-33中分可估计得知在平板终端，若希望MOS值达到3.5分（即GoodQuality），在全屏时所需的5-7所示。5-7MOS达到3.5分时的最小码率估码率同样，在终端进行Test3测试。图5-34展示了终端上的总体趋势。同样选择公式（10）5-8所示。图5-34终端_≤25fps5-8平板终端_小于等于25fps参参具体数ab按照上述拟合结果，在全屏的情况下，帧率小于等于25fps时，若想在平板终端达到MOS41856.4kbps的码率，与全体帧率情况1809.4kbps5-925fps帧率的情况与整体帧率具有相同的趋势。表5-9终端MOS=4分时的预测码帧MOS=4分时的预测码率同样，为了方便观察数据，图5-35展示了对数坐标轴下终端的数据图5-35对数坐标轴下的平板终端_小于等于其次，本次实验同时针对同一序列在不同分辨率下的表现进行了测试Test354-25-365-40给出了Test3中两种分辨率下各个序列在平板终端上获得图5-36两种分辨率下序列Kimono在终端的MOS-Bitrate图5-37两种分辨率下序列ParkScene在终端的MOS-Bitrate图5-38两种分辨率下序列Pedestrian在终端的MOS-Bitrate图5-39两种分辨率下序列RiverBed在终端的MOS-Bitrate图5-40两种分辨率下序列Station2在终端的MOS-Bitrate从图中分析可得知，在终端上，在低帧率下，当处于低码率时，720pS1080pS评分。而当高码率时，1080p序列的S720p序列的S1080p序列的内容（如细节、纹理等）720p序列的内容要丰富，故经低码率编码后高分辨率序列的内容损失相对于低分率序列的内容损失反应到效果则为S反映到效果则为S值更高。而从最高评分来看，1080pMOS720pMOSB-3B5-365-40得知在终端，上述10个低帧率序列若希望MOS值达到3.5分（即GoodQuality），在全屏时所需的最小码率，如表5-10所示。5-10MOS达到3.5分时的最小码码率电视终端在本次实验中，影响质量MOS的主要有以下几个维度：编码方式、视频内容、码率、分辨率。为了更好探究各个维度对MOS的影响，分别固定4KHEVC4K与码率及内容的关系首先我们对4K的分值数据进行了整理，并以图表的形式直观展示码率与MOS的关系。(a) (b) (c) (d)Rush(e) (f)Traffic(g)Tall (h) (i)Campfire (j)图5-414K清的码率与MOS关其次，MOSMOS达到一定分值时变缓。即，MOS与码率的关系必定存在一个“拐点”。从数据上看，如图5-41a)2000Kbps10000kbps时，MOS2.84.2分，也就是说8000kbps的码率增长带来了50.00%的质量提升。而当码率继续增的质量提升。这意味着，当达到一定的MOS时，再对该增加编码码率，主观质量也不会再有明显的提升。最后，不同的内容对码率的影响各不相同。如图5-41（h），当码2100kbps时，MOS48000kbps之后的增长趋于3-5（i）12000kbps时，MOS4分，且当码率16000kbpsMOS仍然保持一个持续快速增长的趋势。故而我们认为，不同内容的其分值MOS随码率的变化趋势将根据其具体内容有所变化。同时，在达到同一质量时所需的码率各不相同。表5-11给出了经粗略估计的以上十个序列在MOS分值达到4分时大致所需的码率。表中数据为观察5-11MOS4MOS=4时大致所需码率RushTrafficCampfire由表5-11中可以看出不同内容的在MOS达到4分时所预估的码率差别非常大如Fountains需要约10000kbps的码率才能达到4分而Mobile1600kbps4分。Cermak等人[7]MOS，给出了如图5-41的关系图，他们认为在H.265编及1920×1080分辨率下，MOS若想达到3.5分，大致需要码率3000kbps；MOS若想达到4分，大致需要码率5000Mbps；MOS4.59000kbps。图5-42基于H.265编不同分辨率下达到特定MOS时所需码同样的，关于HEVC编码4K当前亦没有给出明确的要求，只是根据一定数量的编码结果，给出了15000kbps的码率可以使得4K具有较好的六、H.265H.26530%针对一定质量的所需带宽，我们分别以平板和为评价终端，给出了MOS值与Bitrate5-215-14。针对不同终端对质量评价的影响，我们选择平板、与4K电视作为评价终端，在帧率，码率，分辨率以及质量评价分数相同的情况下，手5-55-10。电视终端的测5.3节针对H.265在不同分辨率下的表现，我们得出结论：在和平板终端，在同率下，高帧率序列的分辨率越高，人眼的感受越佳；而在小于等25fps5.1H.265在不同码率下的表现，我们有结论：在低帧率下，当处于低码率时，720pMOS1080p序列的MOS评分。而当高码率1080p序列的MOS720p序列的MOS评分。分析原因：1080p观效果则为MOS值更低。而当高码率时，高分辨率序列的序列内容得以充分保留，反映到效果则为MOS值更高。针对研究测试H.265编码在4K分辨率下与内容之间的关系，对4K大的降低了评估所需的时间，避开了4K参考源的大量数据，在现作中比Test2表A-1平板终端Test2实验数据——MOS码率表A-2终端Test2实验数据——MOS码率Test3表B-1平板终端Test3实验数据（1080p）——MOS序QP码率MOS表B-2平板终端Test3实验数据（720p）——MOS序QP码率MOS表B-3终端Test3实验数据（1080p）——MOS序QP码率MOS表B-4终端Test3实验数据（720p）——MOS序QP码率MOS李男赵女姚男何女李女高男刘男国男张男李男李男机械与动力王女男何男王男刘男李女王男冯女王女男华男朱女文男王男梁男吴女高女杨女张女郭男陈女沈男何男王男胡男付男陈女钱男王男附录四测试测试表学学设HTCNexusABC———12345678915123452、打分为针对“损伤程度”打分，不是“绝对质量”34参考ITU-RBT.500-13.Methodologyforthesubjectiveassessmentofthequalityofevisionpictures.2012.MoorthyAK,ChoiLK,BovikAC,etal.qualityassessmentonmobiledevices:Subjective,behavioralandobjectivestudies.SelectedTopicsinSignalProcessing,IEEEJournalof,2012,6(6):652-671.TheConsumerDigitalLibray,//mendationITU-RBT.500(01-12):“Methodologyforthesubjectiveassessmentofthequalityofevisionpictures”.mendationITU-TP.910(04-08):“Subjectivequalityassessmentmetho