视频质量评估系统的研究与实现

1、移动终端用户感知的流媒体视频质量评估系统的研究与实现摘要：视频的质量评估一直都是一个研究的重要课题。本文具体来讲，实现了一个针对移动终端用户接收到的流媒体视频的质量评估系统。由于这种视频服务提供者给移动终端用户提供视频服务的客观的业务限制，我们在进行终端用户感知视频质量的评估中需要用无参考的视频质量评估方法/模型。而在无参考视频质量评估的研究中，已知的都是使用用户感知的视频相关参数或网络传输质量相关参数对视频质量进行评估。这些传统的方法存在一些不足。一方面这些相互之间较为独立的方法/模型并不能被视频服务提供者直接使用，没有一个较统一和完善的系统把这些方法/模型整合起来以更精确的感知终端用户收到

2、的视频质量。另一方面没有考虑到用户移动终端设备对其感知到的视频质量的影响以及对视频质量评估的影响。针对上述问题，本文设计和实现了视频服务发送端对接收服务用户端感知质量的评估系统，以帮助视频服务提供者精确地判定视频质量和改善用户的体验。关键词：终端用户 视频服务提供者 视频质量 评估 系统0 引言如今，随着多媒体业务的快速发展，随着3G/4G等移动互联网的飞速发展，移动终端用户的数量在爆发式的增长，用户在移动终端观看网络视频的情况越来越多。由于用户的移动终端设备种类型号繁多，差异性较大，要想针对每一个用户给其提供尽可能高质量的视频就必须把用户终端设备信息考虑在内，并且由于大部分终端都受流量限制，

3、所以针对每一个用户给其提供流量较小情况下的尽可能高质量的视频是本文的视频质量评估系统的目的。1 视频质量评估的现状传统的视频质量评价分为视频主观质量评价和视频客观质量评价。视频主观质量评价需要依靠人观看待评价的视频片段并且按照某一标准给每一个视频进行打分，视频的质量是这个视频的平均得分(Mean Opinion Score, MOS)。由于视频的主观质量评价需要依靠大量的人力，并且为了保证尽可能少的由于人为因素的不确定性对最终视频的得分产生影响，需要制定详细的统一的标准，不断的交流和讨论。效率比较低而且成本很大。传统的方法都是把上述这种主观质量评价当作衡量视频客观质量评价准确性的标准。视频质量

4、客观评估模型根据是否需要参考原始的视频流分为全参考模型、部分参考模型和无参考模型，其中无参考模型由于不需要任何原始视频流的信息，很符合如今大部分的业务需求而有重要的研究价值和广阔的前景。而在无参考视频质量评估的研究中，一部分是通过机器学习算法进行训练建模而成的复杂的评估过程，我们暂不考虑和研究这些方法，另一部分是根据影响视频质量的一些参数进行研究计算而成的，但是这些参数有很多方面，例如传输过程中损伤视频的关键指标、视频本身的质量指标等，过于繁杂。对于提供视频服务方并没有一个统一的较完善的系统来直接针对终端用户感知到的视频进行评价。2 本文的视频质量评估系统的研究本文设计的视频质量评估系统是对每

5、一个终端用户他所真实感受到的视频质量进行客观评定。在该客观评定中隐性的加入了我们设定的统一标准的主观评定方法，是一种无参考客观质量评价和主观质量评价相结合的方法。该系统不需要用户去主动的评论视频的质量也能较精确的反映用户感受到的主观的视频质量，结合了客观评价快速、耗费人力少和主观评价精确，感受真实的优点。2.1 主观评估标准研究过程中对视频质量进行参照分类的标准是通过大量视频网站如爱奇艺、优酷、乐视视频、搜狐视频等对视频源进行极速、流畅、高清、超清、原画的分类标准为依据采用传统的视频主观质量评价方法：平均主观分值法(MOS)。根据极速、流畅、高清、超清、原画给视频质量评分为1分到5分，1分质量

6、最差，5分质量最高。2.2 客观视频质量评估系统该系统承载在终端设备的Android操作系统上，本文视频的播放采用VLC开源播放器，它的编解码核心是开源工具ffmpege，应用广泛，具有一定的代表性。本文的视频质量评估系统主要包含以下四个方面，最后结合这四个方面对视频质量的影响建立系统模型。2.2.1 视频图片初步确定视频质量在研究过程中发现现有的无参考客观视频质量的评估标准有很多方面，难以统一整合到一起。考虑到本文的目的是对终端用户的感知视频质量进行评估，强调用户的主观感受，所以我们通过直接针对视频中的一帧帧图像进行质量分数的评估。采用这种评估方式有三个好处，一是更贴近用户的主观感受，感知质

7、量的评估效果更准确。二是可以避免对决定视频质量因素的分析处理，不使用机器学习等复杂的算法和处理过程，较为简捷快速。三是符合我们的感知质量评估标准的背景情况。由于我们的主观视频质量评估参考是结合目前几大视频服务提供商的视频网站的分类标准的，而几大视频提供商的视频格式等存在一定的差异性甚至同一个视频提供商同一个视频的不同清晰标准的视频格式有的都是不同的，采用对视频中的播放图像进行质量分析可以忽略不同视频格式造成的视频质量评估的干扰和复杂性。本文评估系统使用的图片质量评价是使用Anish Mittal等人的较成熟的研究成果，一种在空间域上的无参考图像质量评价方法6，包括算法模型和实现程序。每一帧的图

8、像都会有一个分数，图像质量越高分数越小。通过对这些大量图像分数的分析建立我们感知系统的初步评估模型。我们对大量不同类视频的不同清晰度标准的视频进行测试，如图1所示展现了采用上述方法得到的某一类视频的标清、高清、超清三种清晰度的视频中的100幅图像的分数。由图1中可以看到会有些异常高和异常低的数据，在实际的某个视频中的图像的清晰度是类似的，不应该存在差异如此巨大的情况，可以认为这些异常值是错误数据。分析发现原因有的是在视频播放中图像暗度很高，甚至图像全黑导致产生了不准确的测量数据，所以第一步就是要获取有效的测试数据。图1 某一视频的三种清晰度标准的图像分数设原有测试得出的分数组成数列，总数为。对

9、每一个分数，判断由以下公式(1)得到的是否大于0，若大于0则舍弃无效分数，反之则把加入有效值数列中。公式中的为常数参数，表示有效值相对全体平均值的范围，这里我们根据统计数据取。通过上述方法我们获取到了视频中图像分数的有效值序列，接下来根据和序列构建感知视频质量系统初步评估模型公式。通过利用Anish Mittal等人的图像质量分数评估方法对不同视频的不同清晰度标准的视频进行测试（如图2）并取得有效分数。在构建评估模型的时候，根据公式仅仅简单的把无效值舍弃是不全面的，在大量的统计数据中我们发现了清晰度越低的视频图像分数数列的方差就越大，所以方差值也是视频感知质量初步评估函数的参数。由如下公式得到

10、了归一化为1分到5分的视频质量评估分数。其中，为所有图像分数组成的数列，为图像有效分数组成的数列。为视频的初步质量评估分数。2.2.2 分辨率对视频质量的影响用户终端设备的屏幕分辨率的大小和视频自身分辨率的大小是用户感受到视频质量最直观的影响因素。先仅考虑视频自身的分辨率，通过统计优酷视频、搜狐视频、华数TV、乐视TV的极速、流畅、高清、超清、原画各个分类中视频的分辨率，可以总结为如下表1所示，并计算不同评分下的像素点的大致范围。表1 视频信息与对应评分的关系清晰度视频分辨率像素点视频帧率对应评分极速328*170等小于10万151流畅512*290/640*386/640*354等15万到2

11、5万15/252标清/高清672*386/864*482/960*546等25万到50万253超清1104*642/1280*720/1024*576等50万到100万254原画1920*1090等大于200万255然后把视频本身的分辨率和屏幕分辨率结合起来进行视频质量评估。参照表1中的信息采用传统的主观评估方法，得到图1的极速、流畅、高清、超清四种视频清晰度标准在不同的屏幕像素点的终端中全屏观看时的用户主观感受到的视频质量的评分。图中四条实线分别是极速、流畅、高清、超清四种标准分辨率的视频实测结果，可以看到当视频分辨率在高清范围内时（30万到50万像素），图像近似于虚线所示的arccot(x

12、)的变换函数。视频分辨率越靠近两边（极速和超清），图像形变越大，由于目前的移动终端设备主流像素都大于20万，在此条件下，流畅和极速分辨率的视频感知质量相差不大，而超清和原画（未画出）视频的最大的绝对值斜率都很小，所以屏幕像素主要影响的是高清视频的观看质量，由图像可看出，最大的绝对值斜率可近似的认为在视频像素和屏幕像素一致的点处，在此情况下只减少屏幕像素或增大屏幕像素可以相对较明显的感觉到视频质量的变化。由此得出以下公式：其中表示终端设备的像素数（单位：万），表示视频自身的像素数（单位：万）。表示最后视频质量评估的分数因为用户终端设备分辨率不同的影响所进行调整的加权值。图1 不同质量标准的视频在

13、不同分辨率的屏幕上表现出的清晰度效果2.2.3 网络质量对视频质量的影响本文考虑的网络质量好坏对视频质量评估的影响主要表现在观看视频时的缓冲次数和每次缓冲的时长。它作为一项对视频评估分数的附加权重，对已评估的质量分数进行动态、实时地调整。在视频播放过程中，当某一质量的视频的下载速度和播放速度接近或小于播放的速度，就会出现在缓冲需要用户等待的情况，这种情况很明显的影响了视频质量的主观感受。我们记录了每次视频播放过程中的所有缓冲次数，缓冲发生时的播放进度，每次缓冲时长以及总的播放时间等信息，对这些信息进行分析处理，以确定缓冲情况和视频感受质量的关系。考虑在网络状态相对稳定的情况下，把缓冲次数和每次

14、缓冲的时长归一化为和。其中表示两次缓冲间隔的平均时长（若只发生了一次缓冲则为视频的总时长），表示视频的总时长，表示缓冲的总时长（单位：秒）。通过主观评估方法得到了近似的曲线如下：其中，为视频评估分数的加权值。、为常数系数，由主观评估方法进行大量的测试训练得出，在确定、的值时考虑到不同评估分数的视频网络播放的时候都会有缓冲，的值确定不同缓冲时长的视频和评估的分数之间的关系，所以缓冲时长应该对视频评估的影响相对小一些，而的值决定了网络播放中的流畅程度对评估分数的影响大小，一旦视频的下载速度跟不上播放速度就会出现缓冲，下载速度相对稳定时这个缓冲间隔时长也是相对稳定的，能代表当前的视频质量，所以乘项的

15、权重是相对较大的。经过取关键点的大量测试得到系数，时最接近用户真实的质量感受。2.2.4 硬件性能对视频质量的影响由于移动终端设备性能的差异性较大，高质量标准的视频在某些终端上并不能流畅的播放，对于这些终端用户来说，这些已通过质量评估获得高分的视频反而实际的观看质量很差，针对这种情况要把终端的硬件性能考虑在内，当设备的性能大于要播放的某类视频的阈值时，我们就认为性能方面足以保证流畅播放，反之在播放中会出现卡顿等不流畅的情况，我们认为极大影响了视频的质量，则会给视频质量重新评估分数。本文目前仅考虑CPU的性能方面。CPU使用率使用以下公式计算得出：其中，表示CPU的平均使用率（第次测量），表示在

16、一段时间内（取1秒）CPU的总时间，包括进程占用CPU的时间、IO等待时间、其他等待时间、中断时间。表示在这一段时间内除了IO等待时间以外的其它等待时间。在终端上播放不同评估质量的视频进行CPU使用率的实际测试计算中，发现以下三个特点：(1) 不同评估质量的视频播放时CPU使用率差距不大，因为受操作系统自身的一些系统机制等的影响，很难准确测量。(2) 同一个视频在播放过程中CPU使用率波动较大。视频刚开始播放时的使用率很高之后快速降低而且设备上其他软件也会对CPU使用率的测量产生影响。(3) 终端设备CPU型号、频率差异较大。(4) 出现卡顿时，CPU最近的使用率一直在90%以上，并且多次出现

17、使用率达到100%的情况。由以上特点，我们形成一个统一的CPU性能对视频质量的评估标准。公式如下：其中，表示在一个时间段内测量的次CPU使用率的平均值，表示测量的次CPU使用率中的最大值，表示在这次测量中CPU使用率大于90%的次数，、为常数系数，为评估分数的乘数。通过主观评估测试得出在条件下，分别以、为、轴的二维曲线如图2所示，其中横坐标为（为常数，），可得，。图2 CPU使用率对视频质量分数影响的部分加权函数图像硬件性能衡量在本文的视频质量评估系统中是最后一个环节，它是在已获得视频质量评估分数之后再考虑终端硬件性能，确保评估的分数更准确。2.3 视频质量评估算法本文的视频质量评估系统以主观

18、测评方式为依据，结合主观测评方法，根据以上的图片客观质量评价方法和几点影响视频感知质量的因素最终确定了客观质量评估分数的公式，可以较准确的计算出移动终端用户当前感知到的视频质量，以帮助视频提供者更好地提供服务、改善体验。视频质量分数评估公式：其中，为最终的视频质量评估分数，、为上文中的值，为校正的常量参数。经过实验测试分析得出为0.0824。2.3.1 校准参数出现的背景各大视频服务提供方例如优酷视频、搜狐视频、乐视TV等对视频质量的五个级别的划分标准（极速、流畅、高清、超清、原画）从横向来看，并不是统一的。比如优酷视频和乐视TV高清标准的视频的分辨率等参数都是不同的。但是从纵向上来看，对于每

19、一个视频服务提供方，它们是有相似的阶梯标准划分规律。比如优酷视频的流畅、高清、超清标准的视频的区别度量化出的评估公式和乐视TV的流畅、高清、超清标准的视频的区别度量化出的评估公式是一致的。2.3.2 校准参数的确定由上文视频服务的现状中的规律和用户终端对感知视频质量的影响的量化标准的一致性，我们可以通过动态改变公式中的校准参数就能为不同的视频提供者定制终端用户感知的视频质量评估分数系统。由于视频提供方的不同清晰度标准的视频不可能百分之百规整和统一，会出现有些视频源的某几个相邻清晰度标准的视频清晰度是相同的的情况。针对这些视频源的视频没有严格按照清晰度标准进行区分的情况，在确定校准参数运算时舍弃

20、这些视频源的数据。3 视频质量评估系统的实现基于移动终端用户感知的视频质量评估系统是在Android操作系统下实现的，使用VLC开源播放器播放视频，对VLC播放器进行修改和定制以实现整个完整的系统。3.1 系统架构视频质量分数评估系统如图2所示，包括两方面的内容：一是视频服务提供端，可以提供接口平台接收终端设备的标识和收集移动终端设备发来的视频质量分数等信息。二是移动终端设备端，包括收集系统和评估系统。收集系统可以获取视频中截图、终端设备标识、设备分辨率、视频播放过程中的缓冲信息、CPU的使用率信息。评估系统包括由根据视频截图的一种图像空间域无参考评分方法得出的视频质量评价系统和针对收集系统中

21、收集到的信息进行视频质量评估分数调校的系统。标记终端设备并上传评估分数视频服务提供者移动终端用户设备空间域无参考图像质量评价系统视频中图片截取获取终端设备分辨率网络状况监测CPU状态监测数据库数据库视频质量评价感知分数调校系统图3 视频质量评估系统架构图3.2 视频感知质量评估系统运行流程我们通过定制用户终端的VLC开源视频播放器实现视频参数的收集和评估分数的计算。当用户使用VLC视频播放器播放网络视频时，评估系统就会把终端设备标识、设备分辨率、播放的视频标识这些静态的信息保存在本地的数据库中，并且对播放视频过程中的缓冲信息和CPU使用率进行动态实时监测，记录每一次播放过程中的缓冲信息和CPU

22、使用率，通过上文提到的空间域的图像质量评价系统对视频质量进行评分之后由分数调校系统根据收集到的静态和动态的信息通过上文得到的公式对评估分数进行调整，得到该视频感知质量分数。最终把该终端设备信息、视频信息和感知的视频质量分数等信息发送给视频服务提供端以供服务提供者使用。这就是整个视频感知质量评估系统的运行流程。通过这个移动终端用户感知的流媒体视频质量评估系统，可以建立视频服务提供者和终端用户的直接联系，使视频服务提供者可以直接获得终端用户观看的视频的感知质量的直观体验情况。4 性能评估和分析为了进一步验证本文的终端用户视频感知质量评估模型的有效性并分析该评估方法与主观参考评估结果的一致程度，进行

23、了如下测试。以参考各大视频网站的清晰度分类标准的主观质量评价方法平均主观分值法（Mean Opinion Score，MOS）为测试的评价标准依据，通过对比MOS质量评估分数和采用本文中的视频感知质量评估系统得到的质量评估分数，得到两者的皮尔逊相关系数，从而确定视频感知质量评估系统算法优劣和性能高低。分别对优酷视频、搜狐视频、乐视TV、华数TV这四家视频服务提供者的不同视频进行测试，整合得到图4所示结果。图4 感知质量评估系统算法与MOS的相关性图4中的点的轴坐标就是对上述四家网站的视频进行感知质量评估的分数，对应的轴坐标是采用平均主观分值法得到的分数。预测结果越精确，点就越接近这条直线。抽取

24、所有点的轴坐标构成序列，抽取所有点的轴坐标构成序列。由公式(8)计算出皮尔逊相关系数为0.9174，表示本文中的视频感知质量评估系统评估的分数和真实结果有极强的相关性和一致性，系统性能很好。公式(8)中，为要求的皮尔逊相关系数，为图中所有点的数量。5 结论我们力图在现有的较成熟完善的无参考视频、图片质量评价方法基础上结合用户实际播放视频时的情况实现一个以用户主观感受为核心的视频质量分数评估系统。本文提出了一种针对移动终端用户观看的流媒体视频的感知质量的无参考评估系统。从用户体验的角度出发，分析图像质量评分结果、用户终端设备分辨率、CPU性能和网络状况对用户感知的视频质量分数的影响，建立了感知质

25、量无参考评估系统模型，并以主观质量评价为参考对该模型进行测试和调整，最终根据该模型具体实现了该系统。该系统满足实时性、低资源开销和准确性的要求，具有很好的针对性和通用性。测试表明能准确地反应视频的感知质量分数。由于其中涉及到了主观归一化的部分以及主观评定条件的限制，还存在一些待精确的地方。并且还有一些可以考虑增加感知质量的其他影响因素的研究以及加入声音质量评估等可以完善的方面。参考文献1 Khan A, Sun L, Jammeh E, et al. Quality of experience-driven adaptation scheme for video applications ov

26、er wireless networksJ. Communications, IET, 2010, 4(11): 1337-1347. 2 Zinner T, Hohlfeld O, Abboud O, et al. Impact of frame rate and resolution on objective QoE metricsA. IEEE. Quality of Multimedia Experience (QoMEX), 2010 Second International Workshop onC. Trondheim: IEEE, 2010. 29-34. 3 Staelens

27、, N, Deschrijver, D, Vladislavleva, E, et al. Constructing a No-Reference H. 264/AVC Bitstream-based Video Quality Metric using Genetic Programming-based Symbolic RegressionJ. Circuits & Systems for Video Technology IEEE Transactions on, 2013, 23(8):1322 - 1333.4 Khan A, Sun L, Jammeh E, et al. Quality Of Experience-Driven Adaptation Scheme For Video Applications Over Wireless NetworksJ. Communications Iet, 2010, 4(11):1337 - 1347.