音视频通话业务体验指标及评估方法

1音视频通话业务体验指标及评估方法本文件规定了影响音视频通话用户体验质量(QoE)的因素，制定了音视频通话用户体验质量(QoE)的综合评价模型和评估方法。本文件适用于移动终端视频通话类应用(包含ViLTE、ViNR、OTT等方式)的音视频通话用户体验质量(QoE)的评估，也可为音视频通话平台运营和体验保障提供评估方法和分析参考。2规范性引用文件本文件没有规范性引用文件3术语和定义下列术语和定义适用于本文件视频通话端到端时延end-to-enddelayofvideocall视频通话音视频流从发送端用户端数据采集到接收端用户端音视频流渲染显示播放的单向端到端在视频通话过程中，出现画面一部分无法有效显示的问题，例如出现黑边、花边、画面下列缩略语适用于本文件BPP像素深度IMSIP多媒体子系统KPI关键性能指标KQI关键质量指标MOS主观平均分OTT通过网络数据管道向用户提供应用服务PPD角度像素密度QoE体验质量RTC实时通信YiLTE基于LTE的视频通话业务YiNR基于NR的视频通话业务IPMultimediaSrPixelsPerDegrQualityofExperienceReal-timeCommunicat5音视频通话体验评估指标及框架25.1关健体验指标影响音视频通话用户体验的因素包括音视频视听体验质量、交互体验质量和呈现体验质量三个方面。音视频视听体验质量，指视频通话的清晰度和流畅度。交互体验质量取决于音视频通话的端到端时延，指发送端用户端从音视频采集到接收端用户播放音视频的实时性。呈现体验质量，是指因为网络传输等问题导致的音视频卡顿、花屏或音画不同步的体验损伤。如下图1所示。花屏图1影响音视频通话体验的关键因素视频通话端到端时延指视频通话音视频流从发送端用户端数据采集到接收端用户端音视频流渲染显示播放的单向端到端时延。这部分时延以毫秒(ms)为单位，主要包括：a)终端采集时延：客户端采集音频和视频的时间b)终端前处理时延：终端音视频前处理(如降噪)的时间c)编码时延：音视频编码的时间；d)上行网络传输时廷：音视频数据从客户端发送给实时音视频云平台的时间o)实时音视频云平台传输时延或者NS平台传输时延：音视频数据在实时音视频云平台或者IMS平台传输需要的时间：f)下行网络传输时延：视频通话从实时音视频云平台传输到接收端客户端的时间：g)网络抖动缓冲时延：客户端接收音视频数据为了抗抖动在缓冲区的时间：h)终端解码时延：接收端客户端对接收到的音视频流进行解码的时间：i)音视频后处理时延：接收端客户端对音视频进行后处理(如对失真、图像模糊的处理)的时j)终端播放时延：接收客户端将解码后的音视频流完整显示播放的时间5.2关键指标框架音视频通话业务受终端、网络、平台等多方面影响。具体的指标体系如下图2所示。KPI(关键性能指标)一般指基于网元设备的网络侧关键指标，包括网络传输质量，如带宽、丢包KQI(关键质量指标)从业务和应用层面出发反映业务使用体验，包括视频通话的流畅度、清晰度，呈现体验中是否有花屏、卡顿等；以及视频通话过程中的实时交互体验等。3图2音视频通话关键指标框架为保证实时性，视频通话业务提供方通常使用较短的时间切片，将每个时间切片内的音视频数据通过编码压缩形成一系列IP数据包在网络中传输。在智能移动终端能够实现高质量的音视频捕捉、编码压缩相关计算、封包传输和播放的情况下，网络对音视频数据流的可靠传输是保证视频通话清晰、当网络状况不佳时，对包含时间切片内音视频信息数据包的传输可能出现延迟增加、顺序错乱、数据错误甚至信息丢失的情况。依据不同编码、压缩和传输策略，这些问题可能导致的体验质量下降a)画面信息丢失，包括丢帧(图像未能正确传输)和弃帧(图像到达廷迟过长被主动舍弃):b)画面质量的损失，包括画面出现模糊、马赛克、自适应分辨率降低等引起画质损失的情况：c)声音的失真，包括声音片段丢失、速度改变、频率改变、细节丢失等情况：e)端到端时廷的不稳定等除影响视频通话本身业务质量外，网络质量还会影响到包括呼叫、接听、挂断等一系列信令交互过程的成功率和等待时间。在充分考虑模型完整性和建模可行性的基础上，采用分级映射的方式，可避免大量参数交叉测试。使主观测试环节测试量可控，并有利于分析、建立视频通话QoE评估模型。具体的视频通话QoE评估模型框架，如Error!Referencesourcenotfound.所示。a)视频质量和音频质量构成视听体验质量。在不受卡顿、花屏等体验损伤因素影响的情况下，视听体验质量用来表征用户体验视频通话时所见、所听的主观感受，以相关指标如分辨率、帧率、码率、编码参数等作为输入参数b)呈现体验质量用以表征受网络传输质量影响的体验损伤，视频通话过程中，因传输带宽、时延及丢包导致的卡顿、花屏、音画不同步等问题c)交互体验质量用以表征视频通话的实时性，主要受端到端时延的影响；d)综合视听体验质量、呈现体验质量和交互体验质量的视频通话综合体验质量。51频通话业R2频通话业R3频通话业S4特每秒，Kbps)频通话业5数(fps)频通话业6频通话业7频通话业8特每秒，Kbps)频通话业9数频通话业频通话业时间(单位：毫秒)频通话业时间(单位；毫秒)率应用数据丢失率(%),频通话业间的时延差(毫秒，ms)频通话业延的单向端到端时廷(ms)频通话业152345567顿感知质量。取值范896.3输入参数采集建议方法6.3.1输入参数采集概述模型输入参数采集可通过客户端(或称用户端)采集或者在网络节点采集，根据数据获取在网络中的不同节点位置，网络侧数据采集分为两种：一种是在实时音视频云平台或者IMS平台获取指标；一种是在接入网或者中间路由节点获取指标，采集节点可参考图4所示。客户端采集可在图4中所示节点1处采集，网络侧采集可在图4中所示节点2处采集，网络侧采集可按照需要在节点2示意的不同模块处采集。频通话是一个双向通话的过程，发送端同时又是接收端，图4示意图中表征的是以其中一个客户端作为发送端，另外一个客户端作为接收端的单端作为发送端，另外一个客户端作为接收端的单向视频通话流程示意图。图4音视频通话评估模型输入参数采集节点参考示意图6.3.2客户端采集通过客户端(或称用户增)可采集的输入参数，如表3所示。由发送端侧和接收端侧配合实现，一段时间内在发送8间6.3.3网络侧采集根据数据获取在网络中的不同节点位置，网络侧数据采集分为两种：一种是在实时音视频云平台或者IMS平台获取指标；一种是在接入网或者中间路由节点获取指标。通过网络侧可采集的输入参数，如表4所示。(如：1秒),从网络一端流到另一端的最大数据位由发送端侧和接收端侧配合实现，一段时间内在发间为stauTme7音视频通话用户体验评估方法7.1评估方法概述为了综合考虑网络侧和客户端侧视频通话评估的不同需求，以及不同方法的工程实现，评估标准定义了两类客观评估模型用于评估视频通话的用户体验，分别是客户端侧模型和网络侧模型。客户端侧模型的输入参数为客户端侧提取的跟体验类直接相关的体验KQI参数，模型算法请参考本文件第7.1~7.2章节。网络侧模型的输入参数为网络侧相关的参数指标，模型算法请参考本文件第7.1和7.3章9验质量(0.31),呈现体验质量(0.32),交互体验质量(0.33))的函数关系。使用rteMOS表征0.41(综合体验质量),使用Q。表征0.31(视听体验质量),使用Qva表征rtcMOS=max(min(Qm-1)+(1-vsi·(5-Qmc)-vsz·(5-Qimteractlsm))+1,5),1)的权重，其形式如下公式(2)和公式(3):—Qo=max(min(fi(encode)-f₂CFr)-fa5), (7) (8)在式(6)中Q=mox(min(u₂₁×Q,+vz₂×Qa+v23×Qo×Qa+v245)Qastal=max(min(v*exp(vy₂·Astatam)+vn)·(vs₄*exp(v₁s*Astuattime)+v式(16);Qasm=max(mn(t9*exp(va*Tasym),5),1)…Q₁=max(min(4+(1-v4s·(5-Qpstat)-v46*(5-Qastal))+视频码率范围(Mhps)-2000ns~+2000ns(-代表音频先于视频，+代表视频先(资料性)模型公式参数基于附录A的典型实验条件，通过主观体验测试和建模拟合，生成的一组模型公式参考系数如下：视频模型系数视频模型系数见表B.1i36gb)音频模型系数音频模型系数见表B.2。表B.2音频质量模型系数vis”v2o22212212212c)视听模型系数视听模型系数见表B.3。表B.3视听体验质量模型系数v21~v24d视频卡顿模型系数。视频卡顿模型系数见表B.4。表B.4视频卡顿模型系数25”vs0o)音频卡顿模型系数