面向云边协同的视频质量评估场景及方案白皮书

·中国移动研究院面向云边协1 1 2 2 2 3 4 5 6 6 7 10 10 12 14 16 19 22 24 26 27 28中国移动研究院面向云边协21.1海量视频业务催生视频体验年全球移动设备的平均带宽提高到编解码技术的不断发展,越来越多的设的需求正呈爆炸式增长，思科预测到2022年，视频流量将翻两番，视频将在视频流业务呈爆炸式增长的同时,其性能评估的重要性日益突显。视频业务质量的优劣不仅直接影响用户的感受,而且成为业务吸引和保持用户频业务质量评估可以帮助运营团队根即使它被数字化并压缩后所含数据量系统前后端的实时评估也带来巨大的图像的质量评估方法包括主观评估方法根据用户本身对视频的主观体人的主观性也导致结果会有一定的偏量评估根据算法对于参考图像的依赖中国移动研究院面向云边协3需要用到无损图像和待评估图像的全参考质量评估算法则不需要用到无损视频进行逐帧对比进行像素点级的分腾讯多媒体实验室设计了基于深度学习的全参考视频质量评估算法据来训练基于深度学习的客观质量评视觉建模与机器学习相结合的视频质），银行领域也已经广泛采用视频质海康威视通过对前端设备传回的频图像中存在的质量问题进行智能分中国移动研究院面向云边协4边缘计算是在靠近物或数据源头安全与隐私保护（Security），简称CROSS。云边协同是边缘计算多数部署和应用场景需要边缘侧与中心云的协所以，边云协同的内涵也涉及IaaS、PaaS、SaaS三个层面的全面协同。在景又被分为六大类：EC-IaaS与云端安全等的资源协同；EC-PaaS与云端边缘计算的CROSS价值推动计算模型从集中式的云计算走向更加分布式的边缘计算，边缘计算正在快速兴起，未来几年将迎来爆炸式增长。字业务的不断发展，75%的企业生成数据将会在传统的集中式数据中心或云算与云计算需要通过紧密协同才能更过大数据分析优化输出的业务规则或52.2云边协同的视频质量评估的传统的视频质量评估一般是基于中心的或者基于端侧的,当时的质量评一类较复杂的视频分析技术在前端设缘计算在视频评估应用系统的前端智够为视频业务运维和决策支撑等方面如传统的视频分析技术通过提取水平和竖直边缘的梯度信息来计算结种情况下端侧往往就具备相应的计算网络来分析当前视频的模糊度比传统总各个边缘节点相关的视频质量信息中国移动研究院面向云边协6的视频质量分析解决了视频处理的大更灵活的使用方式为视频质量评估提云端对视频质量处理后的数据进行进视频质量评估有了更广阔的应用场景持续基于端、边、云数据协同来驱动QoE、QoS优化；二是构建音视频内容海康威视针对物联网应用提出AI边缘域位于智能物联网中以充分利用于云边协同使得视频质量诊断功能效产生的数据无法直接传送至云侧进行基于云边协同的视频质量评估平台提3.1云边协同下的视频质量评为解决数据隐私和视频质量评测中国移动研究院面向云边协7略配置利用本地数据进行增量学习模2）评估方式多样性，包含多种全VMAF等，无参考评估方式包括对待评估视频进行画面质量分析的内容评估方式和结合待评估视频及网络参数进4）性能无关性，对现有视频系统5）结果可视化，对质量评估结果3.2云边协同下的视频质量评频业务质量评估算法能力和数据分析提供质量评估云边协同管理用户操作页面和质量评估结果展示及分析报表中国移动研究院面向云边协8质量评估算法层是质量评估系统因为不同应用对视频QoE要求不尽相估相关算法模块使用预训练的模型根置使用视频内容质量评估算法对视频为应用层的质量评估结果展示模块提中国移动研究院面向云边协9位模块根据数据分析结果针对单视频用增量学习和联邦学习对模型进行优服务器提供不同种类的应用类型服务指标选择启动相应的质量评估算法模用统计功能，包括CPU、内存、GPU、中国移动研究院面向云边协传统视频监控行业的主要客户为现在用户面前的不再单纯是大量视频视频监控应用场景广泛覆盖家庭、行部署在出入口、周界以及生产设备周出入园区的人员情况进行实时监控管违规情况可及时通知管理人员进行处通过将大数据技术与视频监控结智慧城市视频监控可以实时汇总并分中国移动研究院面向云边协在摄像头侧影响视频监控质量的头本身的配置会影响监控画面的拍摄或人为恶意改变摄像头朝向使拍摄角编解码及网络传输将数据发送给监控台接收的视频画面可能出现花屏、条4.1.3基于云边协同的视频监控质量传统视频监控需要运维人员对监采用集中处理+分布采集和控制的用增量学习、联邦学习等更新训练模中国移动研究院面向云边协视频监控质量评估可大大减小人尤其是对监控点分散或危险场地等场同视频监控质量评估方案通过在更靠小了云端的算力负担及网络核心节点以实现及时准确的告警并支撑运维人用户上传后都会经过一系列的视频制将网上下载视频经过批量地二次加工中国移动研究院面向云边协视频内容分析和用户标签挖掘共效解决视频因缺乏标签导致的无法露利用视频内容分析和视频智能产杯比赛结束后利用赛场视频快速生成内容自动生成各位演员的片段集锦视视频网站运营商不仅要对视频制作内视频封面图质量代表了用户对视面图低质问题可归纳为以下几种：模视频内容质量对平台用户体验的屏等客观存在的问题通常与视频内容4.2.3基于云边协同的视频制作内容批量化地准确识别视频质量有助制作内容质量评估方案可使用户快速智能推荐、智能生成等功能的性能提云边协同的视频制作内容质量评估方中国移动研究院面向云边协在更靠近数据源的边缘侧对较简视频样本在边缘侧的预测置信度未满很大程度地减轻网络核心节点的传输量评估可以监测实时视频通信业务的中国移动研究院面向云边协措施，保障实时视频通信业务稳定运实时视频通信相结合能为在线教育提供更好的互动创作条件，支持场景化解决目前在线教育普遍存在的缺乏同利用视频会议技术可有效解决传缓解线下医院诊疗压力。疫情爆发至AR增强等，之后视频流经过编码、网音视频流相关因素对发送端采集频通信质量的主要视频流相关参数有通信质量的主要音频流相关参数有音网络传输相关因素对发送端与接响实时视频通信质量的网络传输相关播放终端相关因素会对接收端音中国移动研究院面向云边协时视频通信质量的播放终端相关参数4.3.3基于云边协同的实时视频通信针对实时视频通信用户可能处于质量评估模型对采集数据进行初步预相较于集中式的实时视频通信质于监控实时视频通话业务整体运行状随着媒介数字化技术的发展和人民的消费升级,信息的获取渠道不断增多,其中视频需求量大大提升。常见的中国移动研究院面向云边协超高清视频能够提供画质观看体视频服务是广播电视的核心,对视频质等场景提供更真实的体验。例如爱奇中央电视台近年来开始提供春节联欢境层面及用户层面三个方面出发。其以及服务运行环境（包括软硬件环境用户体验评估主要针对服务层面进行中国移动研究院面向云边协3）服务层：服务层主要为用户使4.4.3基于云边协同的超高清视频评超高清视频评测往往基于中心的缘计算进行前端智能化，提高可扩展1）边缘侧通过超高清视频直播/端部署的超高清视频质量评估模型对2）边缘端处理得到的评估结果送中国移动研究院面向云边协XR扩展现实主要包括虚拟现实戴设备和计算机技术，XR可为受众带来真实与虚拟结合、人机交互的环境，对XR体验过程的质量评估也应运而近年来，XR技术的发展、落地、展览、教育等大批新应用场景，为XRXR体验中的多个关键技术指标进行量带来更加真实逼真的体验。例如2020首场“5G+8K+XR云演艺盛典直播”，开启了云上演艺新时代；2021年央视中国移动研究院面向云边协行“虚拟实地之旅”；VR技术也可应战；2020年我国“奋斗者”号载人潜水器成功坐底马里亚纳海沟的重要时音视频内容源的质量和音视频内容在确的图像识别等技术来判断物体所处的位置、3D坐标等信息；另外也需要丢包率Loss、数据重传率、数据冗余占比、Tcp吞吐率throughput、中国移动研究院面向云边协传到云端进行处理对云端造成巨大的式可以有效减轻网络核心节点传输的频源或者用户侧视频流本身的视频质2）边缘评估结果以间隔时间上报3）边云相互合作，互为补充，提中国移动研究院面向云边协玩家可以通过任意控制终端进行游戏媒体平台再将画面分发至终端显示设为双千兆应用中最快爆发的垂直应用终端无需拥有强大的图形运算与数据能力与获取玩家输入指令并发送给云以往游戏中的合作都基于局域网统的本地双人/多人对战模式，即使玩中国移动研究院面向云边协进行评估和监测，支撑网络和业务调云游戏等强交互业务允许用户通过终端传感器与云端应用进行复杂的的方式将响应画面回传到终端播放器视觉上观察到的运动状态和前庭系统所感知的运动状态不一致所引发的症云游戏服务器通常只渲染和传输用户曲技术可以根据用户头部姿态变化对它毕竟无法像渲染服务器一样生成新原云渲染画面的部分会被显示成黑边问题，会导致用户侧无法正常接收数5）网络带宽延迟：云游戏在降低对于本地游戏，额外增加了来自于输6）抖动：帧率是游戏玩家十分看戏画面受某些原因迟到就会造成后面中国移动研究院面向云边协4.6.3基于云边协同的云游戏评测评估信息分析提取有价值和意义的关键数据同步到边缘云和中心云进行分选择最短的链路打通边缘节点与终端通过云游戏质量评估对网络状况与终完成对游戏数据流的本地渲染呈现以网络带宽和设备性能条件下如何能提供更好的视频服务体验越来越受到业中国移动研究院面向云边协式下，边缘的视频处理可以满足大带频质量评估算法能够在边缘侧得到充同的视频质量评估的计算复杂度会更中国移动作为用户规模最大的电商自身网络覆盖范围广和基础设施资评估方向的积累，吸收业界的先进技探索不同的视频业务场景下视频质量和产业生态需求的视频质量评估解决提升用户体验，抓住边缘计算产业浪缩略语列表ArtificialIntelligenceApplicationProgrammingInterfaceCustomerExp