基于电信网的云化虚拟现实 终端技术要求

基于电信网的云化虚拟现实终端技术要求本文件描述了基于电信网的云化虚拟现实应用场景，并规范了基于电信网的云化虚拟现实终端技术要求，包括终端总体要求、终端关键技术要求、终端运维管理要求等。本文件适用于基于电信网的云化虚拟现实终端。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件：不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。GB4943.1-2022音视频、信息技术和通信技术设备第1部分；安全要求GB/T9254.1-2021信息技术设备、多媒体设备和接收机电磁兼容第1部分：发射要求YD/T3815-2021移动通信终端快速充电技术要求和测试方法3术语和定义下列术语和定义适用于本文件。云化虚拟现实cloudvirtualreality简称CloudVR,将云计算、云渲染的理念及技术引入到VR业场景中，借助高速稳定的网络，将云端的显示输出和声音输出等经过编码压缩流化后传输到用户的无绳终端设备，实现内容上云、渲染上云虚拟现实强交互业务virtualrealjtystronginteractionservices用户可通过虚拟环境中的物体对交互行为实时响应，用户能够感受到虚拟环境变化的VR业务。虚拟现实弱交互业务virtualrealitymakinteractionservices用户与虚拟环境中的物体不发生实质交互，用户只作为旁观者，体验相对被动的VR业务。基于云计算的基础实施和服务能力完成图形渲染过程，包括准备顶点/顶点连通性数据、控制着色器参数及渲染状态等几何图元处理，顶点坐标变换、光照、裁剪、投影及屏幕映射几何图形处理，光栅运算着色等几个阶段，基于云端实现三维模型和二维图像处理。二次投影reprojection利用过去时刻姿态与位置信息触发形成的渲染画面，根据当前最新与过去时刻的姿态与位置变化，对渲染画面进行预测调整，形成当前最新姿态与位置相应的显示画面。4缩略语CDN:内容分发网络(ContentDeliveryNetwork)DHCP:动态主机配置协议(DynamicHostConfigurationProtocol)DLNA:数字生活网络联盟(DigitalLivingNetworkAlliance)DMIPS:整型运算性能测量(DhrystoneMillionInstructionsexecutedPerSecond)DNS:域名系统(DomainNaneSysten)FOV:视场角(FieldOfViewHLS:基于HTTP的自适应码率流媒体传输协议(HTTPHTTP:超文本传输协议(HyperTextTransferProtocol)HTTPS:超文本传输安全协议(HyperTextTransferProtocolOverSecureSocketLayer)ICMP:网络控制报文协议(InternetControlMessageProtocol)IGMP:网络组管理协议(InternetGroupManagementProtocol)IP:网络互连协议(InternetProtocol)JSON:JS对象简谱(JavaScriptObjectNotatLCD:液品显示器(LiquidCrystalDisplay)MLD:组播侦听发现协议(MulticastListenerDiscover)NTP:网络时间协议(NetworkTineProtocol)OLED:有机发光二极管(OrganicLight-EmittingDiode)PPD:角分辨率(PixelsPerDegree)PPPoE:以太网上的点对点协议(Point-To-PointProtocoloverEthernet)QoS:实时传输协议服务质量保证(QualityofService)RTCP:实时传输协议(RealTineTransportControlProocol)RTMP:实时消息传输协议(RealTineMessagingProtocol)RTSP:实时流传输协议(RealTineStreamingProtocol)RTT:往返时延(RoundTripTine)SOAP:简单对象访问协议(SimpleObjectAccessProtocol)SSL:安全套接层(SecureSocketLayer)TCP:传输控制协议(TransmissionControlProtocol)UDP:用户数据报协议(UserDatagramProtocol)UFS:通用闪存存储器(UniveralFlashStorage)UPnP:通用即插即用(UniversalPlugandPlay)VR:虚拟现实(VirtualReality)WebRTC;网页实时通信(WebReal-TimeCoumunications)5云化虚拟现实应用场景概述云化虚拟现实应用场景从交互角度可分为VR弱交互类业务和VR强交互类业务：-—VR弱交互业务以VR视频业务为主，包含巨幕影院、VR360度视频、VR直播等，用户可以在一定程度上选择视点和位置，但用户与虚拟环境中的实体不发生实际的交互。VR视频通常为360度全景拍摄，支持多角度播放，主要用于事件直播、新闻、体育赛事、演唱会现场、展会等，给用户带来全新的视频体验。相对传统视频，码率有极大增加，对网络带宽的需求也急剧增加。VR视频业务因对网络要求不同，分为VR视频点播业务和VR视频直播业务。 R强交互业务以云实时渲染场景为代表，包含VR游戏、VR教育、VR健身、VR社交、工业制造等，用户可通过交互设备与虚拟环境进行互动，虚拟空间图像需对交互行为作出实时响应。通过与虚拟环境进行互动，可以极大提升传统业务的效率和效果，比如实操技能培训时通过VR技术构建职业实训的虚拟环境，使学生切实感受到真实的工作环境，更好地掌握职业技能；对于高难度、高危险的工作进行培训，更加安全可靠，且节约成本。但是要实现实时流畅的交互体验，需要低延时网络的支持。相对本地终端运行的VR应用，云化虚拟现实业务具有如下特点：——业务运行上云：采用计算上云、渲染上云、编码上云等方式，实现各种VR业务云化，有利于集中部署和资源共享；-—终端适配便捷：云端运行模式，降低了对终端计算和渲染能力的压力，同时减少应用针对各种类型终端适配的压力-—网络价值凸显：为了满足高清、低时延端到端云VR网络传输，需要大带宽和高品质的网络质量，对光纤宽带网络和50蜂窝网络提供有效的价值填充。6云化虚拟现实终端总体要求6.1VR一体机总体要求6.1.1架构说明VR一体机终端是指集成了显示、传感、计算、存储、电源等单元的一体化的VR头戴式显示设备，可以不依赖其它设备独立使用引导程序系统设置二次投影电源管理直播云化应用层系统内核系统升级异步渲染系统应用层显示模组驱动程序硬件驱动层系统恢复程序传感器音频组件图1VR一体机络端总体架构--云化应用层：主要包括游戏、直播、点播、教育、社交等各类云化VR应用；-—系统应用层：主要包括引导程序、系统内核、恢复程序、系统设置、系统升级、SDK、二次投件、电源组件等硬件单元，以及相应的驱动程序外观和结构5表面的说明文字、符号和标志应清晰、端正、牢固。安全和可靠性应满足GB4943.1-2022规定。供电要求宜内置可充电式锂电池，电池容量应≥3000mAh,宜≥4000mAh。宜支持采用外置电源适配器对电池进行充电，充电接口宜采用MieroUSB或者USBType-C接口，电源适配器的输出电压宜采用直流5V或者9V,输出电流宜≥1A。宜支持快速充电功能，满足YD/T3815-2021规定。电磁兼容性应满足GB/T9254.1-2021规定。整机重量宜≤400g。说明书中应标明尺寸(以双眼连线平行方向为宽度方向，以水平目视方向为厚度方向，以竖直方向为高度方向),实际误差宜≤5%。功耗上限宜≤12W在满电情况下、温度为25℃的环境中，连续进行游戏、观影等续航时间宜≥2小时。应满足GB4943.1-2022规定。6.1.3硬件要求宜具备音量调节按键、确认键、返回键，Homo悝等常用按键。宜支持立体声双扬声器。麦克风宜支持语音输入及交互功能宜具备距离传感器，用于检测设备是否处于佩戴状态，距离传感器的检测距离上限宜≤6cm。宜支持陀螺仪、加速度计、磁力计9轴传感器，加速度计采样率宜≥1000Hz。音频接口7使用软件算法校正畸变后，在0.7倍全视场角下，畸变宜≤3%。使用软件算法校正色散后，在0.7倍全视场角下，色散宜≤1%。视度调整方式和范围视度调整方式宜支持双目分别调节，可调节范围宜≥-6D(视度)且≤6D(视度)。显示分辨率单眼显示分辨率宜≥1600(像素)*1440(像素)。显示刷新率显示刷新率宜≥60Hz。采用LCD的显示屏黑白对比度宜≥300;1,采用OLED的显示屏黑白对比度宜≥10000:1。0虚像距离虚像距离宜≥1m。1全视场平均角分辨率水平与垂直方向PPD均宜≥13。6.1.5功能要求应支持通过面板电源按键进行开机。进入休眠状态后，应支持通过面板电源按键唤醒，或通过距离传感器检测到用户重新佩戴时唤醒。应支持通过面板电源按键进行关机当用户取下终端(通过距离传感器检测)时，应支持自动进入休眠状态。进入体眠状态超过30分钟时，宜支持自动关机。应支持通过在线或离线升级系统固件，宜通过指示灯闪烁方式显示终端处于升级状态。应用协议。终端本地MU姿态捕捉时延宜≤10ms。6.2VR分体机总体要求6.2.1架构说明VR分体机终端是指需连接手机等外部设备使用的VR头戴式显示设备，通常只集成光学显示、传感器、数据传输等单元，图像渲染、存储、网络通信等功能由手机等外部设备实现。光学模组麦克风扬声器距离传感器状态指示灯系统固件传输接口(有线、无线)手机等移动终端图2VR分体机终端总体架构图VR分体机终端总体架构如图2所示，包括用于显示的光学模组，用于环境/姿态感知及追踪的陀螺仪、加速度计、磁力计、距离传感器等传感器，用于语音输入输出的麦克风和扬声器，用于显示设备运行状态的状态指示灯，用于驱动设备和保存配置的系统固件，用于传输传感器数据和音视频数据的接口(有线或无线方式，连接手机等移动终端)等。6.2.2基本要求参照相关要求。安全和可靠性参照相关要求。9可通过内置电池供电，也可通过USBType-C接口连接手机等移动终端供电。供电应能在直流电压标称值的(100±5)%条件下正常工作，直流电压标称值应在终端说明书中规定。有特殊供电要求的应在终端说明书中规定电磁兼容性参照相关要求。主体部分重量(即用户头部佩戴产生的重量，不包括外部连接的线材)宜≤200g。参照相关要求。参照相关要求。参照Error!Referencesourcenot宜支持USBType-C接口与手机等移动终端连接，连接线长度宜≥0.8m,连接线重量宜≤100g。6.2.3硬件要求参照相关要求。参照相关要求参照相关要求。参照相关要求。参照相关要求。宜支持USBType-C接口，连接手机等移动终端进行数据传输。宜支持DisplayPort传输协议，宜支持4通道DPy1.2+USB2.0HighSpeed,宜支持2通道DPv1.4+USB3.2Gen1,宜支持DisplayPort规范中指定的链路速率，包括RBR(1.62Gbps/通道),HBR(2.7Gbps/宜支持USBAudio,宜支持USBVideoClass。6.2.4光学显示要求参照相关要求。参照相关要求。参照相关要求。参照相关要求。参照相关要求。视度调整方式和范围参照相关要求。显示分辨率参照相关要求。显示刷新率参照相关要求参照相关要求。参照0相关要求。1全视场平均角分辨率参照1相关要求。6.2.5功能要求应支持连接手机等移动终端后自动开机。应支持与手机等移动终端断开连接后关机。连接手机等移动终端时，若用户取下终端(通过距离传感器检测),应自动进入休眠状态。应支持通过连接手机等移动终端升级系统固件。参照相关要求。7云化虚拟现实终端关键技术要求7.1播放器技术要求对于VR弱交互业务，宜支持基于当前观看视角内的VR播放内容，找到对应的内容分片(多个内容分片组成VR内容)之后进行处理：-—内容分片选择：具备根据一定坐标规则，如经纬度、角度等，对内容分片的选择算法能力：--多路下载管理：支持多路内容分片的并行下载，支持下载、解析、合并帧数据的同时处理：-—网络自适应控制：根据下载速度和内容分片码率，下载内容分片时，需确保不影响涉及该VR内容的其它视频流的下载带宽，如该VR内容的其它多路视频流： 态预测：基于用户视角的运动预测，需支持提前下载目标视角区的内容分片：——内容分片合并：对多个内容分片进行合并，支持修改切片、标题等编码参数信息，支持合并生成一帧新的可解码的图片。对于下载失败的内容分片，支持将该内容分片丢弃，不影响其他内容分片的合并：-—数据渲染：支持多路数据输入，需要确保多路流渲染的时间同步。7.2端云异步渲染技术要求对于VR强交互业务。宜支持端云异步泊染技术，将云渲染与流化、终端刷新显示这两个过程从串行处理分离成并行处理。即VR终端每次刷新画面时，使用的是云渲染平台送来的第n帧渲染帧作为基础帧进行二次投影，同时云渲染平台处理第n+1帧渲染帧，与VR终端并行处理，降低时