基于边缘计算的沉浸式VR

基于边缘计算的沉浸式VR崔勇清华大学

计算机系cuiyong@1VR/AR应用精灵宝可梦Go任天堂和谷歌通过智能手机在现实世界里发现精灵，进行抓捕和战斗房屋装修HouseVR想看看将来装修好的房子？想和设计师一起所见即所得？HouseVR发展难点室内模型构造麻烦，设计师？–家具模型更不易，家具城？“+互联网”Wednesday,

April

28,

2021考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大社交VRFacebook

Social

VR

Avatar实现Face-to-Face社交连线型头戴式VRVR的性能需求极低响应延迟：小于25ms较高刷新率(FPS)：大于60Hz复杂的场景：真实环境、全景视角…社交VR给移动终端和网络传输架构带来了巨大挑战Wednesday,

April

28,

2021考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大VR市场问题VR市场现状2016

VR元年2017寒冬将至？

VR市场现状用户持续增加商家生产VR设备数持续增多大品牌居多Google、HTC寒冬？Wednesday,

April

28,

2021考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大台式VR

vs手机VR台式机VR画质体验好但价格高移动受到限制手机VR画质体验待优化但价格低用户可自由移动市场对比手机VR将成主流？数据线限制Wednesday,

April

28,

2021传感器采集运动输入数据采集到的数据进行过滤并通过线缆传输到主机游戏引擎根据获取的输入数据更新逻辑和渲染视口提交到驱动并由驱动发送到显卡进行渲染把渲染的结果提交到屏幕,像素进行颜色的切换用户在屏幕上看到相应的画面VR延时需求手机VR显示过程流程复杂导致延迟延时需求高延时导致用户晕眩用户视觉反馈受限如何克服延时？Wednesday,

April

28,

2021考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大手机VR相关试验方法1：云端渲染高质量VR画面发至手机帧率受带宽波动影响带宽不足方法2：手机本地渲染高质量VR应用手机温度过高用户体验画面卡顿如何结合两者优势？Wednesday,

April

28,

2021考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大未来的手机VR将来无线网能带来帮助?将来硬件能带来帮助?400Mbps

TCP吞吐量已经包含27%CPU（在谷歌Pixel手机中）高质量VR帧流的传输需要大约6

Gbps的吞吐量

[MoVR,NSDI’2017]CPU/GPU在高端手机中Wednesday,

April

28,

2021发展的非常缓慢的进展:由于电源的约束，GPU

Frequency(MHz)Nexus

4(2012)Nexus

5(2013)Nexus6(2014)Nexus6P(2015)PixelXL(2016)Note8(201

CPU

Frequency7)

(GHz)Blockage产生的主要原因是用户变化的动作（如图所示的抬手）会阻挡mmWave信号-解决方案是架设可编程的mmWave反射镜Mobility的问题在于mmWave的波长非常小，头盔的移动（用户移动）会导致天线需要重新校准（确保天线发射的方向能到达头盔），校准的时间会影响到VR的响应性-解决方案是利用VR系统本身的定位传感器等功能，快速、实时确定头盔的位置，并以此计算、调整天线边缘计算＋手机VR传统做法–服务器放在云端延时高创新思路：边缘计算手机VR放云端延时高！Wednesday,

April

28,

2021引入边缘计算(VR服务器)Blockage产生的主要原因是用户变化的动作（如图所示的抬手）会阻挡mmWave信号-解决方案是架设可编程的mmWave反射镜Mobility的问题在于mmWave的波长非常小，头盔的移动（用户移动）会导致天线需要重新校准（确保天线发射的方向能到达头盔），校准的时间会影响到VR的响应性-解决方案是利用VR系统本身的定位传感器等功能，快速、实时确定头盔的位置，并以此计算、调整天线“剪掉绳子”的高质量VR边缘计算＋手机VRMIT的Dina尝试采用新型高速无线传输–

Enabling

High-Quality

Untethered

VR

[NSDI17]手机VR设备无法提供好的用户体验？核心思想：60GHz＋本地缓存响应性处理产生时延设备精确性被波长影响移动中及时加载预测点60GHz

AP微波反射器Wednesday,

April

28,

2021考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大发现手机VR改进点改进点1:内容可分为前景交互和背景环境改进点2：前景交互和背景环境有可预测性的渲染工作云朵和山脉

(背景环境)Wednesday,

April

28,

2021赛车手Daydream

VR应用故障率渲染工作量Karts游戏,相对低(前景交互)前景交互背景环境可预测性

随机,不可预测连续,

可

测的高考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大“本地手机”的高质量VR微软提出FlashBackImmersive

Virtual

Reality..[MobiSys16]手机VR设备无法提供好的用户体验？核心思想：预渲染＋缓存预测用户三维空间->离散点每一个点->预测缓存移动中及时加载预测点Wednesday,

April

28,

2021考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大Furion设计第一步协同渲染手机GPU→前景交互远端GPU→背景环境结合它们到手机关键优势互作用耗时显著降低解码

(16ms)背景环境(≈48ms)请求

(3ms)渲染背景环境

(11ms)编码

(10ms)传输

(8ms)每一帧合并(<1ms)渲染前景环境(12ms)前景交互

(≈12ms)样例输入瓶颈!Wednesday,

April

28,

2021考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大Furion设计第二步离散化虚拟世界借移动时延去预先取临近的帧使用预先渲染和预先编码的全景帧去批处理所有可能的方向预取临近的全景照片

一般来说,运动延时≈20msWednesday,

April

28,

2021离散化的虚拟世界考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大Furion设计第三步手机上解码一个全景帧大约需要40ms的延时并行解码互作用耗时显著降低并行解码多核解码，解码时间:≈13msWednesday,

April

28,

2021考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○