基于边缘计算的沉浸式

基于边缘计算的沉浸式VR崔勇清华大学

计算机系cuiyong@1VR/AR应用精灵宝可梦Go任天堂和谷歌通过智能手机在现实世界里发现精灵，进行抓捕和战斗房屋装修HouseVR想看看将来装修好的房子？想和设计师一起所见即所得？HouseVR发展难点室内模型构造

麻烦，设计师？家具模型更不易，家具城？“+互联网”社交VRFacebook

SocialVRAvatar实现Face-to-Face社交连线型头戴式VRVR的性能需求极低响应延迟：小于25ms较高刷新率(FPS)：大于60Hz复杂的场景：真实环境、全景视角…社交VR给移动终端和网络传输架构带来了巨大挑战VR市场问题VR市场现状2016

VR元年2017寒冬将至？VR市场现状用户持续增加商家生产VR设备数持续增多大品牌居多Google、HTC寒冬？台式VR

vs手机VR台式机VR画质体验好但价格高移动受到限制手机VR画质体验待优化但价格低用户可自由移动市场对比手机VR将成主流？数据线限制VR延时需求手机VR显示过程流程复杂导致延迟延时需求高延时导致用户晕眩用户视觉反馈受限如何克服延时？手机VR相关试验方法1：云端渲染高质量VR画面发至手机帧率受带宽波动影响带宽不足方法2：手机本地渲染高质量VR应用手机温度过高用户体验画面卡顿如何结合两者优势？未来的手机VR将来无线网能带来帮助?将来硬件能带来帮助?400Mbps

TCP

吞吐量已经包含27%

CPU

（在谷歌Pixel手机中）高质量VR帧流的传输需要大约6

Gbps的吞吐量[MoVR,

NSDI’2017]CPU/GPU在高端手机中的进展:由于电源的约束，发展的非常缓慢GPU

Frequency

(MHz)CPU

Frequency

(GHz)Nexus

4(2012)Nexus

5(2013)Nexus

6(2014)Nexus

6P(2015)Pixel

XL(2016)Note

8(2017)边缘计算＋手机VR传统做法服务器放在云端延时高创新思路：边缘计算手机VR放云端延时高！引入边缘计算(VR服务器)“剪掉绳子”的高质量VR边缘计算＋手机VRMIT的Dina尝试采用新型高速无线传输EnablingHigh-QualityUntetheredVR[NSDI17]手机VR设备无法提供好的用户体验？核心思想：60GHz＋本地缓存响应性处理产生时延设备精确性被波长影响移动中及时加载预测点60GHzAP微波反射器发现手机VR改进点改进点1:内容可分为前景交互和背景环境改进点2：前景交互和背景环境有可预测性的渲染工作云朵和山脉(背景环境)赛车手(前景交互)Karts游戏,DaydreamVR应用故障率可预测性渲染工作量前景交互随机,不可预测相对低背景环境连续,可预测的高“本地手机”的高质量VR微软提出FlashBackImmersiveVirtualReality..[MobiSys16]手机VR设备无法提供好的用户体验？核心思想：预渲染＋缓存预测用户三维空间->离散点每一个点->预测缓存移动中及时加载预测点Furion设计第一步协同渲染手机GPU→前景交互远端GPU→背景环境结合它们到手机关键优势互作用耗时显著降低请求(3ms)渲染背景环境(11ms)传输(8ms)解码(16ms)背景环境

(≈48ms)编码

(10ms)每一帧合并(<1ms)渲染前景环境(12ms)前景交互

(≈12ms)样例输入瓶颈!Furion设计第二步离散化虚拟世界借移动时延

去预先取临近的帧使用预先渲染和预先编码的全景帧去批处理所有可能的方向预取临近的全景照片一般来说,运动延时≈20ms离散化的虚拟世界Furion设计第三步手机上解码一个全景帧大约需要40ms的延时并行解码互作用耗时显著降低并行解码多核解码，解码时间:≈13ms改进成果发热量和性能消耗30分钟内不会过热发烫电池消耗平均在410mA