混合现实XR与数字孪生实践与思考-

2022.06.26沈旭昆xkshen@学森与VirtualityandReality 虚拟现实概念与内涵 虚拟现实概念与内涵 3I特性沉浸性(immersion):身心地沉浸于计算机所生环境，并产生身临其交互性(3I特性沉浸性(immersion):身心地沉浸于计算机所生环境，并产生身临其交互性(interaction):构想性(imagination):参与者借助VR系统给出的信号而产生间的想象虚拟现实的 可以利用各种感官功能及人技能与虚拟环境进行交互考作智能性(intelligence)AugmentedReality(AR)ronment虚拟现实：增强现实，增强虚境，虚拟环境 AugmentedReality(AR)ronment虚拟现实：增强现实，增强虚境，虚拟环境 虚拟现实技术可能颠覆什么 D到观看盘鼠标交互境自然交互环境虚拟现实技术可能颠覆什么 空物理世界孪生业全新的实验台头号玩家：游头号玩家：游戏—平行世界社交—VR6368年……开启图形时代VR6368年……开启图形时代IvanIvanSutherland：三维交互式图形系统，1963画板1965终极的显示1966HMD1968E&S1988图灵奖科幻版的头盔科幻版的头盔VR年6368……IvanIvanSutherland：1963画板1965终极的显示1966HMD1968E&S1988图灵奖虚拟现实硬件系统虚拟现实硬件系统1989年VPLJaron1989年VPLJaronLanier提出了VirtualReality如何更新与拓展了我们对人类本身的理解，在大脑和身体如何与世界连接方面提供了新的视角技术先锋与雅皮19731973年ruegerArtificialRealityVR。虚拟现实的艺术和感性表述Lanier——虚拟现实的艺术和感性表述Lanier——《GEB一条永恒的金带，AnEternalGoldenBraid的古典音乐大师巴赫《GEB一条永恒的金带，AnEternalGoldenBraid的古典音乐大师巴赫(Bach)》性定理，巴赫GdelGdel,Escher,Bach:G本世纪伟大的数学、数理逻辑学Gdel)E当代杰出的画家埃舍尔(Escher)BB镜镜像、映射、同构、上升、殊途同归科科学与艺术的结合是一条永恒的金带——左脑右脑，感知更加全面交交叉融合是创新的必由之路(a)美能达VIVID910三维扫描仪(b)秦始皇兵马俑三维数据采集现场(c)(a)美能达VIVID910三维扫描仪(b)秦始皇兵马俑三维数据采集现场(c)一次扫描得到的三维数据 技术体系体-3DModeling-3DModeling-Scanning 计算机视觉建模计算机视觉建模风格化建模风格化建模复原级的数据采集和展现复原级的数据采集和展现拉拉斐尔的艺术，不可能的相遇(2021，北京)外力引导的流体重建脑”计划行业应用不断深化：XR+医学脑”计划行业应用不断深化：XR+医学生研究院的虚拟手术&虚拟手术室数字人体器官模型及手术模拟器数字人体器官模型及手术模拟器象“力觉反馈仿象“力觉反馈仿不精”数据驱动动态关联六自由度刚体与柔体交互仿真仿真手感精确、实时交互个个性化血管介入手术行业应用不断深化：XR+航空航天行业应用不断深化：XR+航空航天六自由度安全任务飞行模拟器由度全任务飞行模拟器ARJ21ARJ21真实驾驶舱内部环境 ARJ21融合驾驶舱内部环境ARJ21ARJ21ARJ21真实驾驶舱内部环境 ARJ21融合驾驶舱内部环境ARJ21融合驾驶舱外景ARJ21面向飞机驾驶舱设计评估的虚实融合系统在面向飞机驾驶舱设计评估的虚实融合系统 •ARJ21虚实融合单价集成装备虚实融合显示摄像机定位装置移动、云计算 飞机虚实融合驾驶舱设计评估系统结构图(以100平方米工作空间为例)面向飞机驾驶舱设计评估的虚实融合系统 •ARJ21虚实融合单价集成装备虚实融合显示摄像机定位装置移动、云计算觉信息文旅MetropolitanMuseumofArt行业应用不断深化：XR+ 文旅MetropolitanMuseumofArt行业应用不断深化：XR+ RReappearingVanGoghAAvatarDigitalMichelangeloVirtualExaminationMuseumVirtualExaminationMuseum—礼和万方商周青铜鼎“”多感官交虚拟现实交互展示 —礼和万方商周青铜鼎“”多感官交虚拟现实交互展示 2.混合现实电子沙盘2.混合现实电子沙盘.用户展示用户本地协同.用户展示用户本地协同混合现实电子沙盘混合现实电子沙盘混合现实电子沙盘混合现实电子沙盘手势跟踪3D手势跟踪3D2.2.accurateavatarrepresentationofyourhandstoincreaseyoursenseof‘presence’1.naturalinteractionwithvirtualobjectsinaphysicallyplausiblemanner手势跟踪3D手势跟踪3DHumanHumaninteractioninVR/ARIEEEVR2021IEEEVR2021混合现实交互设计——取模式的虚拟菜单设计研究——Audiences’sPerception Audiences’sAudiences’sPerception nAdaptiveVirtualEnvironmentwith——“宁夏花儿”国际艺术基金项目“宁夏花儿” 演中的交互叙事研究——“宁夏花儿”国际艺术基金项目“宁夏花儿” 演中的交互叙事研究Audiences’sPerception AudiencesAudiences’sPerception 预测/控制信息数预测/控制信息数字孪生的定义与特征••数字孪生是采用虚拟现实技术构建物理实体的虚拟对象，并在两者之间建立双向数据通道。•虚拟对象依据物理对象的历史数据和实况数据，实时或及时地进行相应的更新演化，•同时利用自身的运行状态数据，对物理对象全生命周期过程进行实时或及时的预测、控制。三三维模型构建双向动态交互自动同步演化1：数字孪生是未来网络的主要应用方向发展趋势 1：数字孪生是未来网络的主要应用方向发展趋势 发展趋势3：发展趋势3：数字孪生融合物理空间与虚拟空间国务国务院、工信部、多个地方政府的“十四五”规划纲要字孪生技术也是Facebook等提出的元宇宙概念的关键技术之一支撑平台