虚拟现实技术导论 课件 第5章 虚拟现实前沿性方向

虚拟现实技术导论第5章虚拟现实前沿性方向本讲大纲6.1增强现实技术6.2智能化建模与渲染方法6.3智能化建模例——基于深度学习的流体建模6.4智能化渲染例——三维积云的可微渲染5.1增强现实技术虚拟现实的三个构成要素视/听/触/味/嗅位置/姿态/操作用户/操作者真实环境虚拟环境化身化身化身真实环境现实世界/对象

建模增强现实的关键技术三维注册——真实、虚拟空间配准虚实融合——真实、虚拟空间合成人机交互——显示、界面增强现实系统一个典型的AR系统由虚拟场景发生器、透视式头盔显示器、实现用户观察视线跟踪的头部方位跟踪设备、虚拟场景与真实场景对准的跟踪定位设备和交互设备构成。视频透射式头盔原理视频透射式头盔显示器的优点包括：合成景象的灵活性较宽的视野时间延时的匹配光强度的匹配等。光学透射式头盔原理光学透视式头盔显示器的优点主要体现在：结构简单价格较便宜分辨率较高较为安全不能存在视点的偏差等。跟踪注册技术基于跟踪器跟踪用户头部的方位：主要采用的跟踪器包括电磁跟踪器、惯性跟踪器、测距仪、超声波定位仪、全球定位系统（简称GPS）等。混合跟踪注册：指采用不同种类的跟踪设备，取长补短共同完成增强现实系统的注册任务。目前常采用的硬件跟踪设备包括机械、电磁、光电、惯性跟踪器、超声波、陀螺仪、GPS等。混合跟踪注册：指采用不同种类的跟踪设备，取长补短共同完成增强现实系统的注册任务。目前常采用的硬件跟踪设备包括机械、电磁、光电、惯性跟踪器、超声波、陀螺仪、GPS等。增强现实技术与虚拟现实技术的关系虚拟现实综合了建模技术、渲染技术、人机交互技术、传感技术等，使得用户从感官效果上沉浸在一个虚拟环境中。增强现实则主要借助显示技术、人机交互技术、传感技术和计算机视觉技术等将计算机生成的虚拟环境或物体与用户周围的现实环境融为一体，使用户从感官效果上分辨不出虚拟和真实的部分。增强现实技术与虚拟现实技术的关系虚拟现实增强现实沉浸感隔离现实环境不仅不隔离现实环境，还强调用户在现实环境的存在感，并努力维持用户视听觉等感官效果的不变形注册无AR技术相较而言要求较低，盖因其主要是在充分利用周围业已存在的真实环境的基础上扩充一些附加信息，这就大大降低了对计算能力的要求系统计算能力较高AR技术相较而言要求较低，盖因其主要是在充分利用周围业已存在的真实环境的基础上扩充一些附加信息，这就大大降低了对计算能力的要求增强现实技术的应用AR技术主要利用附加信息去增强使用者对真实世界的感官认识。其应用侧重于辅助教学与培训、辅助医疗研究与解剖训练、辅助军事侦察、辅助精密仪器制造与维修、远程机器人控制等领域。5.2智能化建模与渲染方法智能化建模智能化建模在CAD/CAE以及其他相关工业领域一直是研究热点。通过参数化或者非参数化的方法构造虚拟对象的外观模型，同时定义其表面材质等光度属性，为后续渲染提供数据基础。近年来，随着深度学习从二维图像域拓展到三维空间域，基于学习的建模方法正成为工业界和学术界关心的话题。智能化形状建模显式表示方法：一般是指将虚拟对象表示为点云或多边形网格等形式。其中，多视角图像是三维几何模型的一种有效表示方式。利用多视角深度图像或利用多视角图像生成虚拟对象的外表面，可以有效地实现虚拟对象几何模型的重建。隐式表示方法：基于图像的视点合成是构建虚拟场景的经典技术之一。随着神经网络的发展，将神经网络作为几何模型的隐函数，可以达到不同的应用目的，如新视点生成、虚拟视角生成以及重光照等。智能化物理建模人体运动建模：主要是使用神经网络来进行运动数据帧的合成。柔性体建模：主要思想是利用深度学习进行虚拟对象的变形流体建模：随着人工智能技术的深入发展，深度神经网络模型以其强大的数据学习能力，被广泛应用至计算机图像分类、语音识别、流体细节合成等研究领域。其稳定的、高效的计算模式，为计算机流体模拟提供了一种新的问题解决途径。智能化渲染虚拟场景真实感绘制是通过计算机模拟光线在3D场景中传播的物理过程，将设计人员创作的由视点、光源、三维几何、动画、材质等组成的镜头转化为高度真实感的连续帧画面。全局光照模拟了光线在场景中传播的过程，对绘制真实感具有至关重要的作用。计算全局光照的核心在于绘制方程，该方程计算光束和三维物体的交互过程中的能量传递，具有全局性、递归性等特点，可以使整个虚拟场景在光照传播过程中保持能量守恒。智能化全局光照计算全局光照算法同时考虑了直接来自光源的光线（直接光照）和经过其他表面反射的光线（间接光照）。使用全局光照算法可以模拟现实生活中的大部分光照效果，如阴影、环境遮挡、反射、焦散、次级表面散射等现象。然而，全局光照计算十分耗时，通过使用机器学习方法加速计算是目前的研究热点。智能化全局光照计算——基于预计算辐照度的间接光照计算在使用RRF进行实时绘制时首先进行直接光照的计算，并在计算直接光照的同时，获取每个表面点的属性然后由基于神经网络的RRF模型计算得到每个表面点的间接光照信息，并与计算的直接光照信息进行合成，得到最终的全局光照结果。该方法可以实时渲染出带有全局光照效果的512×512分辨率的结果图片，并保持每秒渲染30帧以上的速度，可有效渲染出包括焦散、高频的反射、间接硬阴影等复杂的光照效果。但是该方法只适用于静态几何场景，允许光源和视点变化。智能化全局光照计算——基于学习的路径指导传统路径跟踪或者双向路径跟踪方法，在进行BSDF或者光源采样时，通常只考虑到局部的信息，而没有考虑到全局的信息，因此导致在复杂光路时，得到一些对整体贡献较少的路径，从而使得绘制噪声较大。路径指导则是通过一定的方式来获取光路中的更多全局信息，并且根据这些信息来指导重要性采样，从而达到减少噪声的目的。使用机器学习或统计学习方法优化光路传输也是实现快速计算全局光照效果的途径之一。智能化全局光照计算——光照采样算法的优化利用大规模数据集，针对首次反弹入射辐射场的自适应采样和重建训练神经网络，可以有效优化现有光照采样算法的时间性能。例如，基于深度强化学习(DRL)的质量网络(Q-network)预测和指导自适应采样过程，利用基于4D卷积神经网络的重建网络(R-network)重构4D空间中的入射辐射场。智能化参与性介质绘制在真实场景中，随时可见各式各样的参与性介质（如蜡烛，牛奶，橄榄油，烟雾等），光线在参与介质中传递时会被吸收或者发生散射。为了模拟介质中的散射现象，需要花费大量计算时间。近年来，有学者提出使用蒙特卡洛积分和神经网络相结合来高效地绘制大气云(radiance-predictingneuralnetworks，RPNN)。该方法从大量样本中提取采样点对应的相关着色位置和光源的几何信息，再将这些信息输入深度神经网络中，以得到最后的辐射度。5.3智能化建模例——基于深度学习的流体建模算法思想速度场与压力场在流体仿真的过程中驱动流体的运动，而密度场则更加容易观测以及被人类感知。使用基于学习的流体建模方法时，直接拟合密度场较为困难，盖因流体作为不定形物体，不存在较强的形状先验知识。使用散度场作为输入，利用CNN拟合压力场的方法进行流体建模。整个算法大致分为流体建模数据集的构建，以及CNN流体求解模型的构建与训练等两部分。流体建模主要围绕三大变量进行：密度场、速度场、压力场。算法实现使用随机的小波湍流噪声(waveletturbulentnoise)初始化空间中的速度场；在空间中随机放置的基本几何体与真实世界中常见的物体作为障碍物；在仿真时在空间中随机添加局部噪声；在仿真空间中的随机位置添加随机大小，随机强度并且发射时间随机的速度源以增加仿真空间的扰动。①流体建模数据集的构建算法实现使用0.125s作为时间迭代步长总共进行256帧的仿真，每8帧记录一次当前的流体状态。记录的信息包括：流体当前状态的速度场、压力场、空间障碍物的信息。对于2D仿真数据生成，设置仿真空间分辨率为256×256，一共生成320个流体仿真场景，每个场景64个训练数据，总大小为26GB。对于3D仿真数据生成，设置仿真空间分辨率为64×64×64，一共生成320个流体仿真场景，每个场景64个训练数据，总大小为450GB。②流体仿真数据生成算法实现

③基于CNN的流体建模算法实现③基于CNN的流体建模算法实现④网格计算过程计算输入的散度场∇⋅𝑢_𝑑𝑖𝑣的标准差，并根据标准差将输入的散度场进行归一化；将输入的归一化散度场以及虚拟场景中障碍物的标记矩阵分别进行2倍与4倍的下采样，并使用共享参数的卷积子网络convsubnet1对其进行处理；为对多尺度网络的输出分别进行1倍，2倍，4倍的上采样到输入的大小并通过第二个子卷积网络convsubnet2得到归一化的输出结果；对归一化的压力场输出结果使用网络输入时归一化参数进行还原，获得与输入量级相匹配的压力场预测结果。算法实现⑤优化目标

算法实现⑥训练设置对于2D流体建模网络训练，使用batchsize为64，并对数据集进行200轮训练，学习速率设置为5e-5，训练时运行网络自纠偏算法的概率为0.9。对于边界条件位置的损失函数加权值k设置为2。流体的迭代步长为0.1s，并在128×128的空间中进行训练。对于3D流体建模网络的训练，仿真训练的分辨率降为64×64×64，并且batchsize设置为32。网络学习率设置为5e-3，其余参数不变。实验结果——2D流体建模结果展示与分析下图分别展示了使用传统PCG流体求解器和使用本节算法，在相同仿真条件下对流体的建模结果。第一行的三幅子图分别展示了密度场，x方向速度场，y方向速度场图像。第二行的两幅子图分别是压力场图与散度场图。实验结果——2D流体建模结果展示与分析下图展示了在遇到正方形障碍物之后的流体建模结果。实验结果——3D流体建模结果展示与分析实验结果——建模效率基于深度学习的流体建模的最大优势在于时间效率。下表展示了基于CNN的方法与传统PCG流体求解的速度对比。基于深度学习的方法在2D与3D建模任务中相比传统方法都取得了巨大的进步建模维度PCG流体求解器建模总时间深度学习方法建模总时间2D（128×128）0.04s（25fps）0.006s（180fps）3D（64×64×64）0.3s（3fps）0.0125s（80fps）5.4智能化渲染例——三维积云的可微渲染积云渲染辐射传输方程空气中特定粒子的物理属性决定了它与光线的相互作用效果，不同的粒子作用效果也不同。通常，光线在云层中发生常见的物理作用主要有三种：吸收、外散射和内散射。积云渲染辐射传输方程积云渲染辐射传输方程光子穿过云层时，它的能量会被吸收一部分，这部分被吸收的能量沿着ω方向的变化量在单位距离的微分形式如下所示：

积云渲染辐射传输方程积云渲染模型在单位路径z下的微分形式：将某一点的微分形式转化成路径的积分形式：积云渲染辐射传输方程一束光线经过参与性介质，从𝑥_𝑎处射出，经过上述的物理作用之后射出的辐射强度遵循比尔定律：

算法思想可微渲染的本质是传统图形渲染的逆向过程，其核心任务是构建渲染图像与模型参数之间的关系算法实现多次前向散射过程如所示。给定初始渲染参数，首先通过预计算得到逐网格的散射强度计算量，然后利用光线行进法进行逐像素的强度计算，最终得到渲染图像。①积云的正向渲染算法实现计算单次散射项。单次散射模拟光源经过介质在单一方向上的散射①积云的正向渲染算法实现计算多次散射项。利用辐射传输的扩散理论，可将光线的多次前向散射强度表示为泰勒展开式的前两项：①积云的正向渲染算法实现光线行进法。对积云渲染任务，首先定义了一个固定体积的积云密度场，然后利用从视点出的光线Ray与包围盒求交点，前交点和后交点分别相交于体积的前后两侧，路径为两个交点之间的距离，按照固定步长一步一步往前计算亮度，并将亮度进行累加。①积云的正向渲染算法实现逆向渲染的目标是通过渲染得到的图像推断原始三维场景的几何、光照、纹理、材质、运动等信息。对积云这种参与介质的渲染，主要需要推断的参数包括光源强度、光源颜色、介质密度、吸收项系数、散射项系数等5个。这也是正向过程渲染中需要的初始参数。可导性、连续性是可微渲染的必要条件，算法的关键就在于如何解决体渲染的不可导问题。②积云的逆向渲染算法实现

②积云的逆向渲染算法实现单次散射项的导数求解多次散射项的导数求解②积云的逆向渲染算法实现下式表示了渲染参数的优化过程：③优化目标

算法实现算法渲染的三维体数据规模为64×64×96，渲染出的二维图像的分辨率为512×512，每个实验优化迭代次数为100次。本文使用的烟雾数据是基