虚拟现实技术导论 课件全套 梁晓辉 第1-6章 概论、虚拟现实常用软硬件-Unity开发实例-VR电力仿真培训系统

虚拟现实技术导论第1章概论本讲大纲1.1基本概念及发展简史1.2虚拟现实的关联概念1.3典型特征1.4虚拟现实系统1.5虚拟现实系统的构建过程1.6习题1.1基本概念及发展简史虚拟现实(VR)——三元世界的界面真实世界虚拟世界

人虚拟现实是人与虚拟世界及真实世界的相互作用虚拟现实就是采用以计算机技术为核心的现代高技术生成逼真的视、听、触觉一体化的一定范围的三维虚拟环境，用户可以借助必要的装备以自然的方式与虚拟环境中的物体进行交互作用、相互影响，从而获得亲临等同真实环境的感受和体验。基本概念虚拟现实技术充分利用计算机硬件和软件的集成技术，提供一种实时、三维的虚拟环境，用户借助必要的设备（如头盔，手套等）以自然方式与虚拟环境中的物体进行交互，从而沉浸于虚拟环境中，产生接近真实环境的感受和体验。虚拟环境是由计算机生成的实时动态的三维立体逼真图像，它可以是某一现实世界的再现，也可以是虚拟构想的世界。关键词：3D+交互基本概念3D＋交互示例虚拟现实产生的背景与应用需求演化密切相关与计算技术发展密切相关虚拟现实产生的背景现代科学研究的主要手段理论研究（推导、演绎）科学实验（统计、归纳）一个问题如何使得计算过程和结果更为直观？科学计算数值计算方法模拟仿真新的计算方法虚拟现实产生的背景直观为什么首先要可视？真正的直观需要可视、可听、可触、可嗅，而视觉占到人的输入信息的80%以上，是基本的可视的概念并不陌生解析几何（代数、几何）在于虚拟现实关联的学科中，与“可视”相关的也是最早发展的虚拟现实产生的背景虚拟现实考虑的核心问题如何把现实世界中物体和数据映射成具有某种几何、物理和行为属性的对象（实物虚化）如何计算机中的虚拟对象映射到现实世界中（虚物实化）发展简史80多年前的飞行模拟器……1929年EdwinA.Link发明了一种飞行模拟器“蓝盒子”，可提供俯仰、偏航、滚转等复杂飞行动作。这是人类模拟仿真物理现实的初次尝试如今，全球民航共使用着约1200余台全飞模拟机，其中约550台位于美国、75台位于英国、我国拥有约60多台，而德国和日本分别拥有50台，法国拥有其中的40余台发展简史

50多年前的摩托车仿真器……1956年，MortonHeileg开发了一个摩托车仿真器Sensorama，基于一对并排的35mm照相机实现三维视频反馈，有立体声效，能产生振动感觉1962年的“Sensoramasimulator”专利已具有一定的VR技术的思想发展简史图形学和VR的里程碑，63－68年……IvanSutherland：1963画板1965终极的显示1966HMD1968

E&S1988图灵奖发展简史图形学和VR的里程碑，63－68年……IvanSutherland：1963画板1965终极的显示1966HMD1968

E&S1988图灵奖发展简史人机交互1987年，James.D.Foley在具有影响力的《科学美国人》上发表了“InterfacesforAdvancedComputing”。该杂志还发表了报导数据手套的文章，引起人们的关注发展简史AR……VR……1973年，Krueger提出了“ArtificialReality”一词，这是早期出现的VR词语1989年，美国VPL公司的创立者JaronLanier提出了VirtualReality一词2014年3月20日，Facebook公司宣布斥资20亿美元收购虚拟现实公司Oculus。这是Facebook金额排名第二的收购交易2014年7月25日，Amazon发布FirePhone3D手机，

增强3D购物/娱乐体验2014年9月，微软研发3D触觉反馈触摸屏：医生可以摸到肿瘤2015年1月22日，微软举办Win10预览版发布会，推出HoloLens全息影像头盔2015年CES（国际消费电子展），三星等推出的多款虚拟现实头盔、应用等发展简史发展简史虚拟现实可能应用的九个领域：2016年1月14日，高盛发布58页报告，指出虚拟现实（VR）和增强现实（AR）将像PC一样改变世界预期到2025年VR和AR软硬件营收达800-1800亿美元高盛预测报告：像PC一样改变世界视频游戏现场直播视频娱乐零售业房地产教育健康工程军事发展简史2018年，美国公布的《2016-2045年新兴科技趋势报告》预测未来30年里，虚拟现实和增强现实这些技术将成为主流技术。AR将把实时相关的信息给用户投放在现实中，而VR则可以通过融合视觉、听觉、嗅觉和触觉来实现深度沉浸的体验。发展简史近年来，元宇宙（Metaverse）成为市场上比较火热的概念。元宇宙指利用科技手段连接与创造出与现实世界映射和交互的虚拟世界，该虚拟世界同时是一个具备基本新型社会体系的数字生活空间。其本质是对现实世界的虚拟化、数字化，包括对内容生产、经济系统、用户体验以及实体世界大量真实内容的改造。其中，扩展现实（ExtendedReality，XR）技术是VR与AR技术的综合，为用户提供沉浸式体验，与数字孪生技术、区块链技术一道成为支持元宇宙的核心技术之一。发展简史使人机界面、人机交互自然、友好是计算机科学工作者不懈追求的目标。计算与仿真成为科学技术探索除理论研究、科学实验之外的第三种手段。人们在许多领域所需解决的问题越来越需要有力的预测手段和虚拟环境。追求、探求、需求计算机科学工作者不断追求的三个目标：快捷，聪明，和谐虚拟现实的三大应用方向训练演练(模拟现实环境)规划（设计）预测(虚拟未来环境)观赏娱乐(构想现实未来幻想环境)1.2虚拟现实的关联概念与VR紧密相关的概念MR（混合现实）、AR（增强现实）、AV（增强虚拟）这些概念根据虚拟环境与真实环境信息融合的程度划分虚拟现实发展的四个传统领域

虚拟现实传统仿真真实数据等游戏动画CAD/CAM图形图像人机交互等概念仿真等虚拟实体等近年来一些热词都有与虚拟现实相关内容云计算：GoogleGlass（显示）大数据：可视分析（视觉处理）可穿戴：新型人机界面（交互方式）5G：全景展示（内容展现形式）人工智能：内容处理，交互1.3典型特征VR3I典型特征示意图沉浸（Immersion）交互（Interaction）构想（Imagination）虚拟现实的三个主要特点依托的学科多（多学科交叉融合）应用性强（与应用领域交叉融合）高度依赖数据资源和计算资源1.4虚拟现实系统虚拟现实系统逻辑结构典型虚拟现实系统一般包含一个虚拟环境（VirtualEnvironment，VE）及若干化身虚拟现实系统的4种分类（1）沉浸型（2）桌面型（3）增强型（4）分布型沉浸型这类系统主要面向高端应用，其典型特点是使用高端图形工作站（群）和高逼真感的视听触设备，以提供更好的沉浸感。航天航空领域的应用沉浸型这类系统主要面向高端应用，其典型特点是使用高端图形工作站（群）和高逼真感的视听触设备，以提供更好的沉浸感。医学领域的应用桌面型这类系统主要面向普及型应用，其典型特点是基于个人计算机和常规交互设备，在通用硬件上构造简易型的系统。虚拟奥运博物馆增强型这类系统主要面向增强现实的应用，其典型特点是：利用机械、声波、光学、电磁技术获取运动物体的3D姿态，然后与虚拟对象进行注册、融合，并使用透视头盔式显示器，在现实场景中叠加虚拟物体，增加虚实融合的内容。大飞机虚拟融合系统分布型这类系统主要面向网络环境下的虚拟现实应用，其典型特点是：利用网络将不同节点的虚拟现实系统加以联结，构建共享一致的虚拟环境，从而进行协同和交互。分布型分布型虚拟现实系统的典型架构：逻辑层主要实现了虚拟环境物理层通过每个虚拟的区域可能对应一个区域服务器此外，物理层还设置了模型服务器与监控服务器用于数据处理与服务管理1.5虚拟现实系统的构建过程虚拟现实系统构建过程建模+渲染+交互界面1.6习题习题虚拟现实的概念是什么？其主要特征是什么？构造虚拟环境的主要过程是什么？你认为构造虚拟环境的难点是什么？虚拟现实技术导论第2章虚拟现实常用软硬件本讲大纲2.1典型输入设备2.2典型输出设备2.3常用软件2.4习题2.1典型输入设备用户位姿获取设备电磁跟踪设备（电磁发射、接收）声学跟踪设备（超声等发射、接收）光学跟踪设备（光学传感器、摄像头）光波、有标志点、无标识点、深度图通过摄像机获取二维图像标志点，进而获得三维位置惯性跟踪设备（加速度计、陀螺仪）眼球跟踪设备混合方式用户位姿获取设备——电磁跟踪设备现有电磁跟踪设备一般由控制部件、信号发射器（transmitter）和接收器（receiver）组成发射器与接收器均包括3个相互垂直（正交）的电磁感应圈；发射器通过电磁感应圈产生磁场，接收器接收到磁场，并在感应圈上产生相应的电流；根据接收到的电流信号，通过控制部件预先设定的算法计算，就能得到跟踪目标相对于接收器的位置和方向。根据所发射磁场的不同，又可分为交流电发射器型和直流电发射器型。用户位姿获取设备——电磁跟踪设备目前使用较为广泛的直流电跟踪系统，如AscensionTechnology公司的FlockofBirds系统，其刷新率可达100Hz，系统延迟在没有噪声滤波器的情况下，最小可到17ms。FlockofBirds系统用户位姿获取设备——声学跟踪设备声学跟踪技术利用超声波的特性来达到目标的位置跟踪。不过从理论上讲，听觉波也是可以使用的。声学跟踪系统根据其跟踪方法可以分为两类：飞行时间（TimeofFlight，ToF）测量法相位差（Phase-Coherent，PC）测量法为了更好地确定目标位置和方向，在实际应用中，通常采用多个超声波发射/接收传感器。Logitech跟踪设备用户位姿获取设备——光学跟踪设备光学跟踪系统的感光设备种类很多，如普通摄像机、光敏二极管等。光源也是多种多样的，可以是环境光，也可以是受跟踪器控制发出的光。为了防止可见光的干扰，有时也使用红外线作为光源。光学跟踪系统使用的技术主要可分为：标志系统模式识别系统激光测距系统光学跟踪设备用户位姿获取设备——标志系统标志系统（markersystem）也称为信号灯系统或固定传感器系统，是当前使用最多的光学跟踪技术。它有两种结构：自外而内（out-inside）结构，例如图a以及结构自内而外（inside-out）结构，例如图b。用户位姿获取设备——模式识别系统模式识别系统的原理是通过比较已知的样本模式与传感器得到的模式而得出物体位置的，它其实是前面介绍的标志系统的一个改进。把几个LED那样的发光器件按某一固定阵列（即样本模式排列），并将其固定在被跟踪对象的身上。然后由摄像机跟踪拍摄运动的LED阵列，记录整个LED阵列模式的变化。这实际上是将人的运动抽象为固定模式的LED点阵运动，从而避免从图像中直接识别被跟踪物体所带来的复杂性。用户位姿获取设备——激光测距系统激光测距系统将激光发射到被测物体，然后接收从物体上反射回来的光测量出位置。激光通过一个衍射光栅射到被跟踪物体上，然后接收经物体表面反射的2D衍射图的传感器记录。这种经反射的衍射圈带有一定的畸变，而这一畸变是与距离有关的，作为测量距离的一种量度。HTCViveLighthouseHTCViveLighthouse使用双基站定位系统。Valve在头显和控制器上安装了很多光敏传感器。在基站的LED闪光之后就会同步信号，然后光敏传感器可以测量出轴激光和轴激光分别到达传感器的时间。这个时间就正好是轴和轴激光转到这个特定的，点亮传感器的角度的时间，于是传感器相对于基站的轴和轴角度也就已知了；分布在头显和控制器上的光敏传感器位置也是已知的，于是通过各个传感器的位置差，就可以计算出头显位置和运动轨迹。用户位姿获取设备——惯性跟踪设备惯性跟踪技术使用惯性传感器进行跟踪，主要包括陀螺仪（gyroscope）传感器从原理上，高速旋转的陀螺有保持其旋转轴朝向不变的能力，可以测量被跟踪物体的3自由度选择运动（yaw、roll、pitch），从而达到对头部方向运动的跟踪。加速器（accelerator）传感器加速计用来测量头部运动的加速度或者是环境中运动物体的加速度，达到对头部位置运动的跟踪。惯性跟踪设备用户位姿获取设备——眼球跟踪设备ASL的MobileEye是可移动的眼球轨迹追踪系统，专为需要自由移动应用而设计，可以用在室内也可以在户外，它紧凑、坚固，能应用到体育方面。该系统重量轻，用于记录的设备也很小，能别在一条皮带上。眼睛图像和场景图像交错地保存在特制的DVCR磁带里，以确保足够高分辨率。其采样率为25/30Hz。ASLModel504用户运动数据获取设备运动捕获是记录人体运动信息以供分析和回放的技术。捕捉的数据既可简单到记录躯体部件的空间位置，也可复杂到记录脸部和肌肉群的细致运动。应用在计算机角色动画的运动捕捉则涉及到如何把真人动作转换为虚拟角色的动作，直接转换映射，用真人演员的手臂运动控制虚拟角色的手臂动作间接转换映射，用真人演员的手臂和手指动作来控制虚拟角色的皮肤颜色和情绪等。影视特效动画制作虚拟现实游戏人体工程学模拟训练生物力学用户运动数据获取设备运动数据获取装备全身运动捕捉系统机械电子式运动捕捉系统光学动作捕捉系统脸部表情捕捉系统数据手套用户运动数据获取设备——机械电子式运动捕捉系统ME4是ME电子机械式运动捕获系统的最新产品ME4更贴身、重量更轻、操作更简单，其设计最大程度满足用户动作的自由度和舒适度，由安放于人体17处关节的43只运动传感器精确记录运动者骨骼的转动ME4价格低，同时可最多捕获16人的运动信息，没有光学运动捕获常见的测量死角和标记点混淆，没有电磁跟踪系统常见的外界干扰产生的误差增加传感器锚点数量、位置（头、肘、膝盖、臀部）可配合完成诸如头手倒立、四肢匍匐、就座等复杂动作捕获。用户运动数据获取设备——光学动作捕捉系统光学动作捕捉系统广泛用于运动、人体工程学、实时动画制作、工业测量、临床运动分析、知觉动作技能研究。它可用于各种环境包括医院、工厂大学、运动场、动画制作摄影棚和国际空间站等。PS光学式人体运动捕捉系统是目前光学式系统中价格最便宜、性能最好的系统。它依靠主动方式的、一元硬币大小的LED，可以快速、高精度、方便地获取人体各个部位的运动数据。不同于被动式的光学反射标志，其能够实时获取多达120个LED主动方式标志点的运动轨迹。用户运动数据获取设备——脸部表情捕捉系统FT45脸部表情跟踪系统是广泛使用的人体脸部表情跟踪系统。通过脸部的36个不同标记，FT45系统可以实时捕获脸部运动数据。研究者可以在不同的场合多次重复使用这些数据文件。这些数据可以反映到其他虚拟角色的3D脸部模型上，从而获得和表演者相似的表情，也可以进行表情变化。用户运动数据获取设备——数据手套数据手套是虚拟现实应用的主要交互设备，它作为一只虚拟的手或控件用于3DVR场景的模拟交互，可进行物体抓取、移动、装配、操纵、控制，有有线和无线、左手和右手之分，可用于视景仿真软件环境中。Material:BlackstretchlycraFlexureresolution:12-bitA/D.Minimumdynamicrangeis8bits.Flexuresensors:Proprietaryfiberopticbasedflexortechnology.2Sensorsperfinger(1stjoint[knuckle],2ndjoint).Abductionsensorsbetweenfingers.Computerinterface:RS232(2-wire:GND,TX)

8databits,1stopbit,noparity

19200bps(transmitonly)[9600bpsforwirelessglove]Powersupply:9VDCcenterpostive(150mA)Samplingrate:Thefullhand(14sensors)maybesampledatupto100samplespersecond.Transmissionfrequency:Right-handedwirelessglove:418MHz

Left-handedwirelessglove:433.92MHzWirelessrange:Upto30m真实物体几何材质属性获取设备3D扫描仪接触式扫描仪非接触式扫描仪激光扫描仪结构式3D扫描仪3D照相机真实物体几何材质属性获取设备——3D扫描仪利用光学、机械等方法，获取三维物体的表面几何属性，分为接触式和非接触式。真实物体几何材质属性获取设备——接触式扫描仪接触式扫描仪通过内置高精度位置和方向传感器感知探头所处位置。主要产品有MS接触式数据化仪。MS接触式数据化仪是由三段碳纤维臂构成，臂与臂之间由球状连接器相连，内置高精度位置和方向传感器，以感知探头所处位置。真实物体几何材质属性获取设备——非接触式扫描仪激光扫描仪使用条状激光对输入对象进行扫描，使用CCD相机接受其反射光束。根据三角测距原理获得与拍摄物体之间的距离，进行3D数据化处理。目前已成形的产品有DeltaSphere-3000、FastSCANCobra、ModelMaker以及VIVID系列等。结构光式3D扫描仪有别于传统的激光点扫描和线扫描方式，该扫描系统采用结构光照相式原理对物体进行快速面扫描。目前成型的产品有3DREALSCAN和北京天远的3D扫描系统。3D照相机美能达公司1999年推出3D1500数码照相机可将现实世界中的实物实景拍摄为3D影像。3D数码照相机在逼真再现立体世界方面还存在着不足，比如，目前只能通过3D技术再现小实物，拍摄后在计算机中处理的时间也较长。目前的3D照相机主要有Komamura的Horseman3Dcamera，它采用了双镜头组，但双镜头是同时工作的，因此不需要额外地处理就可以直接拍摄出红蓝立体眼镜能够观看的立体照片。2.2典型输出设备典型输出设备视觉输出

3D立体眼镜头盔式显示器3D环幕仪全息显示真3D立体显示器力/触觉输出力觉/动感反馈设备触觉反馈典型输出设备——3D立体眼镜一般由立体图形加速卡、红外控制发射盒、有线或线立体眼镜，支持高分辨率、高场频、逐行立体显示。具有全面、小型、经济、适用的特点，适于基于PC机的小型VR系统，具有较好的性能价格比。典型输出设备——头盔式显示器headmounteddisplay（HMD），分为遮挡型和透视型典型输出设备——3D环幕仪利用投影、液晶屏构造的大范围视景空间典型输出设备——全息显示伽伯通过记录3D物体信息的物光波的振幅和位相分布，并将记录结果称为“全息图”。通常可以将全息图理解为一个大容量的存储器件，存储或“冻结”了3D物体的全部信息。为了从全息图中提取物光波的信息，还必须采用适当的光波照射全息图，“解冻”或恢复原来的物光波，人眼朝向再现物光波进行观察时，就如同通过全息图去观察原来的真实物体一样。典型输出设备——真3D立体显示器基于人眼立体视觉的3D成像受到观察角度、辅助仪器、眼睛观察时间等限制。由于焦距固定，使得眼睛在场景中无法像观看一个真实物体那样收缩或改变焦距，所以没有真正意义上实现物体的全面3D显示。全息成像无法显示动态立体图像，很大程度上限制了全息显示技术在现代信息显示中的应用。随着计算机技术和图形图像技术的发展，出现了直接在3D数据场中生成体素点，不需佩戴任何辅助设备，可全视角、多人同时观察立体图像且具有物理景深的3D显示器，即真3D立体显示器，其相关技术称为真3D立体显示技术。真3D立体显示技术，按成像原理不同可分为：静态成像技术动态成像技术把两束激光束照到一个由特殊材料制造的透明图像空间上，经过折射，两束光相交到一点，激发图像空间材料发光，便产生了组成立体图像最小单位—体素，每个体素对应真实物体的一个实际的点，当这两束激光束快速移动时，在图像空间中就形成许许多多个交叉点，无数个体素点就构成了真3D的物体图像。动态成像技术将显示的图像用2D切片的方式投影到一个旋转或平移的屏幕上，同时该屏幕以观察者无法察觉的速度在运动，由于人眼的视觉暂留，从而在人眼中形成3D物体，实现图像的真3D显示。典型输出设备——真3D立体显示器当前几种先进的真3D立体显示器包括Felix3D以及Perspecta3D等。典型输出设备——真3D立体显示器力觉/动感反馈（force/kinestheticfeedback）触觉反馈（tactilefeedback）典型输出设备——力/触觉输出力觉反馈设备是虚拟现实系统中的一种重要的设备，能使参与者实现虚拟环境中除视觉、听觉之外的第三感觉——触觉和力感。它可提供高度逼真的3D力（触觉）反馈能力，在办公室/桌面环境下进行操作，并与标准PC机兼容。它能进一步增强虚拟环境的交互性，从而真正体会到虚拟世界中的交互真实感。相对力反馈，触觉反馈还处于初级阶段。日本岐阜大学工学系元岛栖二教授的研究小组成功开发出世界最小的超敏感触觉传感器，在医疗器械领域应用前景广泛。传感器在约0.1mm³的合成树脂中埋入了直径1~10μm、长300~500μm、像弹簧一样的螺旋状微细碳线圈元件。碳线圈接触物体之后，会将微小的压力和温度变化转换成电信号。此外，传感器还可以感知“拧”、"摩擦"等信号。2.3常用软件构建具有逼真感和交互性的VR系统，首先面临的就是建模。现有的虚拟现实建模软件主要集中在支持虚拟景物的几何和物理建模方面。前者又可分为面向动画制作与面向实时绘制的建模软件两类。建模软件面向动画制作的建模，也称为3D几何造型设计，是3D动画制作工具的基本功能。动画制作中的建模一般包括基本几何形体绘制、复杂模型组合等。现有一些公开的3D模型库可供使用，以提高开发效率。目前流行的3D动画制作工具包括Alias公司的Maya，Avid公司的SoftimageXSI，SideEffectsSoftware公司的Houdini，Discreet公司的3DStudioMax，Newtek公司的Lightwave3D，Pixar公司的PhotorealisticRenderman等。建模软件——面向动画制作的建模软件Maya主界面Houdini主界面3D模型的数据组织合适对实时绘制有重要影响。在面向实时绘制3D模型格式中，最有代表性的是Multigen的OpenFlight格式。该数据格式已成为视景仿真领域公认的模型数据标准，大部分VR开发软件，如VEGA，OpenGVS等都支持这种格式MultigenCreator是美国MultiGen-Paradigm公司推出的一个交互式3D建模软件，支持建立优化的3D模型，具有多边形建模、矢量建模、大规模地形精确生成等功能。建模软件——面向实时绘制的建模软件Multigencreator主界面地形模型相比其他模型规模更大，手工建模工作量巨大。因此，出现了一系列专为地形制作开发的工具，如CreatorTerrainStudio，TerraVista等。为提高建模效率，出现了一些特定功能的辅助工具，如格式转换工具Polytrans，Deep-Exploration等，可将面向动画制作的3D模型数据格式进行转换，适用于实时VR系统；三维模型化简工具GeomagicDecimate、Action3DReducer、RationalReducer等，可对较为复杂的面向动画制作的3D模型进行简化，以满足实时绘制的需要。建模软件——面向实时绘制的建模软件Terravista主界面此外，还有一些面向深度图像的建模工具，如摄像采集装置和激光扫描仪附带的软件系统。这些软件系统专门处理通过相应设备采集到的深度图像，并生成几何模型。例如微软公司的Kinect配套的KinectforwindowsSDK的界面。在SDK中专门集成了KinectFusion等算法，实现从深度相机的标定、3D点云建模、表面网格生成以及骨架标定等。建模软件——面向实时绘制的建模软件Kinect

SDK主界面最初的Web3D标准是VRML（VirtualRealityMarkupLanguage），它描述了3D景物的几何尺寸、形状、色彩、材质、光照等。但是由于标准过于庞大，VRML处理效率低下，很多公司并没有完全遵循VRML标准，而是推出自己的制作工具，使用专用的文件格式和浏览器插件。Web3D标准与建模工具VRML

Editor主界面1998年，VRML组织改名Web3D联盟，同时制定了一个新标准Extensible3D（X3D）。X3D整个新出现的XML，Java和流传输等技术，希望提高处理能力、绘制质量和传输速度。2004年8月，X3D规范被ISO批准为ISO/IEC19775国际标准。但到目前为止，X3D标准仍未完全统一Web3D格式，面临一些有力的竞争，如由Intel，微软，Macromedia，Adobe，波音等公司联合组建的3DIF（3DIndustryForum）联盟支持的U3D（Universal3D）标准。在面向Web应用方面也有一些基于图像的建模工具，如Canoma、Photo3D、PhotoModeler、ImageModeler。Web3D标准与建模工具虚拟环境和对象的逼真性取决于外观建模水平，也有赖于虚拟对象的物理建模，也就是物理引擎的实现。物理引擎计算虚拟环境中物体运动、场景变化、物体与场景之间、物体与物体之间的交互作用和动力学特性效果。它通常以程序库的形式提供，其中包括若干功能模块，各模块为应用程序留出接口。它定义了一个高层的API集合，封装了底层的物理计算细节，使得开发人员可以专注于高层应用程序开发，大幅度缩短开发周期。物理引擎HavokPhysics是Havok公司开发的物理引擎，基于刚体动力学，能模拟多关节刚体的约束和连接，开发者可以指定对象的物理性质，如质量、密度、摩擦系数等。HavokPhysics引入连续碰撞检测技术，包含RagDoll人体模型系统，可以表现车辆在虚拟环境中的各种动态效果，包括车辆间的相互碰撞和各种操作的模拟。HavokPhysics是目前应用最为广泛的物理引擎之一，但计算量大，对CPU等硬件要求高。物理引擎为解决物理运算计算量大的问题，美国AGEIA公司研制了专门的物理加速硬件。该公司在2005年提出PPU（PhysicsProcessingUnit）的概念。PPU是继GPU以后的又一次处理器功能专门化。2006年3月GDC06（GameDeveloperConference），游戏开发者会议），第一块物理加速卡正式发布，命名为PhysX。在PPU的支持下，PhysX每秒可处理32000~50000个刚体，效率有了大幅度提高。物理引擎VR应用中的渲染软件主要来源于计算机图形学。从图形学发展的角度，基本可分为3层：最下层是基础3D图形绘制库，提供一系列图形绘制标准API；中间层是3D图形引擎；最上层是可视化开发平台或实际应用。渲染软件基础3D图形绘制库主要有OpenGL、Direct3D、Java3D、Vulcan等，它们直接操作图形硬件，提供了3D图形绘制的底层基础API。渲染软件——基础3D图形绘制库OpenGL是一个开放的3D图形软件包，具有建模、变换、颜色模式设置、光照和材质设置、纹理映射、位图显示和图像增强、双缓存动画等功能。OpenGL独立于窗口系统和操作系统，以它为基础开发的应用程序可以十分方便地在各种平台间移植。Direct3D是微软提供的基于COM接口标准的3D图形API，具有良好的硬件兼容性，支持很多最新的图形学技术成果。现在几乎所有具有3D图形加速的显卡都支持Direct3D。但其接口较为复杂，且只能在Windows平台上使用。Java3DAPI是Sun定义的用来开发3D图形和Web3D应用程序的编程接口。除提供OpenGL，Direct3D定义的一部分底层绘制功能外，还提供了一些建造3D物体的高层构造函数。从所处层次看，Java3D兼有基础3D图形绘制库和3D图形引擎的一些功能。3D图形引擎提供面向实时VR应用的完整软件开发支持，负责底层3D图形绘制的数据组织和处理，发挥硬件的加速特性，为上层应用程序提供有效的图形绘制支持。图形引擎一般包括真实感渲染、3D场景管理、声音管理、碰撞检测、地形匹配以及实时对象维护等功能，并提供与3D虚拟环境绘制相关的高层API渲染软件——3D图形引擎渲染软件——常见的图形引擎OpenGLPerformer是一个可扩展的实时3D视景开发软件包，在OpenGL图形库基础上构建，提供了一组标准C/C++语言绑定的编程接口，通过一个灵活的3D图形工具集提供高性能绘制能力。OpenGVS直接架构于OpenGL，Direct3D等3D图形API上，包含一组面向对象的C++API，封装了繁杂的底层图形驱动函数。这些API分为相机、通道、帧缓冲、烟雾、光源、对象、场景、特效、工具等各组资源，开发人员可以根据需要调用这些资源来驱动硬件实时产生所需的图形。Vega支持多种3D模型，提供了许多可选模块，支持导航、照明、动画、人物、大规模地形、CAD数据输入和DIS/HLA分布式应用等需求。OpenSceneGraph（OSG）是一个基于OpenGL的开源3D图形开发库，提供了一套C++API，具有较完整的3D图形开发功能，通过状态转化、绘图管道和自定制等操作，还可以进行绘制性能优化。OSG主要包括场景图形核心、Producer库、OpenThread库以及用户插件等4个部分。VTree是一个面向对象的3D图形开发库，包括一系列C++类和有关函数。VTree生成并连接不同节点到一个附属于景物实体的可视化树结构，该树结构定义了对实体进行绘制和处理的方法。VTK是一个开源库，主要用于3D绘制、图像处理与科学计算可视化。VTK基于面向对象思想，提供一系列C++API。VTK也是基于OpenGLAPI实现的。渲染软件——可视化平台早期流行的可视化开发平台法国达索公司的VirtoolsDevEON公司的EONStudioAct3D公司的Quest3D等近年来，一些游戏公司开发的游戏开发编辑器，也具备类似可视化开发平台的特征，其中代表性的游戏开发编辑器有Unity3D，Unreal等渲染软件——可视化平台Unity3DUnity3D由丹麦Unity公司开发，是一款让玩家轻松创建诸如3D视频游戏、建筑可视化、实时3D动画等互动内容的多平台的综合型游戏开发工具，也是一个全面整合的专业游戏引擎。作为一款跨平台的游戏开发工具，从一开始就设计成易于使用的产品。支持包括IOS，Android、PC、Web、PS3、Xbox等多个平台的发布。同时作为一个完全集成的专业级应用，Unity还包含了价值数百万美元的功能强大的游戏引擎。具体的特性包含整合的编辑器、跨平台发布、地形编辑、着色器，脚本，网络，物理，版本控制等特性，是当前最流行的游戏开发平台。渲染软件——可视化平台UnrealUE（UnrealEngine，虚幻引擎）是由Epic开发的。其3D图形绘制引擎采用了实时光迹追踪、HDR光照技术、虚拟位移等技术，并且支持物理与破坏、体积光、卷积混响和环境立体声绘制等技术。目前，虚幻引擎已经更新到Unreal5版本。渲染软件——可视化平台除了Unity3D和UnrealEngine外，尚有CryEngine（水晶石）、Cocos3D等游戏引擎。这些引擎或提供专门的VR模式，或提供对VR系统硬件API的支持，均实现了对VR应用开发的支持渲染软件——分布式开发工具现有分布式VR支撑工具主要由虚拟环境服务器和分布式开发平台两种方式。采用虚拟环境服务器建立的分布式VR应用系统具有很强的模块耦合性，VR服务器和客户端的代码需要作为一个系统的两个部分进行开发。一些集成度较高的可视化开发平台，如Virtools等，都具有单独的虚拟环境服务器模块。分布式VR开发平台则是将分布式VR应用系统中与分布有关的内容，以及所需要的支撑服务提取出来，构建独立的开发工具。渲染软件——其他专业工具在机械设计领域，一些专业化软件，如虚拟样机分析软件ADAMSCAD/CAE/CAM领域的几何模型设计软件CATIA、工业用有限元分析软件ANSYS、计算流体力学仿真软件Pointwise等。渲染软件——其他专业工具虚拟人的仿真也有一些专业化的软件开发包，如DI-GUY。

DI-GUY采集了真实士兵训练的特征数据，具有士兵的7级LOD细节的全纹理模型、多种制服、武器和附属装备，可定义包括站、跪、匍匐前进等行为。2.4习题习题安装Unity，了解其主要功能。了解HTCVive、MicrosoftHololens的主要特点。了解ARKits、ARCore的主要功能习题安装Unity，了解其主要功能。了解HTCVive、MicrosoftHololens的主要特点。了解ARKits、ARCore的主要功能虚拟现实技术导论第1章概论本讲大纲3.1虚拟现实模型3.2虚拟现实几何建模3.3虚拟现实物理建模3.4虚拟现实行为建模3.5虚拟现实建模的特点与评价指标3.6几何建模例——点云化简3.7物理建模例——虚拟人体运动合成3.8物理建模例——基于SPH的热带气旋建模3.9习题3.1虚拟现实模型模型“模型”是一个人为构造的物体，以便使人们容易观察现实世界中的物体，例如：物理模型、数学模型……。换言之，“模型”是对物体全部或部分属性的一个抽象。对象模型对象模型是构建虚拟环境的基础，也是实物虚化的重要组成部分。一般的，主要包括几何形状、表面信息、物理特性、变化属性等。对象模型几何形状描述对象形状的几何模型包含了点的位置信息和拓扑结构信息，主要由点、线、面等几何元素组成。例如，使用一些现有的图形库来表现对象的几何外形：大小、方向和位置等对象外表的真实感主要取决于其颜色、光照和纹理等。通过纹理元素的色彩、明暗度和透明度的变化来表现对象的表面细节，能够减少多边形的数量和增加对象在场景中的真实感。目前，投影法和参数表示法是两种常用的表面纹理映射方法。表面信息为了保证视景表示和对象物体在虚拟环境中运动的合理性，经常需要建立对象物体的某些物理模型，使得场景中的对象遵循客观的物理规律，从而生成具有一定真实感和逼真性的三维视景。一般赋予对象物体的物理特性主要有质量、动量、冲量、转动惯量、光滑度、柔韧性和可塑性等。物理特性与变化属性几何模型从数学的角度，对于一个物体的几何表示要考虑物体自身的特征，例如：

有界性、封闭性刚性：物体在刚性变换（平移、旋转等）下是否保持不变规则性：一个物体中的点或线具有相同的性质光滑：……计算机图形学与虚拟现实中，采用“几何模型”的概念描述现实中的物体的几何形状，对物体几何方面的属性进行了抽象。“几何模型”是物体模型的一个子集。几何模型的表示方法基本几何元素包括：点、边、面、体。主要表示方法线框表示：结构简单，用顶点和邻边表示形体表面表示：在上述基础上，增加面，从而可以满足对面的操作参数曲面三角形表示实体表示点表示……实体表示又称为结构立体几何表示，一般直接用立体基元表示对象物体，体积表示具有简洁、可靠的特性，而且有时很容易计算。空间占有表示和结构立体几何表示（CSG）是两种主要的体积表示方法，其中CSG方法将物体表示为一个三维体积基元的集合和一个布尔运算集：并、交及差，其体积基元有块、圆柱体、圆锥体和球等。表面或边界法以Euler定理为基础的结构规则，即如果V是多面体的顶角数，E是边缘数，F是面数，则V–E+F=2,推广到非简单连接体为V–E+F=2（B–H），其中B是体的个数，H是“孔”或“柄”的个数。所以在表面或边界法中，体结点描述景物结构，面结点描述表面特征，边缘结点提供面，边缘和顶角间的拓扑信息，顶角结点描述三维顶角的位置等。模型的组织方法（数据结构）数据结构主要是为了描述拓扑关系（即顶点连接关系、面片连接关系等）在设计数据结构时，空间与速度总是一对矛盾。线形表、树、图都是可以考虑的结构，在具体构建时，可以使用数组也可以使用指针精心的设计这样的数据结构对于绘制有很大的好处往往高效的算法是以对存储空间的占用为代价的绘制过程实际是对上述数据结构的遍历。关键是如何快速的遍历，查找挑选出需要显示的物体，将这些内容交给底层进行绘制模型的组织方法（数据结构）模型的组织方法（数据结构）对于“任意”情况，数据结构可能需要存储额外的信息。例如，如果对构成物体的多边形的边数不加限制，每个面表必须显式存储每个多边形边的数量，而且涉及到大量的内存的申请与释放对多边形的凸凹不加限制，额外计算量也很大所以，对多边形构成的物体，往往对多边形的类型加以约束，例如采用三角形描述（最简单的一种凸多边形）任意的多边形可以按照一定的方法划分为多个三角形（计算几何）[关键是算法的效率问题]基于三角面片的模型表示三个顶点的空间坐标用途：空间变换，投影三个顶点的法向量（或面片的整个法向量）用途：光照计算三个顶点的纹理坐标或颜色用途：显示颜色信息VR中采用的几何表示方法虚拟现实领域普遍采用的表示方法是表面多边形（三角形网格）表示法，即以一组表面多边形来存储物体的描述，用多边形描述的通常被称为“标准图形物体”。由于所有表面以线性方程形式加以描述，大大简化并加速了表面的绘制和显示。也就是说，所有的三维模型都将由点、线、面来构造。3.2虚拟现实几何建模几何建模几何建模形状建模外观建模结构建模物理建模刚体建模柔性体建模流体建模行为建模形状建模要描述虚拟对象的形状，最基本的任务是利用点、线、面等基本几何元素表征虚拟对象的外边界。目前最常用的形状建模方式可分为显式表示与隐式表示两种。其中，显式表示是指使用点云、网格、体素等表征虚拟对象外边界的位置与拓扑信息；隐式表示则是指使用曲线曲面等参数方程、距离场（Distancefield）、水平集（Levelset）等方法描述虚拟对象的外边界。外观建模虚拟对象的外观是指区别于其他虚拟对象的质地特征，如表面反照率、纹理等影响虚拟对象真实感的特征。如果不考虑存储和计算的开销，通过增加虚拟对象形状多边形的方法可以表征出十分逼真的表面，但由于VR对计算和显示实时性要求高，实际系统中普遍采用纹理映射(TextureMapping)等技术刻画虚拟对象的外观。采用纹理映射技术，一方面可增加细节层次以及虚拟对象的真实感；二是可减少多边形的数量，在不影响实时性的同时，增强了虚拟对象和场景的真实效果。结构建模除了要模拟虚拟对象的形状和外观，很多时候还需描述虚拟对象的空间结构信息，以体现虚拟对象内部结构或虚拟对象之间的空间关系。以虚拟人体为例，可使用骨架结构表示各关节间的关系，并应用于人体动画、人体运动分析、不同人体的匹配等。对复杂的工业装备来说，可建立各个组成部分（亦称部件）的结构关系，从而对不同部分进行控制，以满足虚拟装配、拆装维护等要求。几何建模几何建模的常用方法程序构造——利用函数、点线面直接采集——三维扫描仪、视觉建模工具——利用软件几何建模几何建模的常用方法程序构造——利用函数、点线面直接采集——三维扫描仪、视觉建模工具——利用软件几何建模几何建模的常用方法程序构造——利用函数、点线面直接采集——三维扫描仪、视觉建模工具——利用软件几何建模中涉及的基本概念层次细节（LOD）自由度（DOF）实例透明纹理映射材质动画序列层次细节技术(LevelofDetail,LOD)LOD技术用一组复杂程度（常常以多边形数来衡量）各不相同的层次模型来描述对象，并在运行过程中根据一些主客观标准在这些LOD模型进行切换，从而能够实时改变场景的复杂度。当视点变化时，所选取的细节模型可能各不相同，并在模型切换的瞬间产生跳跃的感觉，此时就需要使用过渡算法（比如，瞬时关闭技术和形状过渡技术）来实现其中的过渡。LOD在地形表示中的应用

显示地形最理想的情况是仅仅显示所需的细节，而用户却认为地形是在以最高的分辨率显示。因此，那些由许多小平面以最高的分辨率建模的地形，我们希望能够用较少的较大的小平面不断地代替，直到整个地形被降低为在所需范围内的最低表示分辨率。层次结构的四叉树表示NPSNET（NavalPostgraduateSchoolNetwork）使用了四叉树的存储策略来实现LOD。它采用了一种动态模式，可以动态地调整分辨率和帧速率，即当帧速率降低到某一门限值以下时，调整分辨率边界值，则较多的地形自动以相对低的分辨率显示；相反地，当帧速率超过某一门限值时，较多的地形自动以相对高的分辨率显示。

1km*1km的地形块地形块的四叉树表逸夫馆中某窗户的LOD模型15-0米时选用高级LOD：96个多边形的窗子，全部几何建模35-15米时选用中级LOD：34个多边形的窗子，部分使用纹理视点距窗子75-35范围时选用低级LOD：2个多边形的窗子，全部使用纹理视点在室外时仅使用逸夫馆外观模型1800个三角形视点位于某一楼层时，当前楼层中的实体按距离标准选用LOD模型，其它楼层的大部分实体暂不绘制室外室内某一楼层远距离中距离近距离

0个0个2个34个96个自由度(DegreeOfFree,DOF）纹理贴图纹理贴图是一个用图像、函数或其它数据源来改变表面在每一处的外观的过程。例如，我们不必用精确的几何去表现一块砖墙，而只需把一幅砖墙的图像贴到一个多边形上。除非观察者非常靠近墙，否则我们并不会觉得缺少几何细节（例如发现砖头和泥浆在同一表面上）。既节省了大量的造型工作量，也节省了内存空间，加快了绘制速度。“Allittakesisfortherenderedimagetolookright”——JimBlinn纹理贴图可能的缺陷但是，贴了纹理的砖墙还会出现并非由于缺少几何细节而出现的不真实的缺陷。但是：砖是发亮的(shiny),但是泥浆不是。但我们会发现砖和泥浆同样发亮。为了生成更真实的效果，我们还需要一张镜面高光纹理贴图。但是：砖不是平的，其表面通常是粗糙的。我们还需要凹凸纹理（Bumpmapping）广义纹理贴图(GeneralizedTexturing)纹理贴图可看成是一种有效的改变物体表面属性的一种方法。颜色、高光、凹凸、反射、透明度等等都可采用纹理贴图。从贴图图像中取出相应的值代入光亮度计算方程。计算物体空间位置用投影函数计算(u,v)用对应函数找到纹素应用值变换函数改变方程或Fragment值单个纹理的广义贴图流水线采用该复杂流水线的原因：每一步都可给用户提供有用的控制砖墙纹理贴图的流水线——计算空间位置砖墙纹理贴图的流水线——投影函数投影函数把三维空间点转化为纹理坐标。常用的投影函数：Spherical,Cylindrical,PlanarProjections,参数曲面的(u,v)映射其它：如根据表面法向来确定6个平面投影方向sphericalcylindricalplanar应用应用应用(u,v)砖墙纹理贴图的流水线——对应函数对应函数把参数空间的值转化为纹理空间的位置。第一种对应函数:用API选择一部分纹理（子纹理）进行纹理映射。另一种对应函数：用矩阵变换。由于OpenGL支持4X4矩阵操作，任何API的应用层都可采用这类变换，如平移、旋转、比例变换、错切等ImageTexturing在硬件图形加速卡中，纹理图像的大小经常为2m×2n(或者2m×2m)的纹素，其中m和n为非负整数。不同的图形卡有不同的纹理大小上限。若投影得到的象素数目比原始纹理大，则需要把纹理图像放大(magnification)；若投影得到的象素数目比原始纹理小，则需要把纹理图像缩小(minification)；OpenGL

mipmapsMipmaps（使用Bi-linear

Interpolation）材质（materials）几何建模的准则严格按照真实数据建立比例对应的几何模型一般应建立各模型部件的不同层次细节，以求得漫游性能与模型质量间的均衡效果使用最少的多边形获取相同的视觉效果在建模阶段即对具有运动特征的模型部件进行优化的数据组织，定义基本运动参数几何建模的常见问题过于注重实体几何尺寸、表面特性的构建，忽略了更为重要的场景数据库整体结构的优化设计。Z值争夺问题T型相交问题使用凹多边形表示实体表面Z值争夺问题多边形位置重叠造成的Z值争夺。即两个多边形在空间位置上具有相同的深度值（Z值），导致图形系统进行场景显示时使用Z-BUFFER消隐算法无法正确判断哪一个多边形应该优先显示，引起画面闪烁。解决此类问题的方法有多种，如多边形剪切、子面设置等。NNN是否已经扫描了所有多边形是否计算了此多边形所有的像素数YYY帧缓冲区置成背景色Z缓冲区置成最小Z值扫描当前多边形把Z(x,y)存入Z缓冲区中的(x,y)处把多边形在(x,y)处的亮度值存入缓冲区中的(x,y)处移到下一个像素计算多边形在该像素的深度值Z(x,y)移到下一个多边形Z(x,y)是否大于Z缓冲区在(x,y)处的值多边形剪切算法T型多边形组合T型多边形组合。此类问题常见于由二维CAD电子图板经拉伸操作构成的三维模型中。其导致画面闪烁的原因与Z值争夺相似。应在建模过程中避免T型多边形组合的出现。使用凹多边形表示实体表面使用凹多边形表示实体表面。大多数图形系统都明确规定，不能使用凹多边形绘制实体表面。一般地，图形系统对实体表面的凹多边形进行自动切分，将一个凹多边形分解为多个凸多边形。3.3虚拟现实物理建模物理建模物理建模（Physically-basedModeling，PBM）是虚拟现实中比较高层次的建模，它有机融入物理模型，将虚拟对象的物理属性加以体现。近年来，除了静态的物理属性，越来越多物理学中动态过程，如人体运动解算、流体计算、燃烧计算等与VR结合，在虚拟环境中实现了面部表情的模拟、织物的模拟、爆炸的模拟等。根据虚拟对象的物理性质，可大致分为刚体建模、柔性体建模与流体建模。刚体建模刚体建模适用于仅需考虑位置与方向的改变，而不需要考虑形变的虚拟对象，建模所涉及的内容主要包括刚体的运动、碰撞检测以及连接和约束等问题。刚体建模——刚体的运动仅包含一个部件的刚体运动较为简单，可以采用牛顿第二定律等刻画其运动参数及运动。对于包含多个部件的刚体，如人体、手等，相对较为复杂。在刻画多个部件的刚体运动时，以人体运动为例，可以有关键帧方法、运动学方法和动力学方法等。后两者分别通过使用运动学和动力学方法建立人体运动的物理模型。与运动学方法相比，动力学方法需指定的参数较少，而且对复杂运动过程的模拟更为逼真，但计算量较大，运动控制的难度较大。刚体建模——碰撞检测刚体的碰撞检测主要针对对刚体运动中的碰撞进行分析，为加速计算，一般采用树结构对虚拟环境中的虚拟对象进行组织，通过空间剖分法或层次包围盒法建立树结构。空间剖分的策略有均匀剖分、BSP树、kd树和八叉树等,适用于分布比较稀疏均匀的几何对象间的碰撞检测。层次包围盒法利用形状简单的包围盒刻画复杂的虚拟对象，包围盒的结构有层次包围球树、AABB（Aligned-axisBoundingBox）层次树、OBB（OrientedBoundingBox）层次树等，适用于复杂环境中的碰撞检测。八叉树空间剖分AABB层次树刚体建模——连接和约束连接和约束建模铰链类型的虚拟对象（如门窗、转动的机械臂）在多个约束情况下的关联运动问题。关联运动一般可分为前向关联运动和反向关联运动，前向关联运动研究给出关联运动中每个关节的角度和长度，求解关节末端所能到达的位置；反向关联运动研究的是给定某个位置，确定已知关节模型的可达性。柔性体建模柔性体不同于刚体，在外力的作用下会产生形变，建模难度更大。柔性体建模主要关注动力学模型及其迭代求解方法。柔性体建模中常用的动力学模型有连续体模型、弹簧-质点模型等。柔性体建模——连续体模型连续体模型使用本构模型描述不同材料的物理特性，如弹性力、阻尼力等，再使用有限元方法模拟不同形变下的力或能量。此外，为得到更加理想的物理模拟效果，还可使用力传感、视觉传感器等采集实际材料的力-形变关系，更加准确地描述虚拟对象的静态与动态特性。连续体模型主要用于虚拟现实中布料、毛发、松软组织、人体器官、肌肉、面部表情的模拟。柔性体建模——弹簧-质量模型弹簧-质点模型将柔性体表面视为离散的质点与连接质点的弹簧组成的规则网格结构。质点间通过弹簧相连，受到弹簧弹力和阻尼力，遵循胡克定律，即当实际长度大于松弛长度时，弹簧将对两端的质点产生相向的拉力；反之，在外力作用下变形后，有恢复原样（松弛状态）的倾向。柔性体建模——流体建模流体建模主要使用计算流体力学模型，如使用纳维-斯托克斯（Navier-Stokes，NS）方程建模流体的运动。NS方程常见的迭代求解方法有基于网格的方法和无网格的方法。基于网格的方法主要使用拉格朗日网格或欧拉网格模拟流体在固定网格单元上的运动，是目前流体模拟的主要方法。但是，基于网格的方法容易产生网格畸变导致计算误差过大。此外，该方法难以模拟大形变现象，如动态裂纹扩展、流固耦合等。无网格的方法通过使用一系列任意分布的节点（或粒子）来求解具有各种边界条件的NS方程，节点或粒子之间不需要网格进行连接，因此不仅可以保证计算的精度，还可降低计算的难度。基于网格的流体仿真无网格（SPH）的流体仿真3.4虚拟现实行为建模行为建模VR中的行为建模主要研究虚拟环境中自治对象建模方法，如游戏中由计算机控制的角色，元宇宙中的人工智能生成的智能体等。早期工作中，行为建模的研究主要在军事仿真领域，如ModSAF、STOW、WARSIM2000等分布式虚拟战场环境中的计算机生成兵力。随着VR研究与应用的发展，行为建模已拓展到公共安全、教育、文化娱乐等众多领域，如应急仿真规划系统(EmergencySimulationProgram，ESP）等。近年来，随着数字孪生和元宇宙等的兴起，各类VR应用对自治对象行为的智能水平提出了越来越高的要求。这一领域属于与人工智能的交叉研究范畴，与生成式人工智能（ArtificialIntelligenceGeneratedContent，AIGC）和应用都有密切的关联，虽进展缓慢但却是未来VR发展的重要关注点。行为建模根据自治对象的类型，可以将行为建模分为个体建模与群体建模两类。其中，群体又有聚合类对象和自治对象组织两类。聚合类对象包括多个个体，但可以使用多种解析度来表示。例如，既可以将其当作整体单一的对象，也可将其看作多个个体。根据具体的事件对群体的影响，可以采用不同的解析度。例如，在考察高温对人群行为的影响时，可以将人群看作一个整体来建模；但在考察火灾对人群行为的影响时，需要采用高解析度来建模不同的个体。聚合体对象行为建模主要内容包括计算模型、多解析度表现方法，以及聚合、解聚规则等。行为建模根据自治对象的类型，可以将行为建模分为个体建模与群体建模两类。其中，群体又有聚合类对象和自治对象组织两类。自治对象组织的行为建模更加复杂。自治对象组织是若干独立存在个体的组织，其中每个个体进行自主决策，同时服从组织的控制。因此，自治对象的行为表现为个体行为和整体组织行为两个层面，不同层面对行为建模的要求不同。常用行为建模方法有限状态自动机自治对象的简单反应性行为可以采用有限状态自动机进行建模。其中，自治对象每种可能的反应动作表示为一个状态，发生的事件控制状态间的转换。采用有限状态自动机是军事仿真中常用的行为建模方法。面向专家系统的建模方法将自治对象看成一个近似的专家系统，将其行为建模看作知识的获取、表示和推理系统建立的过程，比较适合个体和群体的建模。对确定性知识，采用基于逻辑、规则、框架的表示，以及相应的推理系统；对不确定性知识，可采用模糊逻辑、神经网络、基于范例的推理和贝叶斯方法等。此外，还可使用强化学习等方法以提高自治对象的求解复杂问题的能力。基于专家系统的方法基于Agent的建模方法将人工智能中关于Agent的研究引入VR中，适用于个体和群体的行为建模。相较上述方法，基于Agent的建模方法一方面能够描述个体对象的自主性、自治性和智能性等特征，如建模个体对象的信念、意图、愿望等；另一方面Agent之间的通信、协商、协作等可以描述自治对象组织的协作特性。目前，基于Agent的行为建模已得到越来越多的应用。基于Agent的方法3.5虚拟现实建模的特点与评价指标虚拟现实建模的特点由于要实时操控和处理虚拟对象，虚拟现实建模方法与传统计算机辅助设计中以几何造型为主的建模有所不同。例如，在计算机辅助设计中，往往通过增加模型的几何复杂度来提高建模的准确度。但在VR中，更倾向于使用纹理、层次细节等技术来提升虚拟对象的逼真度。虚拟现实建模的内容相较传统计算机图形学中的建模更为丰富，除对虚拟对象的外形、表观、结构等信息进行表征外，还建模了虚拟对象的物理属性、行为属性等，从而为用户提供具有沉浸感的交互体验。虚拟现实建模的特点差异虚拟现实建模计算机辅助设计建模计算机图形学建模特点具有真实感、实时性和交互性，考虑交互性和实现意图；模型细节比较少，可以提高实时性具有准确性，较少考虑实时性和交互性；模型细节较多，可以牺牲实时性来获得较高的精度具有真实感，较少考虑实时性和交互性；模型细节较多，渲染效果可以预先计算用户亲身体验虚拟环境，身临其境，能够交互，无时限限制，可真实详尽地展示能够交互，不考虑沉浸感能够交互，较少考虑沉浸感应用主要用于仿真，需要对用户输入做出反应，如飞行训练、游戏和视景仿真等主要用于工业制造与仿真计算，如机械零件设计、芯片电路仿真等主要用于影视、流媒体、电子游戏等，以预先设计好的演示为主虚拟现实建模评价指标真实感真实感是度量虚拟对象感知精确程度的指标，包括但不限于视觉真实感、触觉真实感等；实时性虚拟现实应用要求虚拟对象或场景的显示帧率不低于某一阈值，否则会影响用户的视觉感知质量；交互延迟虚拟现实应用对交互延迟有高的要求。响应时间太长会大大影响用户的体验；易用性虚拟现实应用对交互延迟有高的要求。响应时间太长会大大影响用户的体验；……3.6几何建模例——点云化简点云化简点云的质量取决于采样密度，然而较大的采样密度往往导致虚拟对象的几何复杂度上升，不利于存储与处理。特别对于存储与计算资源有限的设备，如移动终端，大规模点云往往导致较高的交互延迟，降低了用户的视觉体验。因此，需要引入点云的化简技术对其进行优化。现有点云化简算法迭代法迭代法是指不断的从点云中去掉按某种标准计算的贡献值或误差值最小的点，直到误差或贡献值达到阈值为止，从而得到一个子集作为简化结果。该方法类似于渐近网格的简化方法。这类方法较为简单高效，但是不能保证全局采样点的均匀分布。聚类法是指把输入点集按照一定规则进行聚类，划分成一些小的子集，这些小的子集不能超过给定的上限范围，如直径的大小等。如采用基于采样点层次结构的聚类简化方法，该方法通过空间二分将点集递归地进行划分聚类。也有方法通过PCA找到关键点，然后进行聚类，从而得到保持几何特征的简化结果。这类方法简单且快速，但是误差较大，且因为没有优化策略，所以结果通常会包含很多多余的点。聚类法粒子仿真法是指通过施加点的斥力使点的分布均匀化的方法。该方法首先在表面随机分布需要的粒子数，然后通过点的斥力移动粒子的位置直到达到平衡。该类方法能较好地控制采样密度，但是由于收敛速度较慢，处理大规模数据时效率较低。粒子仿真法上述三类方法在简化过程中，将点云中的点看成单纯几何意义上的点，且不能预先指定逼近误差，因此简化效果往往不能准确表示虚拟对象的结构，并且难以收敛。基于Splats的点云简化方法在简化过程中考虑到点云的绘制图元的几何空间影响，并能用预先指定的全局误差进行控制，得到了较好的简化效果。以常见的点的绘制图元splat为例，首先在指定全局误差下，生成每个采样点的最大splat；然后采用贪心算法选择能覆盖整个表面的最小子集；最后通过全局优化算法使所有的splat均匀分布。基于绘制图元的方法相较上述三类方法能够取到较好的简化结果，但是计算复杂，时间开销较大。改进的算法思想基于MLS和splat的点云化简方法的核心思想是使用MLS投影算子计算splat的中心点，使得splat与其覆盖范围内的原始点云采样的点的子集之间的误差和最小。由此得到一个代表邻域的误差最小的splat。通过上述方法获得的所有splat的中心点的集合，就是一个化简后的点云。整个算法包括两个步骤：首先，为每个原始点云的采样点创建对应的splat集；其次，通过贪心算法选择一组能够覆盖整个模型且数量最小的splat集合。选择标准是循环选取覆盖点数增值最大的splat，直到选择的splat集合能够覆盖所有的输入采样点集。算法实现创建splat集合MLS投影计算splat中心点Splat覆盖区域Splat最小集选择算法算法实现MLS投影计算splat中心点MLS是根据邻域点进行局部多项式逼近的方法，MLS投影表示将点投影到MLS逼近的表面上。对输入点进行MLS投影可以得到代表邻域的误差最小的点，将其作为splat中心点，可以得到误差最小的代表邻域的splat面，从而得到分布更加合理的splats集。算法实现MLS投影计算splat中心点

接下来，使用协方差分析来评估法线，其原理主要基于主成分分析。首先根据待求点𝑥及其邻域点计算其协方差矩阵𝐶，如下所示：

协方差矩阵表示了点邻域内采样点的分布情况，对其进行特征值分析可以评估其局部表面的属性。

算法实现splats覆盖区域获得splat的法线和中心点之后，需要知道每个splat的覆盖面积，这取决于预先指定的全局最大误差阈值。用splat来代表其覆盖的邻域范围，则邻域点中某点的误差即点到splat在法线方向上的距离算法实现splats覆盖区域

算法实现splats最小集选择选择算法的目的是获取能覆盖整个表面的最小splats集。具体地，通过贪心算法不断地选取覆盖点数增值最大的splat，直到选择的splat子集能够覆盖所有的输入采样点。

算法实现splats最小集选择算法

实验结果首先，使用少量的点验证MLS投影的效果，实验结果如图所示。其中，绿色点表示点（蓝色点）的最近20个邻域点，（红色点）是点的MLS投影点。

可看出，MLS投影点比点更适合用来代表的邻域。实验结果接着，在不同几何复杂度的点云上进行了化简实验，化简结果如表所示。可以看出，算法可以有效地化简模型，且计算时间较短。模型输入点数

简化后的点数简化时间(s)bunny35,9450.2477180.1864130.051,559110.023,150100.014,6166santa75,7810.1638760.022,52540horse100,0