虚拟现实chapter2-1概述

1、内容回顾内容回顾第一章第一章 虚拟现实技术概述虚拟现实技术概述l采用以采用以计算机技术计算机技术为核心的现代高科技为核心的现代高科技手段生成逼真的视觉、听觉、触觉、嗅手段生成逼真的视觉、听觉、触觉、嗅觉、味觉等觉、味觉等一体化的虚拟环境一体化的虚拟环境，用户从，用户从自己的视点出发，借助特殊的输入输出自己的视点出发，借助特殊的输入输出设备，采用设备，采用自然的方式自然的方式与虚拟世界的物与虚拟世界的物体进行体进行交互，相互影响交互，相互影响。虚拟现实定义：虚拟现实定义：q虚拟现实系统虚拟现实系统“ 3 I ”图图 Immersion-Interaction-Imagination Immers

2、ionImaginationInteraction四类虚拟现实系统虚拟现实系统：虚拟现实系统： =用户用户+硬件硬件+虚拟环境虚拟环境l沉浸性沉浸性用户用户 虚拟环境虚拟环境精神沉浸精神沉浸身体沉浸身体沉浸第二章第二章 虚拟现实的建模虚拟现实的建模虚拟环境的创建虚拟环境的创建本章组织虚拟现实的建模概述虚拟现实的建模概述虚拟现实建模工具虚拟现实建模工具l虚拟现实系统图形程序设计接口：虚拟现实系统图形程序设计接口：OpenGLl虚拟现实建模语言：虚拟现实建模语言：VRMLl三维建模工具：三维建模工具：3Dsmax，Multigen Creator一、虚拟现实建模概述一、虚拟现实建模概述 虚拟现实建

3、模即虚拟现实建模即虚拟环境虚拟环境的建模的建模虚拟环境：计算机生成的环境虚拟环境：计算机生成的环境l真实真实场景的重现场景的重现虚构虚构的场景的场景l远古远古时代人类生活环境的重现时代人类生活环境的重现数千年数千年后的后的未来未来l人类不能达到的人类不能达到的危险环境危险环境l人类不可能进入的人类不可能进入的微小世界微小世界虚拟现实中的虚拟现实中的三类三类虚拟环境：虚拟环境：l真实世界环境的模仿真实世界环境的模仿l建筑物；小区；地理环境建筑物；小区；地理环境l人类主观构造的环境人类主观构造的环境l影视制作影视制作l三维动画三维动画l真实世界中人类不可见环境的模仿真实世界中人类不可见环境的模仿l

4、分子结构分子结构海洋水动力模拟海洋水动力模拟物理仿真和动画碰撞检测光照模型几 何表面属性动力学性质物理性质生学性质头部位置手位置视频音频触觉输输 入入输输 出出 处处 理理虚拟环境：虚拟环境：l虚拟物体虚拟物体l虚拟光虚拟光l物理仿真物理仿真l动画动画l碰撞检测碰撞检测虚拟物体的特性虚拟物体的特性l（1）静态和动态特征）静态和动态特征l静态：地板、墙壁、楼梯静态：地板、墙壁、楼梯l动态：门、窗、抽屉动态：门、窗、抽屉l动态模型的建立：动态模型的建立：考虑模型的运动过程；考虑模型的运动过程；对象运动引起的场景变化；对象运动引起的场景变化；虚拟物体的特性虚拟物体的特性l（2）物理约束）物理约束l有

5、约束的动态对象有约束的动态对象门、窗、抽屉的运动；门、窗、抽屉的运动；使物体在有限的范围内运动；使物体在有限的范围内运动；虚拟物体的特性虚拟物体的特性l（3）细节层次）细节层次l物体的不同细节模型；物体的不同细节模型；l动态装载动态装载；虚拟物体的特性虚拟物体的特性l（4）表面属性）表面属性l物体的颜色、纹理；物体的颜色、纹理；l（5）音频装置）音频装置l带音响效果的虚拟环境带音响效果的虚拟环境l如碰撞激发的声音如碰撞激发的声音虚拟光虚拟光l虚拟环境的照明方式虚拟环境的照明方式l现实世界：以太阳为主要光源对静态物体现实世界：以太阳为主要光源对静态物体建立光照模型；建立光照模型；l虚拟世界：一个

6、独立的辐射光照模型虚拟世界：一个独立的辐射光照模型物理仿真物理仿真l对对象物理特性的模拟：对对象物理特性的模拟：l如对象的质量，重量，惯性，表面纹理，如对象的质量，重量，惯性，表面纹理，硬度，性状改变模式等硬度，性状改变模式等动画动画l简单的动画：平移、旋转简单的动画：平移、旋转l复杂的动画：动画与数据库结合，采用复杂的动画：动画与数据库结合，采用离散的关键帧技术离散的关键帧技术碰撞检测碰撞检测l虚拟环境中虚拟物体的相互碰撞虚拟环境中虚拟物体的相互碰撞如何实施虚拟环境的建模？如何实施虚拟环境的建模？虚拟环境的建模是： 对虚拟世界中模型的建模虚拟世界中的模型：虚拟世界中的模型：l静态模型：地形、

7、地貌、建筑物、道路、静态模型：地形、地貌、建筑物、道路、桥梁等桥梁等l静态模型的描述：静态模型的描述：l几何模型几何模型l光照模型光照模型l灰度模型灰度模型l纹理处理纹理处理l渲染效果等；渲染效果等；虚拟世界中的模型：虚拟世界中的模型：l动态模型：飞机、车辆等活动目标动态模型：飞机、车辆等活动目标l动态模型的建立：动态模型的建立：l如何确定场景中每一个对象运动过程中的坐如何确定场景中每一个对象运动过程中的坐标；标；l视点变化时场景如何动态刷新视点变化时场景如何动态刷新如何完整的描述出模型？如何完整的描述出模型？模型的信息：模型的信息：l视觉外形视觉外形l形状：由构成物体的各个多边形、三角形及形

8、状：由构成物体的各个多边形、三角形及顶点来确定顶点来确定l外观：由表面纹理、材质，颜色、光照系数外观：由表面纹理、材质，颜色、光照系数等决定等决定l物理特征物理特征l虚拟世界中对象的物理特征表达是很复杂的，虚拟世界中对象的物理特征表达是很复杂的，目前的目前的VR技术还不能支持所有的物理特征；技术还不能支持所有的物理特征；l实体信息实体信息l实体的动力学特征（如汽车运动）实体的动力学特征（如汽车运动）l视觉特征视觉特征l听觉特征听觉特征l环境信息环境信息l城市地形地貌、气象条件、光照等环境的信城市地形地貌、气象条件、光照等环境的信息息虚拟现实的建模虚拟现实的建模（视觉建模）（视觉建模）l几何建模

9、几何建模l运动建模运动建模l物理建模物理建模l行为建模行为建模l模型分割模型分割几何建模几何建模 描述虚拟对象的形状和外表描述虚拟对象的形状和外表运动建模运动建模 主要是对象的移动和碰撞检测两部分主要是对象的移动和碰撞检测两部分物理建模物理建模 包括定义对象的质量，重量，惯性，表包括定义对象的质量，重量，惯性，表面纹理，硬度，性状改变模式等面纹理，硬度，性状改变模式等 对象行为建模对象行为建模 对象可以有自己的行为特征，并不一定与对象可以有自己的行为特征，并不一定与用户的输入有关；用户的输入有关； 模型分割模型分割 虚拟环境分割虚拟环境分割 细节分割细节分割（一）几何建模（一）几何建模构建一个

10、逼真的客观世界构建一个逼真的客观世界身临其境、沉浸身临其境、沉浸其中的环境；其中的环境；实体对象的组织方法：实体对象的组织方法：l层次（层次（Hierarchy）建模方法）建模方法l属主建模方法属主建模方法l层次建模方法层次建模方法 用用树形树形结构表示实体的各个组成部分，呈结构表示实体的各个组成部分，呈分层分层结构结构；如自顶向下分解一个几何对象或自底向上；如自顶向下分解一个几何对象或自底向上构造一个几何对象。构造一个几何对象。 分层结构：子对象和其之间的连接，能表现子分层结构：子对象和其之间的连接，能表现子对象之间的拓扑特性；各节点具有自己的局部坐对象之间的拓扑特性；各节点具有自己的局部坐

11、标系，可以相互转换标系，可以相互转换 一种简便自然的复杂实体对象的分割方法，一种简便自然的复杂实体对象的分割方法，对模型修改十分有利对模型修改十分有利l人体的层次模型：l属主建模方法属主建模方法 思想：同一种对象拥有同一个属主（母体），思想：同一种对象拥有同一个属主（母体）， 属主：类对象的详细的结构和属性特征；属主：类对象的详细的结构和属性特征； 属主的实例：复制指向属主的指针；属主的实例：复制指向属主的指针； 如：汽车建模，先建立轮子的模型如：汽车建模，先建立轮子的模型 特点特点：（：（1）简单高效）简单高效 （2）易于修改）易于修改 （3）一致性好）一致性好实体对象的几何模型：实体对象的

12、几何模型：l对对象的形状（多边形、三角形和顶点）象的形状（多边形、三角形和顶点）l对象外表对象外表(纹理、表面反射系数、颜色纹理、表面反射系数、颜色等等)1. 对象形状（几何造型）对象形状（几何造型） 三种方法建造虚拟环境中场景与对象三种方法建造虚拟环境中场景与对象的三维模型：的三维模型：l三维建模软件绘制三维模型；三维建模软件绘制三维模型；l从商业数据库中购买现有的三维模型；从商业数据库中购买现有的三维模型；l用特殊的硬件或软件实现自动三维建模；用特殊的硬件或软件实现自动三维建模；用软件绘制三维模型：用软件绘制三维模型：l三维模型能通过三维模型能通过PHIGS、Starbase或或GL.XG

13、L等图形库从头创建。但开发一个完等图形库从头创建。但开发一个完整的三维数据库费时费工整的三维数据库费时费工,一般都要利用一定一般都要利用一定的建模工具。的建模工具。l建模软件建模软件,如如AutoCAD或或3D Studio,或专门或专门VR建模工具建模工具,如如MultiGen或或VRT3，得到高，得到高质量的三维数据库。质量的三维数据库。购买三维模型：购买三维模型：l如著名的美国如著名的美国Viewpoint Datalabs的产品：的产品：Viewpoint Catalog。提供。提供18类几何图形：类几何图形：地貌、一般建筑、世界著名建筑、小卧车、地貌、一般建筑、世界著名建筑、小卧车、

14、运输车、面包车、其他车辆、飞机、舰船、运输车、面包车、其他车辆、飞机、舰船、火车、解剖、人物、动物等。火车、解剖、人物、动物等。l可根据需要调用和加工，结合自己创建的实可根据需要调用和加工，结合自己创建的实体模型，建立虚拟环境模型库。体模型，建立虚拟环境模型库。自动三维建模自动三维建模 l三维扫描仪：对实际物体三维建模的工具，能三维扫描仪：对实际物体三维建模的工具，能快速的将真实世界的立体彩色信息转换为计算快速的将真实世界的立体彩色信息转换为计算机能直接处理的数字信号。机能直接处理的数字信号。l扫描后直接输出包含物体表面每个采样点的三扫描后直接输出包含物体表面每个采样点的三维空间坐标和色彩的数

15、字模型文件维空间坐标和色彩的数字模型文件（4）三维激光扫描2.对象外表对象外表l外表真实感主要取决于它的外表真实感主要取决于它的表面反射和纹理表面反射和纹理l增加物体的多边形（增加物体的多边形（before）:在需要实时仿在需要实时仿真时真时,增加多边形会使图形速度变得缓慢。增加多边形会使图形速度变得缓慢。l实时纹理处理能力（实时纹理处理能力（after）：允许二维的图）：允许二维的图像数据覆盖到多边形上，在维持图形速度的像数据覆盖到多边形上，在维持图形速度的同时同时,可用少量的多边形和纹理增强真实感。可用少量的多边形和纹理增强真实感。对象的物理特性：对象的物理特性：l固体不应彼此穿过固体不应

16、彼此穿过l物体在被推拉抓取时应按预期方式运动。物体在被推拉抓取时应按预期方式运动。 VR的物理属性用微分方程来描述，构成的物理属性用微分方程来描述，构成动力学系统：由系统分析和系统仿真来动力学系统：由系统分析和系统仿真来研究。研究。（二）物理建模技术（二）物理建模技术经典力学的仿真不能满足经典力学的仿真不能满足VR的要求：的要求：l工程实践中的仿真是耗时的推理活动：工程实践中的仿真是耗时的推理活动：l花很多时间手工开发系统的数学模型花很多时间手工开发系统的数学模型l模型再转换成仿真软件和参数选择模型再转换成仿真软件和参数选择l设计时，初始方程必须修改，并重新运行仿设计时，初始方程必须修改，并重

17、新运行仿真真 lVR的力学仿真必须可靠地、无缝地、自动的力学仿真必须可靠地、无缝地、自动地、实时地运行。在世界建模的范围内，任地、实时地运行。在世界建模的范围内，任何可能发生的情况必须正确处理。何可能发生的情况必须正确处理。l计算机图形把这类仿真称为基于物理的建模。计算机图形把这类仿真称为基于物理的建模。l复杂性高，但能逼真地模拟自然物理现象。复杂性高，但能逼真地模拟自然物理现象。基于物理的建模：基于物理的建模：l刚体运动模拟刚体运动模拟l塑性物体变形运动模拟塑性物体变形运动模拟l流体运动模拟流体运动模拟1、刚体运动模拟、刚体运动模拟碰撞检测：碰撞检测：l检测虚拟环境中虚拟物体是否发生相互碰撞

18、的过检测虚拟环境中虚拟物体是否发生相互碰撞的过程称为碰撞检测程称为碰撞检测碰撞响应：碰撞响应：l对检测到的碰撞要做出正确的响应，修改虚拟物对检测到的碰撞要做出正确的响应，修改虚拟物体的运动方程，确定物体的变形和损坏等；体的运动方程，确定物体的变形和损坏等；碰撞检测方法：碰撞检测方法：lHahn的解析方法：的解析方法：l假设两个刚体在接触时只有一点接触。这是理假设两个刚体在接触时只有一点接触。这是理想化的。为了防止非完全弹性碰撞时刚体间的想化的。为了防止非完全弹性碰撞时刚体间的相互贯穿，把碰撞接触模拟为一个屡次发生碰相互贯穿，把碰撞接触模拟为一个屡次发生碰撞的序列。撞的序列。lMoore的两个有

19、效碰撞检测算法：的两个有效碰撞检测算法：l其一处理三角剖分的物体表面其一处理三角剖分的物体表面l另一个处理多面体环境的碰撞检测。利用一个刚体上另一个处理多面体环境的碰撞检测。利用一个刚体上各顶点的运动轨迹与另一刚体上各面片进行求交测试。各顶点的运动轨迹与另一刚体上各面片进行求交测试。 物体穿透：物体穿透：l固体不能彼此穿过：放一个杯子在桌上时，杯固体不能彼此穿过：放一个杯子在桌上时，杯子稳定地放在桌上，不会浮起也不会穿进去。子稳定地放在桌上，不会浮起也不会穿进去。l防止穿透问题有三个主要部分：防止穿透问题有三个主要部分：l首先，检测碰撞首先，检测碰撞l其次，为响应碰撞应调节物体速度其次，为响应

20、碰撞应调节物体速度l最后，如果碰撞，响应不引起物体立刻分最后，如果碰撞，响应不引起物体立刻分开，必须计算和施加接触力，直到分开。开，必须计算和施加接触力，直到分开。 2、非刚体的建模、非刚体的建模物理世界中许多物体在运动中会产生变物理世界中许多物体在运动中会产生变形，这就是柔性物体。形，这就是柔性物体。变形模型应该能够模拟各种变形效果：变形模型应该能够模拟各种变形效果：l完全弹性变形完全弹性变形l非完全弹性变形非完全弹性变形l塑性变形塑性变形l断裂等断裂等Terzopoulos的连续弹性理论，模拟物体的变的连续弹性理论，模拟物体的变形和运动。考虑物体的分布式物理属性（如质形和运动。考虑物体的分

21、布式物理属性（如质量和弹性等），模拟了柔性物体对外力的动力量和弹性等），模拟了柔性物体对外力的动力学响应。但是当物体的刚性增加时，模型会出学响应。但是当物体的刚性增加时，模型会出现数值不稳定（病态）现象。现数值不稳定（病态）现象。Baraff等的柔软物体动态的简化模型：用少量等的柔软物体动态的简化模型：用少量全局参数表示物体形状，并根据这些变量形成全局参数表示物体形状，并根据这些变量形成动态方程。简化模型只注意物体粗略的变形，动态方程。简化模型只注意物体粗略的变形，但最终提供了很高的性能。但最终提供了很高的性能。水流、波浪、瀑布、喷泉、溅水、船迹、水流、波浪、瀑布、喷泉、溅水、船迹、气体等流体

22、气体等流体从流体力学中选取适当的流体运动方程，从流体力学中选取适当的流体运动方程，进行适当的简化，通过数值求解得到各进行适当的简化，通过数值求解得到各时刻流体的形状和位置。时刻流体的形状和位置。 3、流体运动模拟、流体运动模拟（三）行为建模（三）行为建模自主智能体（自主智能体（Agent）：）：l是一个具有自适应性和智能性的软件实体，能是一个具有自适应性和智能性的软件实体，能代表用户或其它程序，以主动服务的方式完成代表用户或其它程序，以主动服务的方式完成一项工作一项工作。智能体的作用：对手，训练者，同伴，或智能体的作用：对手，训练者，同伴，或只是增加信任感的多余者。只是增加信任感的多余者。移动

23、移动Agent：l一种特殊的一种特殊的Agent,具有具有Agent的基本属性的基本属性,还具移动性还具移动性l可以从一台机器通过网络移动到另外一台可以从一台机器通过网络移动到另外一台机器运行机器运行,并根据需要克隆或生成子并根据需要克隆或生成子Agent,子子Agent具有同父具有同父Agent相同的性相同的性质。质。 简单的智能体对简单的智能体对VR往往是足够的往往是足够的构造仿真的自主智能体涉及很多技术：机构造仿真的自主智能体涉及很多技术：机器人学、计算机动画、人工智能和最优化，器人学、计算机动画、人工智能和最优化，也涉及社会学和心理学等领域也涉及社会学和心理学等领域 在人工智能或计算机

24、领域，在人工智能或计算机领域，把把Agent看做是能够通看做是能够通过传感器感知其环境，并借助执行器作用于该环境的过传感器感知其环境，并借助执行器作用于该环境的任何事物。任何事物。 如如人人Agent传感器：传感器：眼睛、耳朵和其他感官眼睛、耳朵和其他感官执行器：执行器：手、腿、嘴和其他身体部分。手、腿、嘴和其他身体部分。 机器人机器人Agent：传感器：传感器：摄像机和红外测距器等摄像机和红外测距器等执行器：执行器：各种马达各种马达 Agent是行为建模。如计算机生成兵力是行为建模。如计算机生成兵力（Computer Generated Forces，CGF）建模。建模。CGF是用计算机模型

25、实现参与仿是用计算机模型实现参与仿真的作战人员和武器系统等仿真对象，真的作战人员和武器系统等仿真对象，目的在于减少真实作战人员和武器系统目的在于减少真实作战人员和武器系统参与仿真。参与仿真。 基于基于Agent的建模框架包括三个部分。的建模框架包括三个部分。l（1）感知部分，用来接受外界信息。）感知部分，用来接受外界信息。l（2）认知处理部分认知处理部分，包括形势评估、决策制订、，包括形势评估、决策制订、规划、学习等，还有工作存储器（存放当前信规划、学习等，还有工作存储器（存放当前信息）和长期存储器（存放知识和任务）。息）和长期存储器（存放知识和任务）。l（3）行为输出部分，输出行为并影响外界环境）行为输出部分，输出行为并影响外界环境 机器人足球比赛：机器人足球比赛： 在比赛中，每个在比赛中，每个Agent(足球机器人足球机器人)都具都具有定向跑步、带球、传球、接球、避碰等有定向跑步、带球、传球、接球、避碰等个体技能。个体技能。 足球机器人通过任务分解、多级学习、足球机器人通过任务分解、多级学习、动态角色分配等实时策略，构造球队的站动态角色分配等实时策略，构造球队的站