虚拟现实第一部分概述

1、1 教师：陆艳洪教师：陆艳洪 联系方式：联系方式： tel:tel: 88493458 88493458 转转921921 email:email: 办公室：办公室：实验大楼实验大楼a913a913 2 现代仿真技术与应用现代仿真技术与应用 章节安排章节安排 第一章第一章 概述概述 第二章第二章 系统的数学模型系统的数学模型 第三章第三章 连续系统的数字仿真连续系统的数字仿真 第四章第四章 离散事件系统仿真离散事件系统仿真 第六章第六章 分布式交互仿真分布式交互仿真 第七章第七章 可视化、多媒体、虚拟现实仿真可视化、多媒体、虚拟现实仿真 3 n 背景知识背景知识包括：包括： 计算机原理与系统结

2、构，操作系统，计算机网络，软件工程，程序计算机原理与系统结构，操作系统，计算机网络，软件工程，程序 设计，数据结构，电子学，图形学与设计，数据结构，电子学，图形学与cad，系统分析，人工智能等。，系统分析，人工智能等。 n 内容内容包括虚拟现实与系统仿真的基本概念和术语，虚拟现实与系统包括虚拟现实与系统仿真的基本概念和术语，虚拟现实与系统 仿真的基础方法，虚拟现实有关的人的因素，虚拟现实的接口设备仿真的基础方法，虚拟现实有关的人的因素，虚拟现实的接口设备 和计算机设备，虚拟现实的世界建模技术，虚拟现实的应用。和计算机设备，虚拟现实的世界建模技术，虚拟现实的应用。 现代仿真技术与应用现代仿真技术

3、与应用 第七章虚拟现实第七章虚拟现实 4 知识结构知识结构 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第七章虚拟现实 5 重点难点重点难点 l 虚拟现实的基本概念虚拟现实的基本概念 l 人的视觉系统和虚拟现实的视觉显示技术人的视觉系统和虚拟现实的视觉显示技术 l 各类位姿跟踪系统的技术各类位姿跟踪系统的技术 l 力觉和触觉反馈技术力觉和触觉反馈技术 l 虚拟现实用计算机系统虚拟现实用计算机系统 l 虚拟现实的工具软件系统虚拟现实的工具软件系统 l 分布式虚拟现实系统。分布式虚拟现实系统。 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第七章虚拟现实 6 要求要求 l 首先要求掌

4、握虚拟现实与系统仿真的基本概念和术语，以及虚首先要求掌握虚拟现实与系统仿真的基本概念和术语，以及虚 拟现实有关的人的因素，明确虚拟对现实要求。拟现实有关的人的因素，明确虚拟对现实要求。 l 其次要求掌握虚拟现实与系统仿真的基础方法，虚拟现实的接其次要求掌握虚拟现实与系统仿真的基础方法，虚拟现实的接 口设备和计算机设备，虚拟现实的世界建模技术，了解实现要口设备和计算机设备，虚拟现实的世界建模技术，了解实现要 求的技术。求的技术。 l 最后要求掌握虚拟现实的应用。最后要求掌握虚拟现实的应用。 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第七章虚拟现实 7 参考资料参考资料 1.虚拟现实与系

5、统仿真虚拟现实与系统仿真 韦有双；国防工业出版社；韦有双；国防工业出版社；2004年年 2.虚拟现实的技术及其应用虚拟现实的技术及其应用 曾建超，俞志和；清华大学出版社；曾建超，俞志和；清华大学出版社；1996 3.灵境（虚拟现实）技术的理论，实现及应用灵境（虚拟现实）技术的理论，实现及应用 汪成为，高文，王行仁；清华大学出版社，广西科学技术出版社；汪成为，高文，王行仁；清华大学出版社，广西科学技术出版社；1996 4.virtual reality technologygrigore burdea，phillippe coiffet； john wiley c)逼真的感知和自然的动作，使人产

6、生身临其境的感觉逼真的感知和自然的动作，使人产生身临其境的感觉; 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 该特点该特点改变了人机接口的内容，改变了人机接口的内容，体现了计算机体现了计算机应用的新方向。应用的新方向。以以环境为环境为 计算机处理的对象和人机交互的内容计算机处理的对象和人机交互的内容。 l 该特点改变了该特点改变了人机接口的形式，人机接口的形式，体现了计算机人机体现了计算机人机接口的新方向。接口的新方向。 l 一般计算机系统的人机接口都是一般计算机系统的人机接口都是面向机器的面向机器的，终端，键盘，鼠标，打印机等接口设备。，终端，

7、键盘，鼠标，打印机等接口设备。 它们能很好地完成了各类数据和多媒体信息的交互。它们能很好地完成了各类数据和多媒体信息的交互。 l 虚拟现实中的人机接口，则是虚拟现实中的人机接口，则是面向用户的面向用户的。虚拟现实系统中，用户以。虚拟现实系统中，用户以自然的方式自然的方式与虚拟与虚拟 环境交互。环境交互。 l该特点改变了该特点改变了人机接口的效果人机接口的效果，体现了计算机，体现了计算机人机接口的新要求人机接口的新要求。 l 用户通过人机接口与虚拟环境交互的结果，是使用户产生身临其境的虚幻感，沉浸感。用户通过人机接口与虚拟环境交互的结果，是使用户产生身临其境的虚幻感，沉浸感。 虚拟现实的概念中有

8、虚拟现实的概念中有三个三个i： （1 1）immersion(immersion(沉浸沉浸) )，是指逼真的，身临其境的感觉。，是指逼真的，身临其境的感觉。 （2 2）interaction(interaction(交互交互) )，是指用户感知与操作环境。，是指用户感知与操作环境。 （3 3）imagination(imagination(想象想象) )，是指创造性。，是指创造性。 24 虚拟现实的应用领域虚拟现实的应用领域 l 娱乐娱乐 l 国防国防 l 设计、制造和销售设计、制造和销售 l 医疗和健康医疗和健康 l 危险操作危险操作 l 训练训练 l 教育教育 l 信息可视化信息可视化 l

9、 远程交往与远程游历远程交往与远程游历 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 25 把分布式虚拟现实系统用于建造人体模型、电脑太空旅游、化合物分子结构把分布式虚拟现实系统用于建造人体模型、电脑太空旅游、化合物分子结构 显示等领域，由于数据更加逼真，大大提高了人们的想象力、激发了受教育者的显示等领域，由于数据更加逼真，大大提高了人们的想象力、激发了受教育者的 学习兴趣，学习效果十分显著。同时，随着计算机技术、心理学、教育学等多种学习兴趣，学习效果十分显著。同时，随着计算机技术、心理学、教育学等多种 学科的相互结合、促进和发展，系统因此能够提供

10、更加协调的人机对话方式，学科的相互结合、促进和发展，系统因此能够提供更加协调的人机对话方式， 虚拟现实的应用领域虚拟现实的应用领域 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 l教育应用教育应用 l工程应用工程应用 当前的工程很大程度上要依赖于图形工具，以便直观地显示各种产品，目当前的工程很大程度上要依赖于图形工具，以便直观地显示各种产品，目 前，前，cad/camcad/cam已经成为机械、建筑等领域必不可少的软件工具。分布式虚拟现实已经成为机械、建筑等领域必不可少的软件工具。分布式虚拟现实 系统的应用将使工程人员能通过全球网或局域网按协作方式

11、进行三维模型的设系统的应用将使工程人员能通过全球网或局域网按协作方式进行三维模型的设 计、交流和发布，从而进一步提高生产效率并削减成本。计、交流和发布，从而进一步提高生产效率并削减成本。 26 对于那些期望与顾客建立直接联系的公司，尤其是那些在他们的主对于那些期望与顾客建立直接联系的公司，尤其是那些在他们的主 页上向客户发送电子广告的公司，页上向客户发送电子广告的公司，internet具有特别的吸引力。分布具有特别的吸引力。分布 式虚拟系统的应用有可能大幅度改善顾客购买商品的经历。例如，顾式虚拟系统的应用有可能大幅度改善顾客购买商品的经历。例如，顾 客可以访问虚拟世界中的商店，在那里挑选商品，

12、然后通过客可以访问虚拟世界中的商店，在那里挑选商品，然后通过internet 办理付款手续，商店则及时把商品送到顾客手中。办理付款手续，商店则及时把商品送到顾客手中。 虚拟现实的应用领域虚拟现实的应用领域 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 l商业应用商业应用 l娱乐应用娱乐应用 娱乐领域是分布式虚拟现实系统的一个重要应用娱乐领域是分布式虚拟现实系统的一个重要应用 领域。它能够提供更为逼真的虚拟环境，从而使领域。它能够提供更为逼真的虚拟环境，从而使 人们能够享受其中的乐趣，带来更好的娱乐感人们能够享受其中的乐趣，带来更好的娱乐感 觉。觉。

13、 27 虚拟现实技术简介虚拟现实技术简介 1vr的人机接口的人机接口 2vr的计算机系统的计算机系统 3vr的建模和仿真的建模和仿真 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 l 给人类操作者提供环境信息；包括位置跟踪和反馈、视觉通道、听觉通给人类操作者提供环境信息；包括位置跟踪和反馈、视觉通道、听觉通 道、触觉通道、运动接口和其他接口。道、触觉通道、运动接口和其他接口。 l 感觉人类操作者的动作和响应；包括位置跟踪和映射，语音识别等。感觉人类操作者的动作和响应；包括位置跟踪和映射，语音识别等。 现有的虚拟系统主要考虑视觉通道。听觉通道和触觉通

14、道还处于研现有的虚拟系统主要考虑视觉通道。听觉通道和触觉通道还处于研 究阶段。所以，究阶段。所以，vr的计算机系统主要考虑视觉通道的要求的计算机系统主要考虑视觉通道的要求。 l 建模包括几何建模和物理建模。建模包括几何建模和物理建模。 l 仿真包括图形绘制、三维动画仿真包括图形绘制、三维动画 28 虚拟现实的接口设备虚拟现实的接口设备 l位姿传感器位姿传感器 l视觉通道视觉通道 l听觉通道听觉通道 l触觉通道触觉通道 l运动接口运动接口 l其他类型接口其他类型接口 vrvr的人机接口的人机接口 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 29 位

15、姿传感器位姿传感器 vrvr的人机接口的人机接口 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 l位置跟踪和映射：位置跟踪和映射：用于测量人体各部位的位用于测量人体各部位的位 置和姿态，分析判断人面部的表情。它的目置和姿态，分析判断人面部的表情。它的目 的是了解人的身体行为。的是了解人的身体行为。 l 这是为了实现人机交互所必需的系统功能，这是为了实现人机交互所必需的系统功能， vr系统由此了解人的行为，然后做出适当系统由此了解人的行为，然后做出适当 的响应，实现交互。的响应，实现交互。 l常用技术：常用技术：机械链接、磁传感器、声传感器、机械链接

16、、磁传感器、声传感器、 光传感器和惯性传感器。光传感器和惯性传感器。 l 基本目标基本目标：精确完成位置和姿态的测量。：精确完成位置和姿态的测量。 l 三个主要的要求三个主要的要求：大范围的线性响应，高带：大范围的线性响应，高带 宽（宽（1khz），以及允许头和身体的运动。），以及允许头和身体的运动。 30 各种位姿跟踪器的比较各种位姿跟踪器的比较 发射源发射源 便携便携 精度精度 价格价格 刷新率刷新率 延迟延迟 范围范围 干扰源干扰源 机械式机械式 无无差差很高很高较高较高高高很小很小很小很小无无 磁场式磁场式 有有好好较高较高较低较低较高较高较大较大单传感器小单传感器小 多传感器大多传感

17、器大 金属及磁场金属及磁场 超声式超声式 有有较好较好时间法低时间法低 相位法高相位法高 很低很低时间法低时间法低 相位法高相位法高 小小较大较大空气流动，空气流动， 超声噪声超声噪声 光学式光学式 有有较好较好较高较高昂贵昂贵高高小小大大光反射，光反射， 红外光源红外光源 惯性式惯性式 无无好好较低较低昂贵昂贵很高很高随时间和随时间和 温度漂移温度漂移 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 31 给人的视觉系统提供图形显示。给人的视觉系统提供图形显示。 要求要求： a) 显示的像素应该足够小，使人不至感觉显示的像素应该足够小，使人不至感觉

18、 到像素的不连续；到像素的不连续； b) 显示的频率应该足够高，使人不至感觉显示的频率应该足够高，使人不至感觉 到画面的不连续；到画面的不连续； c) 给两眼提供具有双目视差的图形，形成给两眼提供具有双目视差的图形，形成 立体视觉；立体视觉； d) 应该具有足够大的视场，理想情况是显应该具有足够大的视场，理想情况是显 示画面充满整个视场。示画面充满整个视场。 vrvr的人机接口的人机接口 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 视觉接口通道视觉接口通道 32 l给人的听觉系统提供声音显示。给人的听觉系统提供声音显示。 l要求：要求：能识别声音

19、的类型和强度，能判定声源的位置。能识别声音的类型和强度，能判定声源的位置。 l关键技术：关键技术：由接口提供的虚拟声音信号合成，声音在虚拟空间定位问题，以及发声设备由接口提供的虚拟声音信号合成，声音在虚拟空间定位问题，以及发声设备 vrvr的人机接口的人机接口 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 听觉通道听觉通道 触觉通道触觉通道 l触觉通道：触觉通道：给人体表面提供触觉和力觉。当人体在虚拟空间中运动时，如果接触到虚拟给人体表面提供触觉和力觉。当人体在虚拟空间中运动时，如果接触到虚拟 物体，虚拟显示系统应该给人提供这种触觉和力觉。物体，虚

20、拟显示系统应该给人提供这种触觉和力觉。 l内容：内容：涉及操作以及感觉，包括触觉反馈和力觉反馈。涉及操作以及感觉，包括触觉反馈和力觉反馈。 l结构：结构：包括安在身体上的和安在地面上的设备。包括安在身体上的和安在地面上的设备。 l人体在环境中的运动包括：人体在环境中的运动包括：身体的被动运动（被动移动，如在车上的运动），身体主动身体的被动运动（被动移动，如在车上的运动），身体主动 运动（漫游，如散步）。人体内部的运动感觉器官可以感知运动信息。运动（漫游，如散步）。人体内部的运动感觉器官可以感知运动信息。 l感知运动信息的器官包含：感知运动信息的器官包含：前庭系统、运动系统、视觉听觉系统、本体感

21、受、动觉和触前庭系统、运动系统、视觉听觉系统、本体感受、动觉和触 觉。觉。 l 运动接口的作用即为这些器官提供运动信息。运动接口的作用即为这些器官提供运动信息。 运动接口运动接口 33 现有的虚拟系统主要考虑视觉通道。听觉通道和触觉通道还处于研究阶段。所以，现有的虚拟系统主要考虑视觉通道。听觉通道和触觉通道还处于研究阶段。所以，vrvr 的计算机系统主要考虑视觉通道的要求的计算机系统主要考虑视觉通道的要求。 vrvr的计算机系统的计算机系统 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 一、硬件一、硬件 视觉通道对计算机系统的要求：视觉通道对计算机

22、系统的要求： l 首先是要求维持足够的图形帧速率 l 其次要求在指定的时间内（约为0.1秒）计算出两眼的两幅图像 l 同时要求提供足够好质量的图像，体现在图像中显示的多边形或三角形的数量上。 要满足以上要求，往往需要专用硬件。图形要满足以上要求，往往需要专用硬件。图形硬件能提供快速几何变换、截取、消隐、硬件能提供快速几何变换、截取、消隐、 多边形填充和表面纹理。多边形填充和表面纹理。 二、软件二、软件 vrvr系统中的软件主要包括：系统中的软件主要包括： 交互软件交互软件-利用人机控制设备的输出去修改利用人机控制设备的输出去修改veve； 视觉漫游软件视觉漫游软件-控制用户在控制用户在veve

23、中运动时看到的场景。中运动时看到的场景。 建模软件建模软件-定义虚拟物体形状、外观和属性的模型。定义虚拟物体形状、外观和属性的模型。 操作系统操作系统-支持支持veve的实时多模态要求。的实时多模态要求。 三、网络三、网络 l 分布式交互仿真已经成为现代仿分布式交互仿真已经成为现代仿 真技术，特别是军事仿真的潮流。真技术，特别是军事仿真的潮流。 l 通讯网络可以把通讯网络可以把veve转换成共享的转换成共享的 分布式计算环境。分布式计算环境。 34 一、建模一、建模 包括包括：几何建模和物理建模。几何建模和物理建模。 几何建模方法几何建模方法：a)a)一般的一般的vrvr工具软件；工具软件；b

24、)b)利用现有的利用现有的cadcad建模工具；建模工具；c) c) 对实际物体的建模，采用激光扫描等专用设备；对实际物体的建模，采用激光扫描等专用设备；d)d)购买市场上已有的购买市场上已有的 商业模型库。几何建模技术在图形学和商业模型库。几何建模技术在图形学和cadcad领域，已有成熟的成果。领域，已有成熟的成果。 物理建模物理建模：基于物理方程的建模基于物理方程的建模-刚体建模、链接物体的建模及非刚体建模、链接物体的建模及非 刚体建模。刚体建模。 vrvr的建模和仿真的建模和仿真 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 35 vrvr的

25、建模和仿真的建模和仿真 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 二、仿真二、仿真 包括包括：图形绘制、三维动画。图形绘制、三维动画。 图形绘制图形绘制：把三维环境，相对于虚拟摄像机（虚拟视点）投影，形成图像的过程。把三维环境，相对于虚拟摄像机（虚拟视点）投影，形成图像的过程。 要求要求： 1 1）为了提供连续运动的错觉，帧速率须大于每秒）为了提供连续运动的错觉，帧速率须大于每秒8 8到到1010帧；帧； 2 2）为保持瞬间交互控制的错觉，响应时间的延迟须小于）为保持瞬间交互控制的错觉，响应时间的延迟须小于0.10.1秒；秒； 3 3）为绘制可

26、分辨的所有细节，要求有至少）为绘制可分辨的所有细节，要求有至少8 8千万个多边形。千万个多边形。 然而，用今天的硬件，每个画面然而，用今天的硬件，每个画面8 8千万多边形的系统千万多边形的系统 对真正的实时交互是太慢对真正的实时交互是太慢 了，于是存在真实图像与实时交互间的折衷。某些应用（如建筑和艺术）可能要了，于是存在真实图像与实时交互间的折衷。某些应用（如建筑和艺术）可能要 求照片一样真实的绘制。制造和医疗应用要求更高层次的实时交互。求照片一样真实的绘制。制造和医疗应用要求更高层次的实时交互。 三维动画的实现途径：三维动画的实现途径： 1 1）基于物理模型的数值计算基于物理模型的数值计算-

27、军事和工业等应用，往往要求这种满足物理规律的军事和工业等应用，往往要求这种满足物理规律的 仿真技术；仿真技术； 2 2）数学插值数学插值-三维动画电影等。三维动画电影等。 36 虚拟现实开发系统的框图虚拟现实开发系统的框图 用户通过输入输出设备与输入输出软件用户通过输入输出设备与输入输出软件 交互。交互。 l 输入软件通过形状编辑器完成几何建模，输入软件通过形状编辑器完成几何建模， 通过声音编辑器完成虚拟声音系统建模。通过声音编辑器完成虚拟声音系统建模。 在世界编辑器完成虚拟环境的建模。其中在世界编辑器完成虚拟环境的建模。其中 的虚拟剪切器，用于模型的剪切。的虚拟剪切器，用于模型的剪切。 l

28、建立的模型，保存在虚拟世界中。建立的模型，保存在虚拟世界中。 l 整个工作在计算机系统中完成。整个工作在计算机系统中完成。 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 37 小结小结 l 虚拟现实或虚拟环境是人工构造的，存在于计算机内部的环境。虚拟现实或虚拟环境是人工构造的，存在于计算机内部的环境。 l 用户应该能够以自然的方式与这个环境交互（包括感知环境并干预用户应该能够以自然的方式与这个环境交互（包括感知环境并干预 环境），从而产生置身于相应的真实环境中的虚幻感，沉浸感，身临其环境），从而产生置身于相应的真实环境中的虚幻感，沉浸感，身临其 境

29、的感觉。境的感觉。 l 虚拟现实系统包括虚拟现实系统包括人类操作者、人机接口和计算机。人类操作者、人机接口和计算机。 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 1 1计算机提供计算机提供“环境环境”, , 不是不是“数据数据, , 信息信息”。 2 2操作者由视觉操作者由视觉, ,听觉听觉, ,力觉感知环境力觉感知环境, , 由自然的动作操作环境。由自然的动作操作环境。 3 3逼真的感知和自然的动作，使人产生身临其境的感觉。逼真的感知和自然的动作，使人产生身临其境的感觉。 虚拟现实有下列三个特点：虚拟现实有下列三个特点： 38 虚拟现实中有关人

30、的因素虚拟现实中有关人的因素 计算机，接口和用户是计算机，接口和用户是vrvr系统中的三个组成部分。接口设计必系统中的三个组成部分。接口设计必 须考虑人的因素，人的因素与须考虑人的因素，人的因素与vrvr系统性能直接相关。下面介绍与系统性能直接相关。下面介绍与vrvr 系统直接相关的人的因素问题，包括：系统直接相关的人的因素问题，包括： l 人眼人眼 l 人耳人耳 l 身体感觉身体感觉 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 39 1.1.视觉生理结构视觉生理结构 2.2.立体视觉立体视觉 3.3.屈光度屈光度 4.4.瞳孔瞳孔 5.5.分辨

31、力分辨力 6.6.明暗适应明暗适应 7.7.周围视觉和中央视觉周围视觉和中央视觉 8.8.视觉暂留视觉暂留 9.9.视场视场 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 虚拟现实中有关人的因素虚拟现实中有关人的因素人眼人眼 现有的现有的vr系统中，已经考虑的因素包括：系统中，已经考虑的因素包括：立体视觉，分辨立体视觉，分辨 力，视觉暂留，力，视觉暂留，以及以及视场。视场。其他因素还没有充分考虑到。其他因素还没有充分考虑到。 视网膜解剖图视网膜解剖图 光感受器解剖图光感受器解剖图 40 l 图中铅笔的反射光线通过眼睛晶状图中铅笔的反射光线通过眼睛晶

32、状 体的透镜。于是，铅笔的倒置图像体的透镜。于是，铅笔的倒置图像 直接投影在视网膜上。直接投影在视网膜上。 l 视网膜的杆状细胞和锥状细胞负责视网膜的杆状细胞和锥状细胞负责 通过视神经把信号传给大脑。通过视神经把信号传给大脑。 视觉系统的生理结构图视觉系统的生理结构图 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 虚拟现实中有关人的因素虚拟现实中有关人的因素人眼人眼 41 立体视觉立体视觉 人类立体视觉的原理图人类立体视觉的原理图 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 虚拟现实中有关人的因素虚拟

33、现实中有关人的因素人眼人眼 视觉的另一个重要因素是立体视觉能力。提供视觉的另一个重要因素是立体视觉能力。提供 给人类视觉的图像，必须使人感觉是立体的，能使给人类视觉的图像，必须使人感觉是立体的，能使 观看者的视觉系统计算出被看物体的远近。观看者的视觉系统计算出被看物体的远近。 对同一个场景，两眼得到稍有差别的视图。对同一个场景，两眼得到稍有差别的视图。 l 左视区的信息，送到两眼视网膜的右侧。左视区的信息，送到两眼视网膜的右侧。 l 在视交叉处，左眼的一半神经纤维交叉到大在视交叉处，左眼的一半神经纤维交叉到大 脑的右半球，左眼的另一半神经纤维不交叉，脑的右半球，左眼的另一半神经纤维不交叉， 直

34、接到大脑的左半球。直接到大脑的左半球。 l 这样，两眼得到的左视区的所有信息，都送这样，两眼得到的左视区的所有信息，都送 到右半球。到右半球。 42 l分辨力是人眼区分两个点的能力，限于分辨力是人眼区分两个点的能力，限于10m10m距离上约距离上约1.5-2mm1.5-2mm。 l人眼区分两个点的能力，在人眼区分两个点的能力，在2m2m距离上约距离上约0.4mm0.4mm。则宽度。则宽度400mm400mm上应该由上应该由 10001000个个0.4mm0.4mm大小的像素。大小的像素。 l计算机监视器和高清晰度电视机，都达到了这样的分辨率。计算机监视器和高清晰度电视机，都达到了这样的分辨率。

35、 分辨力分辨力 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 虚拟现实中有关人的因素虚拟现实中有关人的因素人眼人眼 43 l 视觉暂留视觉暂留是视网膜的是视网膜的电化学现象电化学现象造成视觉的反应时间。当观看很短的光脉冲时，造成视觉的反应时间。当观看很短的光脉冲时， 视杆细胞得到约视杆细胞得到约0.25s 0.25s 的峰，视锥细胞快的峰，视锥细胞快4 4倍，得到约倍，得到约0.04s0.04s的峰。这种现象造成的峰。这种现象造成 视觉暂留视觉暂留 。 l 临界熔合频率（临界熔合频率（critical fusion frequency, cffcr

36、itical fusion frequency, cff）效果）效果会产生把离散图像序会产生把离散图像序 列组合成连续视觉的能力，列组合成连续视觉的能力，cffcff最低最低20hz20hz，并取决于图像尺寸和亮度。英国电视，并取决于图像尺寸和亮度。英国电视 帧频帧频25hz25hz，美国电视帧频，美国电视帧频30hz30hz。电影帧频。电影帧频24hz24hz。眼对闪烁的敏感正比于亮度，所。眼对闪烁的敏感正比于亮度，所 以若白天的图像更新率为以若白天的图像更新率为60hz60hz，则夜间只要，则夜间只要30hz30hz。 视觉暂留视觉暂留 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实

37、第一部分概述第七章虚拟现实第一部分概述 虚拟现实中有关人的因素虚拟现实中有关人的因素人眼人眼 视场视场 双目的视场约为水平双目的视场约为水平10001000，垂直，垂直600600，而水平的双目重叠视场，而水平的双目重叠视场12001200。实际。实际 的全景显示可能产生水平的全景显示可能产生水平10001000，垂直，垂直300300视场，这已经有强的沉浸感。视场，这已经有强的沉浸感。 44 l 声音声音 l 声音感觉声音感觉 l 频率范围频率范围 l 声强声强 l 声音方向声音方向 l 声音舞台声音舞台 l 头部有关的传递函数头部有关的传递函数 现代仿真技术与应用现代仿真技术与应用 第七章

38、虚拟现实第一部分概述第七章虚拟现实第一部分概述 虚拟现实中有关人的因素虚拟现实中有关人的因素人耳人耳 现有的现有的vrvr系统中，已经考虑的因素包括：声音方向，声音舞台，系统中，已经考虑的因素包括：声音方向，声音舞台， 以及头部有关的传递函数。其他因素还没有充分考虑到。以及头部有关的传递函数。其他因素还没有充分考虑到。 45 l音速在空气中，音速在空气中，00时时331m/s331m/s，2020时时344m/s344m/s。在海水中，。在海水中，11时音速时音速 1453m/s1453m/s。在铸铁棒中，音速。在铸铁棒中，音速3500m/s3500m/s。 耳听到的频率范围约耳听到的频率范围

39、约20hz20hz到到20khz20khz。随年岁增加，频率范围缩小，。随年岁增加，频率范围缩小， 特别是高频段。特别是高频段。 考虑音速考虑音速344m/s344m/s。 20hz20hz的波长的波长17.2m, 1khz17.2m, 1khz的波长的波长34.4cm, 10khz34.4cm, 10khz 的波长的波长 3.44cm3.44cm。 l人耳的尺寸约人耳的尺寸约7cm7cm，这是，这是5khz5khz的波长。这说明耳会影响这种频率声音的的波长。这说明耳会影响这种频率声音的 收集。人的身体也会与声波交互，这也会影响声音的质量。这类似音乐收集。人的身体也会与声波交互，这也会影响声音

40、的质量。这类似音乐 厅中的音响效果。厅中的音响效果。 声音声音 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 虚拟现实中有关人的因素虚拟现实中有关人的因素人耳人耳 46 l耳分为外耳、中耳、内耳。耳分为外耳、中耳、内耳。 l外耳把声音引导进内耳，它也作为滤波器而改变声音。把手放在耳前面，外耳把声音引导进内耳，它也作为滤波器而改变声音。把手放在耳前面， 就会感到声音变化。声音最终冲击耳膜，使之振动。耳膜振动再传到耳蜗，就会感到声音变化。声音最终冲击耳膜，使之振动。耳膜振动再传到耳蜗， 并且振动加大并且振动加大2020倍。倍。 声音感觉声音感觉 现代仿

41、真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 虚拟现实中有关人的因素虚拟现实中有关人的因素人耳人耳 频率范围频率范围 l耳蜗有耳蜗有3 3个螺旋管，被个螺旋管，被2 2个膜片（个膜片（reissnerreissner膜和耳底膜）分开。膜和耳底膜）分开。 l振动会刺激耳底膜上的振动会刺激耳底膜上的2 2万到万到3 3万个硬毛，并产生电信号传给大脑。耳底万个硬毛，并产生电信号传给大脑。耳底 膜有识别频率的机制。高频振动刺激膜的开始部分，中频振动刺激膜的膜有识别频率的机制。高频振动刺激膜的开始部分，中频振动刺激膜的 中间部分，低频振动刺激膜的远端部分。中间部分

42、，低频振动刺激膜的远端部分。 47 声强影响到耳底膜的振幅，直接转成毛细胞的刺激。声强影响到耳底膜的振幅，直接转成毛细胞的刺激。 声强声强 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 虚拟现实中有关人的因素虚拟现实中有关人的因素人耳人耳 l人脑识别声源位置，是利用两耳收到的声音的时间差和声音幅度差。人脑识别声源位置，是利用两耳收到的声音的时间差和声音幅度差。 l当人面对声源时，两耳的声强和路径相等。当人向左转以后，右耳声音当人面对声源时，两耳的声强和路径相等。当人向左转以后，右耳声音 比左耳强，且更早听到。若两耳路径之差为比左耳强，且更早听到。若

43、两耳路径之差为20cm20cm，则时间差，则时间差0.6ms0.6ms。 声音方向声音方向 如果用一对麦克风记录立体声音，就可以重现声音舞台，它有宽度和深度。如果用一对麦克风记录立体声音，就可以重现声音舞台，它有宽度和深度。声音舞台声音舞台 由声源到耳内部的传递函数称为由声源到耳内部的传递函数称为“头部有关的传递函数头部有关的传递函数” ” (head-related transfer (head-related transfer functions, hrtf)functions, hrtf)，它反映头和耳对传声的影响，不同的人有不同的它反映头和耳对传声的影响，不同的人有不同的hrtfhrt

44、f。 hrtfhrtf的的测量方法测量方法： l 对空间每个位置的声源，安放在耳中接近耳膜的小麦克风测量收到的信号。对空间每个位置的声源，安放在耳中接近耳膜的小麦克风测量收到的信号。 l 信号经过处理，补偿非线性频率响应。信号经过处理，补偿非线性频率响应。 头部有关的传递函数头部有关的传递函数 48 涉及到感觉表面粗糙、振动、运动、位置、压力、疼痛和温度。按身体不同部位，可分四类。涉及到感觉表面粗糙、振动、运动、位置、压力、疼痛和温度。按身体不同部位，可分四类。 现代仿真技术与应用现代仿真技术与应用 第七章虚拟现实第一部分概述第七章虚拟现实第一部分概述 虚拟现实中有关人的因素虚拟现实中有关人的

45、因素身体感觉身体感觉 l深部感觉深部感觉: :提供关节、骨、腱、肌肉和其它组织的信息，涉及压力、疼痛和振动。提供关节、骨、腱、肌肉和其它组织的信息，涉及压力、疼痛和振动。 l内脏感觉内脏感觉: :提供胸腹腔中的内脏的状况，主要是疼痛提供胸腹腔中的内脏的状况，主要是疼痛 l本体感觉本体感觉: :提供身体的位置，平衡和肌肉感觉；也涉及与其它物体的接触。本体感提供身体的位置，平衡和肌肉感觉；也涉及与其它物体的接触。本体感 觉接受器位于关节、肌肉和深部组织。觉接受器位于关节、肌肉和深部组织。 l外感受感觉外感受感觉: :是身体表面的接触感觉是身体表面的接触感觉 。 现有的现有的vrvr系统中，已经考虑

46、了触觉和力觉显示。但是有关的技术细节还没有充分考虑到。系统中，已经考虑了触觉和力觉显示。但是有关的技术细节还没有充分考虑到。 49 l 本节介绍了本节介绍了vrvr中与人有关的因素：人的视觉问题，人的听觉问题和身中与人有关的因素：人的视觉问题，人的听觉问题和身 体感受问题。体感受问题。 l 在在vrvr中，某些人的因素明显被考虑，如中，某些人的因素明显被考虑，如hmdhmd中考虑瞳距。另外一些人的中考虑瞳距。另外一些人的 因素未明显考虑，如运动眩晕。因素未明显考虑，如运动眩晕。 l 有些人认为用有些人认为用hmdhmd看不同远处物体时，不能会聚和调节，使人不适应。看不同远处物体时，不能会聚和调节，使人不适应。 有人认为有人认为hmdhmd与内瞳距不匹配也使眼疲劳。有人认为眼不是会聚，而是与内瞳距不匹配也使眼疲劳。有人认为眼不是会聚，而是 在发散。有些人运动刺激很敏感。在发散。有些人运动刺激很敏感。 l 在在vrvr中，具有图像生成的延迟，视觉和前庭器官信息的时间不同步也中，具有图像生成的延迟，视觉和前庭器官信息的时间不同步也 造成感觉（视觉与本体感觉）的冲突。快速处理和予测算法有可能缓造成感觉（视觉与本体感觉）的冲突。快速处理和予测算法有可能缓 解这种不同步。解这种不同步。 现代仿真技术与应用现代仿真