虚拟现实基础与编程

虚拟现实基础与编程第1页，共34页，2023年，2月20日，星期日<<虚拟现实基础与VRML编程>>目录1.虚拟现实概论2.虚拟现实硬件设备及技术3.VRML概述与VRML文件4.VRML基本造型5.VRML空间变换6.VRML纹理映射7.VRML声音技术8.VRML光照效果9.VRML空间效果10.VRML视点与导航第2页，共34页，2023年，2月20日，星期日4/24/20232江西农业大学计算机与信息工程学院<<虚拟现实基础与VRML编程>>目录11.VRML复杂造型12.VRML动画13.VRML交互功能14.VRML脚本设计15.VRML其他节点16.原型及其应用17.综合举例之一18.综合举例之二第3页，共34页，2023年，2月20日，星期日4/24/20233江西农业大学计算机与信息工程学院参考资料段新，虚拟现实基础与VRML编程，武汉大学出版社第4页，共34页，2023年，2月20日，星期日4/24/20234江西农业大学计算机与信息工程学院第一讲虚拟现实概论1.虚拟现实技术2.虚拟现实系统分类3.虚拟现实系统硬件组成4.虚拟现实研究内容5.增强现实与随身增强现实第5页，共34页，2023年，2月20日，星期日4/24/20235江西农业大学计算机与信息工程学院1.虚拟现实技术虚拟现实技术、多媒体技术和网络技术是21世纪三大最具发展潜力的计算机技术。虚拟现实(VirtualReality,VR)是由美国VPL公司的JaronLanier在1989年创造的一个新词。它通常是指头盔显示器、数据手套等一系列新型交互设备构造出的用以体验或感知虚拟境界的一种计算机软、硬件环境，用户使用这些高级设备以自然的技能向计算机发送各种指令，并得到环境对用户视觉、听觉、触觉等多种感官信息的实时反馈。第6页，共34页，2023年，2月20日，星期日4/24/20236江西农业大学计算机与信息工程学院1.虚拟现实技术(续)世界上首个具有虚拟现实思想的装置是由MortonHeilig在1962年研制成功的，它是一种被称之为Sensorma的具有多种感官刺激的全景式立体电影设备。该设备主要由三维视频组成，并具有立体声功能，能产生不同的气味，能产生自然风的吹拂，座椅还可以随剧情变化而振动。虚拟现实技术在很大程度上基于计算机图形学技术发展而来。1965年，IvanSutherland博士发表”TheUltimateDisplay”一文，提出了一种全新的图形显示技术。观察者可以自然地转动头部和身体即可改变视点，所看到的场景即计算机生成的虚拟境界也将实时地发生变化；观察者还可以以自然的方式直接与虚拟境界中的对象进行交互操作。第7页，共34页，2023年，2月20日，星期日4/24/20237江西农业大学计算机与信息工程学院1.虚拟现实技术(续)虚拟现实可以概括为3个方面：真实性、沉浸性和交互性。真实性是指由计算机生成看起来像真的、听起来像真的、触摸起来像真的虚拟境界，该境界同时还可以向介入者提供视觉、听觉、触觉等多种人类具有的感官刺激。沉浸性是指计算机控制下的虚拟境界应给人一种身临其境的沉浸感。交互性是指人能以纯自然方式与虚拟境界中的对象进行交互操作，即不使用鼠标、键盘等常规设备，而要求使用手势、体势、人类语言等自然方式进行交互操作。能够满足以上要求的系统称之为虚拟现实系统，构建此系统所需要的各种软、硬件技术被定义为虚拟现实技术。第8页，共34页，2023年，2月20日，星期日4/24/20238江西农业大学计算机与信息工程学院1.虚拟现实技术(续)理论上，可以将虚拟现实简明定义为：由计算机及其软硬件技术生成的，给人多种感官刺激的虚拟境界(VirtualEnvironment，VE，虚拟环境)第9页，共34页，2023年，2月20日，星期日4/24/20239江西农业大学计算机与信息工程学院1.虚拟现实技术(续)(1)多种感官刺激感官刺激说明装置视觉感知可见光听觉感知声波嗅觉感知空气中的化学成分味觉感知液体中的化学成分触觉以皮肤感知力觉以肌肉、关节和肌腱等感知身体感觉感知肢体或身躯等前庭感觉平衡感知第10页，共34页，2023年，2月20日，星期日4/24/202310江西农业大学计算机与信息工程学院1.虚拟现实技术(续)(2)虚拟现实本质上是一种人机交互系统，而且是一种高级的人机交互系统。定义没有特别强调沉浸感，隐含表明虚拟现实可分为”沉浸式”和”非沉浸式”两种。算法结构清晰，层次分明，便于算法正确性的证明和复杂性的分析。第11页，共34页，2023年，2月20日，星期日4/24/202311江西农业大学计算机与信息工程学院1.虚拟现实技术(续)1962年MortonHeiling研制成功首台全传感仿真系统。1965年SutherLand博士提出UltimateDisplay概念。1965年SutherLand首次研制成功头盔式显示器。20世纪70年代中美军战斗机飞行模拟器研制成功。20世纪80年代中期，美国NASA研制成功应用于载人航天使用的VIEW系统。20世纪90年代开始，VR的研究热潮开始向民用高科技转移。数据手套(DataGloves)EyePhones20年代90年代中期，标准化的虚拟现实建模语言VRML为在Internet上构建可共享、可交换的WWW虚拟环境奠定了良好基础。第12页，共34页，2023年，2月20日，星期日4/24/202312江西农业大学计算机与信息工程学院1.虚拟现实技术(续)VRML1.0VRML2.0VRML97X3DX3D由4部分组成：结构和基本组件、应用程序接口、XML编码及VRML97编码。XML是新出现的具有强大生命力的网络通用语言规范，它本身所具有的良好的数据存储格式。可扩展性、高度结构化、便于网络传输等特点，决定了其卓越的性能表现，使其成为未来网络开发的通用语言。目前，虚拟现实系统已由单机系统发展到分布式虚拟现实系统，进一步还要发展到支持协同工作的分布式虚拟现实系统，即由过去只支持多用户共享，发展到需要支持以多人相互感知、协同操作等为目的的协同感知领域。第13页，共34页，2023年，2月20日，星期日4/24/202313江西农业大学计算机与信息工程学院1.虚拟现实技术(续)存在的问题视觉真实感知和实时化问题听觉感知问题交互性问题第14页，共34页，2023年，2月20日，星期日4/24/202314江西农业大学计算机与信息工程学院1.虚拟现实技术(续)虚拟现实的价值沉浸性体验意味着体验，那么体验的目的终将落实于对环境的操作和改造。虚拟现实中人与虚拟环境的交互，本质上意味着它不是预成的而是生成的、不是因循的而是创新的，空间想象力所要表达的正是虚拟现实的这一秉性。第15页，共34页，2023年，2月20日，星期日4/24/202315江西农业大学计算机与信息工程学院2.虚拟现实系统分类按时空概念分类由传感器测得的真实世界的时间和空间概念以及沉浸在虚拟境界中的人所感知的时间和空间概念。对准的(Aligned)有偏移的(Displaced)经缩放的(Scaled)第16页，共34页，2023年，2月20日，星期日4/24/202316江西农业大学计算机与信息工程学院2.虚拟现实系统分类(续)按传感器与人的感官分类视觉听觉触觉前庭器官嗅觉或味觉第17页，共34页，2023年，2月20日，星期日4/24/202317江西农业大学计算机与信息工程学院2.虚拟现实系统分类(续)按隔离与融合分类隔离是指计算机生成的虚拟境界被人所感知时与人所处的真实世界相互隔离，即用户既看不到真实世界系统、也听不到真实世界声音，完全被虚拟环境所封闭，该类系统即称为沉浸式虚拟现实系统。融合是指计算机生成的虚拟境界可以叠加在人所能感知的真实世界之上，即虚拟境界直接与人看到的真实世界叠加在一起，该类系统近年来被称之为增强现实系统。第18页，共34页，2023年，2月20日，星期日4/24/202318江西农业大学计算机与信息工程学院3.虚拟现实系统硬件组成虚拟现实系统的硬件由4部分组成：虚拟境界生成设备，感知设备、跟踪设备和基于自然方式的人与环境交互设备。1.虚拟境界生成设备虚拟境界生成设备可以是一台或多台高性能计算机，通常又可分为：基于高性能个人计算机、基于高性能图形工作站和基于分布式异构计算机的虚拟现实系统三大类。虚拟现实系统对于计算机硬件的图形处理性能要求较高。第19页，共34页，2023年，2月20日，星期日4/24/202319江西农业大学计算机与信息工程学院3.虚拟现实系统硬件组成(续)虚拟境界生成设备的主要功能如下：(1)视觉通道信号的生成与显示。(2)听觉通道信号的生成与展示。(3)触觉与力觉通道信号。(4)支持实时人机交互操作，包括3维空间定位、碰撞检测、语音识别以及人与环境实时对话环境。第20页，共34页，2023年，2月20日，星期日4/24/202320江西农业大学计算机与信息工程学院3.虚拟现实系统硬件组成(续)(2)感知设备视觉感知设备。听觉感知设备。触觉感知设备。第21页，共34页，2023年，2月20日，星期日4/24/202321江西农业大学计算机与信息工程学院3.虚拟现实系统硬件组成(续)(3)跟踪设备跟踪设备是用于跟踪并检测用户位置和朝向的装置，用于虚拟现实系统中基于自然方式的人机交互操作。跟踪设备一般都由一个或多个信号发射器以及多个接受器组成。第22页，共34页，2023年，2月20日，星期日4/24/202322江西农业大学计算机与信息工程学院3.虚拟现实系统硬件组成(续)(4)人与环境交互设备虚拟现实系统所使用的交互设备应用手势、体势、眼势以及自然语言的人机交互设备，常见的有数据手套、数据衣服、眼球跟踪器以及语音识别装置。第23页，共34页，2023年，2月20日，星期日4/24/202323江西农业大学计算机与信息工程学院4.虚拟现实研究内容虚拟现实的研究内容大致可分为虚拟现实技术及虚拟现实应用两大类。虚拟现实技术人机自然交互技术基于图形学的研究基于图像的建模和渲染碰撞技术基于Internet的研究声音技术。第24页，共34页，2023年，2月20日，星期日4/24/202324江西农业大学计算机与信息工程学院4.虚拟现实研究内容(续)虚拟现实应用真实世界仿真。抽象概念建模，也称为可视化。第25页，共34页，2023年，2月20日，星期日4/24/202325江西农业大学计算机与信息工程学院5.增强现实与随身增强现实增强现实概念增强现实是虚拟现实技术领域中产生的一个新兴的研究方向。虚拟现实强调沉浸感，要求使人感觉与其所处的环境完全隔离。增强现实作为对真实世界的一种补充和增强，丰富了用户对真实世界的感知和人机交互。增强现实具有以下3个主要特征：真实世界与虚拟境界要求在三维空间上加以整合。具有实时人机交互功能。增强特征适用于所有感知通道，不仅有景象，还应包括声音等；也可以使用增强技术实现削。第26页，共34页，2023年，2月20日，星期日4/24/202326江西农业大学计算机与信息工程学院5.增强现实与随身增强现实(续)增强现实系统构造一个增强现实系统的核心是如何将真实世界与虚拟境界在视觉领域完美融合，现有两类基本技术加以实现：基于光学的技术和基于视频的技术。基于光学技术实现虚拟融合的基本原理是通过半透明、半反射的光学镜片将虚拟境界和真实世界叠加在一起；基于视频技术实现虚拟现实融合的基本原理是通过摄像机将真实世界采样图像在图形处理器中与虚拟对象叠加在一起后再显示出来。基于光学的透视式HMD实现方法是把光学融合器放置在用户眼前来实现增强现实的。基于视频的封闭式HMD实现方法是把一个封闭的视频头盔同1-2个视频摄象机结合在一起。第27页，共34页，2023年，2月20日，星期日4/24/202327江西农业大学计算机与信息工程学院5.增强现实与随身增强现实(续)基于光学方法的主要优点有：简单和廉价。显示分辨率高。系统安全性好。无眼睛位置偏移。第28页，共34页，2023年，2月20日，星期日4/24/202328江西农业大学计算机与信息工程学院5.增强现实与随身增强现实(续)基于视频技术的主要优点有：融合灵活。图像延时匹配较好。畸变可匹配。亮度匹配容易。第29页，共34页，2023年，2月20日，星期日4/24/202329江西农业大学计算机与信息工程学院5.增强现实与随身增强现实(续)增强现实关键技术聚焦与对比度。融合精度与实时性问题。系统可移动性。传感系统。第30页，共34页，2023年，2月20日，星期日4/24/202330江西农业大学计算机与信息工程学院5.增强现实与随身增强现实(续)增强现实应用领域医学领域。机械制造、维修。可视化应用。娱乐应用。第31页，共34页，2023年，2月20日，星期日4/24/202331江西农业大学计算机与信息工程学院5.增强现实与随身增强现实(续)随身增强现实系统是增强现实与随身计