虚拟现实技术基础

虚拟现实技术简介授课教师：侯守明 单位：河南理工大学计算机学院2主要内容虚拟现实系统的特点及组成立体视觉的生成与获取虚拟现实交互设备虚拟现实系统的分类增强现实技术3虚拟现实系统的特点及组成虚拟现实技术综合图形、图像、声音、手势、语音等要素，试图给计算机使用者创造一种全新的感官体验，使其具有置身于真实世界的感觉“虚拟环境是使人们具有沉浸感的由计算机生成的、交互的、三维的环境”

---AukstakalnisSandBlatnerD.4虚拟现实系统的特点及组成主要特点沉浸感如同置身于真实环境中：三维、立体、多通道高交互性可采取现实生活中习以为常的方式来操纵虚拟环境中的物体实时性依视点位置和视线方向实时地改变画面，并实时产生听觉、触觉/力觉响应5虚拟现实系统的特点及组成典型虚拟现实系统的组成计算机系统用户虚拟环境人机界面

6虚拟现实系统的特点及组成基于HMD的虚拟现实系统的构成

7立体视觉的生成与获取产生沉浸感的至关重要的因素立体图像与观察者视点和视线方向一致实时生成人类立体视觉的产生立体图像生成的照相机模型对称透视投影成像相机模型位置方向8立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)宽高比视角9立体视觉的生成与获取10立体视觉的生成与获取立体图像生成的照相机模型对称透视投影成像相机模型（cont.)近裁剪平面距离与远裁剪平面距离11立体视觉觉的生成成与获取取立体图像像生成的的照相机机模型对称透视视投影成成像相机机模型（cont.)焦距12立体视觉觉的生成成与获取取立体图像像生成的的照相机机模型对称透视视投影成成像相机机模型（cont.)左右眼视视差（Parallax）为生成立立体图像像，计算算机必须须针对同同一场景景生成两两幅不同同的图像像分别按照照观察者者左、右右眼的位位置实时时绘制13立体视觉觉的生成成与获取取立体视觉觉的捕获获必须借助助于一定定的观察察设备，，使计算算机生成成的左、、右眼图图像分别别为观察察者的左左、右眼眼所接收收常用的立立体视觉觉设备HMD立体眼镜镜14虚拟现实实交互设设备WIMP交互范式式已不再再适用Windows，Icons，Menus，Pointingdevices用户将通通过一系系列新的的交互手手段，与与虚拟世世界中的的物体进进行直接接的、三三维的交交互三维鼠标标WAND数据手套套麦克风…15虚拟现实实交互设设备三维定位位跟踪设设备用于跟踪踪用户当当前方位位的传感感器大多数具具有6自由度（6-DOF）位置和方方向各3自由度佩戴于用用户身体体的某些些部位可可对相应应部位进进行跟踪踪一般采用用电磁技技术、超超声技术术、光学学技术，，也有基基于惯性性的和纯纯机械方方式的16虚拟现实实交互设设备三维定位位跟踪设设备电磁式跟跟踪器示示例17虚拟现实实交互设设备三维定位位跟踪设设备Logitech超声三维维鼠标18虚拟现实实交互设设备三维定位位跟踪设设备光学跟踪踪器19虚拟现实实交互设设备手持式交交互设备备Wand/Wanda美国Illonis大学EVL实验室开开发主要用于于CAVE、ImmersaDesk等虚拟环环境中类似于三三维鼠标标，上有有三个按按键和一一个操纵纵杆（Joystick）20虚拟现实实交互设设备手持式交交互设备备WiiRemote任天堂游戏主机机Wii的主要控制器外形及按按钮操作作与电视视遥控器器类似可握持在在手中，，特别适适合于指指向、挥挥动等操操作21虚拟现实实交互设设备数据手套套附有传感感器，分分布在手手掌和手手指的关关节处，，以获取取用户手手形的准准确信息息传感有电电磁式、、机械式式或光学学式传感器捕捕获的数数据被转转换成关关节角度度数据，，用于控控制虚拟拟手的运运动22虚拟现实实交互设设备数据手套套传感器器的典型型配置22-dof23虚拟现实实交互设设备24虚拟现实实交互设设备25虚拟现实实交互设设备26虚拟现实实交互设设备27虚拟现实实交互设设备交互设备备的软件件支持硬件接口口标准的串串行设备备接口（（即RS-232）并行口其它接口口（如USB或无线通通讯接口口）软件接口口几乎每一一种设备备均未采采用标准准的软件件接口使用各自自独有的的接口控控制协议议或命令令指令集集28虚拟现实实交互设设备交互设备备的软件件支持软件供应应商必须须为每一一硬件供供应商的的输入设设备单独独设计应应用接口口驱动程程序虚拟现实实软件间间的区别别（就交交互设备备而言））所能支持持的输入入设备的的多少设备与各各自系统统的集成成方式是否有能能力进行行扩充以以支持新新的交互互设备VR系统的主主要不同同之处在在于系统统与用户户之间界界面基于系统统与用户户界面划划分桌面型VR系统头盔型VR系统基于投影影显示的的VR系统遥在系统统…29虚拟现实实系统的的分类30桌面型虚拟现现实系统采用计算机屏屏幕作为立体体显示载体辅以一定的声声音输出设备备、三维交互互设备和立体体眼镜等传统计算机图图形学的自然然扩展具有好的性价价比，但沉浸浸感略差31基于HMD的虚拟现实系系统利用HMD等设备把用户户的视觉、听听觉对外界封封闭起来用户完全投入入到虚拟环境境中能提供好的沉沉浸感阻断了人与人人间的交流32基于投影显示示的虚拟现实实系统利用大规模投投影显示设备备让用户完全全或部分融入入虚拟环境沉浸式典型代表：CAVE半沉浸式典型代表：Workbench33基于投影显示示的虚拟现实实系统CAVE美国Illonis大学EVL实验室首创由3～6个投影屏幕组组成正方体形形状计算机系统产产生立体图像像，经投影仪仪分别投射到到对应的屏幕幕上用户戴着立体体眼镜站于CAVE的内部立体眼镜上附附有6-DOF跟踪设备对用用户头部运动动进行实时跟跟踪声音系统34基于投影显示示的虚拟现实实系统CAVE示意图35基于投影显示示的虚拟现实实系统CAVE示例36基于投影显示示的虚拟现实实系统VirtualWorkbenchTM卫星虚拟装配配37遥在系统将现实世界中中远程场景与与操作人员的的感官直接连连通，让用户户感觉就像亲亲临现场一样样利用计算机图图形、人机交交互、传感器器、网络等技技术远程传感器可可安装在机器器人身上机器人身上有有小型摄像系系统需感知用户位位置、动作、、语音等，将将其传送到远远程操控远程程对象用户与远程对对象进行信息息双向交流38遥在系统示例：Cisco远程电话会议议系统39增强现实技术术将计算机生成成的图形与用用户在真实物物理世界获取取的视觉信息息组合在一起起使用户产生全全新的体验，，提高对现实实世界中的事事物和物理现现象的洞察力力终极目标：用用户感觉不到到现实世界中中的真实物体体与用于增强强视觉信息的的虚拟物体之之间的差别40增强现实技术术Milgrim的现实--虚拟连续流41增强现实系统统系统组成42增强现实技术术显示技术基于光学视透透式HMD的增强现实显显示原理43增强现实技术术显示技术基于屏幕的增增强现实显示示原理44增强现实技术术显示技术基于视频视透透式HMD的增强现实显显示原理45增强现实技术术配准（registration）问题将位于不同坐坐标系中的物物体统一到一一个共同的坐坐标系中AR系统涉及多个个空间，每个个空间都有各各自不同的坐坐标系配准是实现虚虚拟景物图像像和真实世界界图像之间正正确融合的前前提配准错误将导导致用户的注注意力分散，，甚至无法工工作46增强现实技技术配准困难的的原因需对人和摄摄像机的运运动进行实实时跟踪运动跟踪可可借助跟踪踪设备来完完成，但如如何校正这这些运动数数据以消除除噪声?系统所采用用的显示方方式决定了了虚拟景物物图