虚拟现实技术导论 课件 第2章 虚拟现实常用软硬件

虚拟现实技术导论第2章虚拟现实常用软硬件本讲大纲2.1典型输入设备2.2典型输出设备2.3常用软件2.4习题2.1典型输入设备用户位姿获取设备电磁跟踪设备（电磁发射、接收）声学跟踪设备（超声等发射、接收）光学跟踪设备（光学传感器、摄像头）光波、有标志点、无标识点、深度图通过摄像机获取二维图像标志点，进而获得三维位置惯性跟踪设备（加速度计、陀螺仪）眼球跟踪设备混合方式用户位姿获取设备——电磁跟踪设备现有电磁跟踪设备一般由控制部件、信号发射器（transmitter）和接收器（receiver）组成发射器与接收器均包括3个相互垂直（正交）的电磁感应圈；发射器通过电磁感应圈产生磁场，接收器接收到磁场，并在感应圈上产生相应的电流；根据接收到的电流信号，通过控制部件预先设定的算法计算，就能得到跟踪目标相对于接收器的位置和方向。根据所发射磁场的不同，又可分为交流电发射器型和直流电发射器型。用户位姿获取设备——电磁跟踪设备目前使用较为广泛的直流电跟踪系统，如AscensionTechnology公司的FlockofBirds系统，其刷新率可达100Hz，系统延迟在没有噪声滤波器的情况下，最小可到17ms。FlockofBirds系统用户位姿获取设备——声学跟踪设备声学跟踪技术利用超声波的特性来达到目标的位置跟踪。不过从理论上讲，听觉波也是可以使用的。声学跟踪系统根据其跟踪方法可以分为两类：飞行时间（TimeofFlight，ToF）测量法相位差（Phase-Coherent，PC）测量法为了更好地确定目标位置和方向，在实际应用中，通常采用多个超声波发射/接收传感器。Logitech跟踪设备用户位姿获取设备——光学跟踪设备光学跟踪系统的感光设备种类很多，如普通摄像机、光敏二极管等。光源也是多种多样的，可以是环境光，也可以是受跟踪器控制发出的光。为了防止可见光的干扰，有时也使用红外线作为光源。光学跟踪系统使用的技术主要可分为：标志系统模式识别系统激光测距系统光学跟踪设备用户位姿获取设备——标志系统标志系统（markersystem）也称为信号灯系统或固定传感器系统，是当前使用最多的光学跟踪技术。它有两种结构：自外而内（out-inside）结构，例如图a以及结构自内而外（inside-out）结构，例如图b。用户位姿获取设备——模式识别系统模式识别系统的原理是通过比较已知的样本模式与传感器得到的模式而得出物体位置的，它其实是前面介绍的标志系统的一个改进。把几个LED那样的发光器件按某一固定阵列（即样本模式排列），并将其固定在被跟踪对象的身上。然后由摄像机跟踪拍摄运动的LED阵列，记录整个LED阵列模式的变化。这实际上是将人的运动抽象为固定模式的LED点阵运动，从而避免从图像中直接识别被跟踪物体所带来的复杂性。用户位姿获取设备——激光测距系统激光测距系统将激光发射到被测物体，然后接收从物体上反射回来的光测量出位置。激光通过一个衍射光栅射到被跟踪物体上，然后接收经物体表面反射的2D衍射图的传感器记录。这种经反射的衍射圈带有一定的畸变，而这一畸变是与距离有关的，作为测量距离的一种量度。HTCViveLighthouseHTCViveLighthouse使用双基站定位系统。Valve在头显和控制器上安装了很多光敏传感器。在基站的LED闪光之后就会同步信号，然后光敏传感器可以测量出轴激光和轴激光分别到达传感器的时间。这个时间就正好是轴和轴激光转到这个特定的，点亮传感器的角度的时间，于是传感器相对于基站的轴和轴角度也就已知了；分布在头显和控制器上的光敏传感器位置也是已知的，于是通过各个传感器的位置差，就可以计算出头显位置和运动轨迹。用户位姿获取设备——惯性跟踪设备惯性跟踪技术使用惯性传感器进行跟踪，主要包括陀螺仪（gyroscope）传感器从原理上，高速旋转的陀螺有保持其旋转轴朝向不变的能力，可以测量被跟踪物体的3自由度选择运动（yaw、roll、pitch），从而达到对头部方向运动的跟踪。加速器（accelerator）传感器加速计用来测量头部运动的加速度或者是环境中运动物体的加速度，达到对头部位置运动的跟踪。惯性跟踪设备用户位姿获取设备——眼球跟踪设备ASL的MobileEye是可移动的眼球轨迹追踪系统，专为需要自由移动应用而设计，可以用在室内也可以在户外，它紧凑、坚固，能应用到体育方面。该系统重量轻，用于记录的设备也很小，能别在一条皮带上。眼睛图像和场景图像交错地保存在特制的DVCR磁带里，以确保足够高分辨率。其采样率为25/30Hz。ASLModel504用户运动数据获取设备运动捕获是记录人体运动信息以供分析和回放的技术。捕捉的数据既可简单到记录躯体部件的空间位置，也可复杂到记录脸部和肌肉群的细致运动。应用在计算机角色动画的运动捕捉则涉及到如何把真人动作转换为虚拟角色的动作，直接转换映射，用真人演员的手臂运动控制虚拟角色的手臂动作间接转换映射，用真人演员的手臂和手指动作来控制虚拟角色的皮肤颜色和情绪等。影视特效动画制作虚拟现实游戏人体工程学模拟训练生物力学用户运动数据获取设备运动数据获取装备全身运动捕捉系统机械电子式运动捕捉系统光学动作捕捉系统脸部表情捕捉系统数据手套用户运动数据获取设备——机械电子式运动捕捉系统ME4是ME电子机械式运动捕获系统的最新产品ME4更贴身、重量更轻、操作更简单，其设计最大程度满足用户动作的自由度和舒适度，由安放于人体17处关节的43只运动传感器精确记录运动者骨骼的转动ME4价格低，同时可最多捕获16人的运动信息，没有光学运动捕获常见的测量死角和标记点混淆，没有电磁跟踪系统常见的外界干扰产生的误差增加传感器锚点数量、位置（头、肘、膝盖、臀部）可配合完成诸如头手倒立、四肢匍匐、就座等复杂动作捕获。用户运动数据获取设备——光学动作捕捉系统光学动作捕捉系统广泛用于运动、人体工程学、实时动画制作、工业测量、临床运动分析、知觉动作技能研究。它可用于各种环境包括医院、工厂大学、运动场、动画制作摄影棚和国际空间站等。PS光学式人体运动捕捉系统是目前光学式系统中价格最便宜、性能最好的系统。它依靠主动方式的、一元硬币大小的LED，可以快速、高精度、方便地获取人体各个部位的运动数据。不同于被动式的光学反射标志，其能够实时获取多达120个LED主动方式标志点的运动轨迹。用户运动数据获取设备——脸部表情捕捉系统FT45脸部表情跟踪系统是广泛使用的人体脸部表情跟踪系统。通过脸部的36个不同标记，FT45系统可以实时捕获脸部运动数据。研究者可以在不同的场合多次重复使用这些数据文件。这些数据可以反映到其他虚拟角色的3D脸部模型上，从而获得和表演者相似的表情，也可以进行表情变化。用户运动数据获取设备——数据手套数据手套是虚拟现实应用的主要交互设备，它作为一只虚拟的手或控件用于3DVR场景的模拟交互，可进行物体抓取、移动、装配、操纵、控制，有有线和无线、左手和右手之分，可用于视景仿真软件环境中。Material:BlackstretchlycraFlexureresolution:12-bitA/D.Minimumdynamicrangeis8bits.Flexuresensors:Proprietaryfiberopticbasedflexortechnology.2Sensorsperfinger(1stjoint[knuckle],2ndjoint).Abductionsensorsbetweenfingers.Computerinterface:RS232(2-wire:GND,TX)

8databits,1stopbit,noparity

19200bps(transmitonly)[9600bpsforwirelessglove]Powersupply:9VDCcenterpostive(150mA)Samplingrate:Thefullhand(14sensors)maybesampledatupto100samplespersecond.Transmissionfrequency:Right-handedwirelessglove:418MHz

Left-handedwirelessglove:433.92MHzWirelessrange:Upto30m真实物体几何材质属性获取设备3D扫描仪接触式扫描仪非接触式扫描仪激光扫描仪结构式3D扫描仪3D照相机真实物体几何材质属性获取设备——3D扫描仪利用光学、机械等方法，获取三维物体的表面几何属性，分为接触式和非接触式。真实物体几何材质属性获取设备——接触式扫描仪接触式扫描仪通过内置高精度位置和方向传感器感知探头所处位置。主要产品有MS接触式数据化仪。MS接触式数据化仪是由三段碳纤维臂构成，臂与臂之间由球状连接器相连，内置高精度位置和方向传感器，以感知探头所处位置。真实物体几何材质属性获取设备——非接触式扫描仪激光扫描仪使用条状激光对输入对象进行扫描，使用CCD相机接受其反射光束。根据三角测距原理获得与拍摄物体之间的距离，进行3D数据化处理。目前已成形的产品有DeltaSphere-3000、FastSCANCobra、ModelMaker以及VIVID系列等。结构光式3D扫描仪有别于传统的激光点扫描和线扫描方式，该扫描系统采用结构光照相式原理对物体进行快速面扫描。目前成型的产品有3DREALSCAN和北京天远的3D扫描系统。3D照相机美能达公司1999年推出3D1500数码照相机可将现实世界中的实物实景拍摄为3D影像。3D数码照相机在逼真再现立体世界方面还存在着不足，比如，目前只能通过3D技术再现小实物，拍摄后在计算机中处理的时间也较长。目前的3D照相机主要有Komamura的Horseman3Dcamera，它采用了双镜头组，但双镜头是同时工作的，因此不需要额外地处理就可以直接拍摄出红蓝立体眼镜能够观看的立体照片。2.2典型输出设备典型输出设备视觉输出

3D立体眼镜头盔式显示器3D环幕仪全息显示真3D立体显示器力/触觉输出力觉/动感反馈设备触觉反馈典型输出设备——3D立体眼镜一般由立体图形加速卡、红外控制发射盒、有线或线立体眼镜，支持高分辨率、高场频、逐行立体显示。具有全面、小型、经济、适用的特点，适于基于PC机的小型VR系统，具有较好的性能价格比。典型输出设备——头盔式显示器headmounteddisplay（HMD），分为遮挡型和透视型典型输出设备——3D环幕仪利用投影、液晶屏构造的大范围视景空间典型输出设备——全息显示伽伯通过记录3D物体信息的物光波的振幅和位相分布，并将记录结果称为“全息图”。通常可以将全息图理解为一个大容量的存储器件，存储或“冻结”了3D物体的全部信息。为了从全息图中提取物光波的信息，还必须采用适当的光波照射全息图，“解冻”或恢复原来的物光波，人眼朝向再现物光波进行观察时，就如同通过全息图去观察原来的真实物体一样。典型输出设备——真3D立体显示器基于人眼立体视觉的3D成像受到观察角度、辅助仪器、眼睛观察时间等限制。由于焦距固定，使得眼睛在场景中无法像观看一个真实物体那样收缩或改变焦距，所以没有真正意义上实现物体的全面3D显示。全息成像无法显示动态立体图像，很大程度上限制了全息显示技术在现代信息显示中的应用。随着计算机技术和图形图像技术的发展，出现了直接在3D数据场中生成体素点，不需佩戴任何辅助设备，可全视角、多人同时观察立体图像且具有物理景深的3D显示器，即真3D立体显示器，其相关技术称为真3D立体显示技术。真3D立体显示技术，按成像原理不同可分为：静态成像技术动态成像技术把两束激光束照到一个由特殊材料制造的透明图像空间上，经过折射，两束光相交到一点，激发图像空间材料发光，便产生了组成立体图像最小单位—体素，每个体素对应真实物体的一个实际的点，当这两束激光束快速移动时，在图像空间中就形成许许多多个交叉点，无数个体素点就构成了真3D的物体图像。动态成像技术将显示的图像用2D切片的方式投影到一个旋转或平移的屏幕上，同时该屏幕以观察者无法察觉的速度在运动，由于人眼的视觉暂留，从而在人眼中形成3D物体，实现图像的真3D显示。典型输出设备——真3D立体显示器当前几种先进的真3D立体显示器包括Felix3D以及Perspecta3D等。典型输出设备——真3D立体显示器力觉/动感反馈（force/kinestheticfeedback）触觉反馈（tactilefeedback）典型输出设备——力/触觉输出力觉反馈设备是虚拟现实系统中的一种重要的设备，能使参与者实现虚拟环境中除视觉、听觉之外的第三感觉——触觉和力感。它可提供高度逼真的3D力（触觉）反馈能力，在办公室/桌面环境下进行操作，并与标准PC机兼容。它能进一步增强虚拟环境的交互性，从而真正体会到虚拟世界中的交互真实感。相对力反馈，触觉反馈还处于初级阶段。日本岐阜大学工学系元岛栖二教授的研究小组成功开发出世界最小的超敏感触觉传感器，在医疗器械领域应用前景广泛。传感器在约0.1mm³的合成树脂中埋入了直径1~10μm、长300~500μm、像弹簧一样的螺旋状微细碳线圈元件。碳线圈接触物体之后，会将微小的压力和温度变化转换成电信号。此外，传感器还可以感知“拧”、"摩擦"等信号。2.3常用软件构建具有逼真感和交互性的VR系统，首先面临的就是建模。现有的虚拟现实建模软件主要集中在支持虚拟景物的几何和物理建模方面。前者又可分为面向动画制作与面向实时绘制的建模软件两类。建模软件面向动画制作的建模，也称为3D几何造型设计，是3D动画制作工具的基本功能。动画制作中的建模一般包括基本几何形体绘制、复杂模型组合等。现有一些公开的3D模型库可供使用，以提高开发效率。目前流行的3D动画制作工具包括Alias公司的Maya，Avid公司的SoftimageXSI，SideEffectsSoftware公司的Houdini，Discreet公司的3DStudioMax，Newtek公司的Lightwave3D，Pixar公司的PhotorealisticRenderman等。建模软件——面向动画制作的建模软件Maya主界面Houdini主界面3D模型的数据组织合适对实时绘制有重要影响。在面向实时绘制3D模型格式中，最有代表性的是Multigen的OpenFlight格式。该数据格式已成为视景仿真领域公认的模型数据标准，大部分VR开发软件，如VEGA，OpenGVS等都支持这种格式MultigenCreator是美国MultiGen-Paradigm公司推出的一个交互式3D建模软件，支持建立优化的3D模型，具有多边形建模、矢量建模、大规模地形精确生成等功能。建模软件——面向实时绘制的建模软件Multigencreator主界面地形模型相比其他模型规模更大，手工建模工作量巨大。因此，出现了一系列专为地形制作开发的工具，如CreatorTerrainStudio，TerraVista等。为提高建模效率，出现了一些特定功能的辅助工具，如格式转换工具Polytrans，Deep-Exploration等，可将面向动画制作的3D模型数据格式进行转换，适用于实时VR系统；三维模型化简工具GeomagicDecimate、Action3DReducer、RationalReducer等，可对较为复杂的面向动画制作的3D模型进行简化，以满足实时绘制的需要。建模软件——面向实时绘制的建模软件Terravista主界面此外，还有一些面向深度图像的建模工具，如摄像采集装置和激光扫描仪附带的软件系统。这些软件系统专门处理通过相应设备采集到的深度图像，并生成几何模型。例如微软公司的Kinect配套的KinectforwindowsSDK的界面。在SDK中专门集成了KinectFusion等算法，实现从深度相机的标定、3D点云建模、表面网格生成以及骨架标定等。建模软件——面向实时绘制的建模软件Kinect

SDK主界面最初的Web3D标准是VRML（VirtualRealityMarkupLanguage），它描述了3D景物的几何尺寸、形状、色彩、材质、光照等。但是由于标准过于庞大，VRML处理效率低下，很多公司并没有完全遵循VRML标准，而是推出自己的制作工具，使用专用的文件格式和浏览器插件。Web3D标准与建模工具VRML

Editor主界面1998年，VRML组织改名Web3D联盟，同时制定了一个新标准Extensible3D（X3D）。X3D整个新出现的XML，Java和流传输等技术，希望提高处理能力、绘制质量和传输速度。2004年8月，X3D规范被ISO批准为ISO/IEC19775国际标准。但到目前为止，X3D标准仍未完全统一Web3D格式，面临一些有力的竞争，如由Intel，微软，Macromedia，Adobe，波音等公司联合组建的3DIF（3DIndustryForum）联盟支持的U3D（Universal3D）标准。在面向Web应用方面也有一些基于图像的建模工具，如Canoma、Photo3D、PhotoModeler、ImageModeler。Web3D标准与建模工具虚拟环境和对象的逼真性取决于外观建模水平，也有赖于虚拟对象的物理建模，也就是物理引擎的实现。物理引擎计算虚拟环境中物体运动、场景变化、物体与场景之间、物体与物体之间的交互作用和动力学特性效果。它通常以程序库的形式提供，其中包括若干功能模块，各模块为应用程序留出接口。它定义了一个高层的API集合，封装了底层的物理计算细节，使得开发人员可以专注于高层应用程序开发，大幅度缩短开发周期。物理引擎HavokPhysics是Havok公司开发的物理引擎，基于刚体动力学，能模拟多关节刚体的约束和连接，开发者可以指定对象的物理性质，如质量、密度、摩擦系数等。HavokPhysics引入连续碰撞检测技术，包含RagDoll人体模型系统，可以表现车辆在虚拟环境中的各种动态效果，包括车辆间的相互碰撞和各种操作的模拟。HavokPhysics是目前应用最为广泛的物理引擎之一，但计算量大，对CPU等硬件要求高。物理引擎为解决物理运算计算量大的问题，美国AGEIA公司研制了专门的物理加速硬件。该公司在2005年提出PPU（PhysicsProcessingUnit）的概念。PPU是继GPU以后的又一次处理器功能专门化。2006年3月GDC06（GameDeveloperConference），游戏开发者会议），第一块物理加速卡正式发布，命名为PhysX。在PPU的支持下，PhysX每秒可处理32000~50000个刚体，效率有了大幅度提高。物理引擎VR应用中的渲染软件主要来源于计算机图形学。从图形学发展的角度，基本可分为3层：最下层是基础3D图形绘制库，提供一系列图形绘制标准API；中间层是3D图形引擎；最上层是可视化开发平台或实际应用。渲染软件基础3D图形绘制库主要有OpenGL、Direct3D、Java3D、Vulcan等，它们直接操作图形硬件，提供了3D图形绘制的底层基础API。渲染软件——基础3D图形绘制库OpenGL是一个开放的3D图形软件包，具有建模、变换、颜色模式设置、光照和材质设置、纹理映射、位图显示和图像增强、双缓存动画等功能。OpenGL独立于窗口系统和操作系统，以它为基础开发的应用程序可以十分方便地在各种平台间移植。Direct3D是微软提供的基于COM接口标准的3D图形API，具有良好的硬件兼容性，支持很多最新的图形学技术成果。现在几乎所有具有3D图形加速的显卡都支持Direct3D。但其接口较为复杂，且只能在Windows平台上使用。Java3DAPI是Sun定义的用来开发3D图形和Web3D应用程序的编程接口。除提供OpenGL，Direct3D定义的一部分底层绘制功能外，还提供了一些建造3D物体的高层构造函数。从所处层次看，Java3D兼有基础3D图形绘制库和3D图形引擎的一些功能。3D图形引擎提供面向实时VR应用的完整软件开发支持，负责底层3D图形绘制的数据组织和处理，发挥硬件的加速特性，为上层应用程序提供有效的图形绘制支持。图形引擎一般包括真实感渲染、3D场景管理、声音管理、碰撞检测、地形匹配以及实时对象维护等功能，并提供与3D虚拟环境绘制相关的高层API渲染软件——3D图形引擎渲染软件——常见的图形引擎OpenGLPerformer是一个可扩展的实时3D视景开发软件包，在OpenGL图形库基础上构建，提供了一组标准C/C++语言绑定的编程接口，通过一个灵活的3D图形工具集提供高性能绘制能力。OpenGVS直接架构于OpenGL，Direct3D等3D图形API上，包含一组面向对象的C++API，封装了繁杂的底层图形驱动函数。这些API分为相机、通道、帧缓冲、烟雾、光源、对象、场景、特效、工具等各组资源，开发人员可以根据需要调用这些资源来驱动硬件实时产生所需的图形。Vega支持多种3D模型，提供了许多可选模块，支持导航、照明、动画、人物、大规模地形、CAD数据输入和DIS/HLA分布式应用等需求。OpenSceneGraph（OSG）是一个基于OpenGL的开源3D图形开发库，提供了一套C++API，具有较完整的3D图形开发功能，通过状态转化、绘图管道和自定制等操作，还可以进行绘制性能优化。OSG主要包括场景图形核心、Producer库、OpenThread库以及用户插件等4个部分。VTree是一个面向对象的3D图形开发库，包括一系列C++类和有关函数。VTree生成并连接不同节点到一个附属于景物实体的可视化树结构，该树结构定义了对实体进行绘制和处理的方法。VTK是一个开源库，主要用于3D绘制、图像处理与科学计算可视化。VTK基于面向对象思想，提供一系列C++API。VTK也是基于OpenGLAPI实现的。渲染软件——可视化平台早期流行的可视化开发平台法国达索公司的VirtoolsDevEON公司的EONStudioAct3D公司的Quest3D等近年来，一些游戏公司开发的游戏开发编辑器，也具备类似可视化开发平台的特征，其中代表性的游戏开发编辑器有Unity3D，Unreal等渲染软件——可视化平台Unity3DUnity3D由丹麦Unity公司开发，是一款让玩家轻松创建诸如3D视频游戏、建筑可视化、实时3D动画等互动内容的多平台的综合型游戏开发工具，也是一个全