虚拟现实与VRML－第二章 虚拟现实的接口设备

虚拟现实与VRML第二章虚拟现实的接口设备

第一节位姿传感器

1、位姿传感器要求：机器人、生物学、建筑、CAD、教育等应用领域，都要求知道运动物体实时的位置和方向。虚拟现实系统那么要求知道人体各局部实时的位置和方向。〔1〕3-D空间中的运动的刚体具有三个平移〔沿着X、Y和Z轴〕和三个转动〔偏航、俯仰和滚动〕。〔2〕在物体以高速运动时，应该足够快地测出这六个数值。〔3〕3-D测量不应阻碍物体运动。非接触式测量〔低频磁场、超声、雷达、红外摄像和LED等〕已经代替机械臂等接触式测量。〔4〕3-D传感器都具有一些共同的参数。例如，采样率是每秒测量次数。执行时间是在行为和结果之间的时间延迟。传感器的精度，即实际位置与所测出位置的差。分辨率是传感器检测的"粒度"，即检测的最小的位置变化。位姿跟踪常用的性能参数有：精度，分辨率，采样率，执行时间，范围，工作空间，价格，障碍，方便，对模糊的敏感，容易校准，同时测量的数目，方向相对位置跟踪。〔5〕人体并非刚体。上述六个数值只能描述人体整体的运动，人体各局部之间的相对运动也应该测量。〔6〕位姿跟踪和映射是VE系统的根本要求。常用的要求包括：〔a〕视觉显示对头和眼的跟踪；

〔b〕触觉接口对手和臂的跟踪；

〔c〕视觉显示对身体的跟踪；

〔d〕面部表情识别、虚拟衣服和医用遥控机器人的映射；

〔e〕建立数字化几何模型的环境映射。〔7〕一种工作方式〔"流动"方式〕中，传感器数据连续送给主计算机。这最适于快速运动的物体。但是这加重了通信线路的负担。如果要求以30个画面/秒的速率重复计算，那么每33毫秒要画出一个画面。9600波特率的串行口要花费12毫秒传送6个数的一组数据〔每个数有16bit〕。因此，仅仅通信就要花费33毫秒的36%。另一种工作方式〔"请求"方式〕中，当主计算机请求时，才传送一组的6个数。其它时间不读传感器数据，于是总体画面更新时间中的通信时间局部就下降了。〔8〕用于位姿跟踪和映射的根本传感系统有：机械链接，磁传感器，光传感器，声传感器和惯性传感器。2、各种位姿跟踪器的比较如下第二节视觉显示1、视觉显示概述理想的视觉显示与日常经历中的场景比照，在质量、修改率和范围方面应该是无法区分的。但是当前的技术还不支持这种高真实度的视觉显示，而且也不清楚是否多数应用要求这种高真实度。对任何给定的应用，必须认真评价各种显示特性的重要性，这包括视觉特性〔视场、分辨率、亮度、比照和彩色〕，人类工程学，平安，可靠和价格。视觉显示的根本要求是提供立体视觉。以下图表示，立体视觉的根本原理。图中表示两眼光轴平行的情况，相当于两眼注视远处。内瞳距〔IPD〕是两眼瞳孔之间的距离。两眼空间位置的不同，是产生立体视觉的原因。F是距离人眼较近的物体B上的一个固定点。右面的两眼的视图说明，F点在视图中的位置不同。这种不同就是立体视差。人眼也可以利用这种视差，判断物体的远近，产生深度感。这就是人类的立体视觉，由此获得环境的三维信息。人眼的另一种工作方式是注视近处的固定点F。这时两眼的光轴都通过点F。两个光轴的交角就是图中的会聚角。因为两眼的光轴都通过点F，所以F点在两个视图中都在中心点。这时，与F相比距离人眼更远或更近的其他点，会存在视差。人眼也可以利用这种视差，判断物体的远近，产生深度感。完全的视觉接口包括四个根本局部。(1)视觉显示外表和辅助光学系统，它把详细的时变的光模式投影在用户视网膜上。

(2)产生光学信号的系统〔来自真实场景的摄像机，存贮图像的录像机，生成图形的计算机，或三者的组合〕。

(3)感觉头或眼球位置运动的系统〔这是上一节介绍的位姿跟踪问题〕。

(4)使视觉显示外表相对于人眼定位的系统。这一节只介绍(1)。首先介绍显示外表，然后介绍光学系统，最后介绍有关产品。对虚拟现实〔VR〕，最常用的技术成熟的显示外表类型是阴极射线管〔CRT〕和背光液晶显示〔LCD〕。VR应用有两类主要的视觉显示光学系统：头盔显示和非头盔显示。下面分别介绍不同的显示外表和不同的光学系统。最后介绍现有的产品。2、视觉显示的显示外表对虚拟现实〔VR〕，最常用的技术成熟的显示类型是阴极射线管〔CRT〕和背光液晶显示〔LCD〕。虽然这些技术对近期的虚拟现实应用是很有用的，但几个缺点却阻碍其长期的开展。〔1〕CRT类显示〔2〕LCD类显示CRT技术是多年来在电视机和计算机监视器上广泛应用的成熟技术。CRT技术能给头盔显示器提供小的高分辨率高亮度的单色显示。但这些CRT较重，并把高电压放在人头部上的设备中。此外，开发小型高分辨率高亮度彩色CRT是困难的。在头盔显示中，要求笨重的光学设备形成高质量图像。组合的技术途径可产生高质量彩色图像，并减少重量和价格。近期的途径是把高质量彩色的基于CRT的HMD〔头盔显示器〕引入市场，它使用了加于单色CRT的机械电子彩色滤光技术。这种途径中，CRT以三倍正常速率扫描，并依次加上红、绿、兰三色的滤光器。LCD技术以低电压产生彩色图像，但只具有很低的图像元密度。在头盔显示中，也要求笨重的光学设备形成高质量图像。市场出售的头盔式显示器几乎全部依靠TV〔电视机〕质量的液晶显示。在VR和遥操作领域，不要求大区域显示。只要求紧凑的轻便的高分辨率显示。LCD显示器有待提高其分辨率。〔3〕VRD类显示与基于CRT或LCD的显示器不同的工作是在华盛顿大学人类接口接术〔HIT〕实验室。HIT实验室正研究基于激光微扫描技术的显示VRD，它用微型固体激光器扫描视网膜上的彩色图像。它的优点是不使用笨重的光学设备，可能开发高分辨率、轻便、低价格显示系统。但激光微扫描显示还面对大量技术障碍。VRD〔VirtualRealityDisplay〕是美国华盛顿大学HumanInterfaceTechnologyLab〔HIT〕在1991年创造的。目标是产生全彩色，宽视场，高分辨率，高亮度，低价格的虚拟现实立体显示。MicrovisionInc.具有该技术产品化的专有权。该技术有很多潜在的应用，由军事航天应用的HMD，到医学应用。VRD直接把调制的光线投射在人眼的视网膜上，产生光栅化的图像。观看者的幻觉是，感到这个图像是在前方2英尺远处的14英寸监视器上。实际上，图像是在眼的视网膜上。图像质量很高，有立体感，全彩色，宽视场，无闪烁。VRD的主要特点如下：①很小很轻的眼镜，

②大于120度的大视场，

③适应人类视觉的高分辨率，

④有更高彩色分辨率的全彩色，

⑤适用于室外的高亮度，

⑥很低的功率消耗，

⑦有深度感的真正的立体显示，

⑧具有看穿的显示方式。〔这类似于看穿的头盔显示。在看到激光扫描的虚拟图形的同时，也看到真实场景。〕以下图表示，VRD的工作原理。源图像是要求显示的图像。调制的光源是红绿蓝三基色的光源。水平和垂直扫描器根据源图像对于光源进行扫描。经过光学镜头，在人的视网膜上成像。在普通的屏幕显示中，受控的光线或光发射元素组成高密集的阵列，这个阵列投影到各个象素。但在VRD的显示中，不存在其他屏幕，象素流直接投影到视网膜。VRD中不具备象素持续性质，只有视网膜上光接受器的光收集特性。因此，在VRD提供的光线和人脑产生的图像质量之间的关系，就是很重要的了。源图像直接进入驱动电子设备中，去调制红绿兰三色的光线。每个象素通过水平和垂直扫描器，在视网膜上产生光栅化的图像。视网膜没有持续性质，因此没有闪烁。产生的图像很亮，有很高的分辨率，有很宽的视场。每个象素投影在视网膜上的时间很少，30-40ns。此外，该设备只消耗很少能量VRD的显示设备VRD的主要指标如下：①分辨率只取决于光源的衍射和像差，②亮度可达很高和很低，所以比照度就很大，③传统的显示器不会发出很强的光，所以很难在很亮的环境下看到，VRD的显示可以在很亮的环境下看到，④CRT只能反射可见彩色光中的一局部，VRD发射高饱和的纯彩色光，其彩色逼真度极高，⑤CRT未把电能有效地转成光能，VRD把所有产生的光线投在视网膜，所以允许很强的亮度和很小的能耗，⑥VRD很容易改进性能，⑦VRD提供通用的方法，适用于各类应用，有潜力降低价格，⑧VRD包括很简单的子系统，将以低价格进行大批量生产。IVRD是HITLab为美国海军飞行员研制的交互的VRD。TheOfficeofNavalResearch正在研制IVRD。飞行员用这种设备，能更好地在强光下观看，有立体视觉，通过手指指向显示与设备交互。设备很轻，耗能很少。IVRD课题的目标是：①高亮度彩色图像覆盖在飞行员的真实视场中，

②测量在真实视场中增强图像的位置，

③测量注视方向，以及在增强图像中眼和手的位置，

④在增强图像的视场中360度范围显示传感器数据，

⑤允许观看者要求显示更多信息。3．VRD类显示

VRD的应用包括用于军事，头盔，移动，以及医学上①HMD上的应用。Swanson指出："直升机飞行员需要获取信息，以便做出关系生死的决策。如果信息是以图形或直觉的方式提供的，就能减少飞行员的负担，增加在恶劣环境下的可视能力。HMD在白天和夜间都提供全彩色的图形信息，但缺乏有效的数据接口的联系。"VRD技术的产品Microvision给军队提供了单色双目HMD系统，视场水平52度，垂直30度，显示行数960，水平象素1716，重量2磅〔包括两个显示器，头盔结构，及光学系统〕，图像以"看穿的方式"投影，飞行员同时看到背景场景。②交互的VRD。三维交互显示的VRD技术，可以集成在眼镜或头盔上，产生立体效果VRD的显示设备用于头盔显示器VRD的头盔显示器用于军事③手持的二维显示VRD技术将集成进手提，允许用户看商业网，因特网，e-mail，web页面，，文件等，如同看台式监视器。④医学应用。据估计，美国2%的人有弱视。弱视的人不是全盲，但不能拿到驾驶执照，而且难以阅读和看电视。原因可能是视网膜的伤害〔中心或周围视力的衰减〕，或光路的伤害〔角膜伤害或晶状体伤害〕。VRD使得弱视的人能看到图像。1998年，Microvision与Wallace-KetteringNeuroscienceInstitute签订了合同，在神经外科的平安帽的研究上合作。没有视网膜伤害的病人能通过他的视场看到运动的粒子，具有视网膜伤害的病人实际上能反常地看到他自己的盲区。要求病人跟踪视觉扰动的边缘，于是就产生它自己视网膜的数字图像，这实际上定位了受伤的组织。这个图像与基底摄像机拍摄的照片比较，基底摄像机获取器官内外表的图像。基于VRD的工作站，在过去一年扫描了58个各种视网膜疾病的病人。VRD的未来，将更加紧凑。正在开发边缘发射，超亮度发射二极管，以及微型二极管激光器。这将允许直接的光调制。加上专用集成电路技术，可能产生手持的VRD设备未来的VRD的头盔显示器4．VLSI类显示MITAI实验室用硅VLSI芯片技术实现这种显示特征。比较液晶显示可到达的分辨率和基于硅技术的图像传感器商品的密度，就可以看到密度和性能的潜力。LCD最大分辨率约640×400，象素间距约330m，产生200mm×130mm的显示。硅传感器制造的分辨率为4000×4000象素，点距11m。更小的象素尺寸是可能印制的，但光密度要求用较大的象素区。当前技术下适宜的方案是2000×2000图像显示，象素间距8m，产生16mm×16mm的显示5．全息显示计算机生成的立体图是三维场景的一系列二维视场的光学记录。最后的全息图投影每个二维图像在观看区域中，于是可以看到有水平视差的立体视场。可以产生全色高分辨率图像，以及大的宽视场全息图。然而，这是非实时图像技术，它要求离线记录。为产生全息图要求大量信息，因为必须产生每个视场〔一般100到300个视场〕。计算生成的绕射模式,这种方法是复杂的，计算量大的。直到最近，计算机生成的全息图还只是用于绘图或打印技术记录，用作为离线过程。但是一个新方法允许全息图像实时显示，由快速帧缓冲存储器显示。全息图信号可以实时扫描并发送，这个系统是MIT创造的全息录像2．2．3视觉显示的光学系统VR应用有两类主要的视觉显示光学系统：头盔显示和非头盔显示。它们显示的图像直接联系到用户头部运动〔用传感器测量头部位姿〕，或间接联系头部运动〔用手柄等控制设备或语音输入〕。1．头盔式立体显示头盔显示通过安装显示硬件在头盔上或在头带上。头盔显示的一个显著优点是显示定位伺服机械由人的躯干和颈部提供。这允许不附加硬件就产生完全环绕的观看空间，并消除某些非头盔显示中显示外表定位系统引入的延迟。在许多HMD中，所有图像是合成的，由计算机产生。头盔显示的缺点是重量和惯性约束〔阻碍了用户自由运动〕，由此引起的疲劳，以及随着增加头部惯性而增加运动眩晕征状。头盔显示应有好的空间分辨率、视场、彩色，并应轻便、舒适、代价效益好。头盔显示产生无缝的全环绕的观看体积。头盔显示一般难以制造。高性能HMD价格高，在性能上还有技术难点。(1)高分辨率、小型、轻便、低价的显示还有待实现。(2)重量和惯性约束影响到发生运动眩晕，正确判定方向，以及长期适应性。(3)由于尺寸、性能和价格约束，多数HMD使用定位/聚焦补偿，就给用户提供了冲突的视觉深度信息。(4)HMD的正常工作联系到头部跟踪系统性能〔修改率和延迟〕以下图表示，在头盔中LEEP光学系统的结构。两个液晶显示屏幕分别在两眼前方很近的地方。光学镜头使屏幕上的图像，成像在眼睛前方明视距离处，以便人眼正常观看。光学镜头还会放大图像，以便增大视场。LEEP光学镜头就是一种这样的光学镜头。2．立体眼镜式立体显示非头盔式但要求观看设备的立体显示中，场顺序眼镜〔液晶光阀眼镜〕用于双目分时观看左右图像，偏振眼镜用于双目分别观看不同偏振的左右图像。前者是非头盔的立体显示中常用的方式，又称为立体眼镜方法。后者那么在立体电影院中提供立体显示。非头盔立体眼镜方式显示采用立体屏幕与投影显示。高分辨率彩色立体屏幕和投影显示系统价格较低，因此往往用于计算机图形学和娱乐业。这些系统只要求一对轻便的主动或被动眼镜产生高质量的立体显示，因此给用户施加最小的惯性约束，并是舒适的。在舒适的观看范围的限制下，屏幕和投影显示的静态视场和空间分辨率取决于用户到显示平面的距离。用大的显示平面，不要求光学设备，就可以实现较大的视场〔＞100°水平视场〕。屏幕和投影显示一般比HMD更大更重。这种空间和重量限制是其缺点。此外，必须用伺服控制或多个静态显示外表增加观看空间，提供全环绕视觉环境。增加观看空间的另一个途径是使用与头盔显示中同样的头部位姿传感器非头盔立体眼镜方式显示中，显示设备〔屏幕和投影〕不戴在头上，较廉价，并可提供高分辨率彩色图像。这减少了加于头部的重量和惯性约束，减少了对定位/聚焦补偿系统的体积重量约束以下图表示，立体投影显示的第一种方式，主动式系统。分别对应左眼和右眼的两路视频信号，轮流在屏幕上显示。它们的频率为标准更新率的二倍。观看者佩戴具有液晶光阀的立体眼镜。液晶光阀的开关，与显示的图像同步。于是，在显示左眼的图像时，左眼的光阀翻开，右眼的光阀关闭。同步信号可以通过红外信号传送，眼睛就可以在无线状态工作。要求显示器具有两倍的显示频率。比利时BARCO公司的投影器可以提供这种功能以下图表示，立体投影显示的第二种方式，有单台CRT投影机的被动式系统。投影机轮流在屏幕上显示，分别对应左眼和右眼的两路视频信号。它们的频率为标准更新率的二倍。Z-屏幕分别对两眼的图像，施加不同的偏振。观看者佩戴具有不同偏振的眼镜。比利时BARCO公司的投影器可以提供这种功能。以下图表示，立体投影显示的第三种方式，有两台CRT投影机的被动式系统。两台投影机分别在屏幕上显示对应左眼和右眼的两路视频信号。它们的频率为标准更新率。两台投影机镜头前，分别安装不同的偏振片，施加不同的偏振。观看者佩戴具有不同偏振的眼镜。比利时BARCO公司的投影器可以提供这种功能。以下图表示，立体投影显示的第四种方式，有两台LCD投影机的被动式系统。两台投影机分别在屏幕上显示对应左眼和右眼的两路视频信号。它们的频率为标准更新率。两台投影机内部可以施加不同的偏振。观看者佩戴具有不同偏振的眼镜。比利时BARCO公司的投影器可以提供这种功能。非头盔立体眼镜方式显示还不完善。如果不提供环绕的观看体积，就要求头部跟踪。计算机生成的图像必须被用户跟踪，显示外表必须伺服控制。最后，显示系统的体积重量大于头盔显示3．自动立体显示自动立体显示不要求辅助的观看设备〔如场顺序或偏振眼镜〕，不给用户附加惯性约束。观看区域或观看体积的大小可能有所不同，自动立体显示也可由多人观看。〔a〕透镜显示一个透镜面是圆柱透镜的阵列，它用于产生自动立体三维图像，这是通过把两个不同的二维图像导向各自的观看子区域。在透镜面前方不同的角度上，在子区域内形成图像。当观察者的头在正确的位置时，每只眼就在不同的观看区，看到不同的图像，得到双目视差。透镜成图像对于大的视场要求高分辨率。对CRT技术，象素尺寸限制了最高分辨率，因而限制了视线数目。带宽要求也可能很大，因为要求显示两个视场。此外，两个视场必须实时显示，而且图像被切片并放在透镜后面的垂直条中。可显示的视场的数目受到圆柱透镜聚焦能力不完善性的限制。透镜畸变和光的绕射减少了透镜方向性，于是由反面屏幕聚焦的图像，不是以平行射线出现，而是以某种角度散布。这种散布限制了能彼此区分的子区域数目。透镜面显示的另一个关键问题是背部屏幕图像必须对准缝口或透镜，否那么子区域图像将不会导向适宜的子区域。柱面透镜构成左右眼两个观看区域〔b〕视差档板显示视差档板是放在显示前方的垂直平板，它对每只眼都阻档了屏幕的一局部。视差档板的作用类似透镜面。差异在于它是用档板档住局部显示，而不是用透镜导引屏幕图像。屏幕显示两个图像，每个分成垂直条。屏幕上显示的条交替为左右眼图像。每只眼只看到它的条。视差档板显示一般不使用，因为有几个缺点。首先，显示的图像太暗，因为档板档住每只眼大局部光。而且，对小的缝宽度，由缝隙的光扩散可能是问题，这是因为光线散射。此外，CRT图像必须划分成条。以下图中，上面一图表示棱柱透镜对两幅图的导向作用。原理类似于柱面透镜。下面一图表示视差挡板对两幅图的局部遮挡〔c〕切片堆积显示切片堆积显示也称为多平面显示。它由多层二维图像〔切片〕构成三维体积。正如发光二极管〔LED〕的旋转线可以产生平面图像感，LED的旋转平面可以产生体图像。类似的体积可以用CRT显示或运动镜面扫描。运动镜面必须以高频运动很大距离，所以也可以用变焦距镜面。一般用30Hz声音信号振动反射膜片。在镜面振动时，聚焦长度改变，反射的监示器在截断的金字塔型观看体积中形成图像。镜面连续改变其放大率，使随时间扫描的图像连续改变其深度。这个途径的变型正由TI公司开发。在这个技术中，17m见方微机械镜面，由硅梁支持在对角上。两个未支持的角涂上金属，用作静电驱动器电极，它使镜面拉到一边或另一边。驱动速率约10微秒，角偏转约10°，允许微镜面偏转入射光形成高分辨率显示。一个版本包含约700×500象素，使用由彩色滤光轮得到的帧序列彩色，以及每个象素强度的6位脉宽控制。切片堆积方法描绘一个照亮的体积，使物体是透明的，而被遮档的物体不能消隐。对空间数据集和固体建模问题这可能是理想的。但它不适于有消隐外表的照片和真实图像。增加头部跟踪就允许消隐外表在绘制步骤对一个观看者近似地去掉。然而，不是所有外表都可以正确绘制，因为两眼可能由不同位置观看2．2．4视觉显示的产品1．头盔显示至今的HMD商品主要包括低分辨率大视场基于LCD系统。历史上，广泛应用的HMD商品是VirtualResearchFlightHelmet，VPLEyePhone和LEEPSystemsCyberFaceⅡ。所有三者都提供100°到110°水平视场，用LCD屏幕，有效的空间分辨率约300×200象素，用标准的NTSC外观(宽高比)。所有设备都在1万美元以下。VPLResearch推出了较高分辨率HMD〔称为HRX〕，以后又因可维修性差而放弃了。英国的WIndustries推出粗的HMD〔称为Visette〕，特性类似于VRFlightHelmet。VRFlightHelmet和VPLEyephone都已不再销售，只有很少的CyberFace还在使用。VirtualResearch没有继续它成功的FlightHelmet，它推出了一种轻便的HMD，使用小型单色CRT以及彩色轮，它称为EYEGEN3。这个28盎司系统取两个NTSC输入，分辨率250(水平)×493(垂直)。其视场在100%双目重叠时为32°，在50%双目重叠时为48°。它有很好的亮度与比照，价格低于8000美元。在较高档的商品范围〔约15万美元〕，KaiserElectro-Optics推出了ColorSimEye。这是军用研究的结果，它在40°对角视场上提供1280(水平)×1024(垂直)的隔行扫描线。正在开发60°-80°视场的产品。也有单色产品。CRT安装在头部侧面低处，减少头部转动时的惯性约束。简单的光学设备把图像送进操作者眼睛。它提供44%穿透能力。外表稳定的铁电液晶光闸用于顺序显示三基色，其更新率60Hz(180Hz扫描率)，其重量3.5磅。头盔显示器性能和价格HMD模型分辨率视场重量(kg)价格Eyephone2

(VPL)LCD

360×24090°水平

60°垂直2.4$11,000FlightHelmet

(VirtualResearch)LCD

360×240100°水平2$6,000CyberfaceII

(LEEPSystems)

LCD

479×234140°水平1$8,000Tier1

(VRontier)LCD

479×234112°水平1.5$3,800HMSI1000

(RPI-A.T.G)LCD

479×23465°水平

46°垂直0.22$5,000HMD-131

(VRInc.)CRT-单色

1280×1024

（30Hz）50°

对角线1.5$70,000Datavision9c

(n-Vision)(30Hz)CRT-彩色

1280×96050°

对角线1.5$75,000Boom2c

(FakespaceInc.)1280×1024

(60Hz)140°水平

90°垂直机械臂

支撑$88,800Cyberscope(SimsalabimSys.)VGA47°水平

35°垂直监视器

支撑$200基于CRT的头盔产品〔a〕为FlightHelmet，〔b〕为CybefaceII，〔c〕为Tier1，〔d〕为HMSI1000。UltrasonicHeadTracker超声头部跟踪器

FittingAdjustment佩带调节器

LCDDisplay液晶显示器

ChestCounterweight胸部配重

Stereo/MonoSwitch立体/平面开关

Detachableview可拆卸的显示器

Light-WeightViewer轻便显示器〔a〕为HMD131，〔b〕为Datavision9cOptics光学镜头

Mirror镜子

CRTCRT以下图表示，美国VIRTUALI-O公司的头盔显示器产品，I-glasses。重量240g美国01Products公司的头盔显示器产品，PT-01。显示象素为800×225〔180000〕。日本岛津制作所的头盔显示器产品，1000HRpv。显示象素为800×600。重量740g日本AEC公司的头盔显示器产品，VirtualResearchFS5。水平显示象素为800。重量1.07kg美国VirtualResearchSystems,Inc.公司的头盔显示器产品，V8。显示象素为640×480。重量1.038kg日本SONY公司的头盔显示器产品，LDI-100。显示象素为832×642。重量120g。近年为各种军事研究应用开发了先进的高性能HMD。这些系统虽然功能强，但价格往往超过50万美元。最初为军用开发的高档HMD技术已转向商业，新的市场已形成了低档的设计。轻便，中等分辨率〔约1000水平线〕，彩色，看穿的HMD在20万美元以下。较低分辨率系统〔NTSC水平〕在1万美元以下。中等分辨率非头盔场顺序投影系统在2万美元以下。等效的BOOM类系统在10万美元以下。商业压力会促进资助。当前的商业和技术趋势使VR的显示还有几个缺点。当前最好的系统的分辨率相当于高清晰度TV。高分辨率的宽视场的眼分辨率限制的显示系统，有待进一步研究。为提供180°(水平)，120°(垂直)的视场〔人的视场〕，要求显示设备提供约4800(水平)×3800(垂直)线的分辨率。应该强调开发小型高分辨率CRT或固态显示2．非头盔的显示

经典的基于CRT的屏幕和投影显示有足够的扫描速率和带宽，可以用场顺序技术产生高分辨率〔1000水平线〕立体显示。这种形式的高分辨率彩色高带宽显示，对屏幕型式约2000美元，对大屏幕投影方式约为13000美元。这种立体显示利用时间顺序方法提供左右眼交替的立体显示对。在计算机图形市场上，场顺序设备最早的提供者是StereographicsCorporation。它制造了一系列LCD光闸眼镜，它用红外技术作场同步。这些眼镜和红外发射器可以加到适当的计算机和投影系统，在2000美元以下。3DTV提供低价格，有线同步的，场顺序系统。整个系统价格比可比的头盔显示低一个数量级。这种立体眼镜的显示系统，广泛应用于计算机图形学和低档的VR系统。它以较低的本钱实现了立体显示。使用主动立体眼镜的立体显示系统。〔a〕为标准的布局。其中利用红外信号传送同步信号，用于控制液晶眼镜的开关。眼镜上备有轻便的锂电池，眼镜在无线状态下工作〔b〕为用于VR的布局。除了标准布局中的上述设备外，眼镜上还有头部跟踪的超声接受器。超声接受信号要经过导线传给头部跟踪系统，眼镜在有线状态下工作3．混合的立体显示系统

Fake空间实验室开发了一类显示，称为BOOM。它的显示器安装在六自由度支持结构上。用户以两手抓住显示器，转动显示器改变观看方向，好似它是望远镜。用按钮控制，在VR中向前向后运动。这种粗的地面安装设备有几种布局。低档系统用两台CRT显示提供640(水平)×480(垂直)单色分辨率。BOOM的高档三色版本提供1280(水平)×1024(垂直)隔行分辨率，使用彩色滤光技术。BOOM观看者在六自由度支持结构上有集成的跟踪传感器。这个跟踪系统，在改变观看方向后5ms以内，很快把方向位置信息送给计算机以下图表示，BOOM系统的工作原理。图中可见，由机械臂支持的显示器混合的屏幕显示系统，使用小的显示外表，通过显示支持结构支持显示系统。显示系统通过伺服控制或人操纵跟随用户头部运动。这些系统去掉了头盔显示的惯性约束，并允许用小型高分辨率彩色屏幕显示设备。此外，通过显示支持结构的仪表得到头部位姿信息，于是不增加复杂性就可以得到大的有效的观看空间。在伺服控制的方案中，由电子机械控制机构产生的延迟和失真必须解决，还要注意与人头部相连的电源设备的平安问题。人操纵的设备没有平安问题，但是必须由一两只手移动视觉设备，于是这一两只手就不能用于人机交互的任务。4．多面的显示系统〔VirtualEnvironmentEnclosure〕多外表显示系统〔VirtualEnvironmentEnclosure〕至少具有三个显示外表。显示外表可以是墙面，天花板，和地面。它们彼此相连构成房间。最早的布局是立方体的三个显示墙面和一个显示地面。典型的尺寸是，每边长度10英尺，允许多人同时在这个虚拟环境中。多面显示系统中，同时在三面，四面，五面或六面墙面上显示图像。显示图像可以充满整个视场，增加沉浸感。第一个VirtualEnvironmentEnclosure是1991年伊利诺伊〔Illinois〕大学开发的CAVE〔CAVEAutomaticVirtualEnvironment〕，它在图形学会议SIGGRAPH92上发表。由多台计算机产生的图像，被镜面反射到投影屏幕。视点在环境中的移动，受一个主要用户的控制。该用户身上有位置跟踪设备〔如磁跟踪器〕，测量他注视的地方。该用户还用操纵杆控制视点的移动。为了观看立体显示，所有用户都要佩带立体眼镜。一个缺点是，除了主要用户外，每个人都好似乘车一样，会出现仿真眩晕。CAVE的房间尺寸是30'×20'×13'。投影机的光学系统被镜面折叠。每个投影面用单独的投影材料，在三面墙交界的两个墙角处，从房顶到地面拉一根1/4英寸的缆线。缆线的遮挡会破坏在墙角处的立体效果。CAVE由PyramidSystems,Inc.销售。与伊利诺伊大学合作，保持很强的技术支持C2是由爱荷华〔Iowa〕州立大学制造的。通过与爱荷华工程部的合作，他们试图改进CAVE的缺乏。主要改进包括：移动地板投影由用户前方到用户前方。这就把用户在地板上的阴影移到用户前方，不至影响显示。在墙角处，用架子把两边的墙面夹在一起，防止有阴影投在屏幕上。用Unistrut结构，提供更好的立体声效果。CABIN〔ComputerAidedBoothforImageNavigation〕是东京大学制造的五面显示的系统。它有强化玻璃的地板，还有三面墙和天花板的显示。得到工业界支持。NAVE〔NAVEAutomaticVirtualEnvironment〕是由GeorgiaTechVirtualEnvironmentsGroup制造的。课题本钱$60k，适于用在大学的实验室。它用视觉和其他物理感觉增强全局的沉浸感。两个人坐在一个椅子上，采用力反响手柄控制运动。声音系统很好。还通过地板发出震动。用旋转和闪烁的光线加强气氛。C6正在由爱荷华〔Iowa〕州立大学制造，是三维全沉浸的合成环境。它的房间中，四面墙，地面和天花板都是投影屏幕，显示背投立体图像。一面墙可动，允许用户进出房间。VirtualEnvironmentEnclosure的改进包括：减小空间要求，增加投影面，增加立体声音，增加物理反响，以及降低价格。以下图表示，CAVE1系统的工作原理。该系统中，前方，左方，右方，上方的四面墙，都是投影屏幕。图中可以看到，对四个屏幕的四台投影机和四个反光镜CRT、LCD、VRD等显示技术的比照方下

分辨率产品价格重量电压功耗环境CRT高很成熟低重高压大不很亮LCD低成熟低轻低压小不很亮VRD很高没有高

很亮头盔式、立体眼镜式、自动立体显示的比照方下

视场重量约束价格产品分辨率头盔大大大高成熟较高立体眼镜小小小低成熟高自动立体显示大无无

无高第三节听觉显示1、听觉显示概述虚拟环境的听觉接口应能给两耳提供一对声波。(1)它应有高逼真性，

(2)能以预订方式改变波形，作为听者各种属性和输出的函数(包括头部位姿变化)，

(3)排除所有不是VR系统产生的声源(如真实环境背景声音)。对增强现实系统可以放松上述条件(3)，它的意图是组合合成声音与真实声音。为了满足这些要求，听觉显示系统应该包括发声设备。下面将介绍两种发声设备。为了使用户产生置身于某种声场的临场感，要求解决声音空间定位和建模问题。下面也将说明。为了仿真不同类型的声源，要求合成各类特定声源的声音信号。下面只介绍非语音信号的合成2、声音显示设备一般讲，用耳机最容易到达虚拟现实的要求。在使用喇叭，并远离头部时，每个耳朵听到每个喇叭的声音，控制问题很困难。虽然商业化的高逼真电影往往声称喇叭有很好的形成声象能力，但用户限制在房中单一收听位置，只得到固定方位声象〔不补偿头部转动〕，而且房间的声学特性不容易处理。此外，由于耳朵完全翻开,不可能排除环境中附加的声音。最后，虽然与耳机有关的接触感可能限制听觉临场感的程度，但是由于用户需要在虚拟和真实环境之间来回转移，这种与耳机接触可能是有用的。在任何情况，由于视觉接口会存在这些问题。在需要喇叭的情况下，可能发生高能低频声爆破。这种情况，喇叭可能用于振动局部身体，而不仅是耳膜。〔1〕耳机耳机有不同的电声特性，尺寸重量，以及安在耳上的方式。一类耳机是护耳式耳机，它是大的重的，并用护耳垫连在耳朵上。另一类耳机是插入耳机(或耳塞)，声音通过它送到耳中某一点。插入耳机可能很小，并封闭在可压缩的插塞中(或适于用户的耳模)，它放入耳道中。耳机的发声局部也可能远离耳朵，其输出的声音经过塑料管连接(一般2mm内径)，它的终端在类似的插塞中。所有耳机可以送交宽带宽的声音(高达15kHz)，有适当的线性和输出级别(高达约110dB声压级别)。为了精确控制耳膜的声压，需要知道由耳机驱动电压到耳膜声压的传输功能。可以使用接近耳膜的探针麦克风声级测量仪得到信息。这些测量是复杂的，特别是在几kHz的频率。一般，这个传输功能更复杂，而且当耳膜与耳机之间的封闭空间的大小增加时，也是不同的封闭耳朵的护耳式耳机具有比插入耳机更多的共振。可以预计在一个指定的人身上重复安放耳机，会有很大的可变性。但是在高频下听力阀值的测量指出，即使在大的超级耳机中，测量-重测量可变性测试得到的差异是小的(在14kHz为几个dB)。这样，就不必要对给定的听者重复测量这个传输功能。对某些应用，各人之间的差异可能是不重要的，在一个人的耳朵上的校准就足够了。插入耳机(或耳塞)，依靠与声音传送区有高的接触区域比，可以提供外部声音较好的衰减(在4kHz以上约35dB，在250Hz以下降到约25dB)。护耳式耳机可以到达类似的高频衰减，但只有较少的低频衰减。最近开发的主动消噪音护耳式耳机提供高达15dB附加低频衰减，因而使其整个衰减特性类似于插入耳机。组合插入耳机和主动消噪音护耳式听力保护器可以到达最大的衰减。即使包括保护器，价格也不超过1000美元。除了在娱乐应用上的工作外,在VR领域涉及听觉显示的多数研究开发集中在由耳机提供声音。但这有两个缺点。(1)它要求把设备安在用户头上，从而增加负担。

(2)它只刺激听者耳膜。考虑到(1)，对许多现有的头部跟踪技术，头部跟踪设备与耳机都必须安在头上。如果视觉显示也是头部安装的，那么与增加耳机有关的人类工程问题就是次要的。即使不要求听觉显示，视觉显示也要求头部跟踪器，增加耳机到头盔显示后所附加的负担是较小的。考虑到(2)，即使耳机能产生足够的能量震聋用户，但通过耳机的刺激缺乏以给用户提供声音能量，影响耳朵以外的身体部位。虽然对VR领域的多数应用，听觉系统对正常听觉通道的刺激(外耳、耳膜、中耳、耳蜗等)是精确的，但是如果希望在环境中提供真实的高能声音事件的仿真(如爆破或高速飞机低空飞过)，那么其它身体部位的声音仿真也是重要的(如振动用户肚子)。2．喇叭设计非耳机声音显示(如喇叭)多年来是音响工业的焦点。现有的许多喇叭系统，象耳机一样，在动态范围、频率响应和失真等特征上适用于所有VR应用。它们的价格也是适宜的〔虽然比耳机更贵〕，特别是要求在很大的音量上产生很高强度声音时(如在大剧场中的强声音乐)。对VR应用，喇叭系统的主要问题是到达要求的声音空间定位(包括声源的感知定位和声音的空间感知特性)。喇叭系统空间定位中的主要问题是难以控制两个耳膜收到的信号，以及两个信号之差。在调节给定系统，对给定的听者头部位姿提供适当的感知时，如果用户头部离开这个点，这种感知就很快衰减。至今还没有喇叭系统包含头部跟踪信息，并用这些信息随着用户头部位姿变化适当调节喇叭的输入。这个问题在用耳机时不存在。在耳机中，给定的耳膜收到的信号仅取决于该耳的耳机发出的信号。与耳机情况不同，在用喇叭时，给定耳膜收到的信号受到房间中所有喇叭发出的所有信号的影响，也取决于声音在房间中由喇叭到耳膜传送中经受的变换。在VE领域中，使用非耳机显示的一个最有名的系统是CAVE〔伊里诺斯大学开发的系统〕。当前的CAVE系统使用四个同样的喇叭，安在天花板的四角上，而且其幅度变化(衰减)可以仿真方向和距离效果。在正在开发的系统中，喇叭安在长方体的八个角上，而且把反射和高频衰减参加用于空间定位的参数中。CrystalRiverEngineering开发的系统使用的方案类似于耳机空间定位系统(如Convolvotron)，所以用户可以由一种系统改成另一种，只花费最少时间。房间声音建模1．声音的空间分布虚拟环境听觉接口以前多数工作是要提供声音的空间分布。在这个领域，工作最初集中在仿真正常的空间分布。很少注意提供超正常分布。2．房间声学建模当前，Acoustetron是唯一的包含简化的房间实时声学建模的实时声音空间定位系统。即使声学模型是简单的，并只有少量一阶和二阶反射，系统提供了加强的现实性。增强现实显示

1．声音的空间分布要求对任何声音提供正常空间分布。这要求考虑被传送声音的复杂频谱。声音的传输涉及到空间滤波器的传输功能，这就是在声波由声源传到耳膜时发生的变换(在时间域内，在滤波器脉冲响应中的时间信号，实现同样的变换)。由于存在两个耳朵，每只耳朵加一个滤波器〔由声源传到这个耳膜时发生的变换〕。由于虚拟环境上多数工作集中在无回声空间，加之声源与耳的距离对应的时间延迟，确定滤波器只需要根据听者的身体、头和耳有关的反射、折射和吸收。于是，传输功能看作与头有关的传输功能(HRTF)。当然，在考虑真实的反射环境时，传输功能受到环境声结构和人体声结构的影响。对不同声源位置的HRTF估计，是通过在听者耳道中的探针麦克风的直接测量。一旦得到HRTF，那么监测头部位姿，对给定的声源定位，并针对头部位姿提供适当的HRTF，实现仿真Wright-Patterson空军基地的McKinley开发了一个时域空间定位系统，它给驾驶员提供三维声音。系统中的HRTF有足够的方位密度(HRTF在方位上测量每一度)，所以不要求方位的插值。在上下角上，测量密度较差，需要使用线性内插。已开发出新的时域处理器。这种市售的机器比以前的系统有更多的存储器。此外，产品设计加大了灵活性，使研究者能分配处理能力。ConvolvotronⅡ使用频域滤波器。这是下一代空间定位设备。它使用频域滤波，以较低价格提供更大的容量。此外，,因为它是通用的大量生产的数字信号处理板，所以系统完全模块化，容易升级2．房间声学建模更复杂的真实的声场模型是为建筑应用开发的，但它不能由当前的空间定位系统实时仿真。随着实时系统计算能力的增加，利用这些详细模型将适于仿真真实的环境。建模声场的一般途径是产生第二声源的空间图。在回声空间中一个声源的声场建模为在无回声环境中一个初始声源和一组离散的第二声源(表示回声)。第二声源可以由三个主要特性描述：(1)距离(延迟)，(2)相对第一声源的频谱修改(空气吸收，外表反射，声源方向，传播衰减)，以及(3)入射方向(方位和上下)。通常用两种方法找到第二声源：镜面图像法和射线跟踪法。Lehnert比较了两种方法的计算效率，这是相对于可到达的帧频率，以及对有24个反射面的中等复杂性房间的实时性能。对一个特定的发射接收布局，计算了8个一阶和19个二阶反射。对这个测试场景，镜面图像法比射线跟踪法更有效。此外，镜面图像法确保找到所有几何正确的声路径。射线跟踪法，难以预测为发现所有反射所要求的射线数目。射线跟踪方法的优点是，即使只有很少的处理时间，它也能产生合理的结果。通过调节可用射线的数目，它很容易以给定的帧频工作。镜面图像方法由于算法是递归的，不容易改变比例。射线跟踪在更复杂的环境得到更好的结果，因为处理时间与外表数目的关系是线性的，不是指数的。虽然对给定的测试情况，镜面图像法更有效，但在某些情况射线跟踪法性能更好。由于声场模型的计算是声音处理流水线中最消耗时间的局部，所以这种计算的优化是值得的。计算资源可以按照到达仿真精度的要求来分配。例如，假设初始声源已给定，那么不要求反射滤波器，而且可以分配给HRTF更多的资源〔更多的滤波器系数〕，得到更精确的空间图像。对二阶反射，必须进行频谱滤波，但是由于延迟反射的方向性在心理声学上不显著，那么对HRTF滤波不要求精确性。声学单元的结构应允许分配资源的任务。CrystalRiverEngineering和NASA正在研究实时合成复杂声场的有效算法和信号处理技术增强现实显示听觉通道的增强现实很少引起注意。如在视觉通道一样，在许多应用中必须组合计算机合成的声音信号与采样的真实声音信号。采样的真实声音信号来自当地环境，或借助遥操作系统来自远地环境。一般来自当地环境的信号可以由耳机周围的声音泄漏得到，或者由当地环境中的定位麦克风〔可能在头盔上〕得到，并把声音信号加在电路中合成而不是在声音域合成。但是因为希望在参加以前处理这些环境信号，或者希望在环境信号声源在远地的情况利用同样的系统，所以要用后一种途径。声音增强现实系统应能接收任何环境中麦克风感受的信号，以适应给定情况的方式变换这些信号，再把它们增加到VE系统提供的信号上。当前,声音增强现实系统最明显的应用是使沉浸在某种VR任务中的用户同时处理真实世界中的重要事件(如真实世界中的警告信号)4非语音声音合成1．非语音声音合成问题在声音空间定位和建模领域中进行了很多工作，在物理建模和计算机生成非语音声音领域的工作还很少。2．非语音声音合成的方法〔1〕附加合成

〔2〕相减合成

〔3〕物理建模3．非语音声音合成的设备当前用于非语音声音生成的设备可分两大类：采样器以数字形式记录声音并在以后实时重放，合成器依靠为模仿乐器开发的声音生成技术的分析与算法1．非语音声音合成问题问题是怎样建立实时系统，以能产生伪音乐声音，以及纯环境声音〔如开门或打破玻璃〕。理想的合成设备能灵活地产生全连续的非语音声音，并能实时地连续调制与这些声音有关的各种声音参数。这种设备用作声源特征产生器，它可以用作声音空间定位系统的输入。于是，至少在开始，声源产生和空间合成是声音显示集成系统中功能别离的部件。控制别离设备要求某些额外代价，优点是每个部件可以开发、升级、并用作独立部件，于是系统不至封锁在过时的技术中。用于产生非语音声音的很多算法是基于最初为合成音乐及语音而开发的技术。语音合成的主要目标是产生智能的〔或自然声音的〕语音波形。为此必须精确地合成人的语音。在语音合成中，最终的声音输出可以根据可测的信息量及语音的逼真度确定。在合成音乐中，一般目标不是特殊的或受限的。它们根据设计者的某些主观准那么确定。通常目标是产生有特定感知质量的声波，或者仿真某些传统的物理声源，或者产生某些有适当属性的独特声音。因为合成音乐的目标比合成语音更多样，所以有大量不同的可利用的合成方法。方法的选择取决于特定的目标，设计者的知识和资源。在任一种合成方法中，设计者控制某些时变参数，产生不同感知质量的声波。计算机控制的参数可能关系到被建模乐器的物理参数，关系到声波的形状和频谱，或关系到希望的感知质量。通常集合这些不同的技术，可以得到特定的效果。下面是某些一般的技术。2．非语音声音合成的方法〔1〕附加合成计算机控制的合成的一种方法是附加合成。在这种方法中，是用短时间富里衰方法叠加简单的正弦波，产生合成声音〔或仪器谱线〕。这种方法的一个问题是产生有特定质量的声音信号所需的参数数目太大，这反映出许多重要的音乐感知远远超出短时间富里衰参数。于是，合成一个具体质量要求的声音是麻烦的。附加合成往往用于仿真声音。首先分析要求的声音，再直接测量这些参数。在参数中小的改变可以细调声波。另一个常用技术是频率调制(FM)合成。设计者规定信号的载频、调制系数和调制频率。通过改变载频与调制频率的关系，合成的声音可能是调谐的或非调谐的。在调谐的合成声音中，这个关系确定在声音中存在什么泛音〔这在音色感知中是重要的〕。改变调制系数的值，可以控制合成声音频谱的散布，从而控制感知的程度。由于频率调制参数值与合成输出的感知方面之间的关系是直接的，所以频率调制方法是常用的。这个技术被许多市售的合成器采用。〔2〕相减合成相减合成是音乐合成的术语，它是由滤波操作形成要求的声音频谱，成为物理建模的现代途径的先导。相减合成往往用于乐器的简单的物理模型。设计者规定声源波型和滤波器，它们可以符合或不符合真实乐器的关系。传统的乐器也可以用这种方式建立数学模型。它们被某些振动噪音源鼓励，乐器的物理特性过滤这些声音。对于铜管乐器，用户唇的振动是声源；在弦乐器中声源是弦振动；对于歌手，声源是音带的作用。影响声音输出的物理特性包括：乐器形状、有效长度、材料反射等。通过建模刺激源的振动方式，乐器物理特性的声音效果，相减合成可以用于合成的乐器。在演奏乐器时，通过开闭键或阀门，可以改变乐器的有效尺寸。这些变化引起建模的滤波器随时间改变。因为建模联系到物理参数，所以不难调节参数到达要求的效果。相减合成是这种集成特性建模的第一个尝试。基于集成特性的几个最近的物理建模技术包括：数字波导技术，传递函数技术，模态合成，以及物质弹性模型。它们能合成乐器声音和人的歌声。〔3〕物理建模另一种选择是开发一个方法，通过建模物理声音事件的运动产生声音，如波方程的数值积分。由解乐器运动方程产生声音，能获取乐器的自然参数，包括许多重要的物理特性。表示声音系统的一般方法是利用在时域和三维空间域的偏微分方程〔PDE)。但是强化的数值计算和实时计算的约束说明这是不现实的。为减小声音生成任务的计算复杂性，且不放弃表示的物理本质，一种途径是用物理模型的集成特性，而不是在微观层次求解问题〔解偏微分方程〕。

碰撞声音是虚拟环境中简单声音事件的例子。可以预测两个物体可能的碰撞，这是通过观看它们的路径。物体实际破碎或变形的短促声音是碰撞声音，它表现出物体结构怎样受碰撞影响为了说明怎样用物理模型产生碰撞声音，选择均匀杆作为实例结构。对杆结构的振动，机械理论有认真的研究，并为碰撞声音合成提供了坚实的根底。碰撞可以分解成两局部：开始碰撞事件的鼓励局部，发生振动现象的谐振局部。鼓励模块受到碰撞力、位置和持续时间的影响。谐振模块取决于结构约束条件、材料密度、弹性模量、以及物体几何尺寸〔如长、宽、高〕。因为均匀杆有简单的结构，所以可能以方程描述它的主要振动方式，并根据集成物理特性计算自然的谐振频率。自然谐振频率表现材料类型和物体形状之间的紧密联系，并可能显示物体特性。对复杂的自由形式物体，可以用有限元分析计算对主要振动模式的谐振频率。另一个课题涉及音乐合成的广泛领域，并关系到在VR中使用声音。它利用特殊的计算结构进行音乐作曲，用特殊的硬件和软件作音乐合成。3．非语音声音合成的设备在采样器中，许多不同的声音可以精确地绘制，但为精确记录声音要求大量工作和存储介质，而且对声音参数只有有限的实时控制。反之，合成器提供适当程度的实时的计算机驱动的控制。广泛应用的合成器和采样器是基于MIDI(乐器数字接口)技术。当连到标准串行计算机线路(19.2kbar)时，这种设备的波特率(31.25kbar)，还是低的，不能连续实时控制多个声源。一般，基于合成的MIDI设备(如使用频率调制的设备)，在实时控制的类型上比采样器更灵活，但可绘制的声音质量的变化上它不够一般。例如，难以由FM合成器产生环境声音〔如打破物体〕最一般的系统是基于声源特性的物理或声学模型的合成。一个简单但不够通用的途径是重放采样的声音或利用一般的MIDI设备。由于很一般的物理模型难以开发(或许是不可行的)并计算复杂，所以更实用的直接可到达的系统是混合途径的，它使用的技术包括实时操作被采样声音的简单参数(如音调、滤波带宽、或强度)，以及被采样声音间的实时内插(类似计算机图形的变形)。EmuMorpheus合成器是这种途径的例子。当前几个合成器厂商发布了基于物理建模技术的新产品。MediaVision开发的声音卡是基于数字波导，YamahaVL1键盘合成器基于未说明的物理建模技术，基于Macintosh的KorgSynthKit允许通过视觉编程语言的互连来构造声音，它包括表示锤子打击、弯弓、簧片的模块单元。随着产生这种仿真的算法和硬件的进展，也需要为虚拟听觉开发可扩充的协议。这个协议必须包含今天使用的所有声音模型，以及将来开展中预期的模型。这个协议应允许系统开发者和设计者利用VR技术第四节力觉和触觉显示

虚拟现实的接口设备—力觉和触觉显示概述力觉和触觉显示2．4．1力觉和触觉显示概述1．接触反响和力反响接触接口可以按照提供给用户的信息分成两类，接触反响和力反响。接触反响给用户提供的信息有：物体外表几何形状、外表纹理、滑动等。力反响给用户提供的信息有：总的接触力、外表柔顺、物体重量等。接触接口还可以分成：局部身体运动接口，以及全身运动接口。局部身体运动接口，安装在人体的一局部，如手、臂、躯干等。全身运动接口那么全面支持在虚拟环境中的主动和被动的运动，但这种接口技术还远未成熟。机械接触接口的一个重要的指标是：自由度〔DoF〕。由操作器的观点看，自由度是关节的数目。这些关节是位置受控的，也是力矩受控的。接触反响和力反响是很重要的感觉通道。Cutt认为："人们以各种方式利用触觉反响完成任务。一种方式是探测局部环境，实现对物体、位置和方向的触觉识别。其次，主动利用触觉识别来操作或移动物体，完成任务。在虚拟环境中缺乏触觉识别就失去了给用户的主要信息源。当前在虚拟环境中主要的数据获取是用视觉和非接触传感器，如声音。许多任务需要灵巧的操作和接触感〔如遥控机器人探测和感觉物体的外表形状〕，没有触觉识别就不能满足它们的信息要求。"以下图表示，各种不同类型的抓取动作。图中从左到右，按照力量大小和灵巧程度排列接触接口允许用户接触、感觉、操作、创造、以及改变虚拟环境中的三维虚拟物体。人类的接触功能在与虚拟环境交互中起重要的作用。接触感不仅可以感觉和操作，而且是人类许多活动的必要组成局部。因此，没有接触和力反响，就不可能与环境进行复杂和精确的交互。2．接触反响和力反响的要求在虚拟现实交互中，没有真实的被抓物体。虚拟接触反响和力反响需要复制实时计算的接触力、外表形状、平滑性和滑动等。除了对所有传感通道的实时要求外，对虚拟接触反响和力反响还有某些特殊要求。首先是平安性，因为虚拟力反响在用户手上加真实的力。这种力应该是大的，使用户的手停住〔在硬物体仿真中〕。同时这种力不应该大到伤害用户。在这种情况，好的设计是"故障-平安"的，一旦计算机出故障，用户也不会受伤害另一个问题是所用的反响执行机械的类型。液压执行机械是遥控机器人设计者的选择，这是由于其优越的控制带宽。但在虚拟现实应用中，特别是非工业设备上，液压是危险的〔由于高压泄漏〕，脏的。液压控制阀很昂贵，使硬件本钱很高。如果这些系统大量应用在非工程上，那么宁愿选择廉价且平安的技术。气动执行机械是廉价、干净的，并因空气的弹性，它是平安的。它的控制带宽低于液压执行机械。但与以前介绍的慢的手阻抗控制器比，气动执行机械有较高的带宽。另一个问题是轻便和用户的舒适。力反响执行机械的困难是需要提供足够的力，同时保持反响硬件轻便且无打搅。如果执行机械太大且太重，那么用户很容易疲劳，并且不希望笨重的开环控制。重的反响结构可能需要加配重，但这会增加复杂性和价格。轻便也涉及到容易使用和在现场安装。平安问题是接触反响和力反响的首要问题。大局部接口设备是无接触式的，与人体不接触，不会伤人。机械式位姿传感器是接触式的，但是它只测量，不产生力，也不会伤人。接触反响和力反响设备需要对人体施加力。一旦发生故障，就会对人体施加很大的力，伤害人3．接触反响和力反响的技术接触接口需要几种机械部件，以及描述环境性质的模型和软件。至今还只有很少的接触反响和力反响设备。他们采用以下的技术。〔1〕软件和模型

〔2〕心理物理学

〔3〕作用器〔1〕软件和模型：这是必要的。这是为了确定用户的肢体与虚拟物体的碰撞，并产生适当的力和作用。只有少量软件支持接触接口设备，如MS-DirectInput,CyberimpactSDK,SensableTechnologiesGHOST,和Immersion'sFeelIT。以下图表示，实现力反响的系统的结构图。动态仿真局部计算物体〔包括工具和其他物体〕的位置。一方面把这些位置送给图形计算机，在图形终端上显示。另一方面动态仿真局部根据工具和物体的接触，计算工具上承受的反响力。把反响力信号送给触觉设备驱动器，在手柄的触觉设备上施加相应的反响力。动态仿真局部接受手柄的位置信号，用于上面的计算。2触觉显示设备接触反响在物体辨识与操作中起重要作用。它也检测开始接触，所以在任何力反响系统中也是需要的。人体具有二十种不同类型的神经末梢，给大脑发送信息。多数感知器是热、冷、疼、压、接触等感知器。接触接口给这些感知器提供：高频震动、形状或压力分布、温度分布等信息。1．气动接触反响提供接触反响的一种方法是使用安装在手套上的微型空气袋。这种途径是AdvancedRoboticsResearchLtd.(ARRL)和AirmuscleLtd.在设计"TeletactGlove"时采用的。系统包括两个单衬套Lycra手套，一个手套有20个力敏感电阻〔FSR〕，另一个手套有20个空气袋。这些空气袋安放在手掌上，与FSR位置对应。当用户抓取真实物体时，FSR手套用于产生简单的接触模式。这些模式被传送并记忆。一旦让空气带重现这个接触模式，就使戴这个空气袋式接触反响手套的人感觉到虚拟的接触。比例控制接口用于驱动空气袋的充气〔直到12磅/平方英寸〕和放气。它包括20个电子-气动阀门板，每个阀门板有两个电磁阀控制流入和流出空气袋的气流。每个空气袋有两个毛细管，一个为了进气，一个为了排气。共计40个细管捆在一起，连到控制器。所需的气压是由在控制接口的小型压缩机提供此后，ARRL/Airmuscle开发了"TeletactII"手套。改进包括增加了空气袋的数目〔29个小的空气袋和1个大的空气袋〕，更好地分散接触。食指有四个空气袋的阵列，这可以顺序驱动，模仿虚拟物体滑动。此外，一个大的空气袋放在手掌。当加压到30磅/平方英寸时，它抵抗用户的抓取动作，提供对手掌的力反响。ARRL也开发了"Commander"。这是无手套的接触反响设备，它有一个手柄，上面安装Polhemus跟踪器和三至五个小空气袋。这类似于Teletact手套使用的，并充气至12磅/平方英寸。为了减少系统的总价格，用简单的电磁驱动活塞代替了压缩机。对长达8米的微细管，它是很有效的。由活塞到空气袋的管路经过手柄的内部，以免被碰坏以下图表示空气袋式接触反响。〔a〕为Teletact手套，图中表示了手指上的空气袋〔b〕为TeletactII手套，图中表示了29个小的空气袋和1个大的空气袋在手上的分布气动接触反响中，空气袋的尺寸不能太小。上述产品中，每个手指上最多只有3，4个空气袋。这就无法到达一定的分辨率。下述的点阵式振动触觉反响可以解决这个问题2．振动触觉反响Pin-baseddisplay是笔尖〔探针〕的阵列，能提供几种不同的感觉模式。但是，探针的尺寸和数量也受到限制。以下图表示一种探针阵列式的振动触觉反响设备.一种接触反响技术是使用振动触觉〔声音线圈〕，如AudiologicalEngineeringInc.所制造的产品。Patrick［1990］组合两个这样的线圈，用于他的"指尖接触显示"。为驱动两个虚拟手指所需的位置数据，来自Exos的灵巧手设备的拇指和食指。使用实时控制电路的可变放大调制器以250Hz驱动声音线圈。设计应用了两个通道，每个声音线圈一个通道。由公共电压控制增益的双通道放大器放大由函数生成器来的信号C。由作为主计算机的PC送来的模拟电压调节增益。用两个0.5伏信号〔A和B〕调制正弦波C，并产生两个调幅信号〔D和E〕。这些信号由两个功率放大器放大，产生线圈所需的较大信号〔F和G〕Patrick此后进行了人的因素的试验，测试他的反响系统。测试说明，在这个简单的两手指情况，使用触觉与视觉显示结合比仅用视觉显示改进性能10%。然而当视觉显示恶化时〔对于仿真低可见度任务〕，增加触觉反响对性能的改进多于30%。1993年夏天，EXOSInc.发布了一个使用声音线圈的新产品。系统称为"TheTouchMaster"〔接触设备〕。它有6到10个声音线圈，以210Hz的固定频率鼓励。为了改变反响信号的频率和幅度，可以用任意的控制。总价格4000美元，包括信号调节盒。即使没有空间分布的信息，声音线圈也提供性能的改进〔由于其结构，声音线圈的振动盘不能仿真单个指尖上的不同的接触点〕。提供这种空间信息的一种技术是使用微针阵列，类似于Braille显示器所用的阵列。这些显示器是小针或空气喷嘴的阵列，它们可以被鼓励，以压迫用户的指尖。不久以前，这些设备还太重，因此不能用于虚拟现实的接触反响声音线圈的振动触觉反响设备，尺寸和重量较大。下述的使用轻型形状记忆合金的振动触觉反响，可以减小尺寸和重量。Johnson［1992］取得专利，一个轻型"可编程接触仿真器"，他使用轻型的形状记忆合金〔SMM〕驱动器，来减少重量。这些微针排列成矩阵。以下图表示形状记忆合金的工作原理。马氏体的棒弯曲后，再加热，成为奥氏体。冷却后，又恢复为马氏体，并恢复原始形状。Martensite马氏体

DeformingtheMartensite弯曲马氏体

DeformedMartensite弯曲的马氏体

Austenite奥氏体〔a〕为作用器的阵列，〔b〕为单个作用器的结构每个接触元件都是一个细的拉长的悬臂梁，它的一端向上弯成90°，另一端固定在底座上。一条很细的SMM线，如TiNi〔镍-钛〕合金，联到悬臂梁的弯曲端。在电流通过SMM线时，他就因焦耳效应发热。这个合金将收缩，向上弯曲悬臂梁角度θ。在悬臂梁弯曲端上的塑料帽将通过矩阵的顶盖伸出，与指尖接触。反之，当电流切断时，SMM线冷却，悬臂梁把针收回驱动器阵列内每个SMM驱动器独立地由"脉宽调制器"控制，其工作循环为50%〔控制电流"通"与"断"的时间大至相同〕。脉宽调制器的频率约20Hz，以便防止SMM过热和破坏。加热驱动器的电流由各自的接口控制。它有"通/断"开关，加5伏于并联的SMM驱动器的一端。每个SMM线的另一端有自己的控制电路。闭锁芯片接收主PC输出的信号，加5伏于每个控制模块。当5伏加于FET晶体管时，晶体管将关闭通过SMM的线，限制电阻和地的电流。当具体的SMM驱动器接通时，LED提供光学反响。在软件的控制下，PC输出线循环地按空间和时间序列转换驱动器的通/断。时间通/断序列在指尖上造成振动感。空间通/断序列鼓励不同的微针，传达接触外表的形状。其中一个虚拟手指在与虚拟物体边缘接触时平移。相邻行〔或列〕顺序被鼓励〔行1，行2，等〕，与虚拟手指运动同步在上例中，计算、控制和通信都是由PC主计算机处理的。XtensoryInc.研制出一个改进的系统，称为"Tactools"。它包括称为"Tactors"的驱动器阵列〔达每个指尖3′3〕，以及基于微处理器的控制接口。微处理器使用接触反响模式数据库，模式对应边、孔等。主计算机要求的唯一的输入，是简单的ASCII模式命令。这减轻了PC主机不必要的计算，因此减小了通信带宽要求。Tactools系统当前价值约3000美元3．增强的接触反响在Salford大学〔UK〕的研究是要制造增强的接触反响，它增加了温度和热传导反响。温度信息可以帮助识别虚拟物体是冷是热，甚至代替"疼痛"〔危险〕反响。增强的接触反响的设备〔Thermode〕包括：热电子的热泵，温度传感器，以及热槽。热泵把热量送进或送出热槽，在设备的外表产生特定的温度以下图表示，Thermode的外观。它包括电子机盒和套在手指上的设备应该注意，热感觉不仅是一种温度感觉，也会产生接触感和疼痛感。组织/滑动反响由热反响增强。相应的驱动器是小的PeltierEffect热泵，其尺寸为15毫米′15毫米′3毫米，重量小于10克。功率输出是15瓦，提供很快的加热和冷却，直至泵的冷热外表间的温差为65°C。为了改进控制，快速响应仅10毫秒的小型热电偶安装在Peltier泵外表，与皮肤接触。上述系统的性能测试说明，基于其温度与热传导的物体识别率为84%。另一个测试是"疼痛"反响，即识别危险〔不平安条件〕。它的实现使用同样的热反响驱动器。很快增加温度到50°C，会产生疼痛感。试验者对这个过载条件的反响时间小于1秒。4．医学仿真中的接触反响EyeSurgerySimulator是给医学院大学生和外科医生提供训练的虚拟环境。训练者观看照片一样的图像。操作器上施加线性接触反响，使人感到工具与人体组织的交互。EyeSurgerySimulatorHTMedicalSystems开发了手术前的血管内仿真器，训练临床医生医学操作。以下图表示血管内仿真器3力觉显示设备力反响设备应该跟踪用户身体的运动，以及用户施加的力。根据这些数据，力反响设备确定它加给用户的力。这种接口的目标是给用户提供立即的，高逼真的，可信的真实交互。1．力反响鼠标FEELitMouse力反响鼠标FEELitMouse是给用户提供力反响信息的鼠标设备。用户像使用普通鼠标一样，移动光标。它和普通鼠标的不同点是，当仿真碰撞时，它会给人手施加反响力。例如，当用户移动光标进入一个图形障碍物时，这个鼠标就对人手产生反作用力，阻止这种虚拟的穿透。因为鼠标阻止光标穿透，用户就感到这个障碍物像一个真的硬物体，产生与硬物体接触的幻觉。如果采用更先进的算法，FEELitMouse就不仅能仿真硬的外表，也能仿真弹簧，液体，纹理和振动。力觉的产生是通过电子机械机构，它施加力在鼠标的手柄上以下图表示FEELitMouse的外观力反响鼠标是最简单的力反响设备。但是它只有两个自由度，功能有限。这限制了它的应用。更复杂的功能更强的力反响设备是力反响手柄和力反响手臂2．力反响手柄MIT早期对力手柄进行了研究，制造了三自由度的设备。手柄本身的重量〔电执行机构及机械结构〕由桌子支持。因此可能用有高带宽的大型执行机构。而高反响带宽允许仿真物体惯性及接触外表组织。Schmult和Jebens［1993］说明了"高性能力反响手柄"。这个反响手柄很紧凑，几乎象相应的开环产品一样。它有一个轴联到两个驱动轴。在每个链上的可调轴支撑允许转动和滑动〔这是为了补偿两个马达轴不能精确成直角相交〕。这些链连接到被精确支撑的电位计。定做的导电塑料电位计在50°的运动范围上有66dB的信噪比。两个马达有四极永磁转子，直接安装在电位计轴上。另一些特殊的修改是有恒定磁阻的无刷有限角度力矩马达。可以由3201份〔步〕的分辨率确定。频率响应扩大到几百Hz。手柄即在伺服方式工作，也可用作位置输入工具〔相对或绝对〕。由于其高带宽，手柄可以产生许多力和接触感，如恒定力、脉冲、振动和刚度变化。高性能手柄被集成在仿真系统中。刚度变化由10到50克，频率调节由5到167Hz，而幅度由0到75克。在这些条件