虚拟现实技术课件第二章

虚拟现实技术主讲：吴慧欣虚拟现实技术主讲：吴慧欣第二章虚拟现实的接口设备

课前索引

第一节位姿传感器

第二节视觉显示

第三节听觉显示

第四节力觉和触觉显示

章节小结

课后习题第二章虚拟现实的接口设备

课前索引课前索引1．位姿传感器的作用，不同的技术及其对比。2．视觉显示主要的要求，不同的技术及其对比。3．听觉显示的发声设备和声学建模的特点。4．力觉和触觉显示的技术要求及实现方法。课前索引1．位姿传感器的作用，不同的技术及其对比。第一节位姿传感器第一节位姿传感器位姿传感器的概述位姿传感器的要求各种位姿跟踪器的比较研究要求位姿传感器的概述位姿传感器的要求位姿传感器的要求对位姿传感器的要求有5个：（1）3-D空间中的运动的刚体具有三个平移和三个转动平移（沿着X、Y和Z轴）转动（偏航、俯仰和滚动）（2）在物体以高速运动时，应该足够快地测出这六个数值。（3）传感器在3-D测量时不应妨碍物体运动。非接触式测量（低频磁场、超声、雷达、红外摄像和LED等）已经代替机械臂等接触式测量。位姿传感器的要求对位姿传感器的要求有5个：（4）3-D传感器都具有一些共同的参数。例如：采样率是每秒测量次数。执行时间是在行为和结果之间的时间延迟。传感器的精度即实际位置与所测出位置的差。分辨率是传感器检测的“粒度”，即检测的最小的位置变化。（4）3-D传感器都具有一些共同的参数。例如：位姿跟踪常用的性能参数有：精度，分辨率，采样率，执行时间，范围，工作空间，价格，障碍，方便，对模糊的敏感，容易校准，同时测量的数目，方向相对位置跟踪。（5）人体各部分之间的相对运动也应该测量。人体并非刚体。上述六个数值只能描述人体整体的运动，各个部分之间的相对运动也要测量位姿跟踪常用的性能参数有：用于位姿跟踪和映射的基本传感系统有哪些？机械链接磁传感器光传感器声传感器惯性传感器。用于位姿跟踪和映射的基本传感系统有哪些？2各种位姿跟踪器的比较2各种位姿跟踪器的比较3研究要求位姿跟踪器要求合适的性能和合理的价格。例如对肢体跟踪，某些光学传感器是精确快速的，但对日常应用太贵（在5万到10万美元范围），特别是为了防止阻挡和增加工作空间而加倍安装时。位姿跟踪器必须使用某些校准过程为了得到关节角，必须使用某些校准过程，在肢体上建立坐标系。此后的关节角计算将接近真实的生物机械角。对整个人体跟踪，工作空间大小是重要问题。应该能在足够大的空间跟踪运动人体，并且不会损失分辨率，不必担心遮挡。被跟踪的人应能在建筑中由一个房间走到另一个房间。如果人体所有主要部分都被跟踪，则要求安装某些东西在人体上（反光器，标记，测角器）3研究要求位姿跟踪器要求合适的性能和合理的价格。针对性能指标的含义及测量方法之间的不一致性，应该建立标准。测量方法是在选择位置跟踪方法时最易混淆的一个问题，问题是性能指标的含义及测量方法之间的不一致。应建立标准，指出怎样测精度、分辨率、等待时间、带宽、敏感干扰、和起伏。测量设备应商品化，应建立独立的实验室，使用户不至依赖厂家指标，而是了解真实性能。针对性能指标的含义及测量方法之间的不一致性，应该建立标准。位姿传感器——机械式传感器原理机械式传感器可分两类：

“安在身体上的”机械跟踪器中，机械全部安在身上。测角器

“安在地面上的”机械跟踪器中，机械部分安在地面。机械链接位姿传感器——机械式传感器原理测角器（“安在身体上的”机械跟踪器）安在身体上的机械链(外骨骼或测角器)，常用作关节角测量与触觉接口结合，可形成力反馈外骨骼它是轻便的可移动的，有全范围的运动测量，因为与肢体运动有同样的工作空间。要求使用其它方法跟踪身体运动。测量角的使用方法有两种得到关节角得到末端位置测角器与关节的校准是困难的，特别是对多自由度关节例如：肩膀由于测角器是肢体外部的外骨骼，所以它的转动中心不同于关节转动中心。由于运动的不一致，在测角器和运动肢体之间存在着滑动。人的关节不是完善的铰链关节或球关节，转动轴随关节角而移动。对于测角器，必须研究装配和测量的问题例如对不同人体的调整、与关节的调节、足够硬的连接、链接与肢体的校准等测角器（“安在身体上的”机械跟踪器）安在身体上的机械链(外骨安在地面上的机械链接作用：安在地面上的机械链接主要用于大自由度末端跟踪，如头或手的位姿跟踪。它不会引起上述的关节角测量有关的问题。哪些问题？要求操作者牢固地抓住手操作器，或者要求头盔牢固地缚在头上。安在地面上的机械链接比安在身体上的链接更容易产生力反馈，因为驱动器不必安在身体上。缺点：缺点一：安在地面的机械链接的一个缺点是操作者被连在地面，工作空间受到限制。即使希望有较长的机械臂，两段机械手臂也限制在约2m。只有在操作者坐着不动时，这才是好的方案。缺点二：另一个缺点是可测量的自由度数目受到限制，通常六个。对于同时测量多个臂或测量冗余的链接，这都有问题。例如多手指运动一般不用安在地面的链接。此外，人的手臂是冗余的7自由度机构，安在地面的链接不能解决这种冗余。

安在地面上的机械链接作用：机械式传感器的优缺点便宜，比较精确。可以测量整个身体运动，没有延迟。可以同时实现力反馈。妨碍身体运动。机械式传感器的优缺点机械式传感器的产品跟踪球3-D探头传感手套数据手套CyberGlovePowerGloveDextrousHandMaster（DHM）（灵巧手设备）

机械式传感器的产品跟踪球机械传感器产品一-------跟踪球范例跟踪球Dimension6，安装有传感器的球工作原理它测量用户的手施加在弹性元件上的三个力和三个力矩。力和力矩是基于弹性变形定律间接测量的。球的中心部分是固定的，并有六个发光二极管。相应的六个光敏传感器安装在运动的外部球。当用户在运动球上施加力和力矩时，用六个光敏传感器的输出测量三个力和三个力矩。这些力和力矩数据经过串行口送给主计算机。这些值由软件乘上增益，就得到物体位置和方向的差分变化。增益越大，物体的速度越大，但若主机不能足够快的更新屏幕，物体运动将不平滑。这种方式实际上是，由用户的手施加在球上的力和力矩的大小，控制虚拟物体的运动速度和角速度的大小。跟踪球上支座上有若干按键，可根据需要安排用途缺点存在传感器的耦合工作在开环方式，用户可以控制物体和环境间的力，但无反馈机械传感器产品一-------跟踪球范例跟踪球的外观以及原理图跟踪球的外观以及原理图机械传感器产品二------3-D探头第一个3-D探头的诞生1993年秋ImmersionCorporation推出的“ImmersionProbe”（沉浸感探头）。它包括一个安装在支座上的，有传感器的小型机械臂。这个探头有六个关节（关节0到关节5）。每个转动关节表示一个自由度，于是探头有六个自由度，这允许同时确定探头尖端的位置和方向。工作原理尖端相对底座的位置是通过直接动力学计算，根据传感器数据（关节角）和机械链长度得到的。主计算机上的软件经过RS232接口读取关节传感器数据，然后利用它的动力学模型确定尖端的位置。传感器的分辨率以及测量速度和精度对探头“Probe-IC”是0.7°，而对探头“Probe-IX”是0.35°。测量速度可能达到200位置/秒，执行时间仅3毫秒。存在误差的原因是关节传感器的分辨率，温度变化和关节的公差。探头的误差会由底座到尖端累积。优点它的测量不受磁场干扰，因为探头是机械结构。机械传感器产品二------3-D探头第一个3-D探头的诞生机械传感器产品三-----传感手套提问：跟踪球和3-D探头的优点是什么？简单、紧凑和工作速度快跟踪球和3-D探头的缺点是什么？限制了用户手的运动范围，只能在桌子上很小的区域内，手的自然运动受到影响。我们要求虚拟现实的I/O工具能处理手在一定空间的自由活动，同时通过感觉单个手指的运动，得到更多的自由度。人的手指运动有三类弯曲—伸直外展—内敛前位—复位机械传感器产品三-----传感手套提问：传感手套的研究意义？手是人与外界进行物理接触及意识表达的主要媒介。当人与计算机控制系统进行交互操作时,传统的输入输出接口设备,如键盘、鼠标等只能限制手在桌面上或一个小区域内进行简单的运动控制,而表达意识的大多数手的自然运动被牺牲了,妨碍了人们对系统控制意识表达的全面性与灵活性。数据手套可以跟踪操作者灵活多变的手势及空间方位,使操作者自然而然地将自己的意识传送至计算机。因此数据手套作为一种重要的人机交互接口,广泛地应用于虚拟现实的研究领域中。传感手套的研究意义？传感手套是为满足上述要求而设计的虚拟现实工具。商业化的产品有VPL公司的DataGlove数据手套，Vertex的CyberGlove，Mattel的PowerGlove，和ExosDextrousHandMaster灵巧手设备。工作原理它们都用传感器测量全部或部分手指关节的角度。某些传感手套还用3-D传感器跟踪用户手腕的运动。手套的工作区大于跟踪球和手柄（探头）的工作区。

传感手套传感手套---数据手套应用最多的，应用最早的传感手套至今应用最多的传感手套是VPL公司的数据手套DataGlove，它也是第一个推向市场的。使用的材料传感手套使用光纤，光纤安装在轻便且有弹性的Lycra手套上。它还使用Isotrack3-D位置传感器。工作原理手指的每个被测的关节上都有一个光纤维环。纤维经过塑料附件安装，使之在手指弯曲时作小的移动。在标准的布局中，每个手指背面只安装两个传感器，以便测量主要关节的弯曲运动。在手指关节弯曲时，光纤壁改变其折射率，于是在手指弯曲处的光线就漏出。这样就可能根据返回光线的强度间接测出关节角。光纤传感器的优点是轻便和紧凑，用户戴上手套感到很舒适。传感手套---数据手套应用最多的，应用最早的传感手套数据手套的校准把原始的传感器读数变成手指关节角的过程称为手套校准。每当开始一次新的仿真，戴上数据手套时，都必须重新作校准。这是因为不可能知道是否用户把手套松紧合适地戴在手指上。数据手套的校准虚拟现实技术课件第二章传感手套---CyberGlove应用时间1992年底，VPL倒闭，CyberGlove已经取代了DataGlove工作原理每个关节的弯曲角由一对应变片的阻值变化间接测量。在手指运动时，一个应变片受压，另一个应变片受拉。它们的电阻变化就造成电桥上电压的变化。手套上每个传感器有一个电桥电路。这些差分电压由模拟多路扫描器（MUX）进行多路传输，再放大并由A/D转换器数字化。数字化的电压被主计算机采样，再经过校准程序得到关节角度。关节零位的位置可以用硬件改变（利用偏置电位计），也可以用软件改变（利用图形接口）。特点把很薄的应变电测量片放在弹性的尼龙合成材料上。手掌区不覆盖这种材料，透气并允许通常的活动，如打字和写字等。很轻并容易戴。手套的传感器或者是矩形的（用于弯曲角），或者是U-形的（用于外展-内收角）。对弯曲有16至24个传感器（每个手指3个），对外展-内收角1个传感器，再加上拇指及小指的转动，以及手腕的偏转和俯仰。传感器的分辨率是0.5°，并在整个关节运动范围内保持不变。还应指出，手套使用解耦的传感器，使输出彼此无关。

Virtex还是一个小公司。CyberGlove产品价格约有10000美元，不包括位置跟踪器和校准源代码。传感手套---CyberGlove应用时间虚拟现实技术课件第二章虚拟现实技术课件第二章传感手套---PowerGlove特点与DataGlove和CyberGlove（价值几千美元）比较，PowerGlove是很便宜的产品，它的价格只有约50美元。在1989年大量销售（达到4千万美元），用于Nintendo（任天堂）的基于手套的电子游戏。原理为了保持低价格，手套设计使用了很多廉价的技术。手腕位置传感器是超声传感器，超声扬声器放在PC监视器上，而超声麦克风放在手腕上。弯曲传感器是导电墨水传感器。传感器包括在支持结构上的两层导电墨水。墨水在粘合剂中有炭粒子。当底座弯曲时，在弯曲的外侧的墨水就延伸，造成导电炭粒子之间距离增加。这使传感器的阻值增加。反之，当墨水受压缩时，炭粒子之间距离减小，传感器阻值也减小。阻值数据经过简单的校准就转换成关节角数据。传感手套---PowerGlove特点虚拟现实技术课件第二章传感手套---DextrousHandMaster(灵巧手设备)应用时间1990年Exos公司推出戴在用户手背上的金属外骨架结构。工作原理每个手指有4个传感器，五个手指就有20个传感器。每个角度由安装在机械结构关节上的霍尔效应传感器测量。特点结构设计仔细，使手组织柔软性的影响最少。这些复杂的机械设计造成了高成本（至今最昂贵的传感手套）专门设计的夹紧弹簧和手指支撑保证在手的全部运动范围内设备的紧密配合。设备是用可调的Velcro带子安装在用户手上。附加的支撑和可调的杆使之适应不同用户手的大小。高传感速率以及高传感分辨率DHM的传感器信号送到信号调节盒，然后以100位置/秒的速率被连到用户接口的A/D转换器采样。DHM的高传感速率以及高传感分辨率，是与DataGlove相比的优点。但是它也在精度和校准上存在与其它手套类似的问题。传感手套---DextrousHandMaster(灵虚拟现实技术课件第二章位姿传感器----电磁传感器用途电磁传感器测量头，手，其他设备的位姿。测量三个坐标，以及三个姿态角度例如测量头盔的位姿测量手的位姿电磁传感器的优缺点主要产品位姿传感器----电磁传感器用途虚拟现实技术课件第二章虚拟现实技术课件第二章原理电磁传感器包括发射器接受器接口计算机测量一个方向的距离为了测量在y方向的距离，通电流的主动线圈发出在y方向的电磁波，在被动线圈中的感应电流，正比于主动线圈和被动线圈的距离。由此得到主动线圈和被动线圈在y方向的距离。在被动线圈中的感应电流，还取决于主动线圈和被动线圈的交角。主动线圈和被动线圈的方向不同时，在被动线圈中的感应电流会减少。

测量六个位姿的传感器

发射器包括三个正交的线圈（即三个线圈的轴线互相垂直，如同x，y，z坐标轴那样）。接受器也包括类似的三个正交的线圈。改变主动线圈中电流强度或定时选通（定时选通表示三个主动线圈轮流通电），可以使三个线圈的磁场互相隔离。由此可以确定姿态角和距离造成的感应电流的变化。每个主动电流产生三个感应电流，三个主动电流产生九个感应电流。

可以由此九个感应电流解算出三个坐标，以及三个姿态角度。原理缺点限制应用的主要缺点包括适中的精度和大的等待时间(20－30ms)。大的等待时间特别难解决，因此它限制了在真实交互中的应用。精度不能与其它多数方法比较。此外，在交流传感器的情况，外部磁场的影响使之难以保证其精度，没有简单方法确定和补偿干扰磁场。缺点电磁传感器的优缺点优点：电磁传感器没有遮挡问题（接受器与发射器之间允许有其他物体）价格低（处理简单，比光学测量便宜）精度适中，采样率高（可达120次/秒）工作范围大（可达60平方米），可以用多个磁跟踪器跟踪整个身体的运动，并且增加跟踪运动的范围。缺点：电磁传感器可能因磁场变形引起误差（电子设备和铁磁材料会使磁场变形，直流电磁场可以用补偿法，交流电磁场不可以用补偿法），测量距离加大时误差增加，时间延迟较大（达33毫秒），有小的抖动。电磁传感器的优缺点优点：问题：为什么电磁传感器在实际应用到受到限制？限制应用主要因为适中的精度和大的等待时间(20－30ms)。大的等待时间特别难解决，精度不能与其它多数方法比较。在交流传感器的情况，外部磁场的影响使之难以保证其精度，没有简单方法确定和补偿干扰磁场。问题：电磁传感器的产品销售电磁传感器的公司Polhemus和AscensionPolhemus建立于1970年，占有运动测量设备市场的70%。主要产品为Fasttrak。精度为0.03英寸和0.15°，测量范围可达15英尺，采样率达120Hz（修改率随传感器数目增加而下降）。等待时间为20-30ms。采用交流磁场。有标准串型扣联接计算机。1996年价格$6,000。电磁传感器的产品销售电磁传感器的公司Ascension建立于1986年。产品的范围广，包括高级的研究设备，以及低级的娱乐设备。高级的产品为FlockofBirds。采用直流磁场，可以补偿磁场失真。精度为0.1英寸和0.5°，测量范围可达3-8英尺，采样率达144Hz（对每台测量设备）。等待时间30ms。1996年价格$2,700。低级的产品为AscensionSpacePad，用于游戏。采样率达120Hz。1996年价格$1,000。Ascension建立于1986年。产品的范围广，包括高级的上述两种传感器的对比精度都取决于发射器与接收器的接近程度Fasttrak利用交流磁场，邻近的金属表面上会产生旋涡电流，因而会降低传感器精度。Bird传感器使用直流磁场，因此对周围金属的敏感较少。但是磁阻效果可能改变磁路，因此影响测量上述两种传感器的对比位姿传感器——超声传感器用途超声传感器同样测量头，手，其他设备的位姿。测量三个坐标，以及三个姿态角度。工作方法：超声传感器包括三个超声发射器的阵列（安装在天花板上），三个超声接受器（安装在被测物体上），用于启动发射的红外同步信号，以及计算机。测量原理测量飞行时间测量相位差。产品

位姿传感器——超声传感器用途虚拟现实技术课件第二章使用超声传感器示意图使用超声传感器示意图超声波传感器测量原理----测量飞行时间一在测量飞行时间的方式中，各个发射器轮流发出高频的超声波，测量到达各个接受点的飞行时间。由此利用声音的速度得到发射点与接受点的两两之间的九个距离，再由三角运算得到被测物体的位姿为了精确测量，要求在发射器与接受器之间的同步。为此可以采用红外的同步信号。为了测量物体位姿的6个自由度，至少需要3个接受器和3个发射器。为了精确测量，要求发射器与接受器的合理布局。一般把发射器安装在天花板的4个角上。超声波传感器测量原理----测量飞行时间一在测量飞行时间的方超声波传感器测量原理----测量相位在测量相位差的方式中，各个发射器发出高频的超声波，测量到达各个接受点的相位差，由此得到点与点的距离，再由三角运算得到被测物体的位姿。声波是正弦波，发射器与接受器的声波之间存在相位差，这个相位差也与距离有关。如果在一个采样周期内，物体运动的距离超过声波信号波长的一半，就会造成问题。因为在每个波长后，信号波形（相位）会重复。这时无法确定距离是加大还是减少，因为二者造成的相位差相同。这种方法是增量测量法，每步的测量误差会随时间积累。绝对距离必须在初始由其它设备校准。它的问题是反射和环境噪音。为了克服漂移问题，改进的模块化相位相干可以达到毫米以下精度。超声波传感器测量原理----测量相位在测量相位差的方式中，各优点：不受电磁干扰，不受临近物体的影响，轻便的接受器易于安装在头盔上。缺点：工作范围有限，信号传输不能受遮挡，受到温度、气压、湿度的影响（改变声速，造成误差），受到环境反射声波的影响，飞行时间法有低的采样率和低的分辨率，相位差法每步的测量误差会随时间积累。优点：Logitech提供两种超声跟踪产品。Logitech是瑞士公司，成立于1981年。是世界最大的鼠标生产商。一个产品是超声3D鼠标跟踪器，它提供六个自由度的跟踪。在CAD/CAM软件系统中可以用于用户的操作，也可以用于计算机动画，建模，机器人控制，和虚拟现实。超声传感器每台价格$1799。另一个产品是超声头部跟踪器，它也提供六个自由度的跟踪。每台价格$1799。其它在VE市场上的商品还有ScienceAccessories的GP8-3D和MattelPowerGlove。CelescoTransducerProducts,Inc.推出了系统V-scope，这是新的无线40kHz飞行时间系统。它在16英尺范围的分辨率为0.1mm。Logitech提供两种超声跟踪产品。虚拟现实技术课件第二章位姿传感器----惯性传感器和混合传感器惯性传感器的原理：惯性传感器使用加速度计和角速度计。测量加速度和角速度。线性加速度计（1）同时测量物体在三个方向上的加速度。（2）可动部件由弹性件支撑，弹性件的变形就表示加速度。（3）可以用光学系统测量这种微小变形。例如利用硅的微机械可以制造很小的惯性传感器。（4）加速度计的输出需要积分两次，得到位置角速度计（1）利用陀螺原理测量物体的角速度。（2）角速度计的输出需要积分一次，得到姿态角。位姿传感器----惯性传感器和混合传感器惯性传感器的原理：虚拟现实技术课件第二章问题一：为了得到位置和方向，传感器输出必须积分。积分会使得位置和姿态存在积分误差。所以它敏感传感器的偏移。某些漂移是不可免的。为了偏移校正，惯性部件必须周期地返回某个初始位置，或者必须连带使用其它位置传感器和适当的数据熔合方法。后一个方案是有吸引力的。问题二：任何基于连杆弯曲的惯性传感器，都有非线性效应。力平衡加速度计避免了连杆弯曲的非线性问题，它们很稳定，并用于运动学校准。问题一：惯性传感器的特点没有信号发射，是唯一的轻便的设备安装在被测物体上。不怕遮挡，没有外界干扰，而且有无限大的工作空间。问题：积分误差。需要减少传感器的大小和价格，使惯性跟踪器比磁性跟踪器更方便更经济。高性能HMD的跟踪应该应用组合惯性传感器与其它技术的混合系统，它要求精度和快速动态响应。推荐的组合是全惯性方向跟踪，与混合的惯性-声学位置跟踪。惯性传感器的特点惯性传感器的优缺点：惯性传感器的优点：不存在发射源，所以不受干扰不怕遮挡，物体运动不受约束，大的工作空间，低的延迟时间。惯性传感器的缺点：漂移随时间积累（每分3度），重力场使输出失真，测量的非线性（由于材料特性或温度变化），角速度计敏感震动，难以测量慢速的位置变化，重复性差惯性传感器的优缺点：惯性传感器的优点：惯性传感器的产品InterSense公司提供IS300运动跟踪器和InterTrax等惯性跟踪设备。InterSense建立于1996年，研制生产惯性的，混合的，以及SensorFusion的运动跟踪设备。EricFoxlin基于他在MIT的博士论文建立了该公司。总部设在麻省。它的产品包括：头盔上的设备（用于仿真和训练），摄像头跟踪（用于电影特技），增强现实系统（用于装配）。IS300使用小的固态惯性测量单元（称为InertiaCubeTM）。它使用角速度计，在积分得到姿态角。他还用磁罗盘和重力计，防止陀螺漂移的积累。产品价格$3949。InterTrax是实时的头部3维姿态跟踪器。产品价格$849。惯性传感器的产品InterSense公司提供IS300运动虚拟现实技术课件第二章虚拟现实技术课件第二章混合传感器的原理：混合传感器是由惯性传感器和其他传感器组成，以解决惯性传感器的漂移问题。混合传感器总是利用一个传感器的优点，去克服另一传感器的缺点。典型的混合传感器由超声和惯性传感器组成。它包括：安在天花板上的超声发射器阵列，3个超声接受器，用于超声信号同步的红外触发设备，加速度计和角速度计，计算机。这种混合是为了达到更高的精度和更低的延迟。混合跟踪的关键技术是传感器融合算法，如采用Kalman滤波。混合传感器的原理：混合传感器的优缺点优点：改进更新率、分辨率、及抗干扰性（由超声补偿惯性的漂移），可以预测未来运动达50ms（克服仿真滞后），快速响应（更新率150Hz，延迟极小），无失真（无电磁干扰）。缺点：工作空间受限制（大范围时超声不能补偿惯性的漂移），要求视线不受遮挡，受到温度、气压、湿度影响，6D的跟踪要求3个超声接受器。

混合传感器的优缺点优点：混合传感器的产品InterSense提供混合跟踪器产品IS600。它使用惯性和超声传感器，以及传感器融合算法。他提供6D的位姿跟踪，可以预测未来50ms的运动。价格$11850。

混合传感器的产品InterSense提供混合跟踪器产品IS位姿传感器---光学传感器原理一般讲，光学传感器是基于高对比度的视频图像，图像中具有若干标记，这些图像反映了被测物体的运动。这些标记是小圆点。有些标记是红外(IR)发光标记，他用发光管（LED）增加对比度。标记的数量取决于运动的类型和要求的跟踪质量。对于不包括面部的人体跟踪，一般安装20到30个标记。标记安在皮肤上或紧身衣服上。标记尺寸为1至5cm，这取决于测量硬件和动作范围大小。标记的安放取决于要测的数据。单个标记只测量一个点。安在头部的三个标记用于测量头部的位姿。一般全身安装21个标记，头部3个，颈部和背部各1个，肩部、肘部、腕部、手部、髋部、膝部、脚腕和脚部各1个。如果要求更多的转动信息，则要求安装更多的标记。位姿传感器---光学传感器原理虚拟现实技术课件第二章虚拟现实技术课件第二章虚拟现实技术课件第二章虚拟现实技术课件第二章虚拟现实技术课件第二章光学传感器的优缺点优点：可能很大的工作空间（取决于采用的系统合要求的精度），运动不受妨碍（测量系统不装在运动体上），标记的价格很小（理论上可以达到几百个标记，实际上因为阻塞和软件的限制，不能太多），足够快的采样率（适于多数体育运动，在120至250Hz采样率，适于测量多数人体运动。缺点：是最昂贵的运动测量系统对光敏感（由于系统依靠对比度，所以背景和环境照明都是问题），对反射敏感（有水和发亮的表面可能引起错误的标记信号），标记的阻挡（为了得到3D数据，每个标记至少被两个摄像机看到。物体的遮挡会造成标记的丢失、代替或交换。）跟踪时间可能很大（而且可能变化）非实时的测量（除少数昂贵的系统外，都是非实时的）对校准敏感（由于用多个摄像机，必须精确测量每个摄像机的参考帧）。光学传感器的优缺点优点：光学传感器的产品光学跟踪器在计算机领域的两个主要应用领域：计算机动画（测量人体的运动，并用于动画人物的动作）虚拟环境（测量用户头部的位置和姿态，并由此改变视点，改变显示的图形）。光学传感器的产品光学跟踪器在计算机领域的两个主要应用领域：虚拟现实技术课件第二章虚拟现实技术课件第二章虚拟现实技术课件第二章虚拟现实技术课件第二章虚拟现实技术课件第二章位姿传感器---运动接口背景VR研究的趋势是由手姿来做事情，如抓取物体或漫游。小的手姿之间容易混淆。所以现在控制漫游的方法，是利用其他运动接口。运动接口是一类特殊的位姿传感器，它跟踪测量人体的运动。最简单的运动接口就是跑步机。代替在室外的真实跑步，用户可以在跑步机上跑步，跑步机测量跑步者的运动。位姿传感器---运动接口背景运动接口的优缺点优点：克服传统接口的限制（如手柄的逼真感有限），得到逼真的漫游（如跑步机和自行车给出运动和方向感），增加空间布局感（在跑步机和自行车上，参与者要施加力和运动，于是有在环境中的移动感）缺点：运动范围有限（任何设备的运动范围都有限，但虚拟环境可能覆盖很大范围），难以保持平衡（在这些设备上往往难以保持平衡）。运动接口的优缺点优点：运动接口的产品产品一：Sarcos,Inc.公司的运动接口是Tread-Port，它包括跑步机、机械链和CAVE视觉显示。它是用于研究涉及运动接口的感知问题，以及研究运动生物力学的控制问题。主动机械链防止人走开，使得试验更加逼真，模仿运动中的压力，这在人平稳站立时是不会发生的。产品二：GeorgiaTechGraphics,VisualizationandUsabilityCenter的运动接口是TectrixBicycle。它用于虚拟重现1996年亚特兰大奥运会公路自行车赛。虚拟环境的目标是，使选手体验赛道，在视觉和身体上都提供给自行车手。TectrixBicycle的设计如下：赛车安在运动平台上，平台前后倾斜+/-12度，前论旋转角度+/-20度，CompuTrainerPro在后轮上加负载（以模拟山坡）。运动接口的产品产品一：产品三：VirtualSpaceDevices,Inc.(VSD)根据1996年美国军队合同，开发了Omni-DirectionalTreadmill(ODT)。人在计算机生成的环境中，在ODT上走或跑，可以在任意方向上漫游，人总是保持在设备中心。这是自然的人机漫游接口。Omni-DirectionalTreadmill的指标为，主动表面1.3×1.3米，速度6英里/小时，两个带子（X，Y方向）每个约3400圈，力反馈+/-20磅。产品四：MikeBenjaminandThatcherUlrichofCyberGear,Inc.开发了VR自行车，用作DiamondPark的输入设备。这是第一个多用户接口的虚拟环境，使用了MERL'sScalablePlatformforInteractiveEnvironments(SPLINE)。产品三：小节介绍了虚拟现实中的位姿测量技术。位姿跟踪常用的性能参数有：精度，分辨率，采样率，执行时间，范围，工作空间，价格，障碍，方便，对模糊的敏感，容易校准，同时测量的数目，方向相对位置跟踪。运动接口是一类特殊的位姿传感器，它跟踪测量人体的运动小节介绍了虚拟现实中的位姿测量技术。第二节视觉显示视觉显示概述视觉显示的显示表面CRT类显示LCD类显示VRD类显示VLST类显示全息显示视觉显示的光学系统头盔式立体显示立体眼镜式立体显示自动立体显示视觉显示的产品头盔显示非头盔显示混合的立体显示系统多面的显示系统第二节视觉显示视觉显示概述视觉显示概述对理想的视觉显示有什么要求与日常经历中的场景对比，在质量、修改率和范围方面应该是无法区分的。技术支持当前的技术还不支持这种高真实度的视觉显示评价各种显示特性对任何给定的应用，必须认真评价各种显示特性的重要性，这包括视觉特性（视场、分辨率、亮度、对比和彩色），人类工程学，安全，可靠和价格。视觉显示的基本要求提供立体视觉。视觉显示概述对理想的视觉显示有什么要求立体视觉的基本原理两眼空间位置的不同，是产生立体视觉的原因。空间某个物体在两眼的视图中位置不同就产生了立体视差。人眼也可以利用这种视差，判断物体的远近，产生深度感。这就是人类的立体视觉，由此获得环境的三维信息。

立体视觉的基本原理两眼空间位置的不同，是产生立体视觉的原因。视觉接口完整的视觉接口包括四个基本部分。(1)视觉显示表面和辅助光学系统，它把详细的时变的光模式投影在用户视网膜上。(2)产生光学信号的系统（来自真实场景的摄像机，存贮图像的录像机，生成图形的计算机，或三者的组合）。(3)感觉头或眼球位置运动的系统（这是上一节介绍的位姿跟踪问题）。(4)使视觉显示表面相对于人眼定位的系统。视觉接口完整的视觉接口包括四个基本部分。对虚拟现实（VR），最常用的技术的显示表面类型是阴极射线管（CRT）和背光液晶显示（LCD）。VR应用有两类主要的视觉显示光学系统：头盔显示和非头盔显示。这些技术对近期的虚拟现实应用是很有用的，但几个缺点却妨碍其长期的发展。

下面分别介绍不同的显示表面和不同的光学系统。最后介绍现有的产品。对虚拟现实（VR），最常用的技术的显示表面类型是CRT技术CRT技术CRT技术是多年来在电视机和计算机监视器上广泛应用的成熟技术。CRT技术能给头盔显示器提供小的高分辨率高亮度的单色显示。CRT较重，并把高电压放在人头部上的设备中。开发小型高分辨率高亮度彩色CRT是困难的。在头盔显示中，要求这些笨重的光学设备形成高质量图像。组合的技术途径可产生高质量彩色图像，并减少重量和价格。把高质量彩色的基于CRT的HMD（头盔显示器）引入市场，它使用了加于单色CRT的机械电子彩色滤光技术。这种途径中，CRT以三倍正常速率扫描，并依次加上红、绿、兰三色的滤光器。CRT技术CRT技术LCD技术LCD技术以低电压产生彩色图像，但只具有很低的图像元密度。在头盔显示中，也要求笨重的光学设备形成高质量图像。市场出售的头盔式显示器几乎全部依靠TV（电视机）质量的液晶显示。在VR和遥操作领域，不要求大区域显示。只要求紧凑的轻便的高分辨率显示。LCD显示器有待提高其分辨率。LCD技术LCD技术VRD技术关于VRDVRD（VirtualRealityDisplay）是美国华盛顿大学人类接口技术实验室HumanInterfaceTechnologyLab（HIT）在1991年发明的。HIT研究内容基于激光微扫描技术的显示VRD，它用微型固体激光器扫描视网膜上的彩色图像。它的优点是不使用笨重的光学设备，可能开发高分辨率、轻便、低价格显示系统。但激光微扫描显示还面对大量技术障碍。研究目标是产生全彩色，宽视场，高分辨率，高亮度，低价格的虚拟现实立体显示。MicrovisionInc.具有该技术产品化的专有权。该技术有很多潜在的应用，由军事航天应用的HMD，到医学应用。

VRD技术关于VRDVRD原理VRD直接把调制的光线投射在人眼的视网膜上，产生光栅化的图像。观看者的幻觉是，感到这个图像是在前方2英尺远处的14英寸监视器上。实际上，图像是在眼的视网膜上。图像质量很高，有立体感，全彩色，宽视场，无闪烁。VRD的主要特点如下：①很小很轻的眼镜，②大于120度的大视场，③适应人类视觉的高分辨率，④有更高彩色分辨率的全彩色，⑤适用于室外的高亮度，⑥很低的功率消耗，⑦有深度感的真正的立体显示，⑧具有看穿的显示方式。（这类似于看穿的头盔显示。在看到激光扫描的虚拟图形的同时，也看到真实场景。）VRD原理VRD的工作过程中，源图像是要求显示的图像。调制的光源是红绿蓝三基色的光源。水平和垂直扫描器根据源图像对于光源进行扫描。经过光学镜头，在人的视网膜上成像。VRD的工作过程中，源图像是要求显示的图像。调制的光源是红绿为什么VRD具有高分辨率、宽视场、高亮度和没有闪烁的特点？在普通的屏幕显示中，受控的光线或光发射元素组成高密集的阵列，这个阵列投影到各个象素。但在VRD的显示中，不存在其他屏幕，象素流直接投影到视网膜。VRD中不具备象素持续性质，只有视网膜上光接受器的光收集特性。因此，在VRD提供的光线和人脑产生的图像质量之间的关系，就是很重要的了。源图像直接进入驱动电子设备中，去调制红绿兰三色的光线。每个象素通过水平和垂直扫描器，在视网膜上产生光栅化的图像。视网膜没有持续性质，因此没有闪烁。产生的图像很亮，有很高的分辨率，有很宽的视场。每个象素投影在视网膜上的时间很少，30-40ns。此外，该设备只消耗很少能量。为什么VRD具有高分辨率、宽视场、高亮度和没有闪烁的特点？VRD的显示设备VRD的显示设备VRD的摄像设备VRD的摄像设备VRD的主要指标VRD的主要指标：①分辨率只取决于光源的衍射和像差②亮度可达很高和很低，所以对比度就很大③传统的显示器不会发出很强的光，所以很难在很亮的环境下看到，VRD的显示可以在很亮的环境下看到④CRT只能反射可见彩色光中的一部分，VRD发射高饱和的纯彩色光，其彩色逼真度极高⑤CRT未把电能有效地转成光能，VRD把所有产生的光线投在视网膜，所以允许很强的亮度和很小的能耗⑥VRD很容易改进性能⑦VRD提供通用的方法，适用于各类应用，有潜力降低价格⑧VRD包括很简单的子系统，将以低价格进行大批量生产VRD的主要指标VRD的主要指标：范例----IVRDIVRD是HITLab为美国海军飞行员研制的交互的VRDIVRD课题的目标是飞行员用这种设备，能更好地在强光下观看，有立体视觉，通过手指指向显示与设备交互。设备很轻，耗能很少①高亮度彩色图像覆盖在飞行员的真实视场中②测量在真实视场中增强图像的位置③测量注视方向，以及在增强图像中眼和手的位置④在增强图像的视场中360度范围显示传感器数⑤允许观看者要求显示更多信息。范例----IVRDIVRD是HITLab为美国海军飞行VRD的应用包括用于军事，头盔，移动电话，以及医学上范例HMD上的应用。交互的VRD。手持的二维显示VRD技术医学应用VRD的应用①HMD上的应用。直升机飞行员需要获取信息，以便做出关系生死的决策。如果信息是以图形或直觉的方式提供的，就能减少飞行员的负担，增加在恶劣环境下的可视能力。HMD在白天和夜间都提供全彩色的图形信息，但缺乏有效的数据接口的联系。“VRD技术的产品Microvision给军队提供了单色双目HMD系统，视场水平52度，垂直30度，显示行数960，水平象素1716，重量2磅（包括两个显示器，头盔结构，及光学系统），图像以”看穿的方式“投影，飞行员同时看到背景场景。②交互的VRD。三维交互显示的VRD技术，可以集成在眼镜或头盔上，产生立体效果。①HMD上的应用。VRD的显示设备用于头盔显示器VRD的显示设备用于头盔显示器VRD的显示设备用于看穿的头盔显示器VRD的显示设备用于看穿的头盔显示器VRD现实设备用于军事的示意图VRD现实设备用于军事的示意图③手持的二维显示VRD技术，集成进手提电话，允许用户看商业网，因特网，e-mail，web页面，传真，文件等，如同看台式监视器。③手持的二维显示VRD技术，集成进手提电话，允许用户看商业网医学应用美国2%的人有弱视。弱视的人不是全盲，但不能拿到驾驶执照，而且难以阅读和看电视。原因可能是视网膜的伤害（中心或周围视力的衰减），或光路的伤害（角膜伤害或晶状体伤害）。VRD使得弱视的人能看到图像。1998年，Microvision与Wallace-KetteringNeuroscienceInstitute签订了合同，在神经外科的安全帽的研究上合作。没有视网膜伤害的病人能通过他的视场看到运动的粒子，具有视网膜伤害的病人实际上能反常地看到他自己的盲区。要求病人跟踪视觉扰动的边缘，于是就产生它自己视网膜的数字图像，这实际上定位了受伤的组织。这个图像与基底摄像机拍摄的照片比较，基底摄像机获取器官内表面的图像。基于VRD的工作站，在过去一年扫描了58个各种视网膜疾病的病人。医学应用美国2%的人有弱视。弱视的人不是全盲，但不能拿到驾驶VRD的未来VRD的未来，将更加紧凑。正在开发边缘发射，超亮度发射二极管，以及微型二极管激光器。这将允许直接的光调制。加上专用集成电路技术，产生手持的VRD设备。

VRD的未来VRD的未来，将更加紧凑。正在开发边缘发射，超亮VLSI显示技术VLSI类显示MITAI实验室用硅VLSI芯片技术实现这种显示特征。基于硅技术的图像传感器与液晶显示技术的产品相比，有着更高的密度和性能的潜力。查询思考LCD最大分辨率？象素间距？硅传感器制造的分辨率？，点距？VLSI显示技术VLSI类显示全息显示关于全息图全息图是一种三维图像，它与传统的照片有很大的区别传统的照片呈现的是真实的物理图像，而全息图则包含了被记录物体的尺寸、形状、亮度和对比度等信息。这些信息储存在一个很微小但却很复杂的干涉模式中。这个干涉模式是由激光产生的。从三维物体上反射出来的光形成一个非常复杂的三维干涉模式。要记录下整个模式，使用的光必须严格定向，而且属于同一颜色。这样的光叫做相干光。因为激光器产生的光具有单一颜色，而且所有光波都协调同步，因此激光是制作全息图的理想光源。当你用光照射全息图时，储存在干涉模式中的信息就会借助入射光再现由物体反射出来的原始光波波阵。你的眼睛和大脑就会觉得原来的物体好像又出现在你面前了。全息显示关于全息图全息技术是实现真实的三维图像的记录和再现的技术。制作全息图。和其他三维“图像”不一样的是，全息图提供了“视差”。视差的存在使得观察者可以通过前后、左右和上下移动来观察图像的不同形象——好像有个真实的物体在那里一样。全息技术是伦敦大学帝国理工学院的DennisGabor博士发明的。他也因此而获得了1971年的诺贝尔物理学奖。最初，Gabor博士只是希望提高扫描电子显微镜的解析度。上世纪60年代初期，密歇根大学的研究员Leith和Upatnieks制作出世界上第一组三维全息图像。这段时间，前苏联的YuriDennisyuk也开始尝试制作可以用普通白光观看的全息图。全息技术全息图有何用途？全息图在艺术、科学和技术上有很多用途。它可以用于一些产品的包装上，可以贴在出版物的封面上，也可以用于信用卡、驾照甚至衣服上以防假冒。一个片面的医学图像（例如一个CAT扫面图像）可以最终制作成三维全息图。计算机生成的全息图也可以使工程师和设计师的设计图样获得前所未有的视觉效果。工程师可以在生产过程中利用全息图检查产品上可能出现的裂纹及进行质量控制。这种技术叫做全息无损检测。全息图还用于很多民用和军用飞机。飞行员在望向驾驶舱窗外时，全息图为他们提供很多重要的信息。这叫做智能显示。现在，智能显示在一些汽车上也可以看到。艺术家可以利用全息图进行创作。很多艺术家觉得，全息图为他们提供了一个三维的和纯光学的空间，使得他们可以表达一些在“传统”媒介上不能表达的图像和信息。当光子进入你的计算机网络。全息图将会被用于储存信息。这叫做全息数字存储（HDS）。有了HDS，你就可以在一个方糖大小的尺寸上储存整个国会图书馆的信息。全息图有何用途？全息显示计算机生成的全息图分为两类：计算机生成的立体图是三维场景的一系列二维视场的光学记录。最后的全息图投影每个二维图像在观看区域中，于是可以看到有水平视差的立体视场。可以产生全色高分辨率图像，以及大的宽视场全息图。然而，这是非实时图像技术，它要求离线记录。为产生全息图要求大量信息，因为必须产生每个视场（一般100到300个视场）。计算生成的绕射模式这种方法是复杂的，计算量大。现状直到最近，计算机生成的全息图通常还只是用于绘图或打印技术记录，用作为离线过程。但是一个新方法允许全息图像实时显示，由快速帧缓冲存储器显示。全息图信号可以实时扫描并发送，这个系统是MIT发明的全息录像。全息显示计算机生成的全息图分为两类：视觉显示的光学系统VR应用有两类主要的视觉显示光学系统：头盔式立体显示非头盔显示立体眼镜式立体显示自动立体显示显示系统中显示的图像有两种情况直接联系到用户头部运动（用传感器测量头部位姿）或间接联系头部运动（用手柄等控制设备或语音输入）视觉显示的光学系统VR应用有两类主要的视觉显示光学系统：头盔式立体显示使用方法将显示硬件安装在头盔上或在头带上。优点显示定位伺服机械由人的躯干和颈部提供。这允许不附加硬件就产生完全环绕的观看空间，并消除某些非头盔显示中显示表面定位系统引入的延迟。在许多HMD中，所有图像是合成的，由计算机产生。缺点重量和惯性约束（妨碍了用户自由运动），由此引起的疲劳，以及随着增加头部惯性而增加运动眩晕征状。要求头盔显示应有好的空间分辨率、视场、彩色，并应轻便、舒适、代价效益好。头盔显示产生无缝的全环绕的观看体积。头盔显示一般难以制造。高性能HMD价格高。头盔式立体显示使用方法头盔立体显示在性能上的技术难点。(1)高分辨率、小型、轻便、低价的显示还有待实现(2)重量和惯性约束影响到发生运动眩晕，正确判定方向，以及长期适应性。(3)由于尺寸、性能和价格约束，多数HMD使用定位/聚焦补偿，就给用户提供了冲突的视觉深度信息(4)HMD的正常工作联系到头部跟踪系统性能（修改率和延迟）。头盔立体显示在性能上的技术难点。立体眼镜式立体显示非头盔式，但是又要求观看设备的立体显示的眼镜，有两种情况：场顺序眼镜（液晶光阀眼镜）用于双目分时观看左右图像。是非头盔的立体显示中常用的方式，又称为立体眼镜方法偏振眼镜用于双目分别观看不同偏振的左右图像。在立体电影院中提供立体显示。立体眼镜式立体显示非头盔式，但是又要求观看设备的立体显示的眼采用液晶眼镜观看立体显示采用液晶眼镜观看立体显示非头盔立体眼镜方式显示采用立体屏幕与投影显示。高分辨率彩色立体屏幕和投影显示系统价格较低，因此往往用于计算机图形学和娱乐业。优点这些系统只要求一对轻便的主动或被动眼镜产生高质量的立体显示，因此给用户施加最小的惯性约束，并是舒适的。在舒适的观看范围的限制下，屏幕和投影显示的静态视场和空间分辨率取决于用户到显示平面的距离。用大的显示平面，不要求光学设备，就可以实现较大的视场（＞100°水平视场）缺点屏幕和投影显示一般比HMD更大更重。这种空间和重量限制是其缺点。此外，必须用伺服控制或多个静态显示表面增加观看空间，提供全环绕视觉环境。增加观看空间的另一个途径是使用与头盔显示中同样的头部位姿传感器。非头盔立体眼镜方式立体投影的四种方法主动式系统有单台投影机的被动式系统有两台投影机的被动式系统有两台LCD式投影机的被动式系统立体投影的四种方法虚拟现实技术课件第二章虚拟现实技术课件第二章虚拟现实技术课件第二章虚拟现实技术课件第二章3自动立体显示含义：自动立体显示不要求辅助的观看设备（如场顺序或偏振眼镜），不给用户附加惯性约束。观看区域或观看体积的大小可能有所不同，自动立体显示也可由多人观看。方式透镜显示视差挡板显示切片堆积显示3自动立体显示透镜显示一个透镜面是圆柱透镜的阵列，它用于产生自动立体三维图像，这是通过把两个不同的二维图像导向各自的观看子区域。在透镜面前方不同的角度上，在子区域内形成图像。当观察者的头在正确的位置时，每只眼就在不同的观看区，看到不同的图像，得到双目视差。柱面透镜构成左右两个眼的观看区域透镜成像透镜显示柱面透镜构成左右两个眼的观看区域透镜成像视差档板显示视差档板是放在显示前方的垂直平板，它对每只眼都阻档了屏幕的一部分。视差档板的作用类似透镜面。差别在于它是用档板档住部分显示，而不是用透镜导引屏幕图像。屏幕显示两个图像，每个分成垂直条。屏幕上显示的条交替为左右眼图像。每只眼只看到它的条。棱柱透镜对两幅图的导向作用视差挡板对两幅图的局部遮挡视差档板显示棱柱透镜对两幅图的导向作用视差挡板对两幅图的局部切片堆积显示切片堆积显示也称为多平面显示。它由多层二维图像（切片）构成三维体积。正如发光二极管（LED）的旋转线可以产生平面图像感，LED的旋转平面可以产生体图像。类似的体积可以用CRT显示或运动镜面扫描。运动镜面必须以高频运动很大距离，所以也可以用变焦距镜面。一般用30Hz声音信号振动反射膜片。在镜面振动时，聚焦长度改变，反射的监示器在截断的金字塔型观看体积中形成图像。镜面连续改变其放大率，使随时间扫描的图像连续改变其深度。切片堆积显示视觉显示的产品头盔显示主要指低分辨率大视场的基于LCD的系统应用比较广泛的HMD产品提供100-110度水平视场，用LCD屏幕，有效空间分辨率300*200，采用标准的NTSC外观，价格1万美元以下代表产品：VirtualResearchFlightHelmet，VPLEyePhone和LEEPSystemsCyberFaceⅡ轻便的HMD，使用小型单色CRT以及彩色轮。重28盎司，两个NTSC输入，分辨率250(水平)×493(垂直)。其视场在100%双目重叠时为32°，在50%双目重叠时为48°。它有很好的亮度与对比，价格低于8000美元。代表产品：EYEGEN3在较高档的商品范围（约15万美元），KaiserElectro-Optics推出了ColorSimEye。这是军用研究的结果，它在40°对角视场上提供1280(水平)×1024(垂直)的隔行扫描线。正在开发60°-80°视场的产品。视觉显示的产品头盔显示虚拟现实技术课件第二章基于LCD的头盔显示基于LCD的头盔显示基于CRT的头盔产品基于CRT的头盔产品虚拟现实技术课件第二章虚拟现实技术课件第二章虚拟现实技术课件第二章虚拟现实技术课件第二章虚拟现实技术课件第二章虚拟现实技术课件第二章近年为各种军事研究应用开发了先进的高性能HMD这些系统虽然功能强，但价格往往超过50万美元。最初为军用开发的高档HMD技术已转向商业，新的市场已形成了低档的设计。轻便，中等分辨率（约1000水平线），彩色，看穿的HMD在20万美元以下较低分辨率系统（NTSC水平）在1万美元以下。中等分辨率非头盔场顺序投影系统在2万美元以下等效的BOOM类系统在10万美元以下。BOOM可移动式显示器:它是一种半投入式视觉显示设备。使用时，用户可以把显示器方便地置于眼前，不用时可以很快移开。BOOM使用小型的阴极射线管，产生的像素数远远小于液晶显示屏，图像比较柔和，分辨率为1280×1024像素，彩色图像。

近年为各种军事研究应用开发了先进的高性能HMD视觉显示产品2．非头盔的显示基于CRT的屏幕和投影显示，有足够的扫描速率和带宽，可以用场顺序技术产生高分辨率（1000水平线）立体显示。这种形式的高分辨率彩色高带宽显示，对屏幕型式约2000美元，对大屏幕投影方式约为13000美元。这种立体显示利用时间顺序方法提供左右眼交替的立体显示对。在计算机图形市场上，场顺序设备最早的提供者是StereographicsCorporation。它制造了一系列LCD光闸眼镜，它用红外技术作场同步。这些眼镜和红外发射器可以加到适当的计算机和投影系统，在2000美元以下。3DTV提供低价格，有线同步的，场顺序系统。整个系统价格比可比的头盔显示低一个数量级。这种立体眼镜的显示系统，广泛应用于计算机图形学和低档的VR系统。它以较低的成本实现了立体显示

视觉显示产品2．非头盔的显示使用主动立体眼镜的立体显示系统为标准的布局。其中利用红外信号传送同步信号，用于控制液晶眼镜的开关。眼镜上备有轻便的锂电池，眼镜在无线状态下工作

使用主动立体眼镜的立体显示系统为标准的布局。其中利用红外信号使用主动立体眼镜的立体显示系统为用于VR的布局。除了标准布局中的上述设备外，眼镜上还有头部跟踪的超声接受器。超声接受信号要经过导线传给头部跟踪系统，眼镜在有线状态下工作

使用主动立体眼镜的立体显示系统为用于VR的布局。除了标准布局视觉显示产品3混合的立体显示系统

Fake空间实验室开发了一类显示，称为BOOM。它的显示器安装在六自由度支持结构上。用户以两手抓住显示器，转动显示器改变观看方向，好像它是望远镜。用按钮控制，在VR中向前向后运动。这种粗的地面安装设备有几种布局。低档系统用两台CRT显示提供640(水平)×480(垂直)单色分辨率。BOOM的高档三色版本提供1280(水平)×1024(垂直)隔行分辨率，使用彩色滤光技术。BOOM观看者在六自由度支持结构上有集成的跟踪传感器。这个跟踪系统，在改变观看方向后5ms以内，很快把方向位置信息送给计算机。视觉显示产品3混合的立体显示系统

Fa虚拟现实技术课件第二章混合的屏幕显示系统，使用小的显示表面，通过显示支持结构支持显示系统。显示系统通过伺服控制或人操纵跟随用户头部运动。这些系统去掉了头盔显示的惯性约束，并允许用小型高分辨率彩色屏幕显示设备。通过显示支持结构的仪表得到头部位姿信息，于是不增加复杂性就可以得到大的有效的观看空间。在伺服控制的方案中，由电子机械控制机构产生的延迟和失真必须解决，还要注意与人头部相连的电源设备的安全问题。人操纵的设备没有安全问题，但是必须由一两只手移动视觉设备，于是这一两只手就不能用于人机交互的任务。

混合的屏幕显示系统，使用小的显示表面，通过显示支持结构支持显视觉显示的产品4．多面的显示系统（VirtualEnvironmentEnclosure）多表面显示系统（VirtualEnvironmentEnclosure）至少具有三个显示表面。显示表面可以是墙面，天花板，和地面。它们彼此相连构成房间。最早的布局是立方体的三个显示墙面和一个显示地面。典型的尺寸是，每边长度10英尺，允许多人同时在这个虚拟环境中。多面显示系统中，同时在三面，四面，五面或六面墙面上显示图像。显示图像可以充满整个视场，增加沉浸感。

视觉显示的产品4．多面的显示系统（VirtualEnvirCAVE1系统的工作原理。该系统中，前方，左方，右方，上方的四面墙，都是投影屏幕。图中可以看到，对四个屏幕的四台投影机和四个反光镜CAVE1系统的工作原理。该系统中，前方，左方，右方，上方的多表面显示系统的产品CAVE第一个VirtualEnvironmentEnclosure是1991年伊利诺伊（Illinois）大学开发的CAVE（CAVEAutomaticVirtualEnvironment），它在图形学会议SIGGRAPH92上发表。由多台计算机产生的图像，被镜面反射到投影屏幕。视点在环境中的移动，受一个主要用户的控制。该用户身上有位置跟踪设备（如磁跟踪器），测量他注视的地方。该用户还用操纵杆控制视点的移动。为了观看立体显示，所有用户都要佩带立体眼镜。一个缺点是，除了主要用户外，每个人都好像乘车一样，会出现仿真眩晕。CAVE的房间尺寸是30'×20'×13'。投影机的光学系统被镜面折叠。每个投影面用单独的投影材料，在三面墙交界的两个墙角处，从房顶到地面拉一根1/4英寸的缆线。缆线的遮挡会破坏在墙角处的立体效果。CAVE由PyramidSystems,Inc.销售。与伊利诺伊大学合作，保持很强的技术支持。多表面显示系统的产品CAVE多表面显示系统的产品C2

C2是由爱荷华（Iowa）州立大学制造的。通过与爱荷华工程部的合作，他们试图改进CAVE的不足。

主要改进包括：移动地板投影由用户后方到用户前方。这就把用户在地板上的阴影移到用户后方，不至影响显示。在墙角处，用架子把两边的墙面夹在一起，防止有阴影投在屏幕上。用Unistrut结构，提供更好的立体声效果。

多表面显示系统的产品C23CABIN（ComputerAidedBoothforImageNavigation）是东京大学制造的五面显示的系统。它有强化玻璃的地板，还有三面墙和天花板的显示。得到工业界支持。3CABIN4NAVE（NAVEAutomaticVirtualEnvironment）是由GeorgiaTechVirtualEnvironmentsGroup制造的。课题成本$60k，适于用在大学的实验室。它用视觉和其他物理感觉增强全局的沉浸感。两个人坐在一个椅子上，采用力反馈手柄控制运动。声音系统很好。还通过地板发出震动。用旋转和闪烁的光线加强气氛。

4NAVE（NAVEAutomaticVirtua5C6由爱荷华（Iowa）州立大学制造，是三维全沉浸的合成环境。它的房间中，四面墙，地面和天花板都是投影屏幕，显示背投立体图像。一面墙可动，允许用户进出房间。

VirtualEnvironmentEnclosure的改进包括：减小空间要求，增加投影面，增加立体声音，增加物理反馈，以及降低价格。5C6第二节小结介绍了虚拟现实中的视觉显示技术。

视觉显示要求的视觉特性包括：视场、分辨率、亮度、对比、彩色和立体视觉。视觉显示还要求考虑人类工程学，安全，可靠和价格。

第二节小结介绍了虚拟现实中的视觉显示技术。

视觉显示要第三节听觉显示听觉显示概述声音显示设备房间声音建模非语音声音合成

第三节听觉显示听觉显示概述1听觉显示概述虚拟环境的听觉接口应能给两耳提供一对声波。这些声波具有：(1)它应有高逼真性(2)能以预订方式改变波形，作为听者各种属性和输出的函数(包括头部位姿变化)(3)排除所有不是VR系统产生的声源(如真实环境背景声音)。对增强现实系统可以放松上述条件(3)，它的意图是组合合成声音与真实声音。1听觉显示概述虚拟环境的听觉接口应能给两耳提供一对声波听觉显示设计的三方面内容：为了满足这些要求，听觉显示系统应该包括发声设备。为了使用户产生置身于某种声场的临场感，首要解决了两个问题：解决声音空间定位问题建模问题为了仿真不同类型的声源，要求合成各类特定声源的声音信号。这里只介绍非语音信号的合成

听觉显示设计的三方面内容：2声音显示设备声音显示设备一般讲，用耳机最容易达到虚拟现实的要求。在使用喇叭，并远离头部时，每个耳朵听到每个喇叭的声音，控制问题很困难。虽然商业化的高逼真电影往往声称喇叭有很好的形成声象能力，但用户限制在房中单一收听位置，只得到固定方位声象（不补偿头部转动），而且房间的声学特性不容易处理。此外，由于耳朵完全打开,不可能排除环境中附加的声音。虽然与耳机有关的接触感可能限制听觉临场感的程度，但是由于用户需要在虚拟和真实环境之间来回转移，这种与耳机接触可能是有用的。在任何情况，由于视觉接口会存在这些问题。在需要喇叭的情况下，可能发生高能低频声爆破。这种情况，喇叭可能用于振动部分身体，而不仅是耳膜。

2声音显示设备声音显示设备1．耳机耳机有不同的电声特性，尺寸重量，以及安在耳上的方式。一类耳机是护耳式耳机，它是大的重的，并用护耳垫连在耳朵上。另一类耳机是插入耳机(或耳塞)，声音通过它送到耳中某一点。插入耳机可能很小，并封闭在可压缩的插塞中(或适于用户的耳模)，它放入耳道中。耳机的发声部分也可能远离耳朵，其输出的声音经过塑料管连接(一般2mm内径)，它的终端在类似的插塞中。插入耳机(或耳塞)，依靠与声音传送区有高的接触区域比，可以提供外部声音较好的衰减(在4kHz以上约35dB，在250Hz以下降到约25dB)。护耳式耳机可以达到类似的高频衰减，但只有较少的低频衰减。主动消噪音护耳式耳机提供高达15dB附加低频衰减，因而使其整个衰减特性类似于插入耳机。组合插入耳机和主动消噪音护耳式听力保护器可以达到最大的衰减。即使包括保护器，价格也不超过1000美元。

1．耳机除了在娱乐应用上的工作外,在VR领域涉及听觉显示的多数研究开发集中在由耳机提供声音。但这有两个缺点：(1)它要求把设备安在用户头上，从而增加负担。考虑到(1)，对许多现有的头部跟踪技术，头部跟踪设备与耳机都必须安在头上。如果视觉显示也是头部安装的，则与增加耳机有关的人类工程问题就是次要的。即使不要求听觉显示，视觉显示也要求头部跟踪器，增加耳机到头盔显示后所附加的负担是较小的。

(2)它只刺激听者耳膜。考虑到(2)，即使耳机能产生足够的能量震聋用户，但通过耳机的刺激不足以给用户提供声音能量，影响耳朵以外的身体部位。虽然对VR领域的多数应用，听觉系统对正常听觉通道的刺激(外耳、耳膜、中耳、耳蜗等)是精确的，但是如果希望在环境中提供真实的高能声音事件的仿真(如爆破或高速飞机低空飞过)，则其它身体部位的声音仿真也是重要的(如振动用户肚子)。除了在娱乐应用上的工作外,在VR领域涉及听觉显示的多数研究开3房间声音建模声音的空间分布虚拟环境听觉接口以前多数工作是要提供声音的空间分布。在这个领域，工作最初集中在仿真正常的空间分布。很少注意提供超正常分布。房间声学建模当前，Acoustetron是唯一的包含简化的房间实时声学建模的实时声音空间定位系统。即使声学模型是简单的，并只有少量一阶和二阶反射，系统提供了加强的现实性。增强现实显示非语音声音合成3房间声音建模声音的空间分布声音的空间分布要求对任何声音提供正常空间分布。这要求考虑被传送声音的复杂频谱。声音的传输涉及到空间滤波器的传输功能，这就是在声波由声源传到耳膜时发生的变换(在时间域内，在滤波器脉冲响应中的时间信号，实现同样的变换)。由于存在两个耳朵，每只耳朵加一个滤波器（由声源传到这个耳膜时发生的变换）。由于虚拟环境上多数工作集中在无回声空间，加之声源与耳的距离对应的时间延迟，确定滤波器只需要根据听者的身体、头和耳有关的反射、折射和吸收。传输功能看作与头有关的传输功能(HRTF)。在考虑真实的反射环境时，传输功能受到环境声结构和人体声结构的影响。对不同声源位置的HRTF估计，是通过在听者耳道中的探针麦克风的直接测量。一旦得到HRTF，则监测头部位姿，对给定的声源定位，并针对头部位姿提供适当的HRTF，实现仿真声音的空间分布要求对任何声音提供正常空间分布。定位系统Wr