虚拟现实课件_第3章(教师-王洪群)

1、1虚拟现实技术虚拟现实技术讲课老师：讲课老师： 王洪群王洪群whq_whq_2第三章第三章 输出设备：图形、三输出设备：图形、三维声音和触觉显示设备维声音和触觉显示设备图形显示器图形显示器声音显示设备声音显示设备触觉反馈触觉反馈3一、图形显示设备一、图形显示设备定义：图形显示设备是一种计算机接口设备，它把合成出的世界定义：图形显示设备是一种计算机接口设备，它把合成出的世界图象展现给与虚拟世界进行交互的一个或多个用户。图象展现给与虚拟世界进行交互的一个或多个用户。产生图象的类型产生图象的类型特征特征单视场单视场立体立体图象的分辨率图象的分辨率视场视场显示技术显示技术基于基于LCDLCD基于基于C

2、RTCRT人机工程学因素人机工程学因素价格价格4人类视觉系统人类视觉系统中央凹中央凹会聚角会聚角瞳距瞳距视场视场视网膜中心区域视网膜中心区域（绕视轴几十度的范围）（绕视轴几十度的范围）一只眼睛一只眼睛水平水平150150垂直垂直120120图象视差图象视差IPDIPD，interpupillaryinterpupillarydistancedistance视场：视场：FOVFOVField of viewField of view5个人图形显示设备个人图形显示设备定义：为单个用户输出虚拟场景的图形显示设备称为个人图形显定义：为单个用户输出虚拟场景的图形显示设备称为个人图形显示设备。这类图象可以

3、是单视场的，也可以是立体示设备。这类图象可以是单视场的，也可以是立体的；可以是单目的（为一只眼睛提供显示），也可的；可以是单目的（为一只眼睛提供显示），也可以是双目的（给两只眼睛提供显示）。以是双目的（给两只眼睛提供显示）。头盔显示器头盔显示器个人图形显个人图形显示设备示设备手持式显示器手持式显示器地面支撑显示器地面支撑显示器桌面支撑显示器桌面支撑显示器主动立体视觉监视器主动立体视觉监视器被动立体视觉监视器被动立体视觉监视器6头盔显示器头盔显示器HMDHMD的简化光学模型的简化光学模型15m15m7头盔显示器头盔显示器HMDHMD注意：区别主要在哪里？单视场和立体区别在哪里？注意：区别主要在哪

4、里？单视场和立体区别在哪里？普通消费级普通消费级HMDHMD专业级专业级HMDHMD8OlympusOlympus的基于的基于LCDLCD的的Eye-Trek FMD(face-mounted displays,Eye-Trek FMD(face-mounted displays,简称简称FMD)FMD)FMD 700 FMD 700 分辨率：分辨率：533533450(72450(72万象素万象素) )FMD200FMD200分辨率分辨率267267225(18225(18万象素万象素) )单视场单视场Daeyang cy-visor FMD(Daeyang cy-visor FMD(消费级

5、别消费级别) )Cy-visor DH-4400VPCy-visor DH-4400VPLiquid-crystal-on-siliconLiquid-crystal-on-siliconAMLCD-active matrix LCDAMLCD-active matrix LCD可透视可透视分辩率高分辩率高体积小，体积小，需要外部光源需要外部光源800800600600水平水平6060垂直垂直4343重量重量160g160g9专业级别的立体专业级别的立体HMDHMDProView XL35ProView XL35Datavisor HiResDatavisor HiRes10241024768

6、7683 3水平水平2828垂直垂直2121重量重量992g992g1.6arcmin1.6arcmin两个两个1280128010241024水平水平7878垂直垂直3939重量重量1587g1587gTektronix NucolorTektronix Nucolor液晶快门，液晶快门，4545镜面反射镜面反射可以通透式应用可以通透式应用10手持式显示器手持式显示器Hand-Supported Displays,Hand-Supported Displays,简称简称HSDHSDNVISNVIS公司的虚拟双目镜公司的虚拟双目镜Liquid-crystal-on-siliconLiquid-

7、crystal-on-silicon1080108010241024重量重量1kg,1.6arcmin1kg,1.6arcmin11地面支撑式显示器地面支撑式显示器0.10.1光机械传动轴编码器光机械传动轴编码器优点：机械跟踪器的低延迟可以消除仿真病；优点：机械跟踪器的低延迟可以消除仿真病；不受电磁干扰；承载较大重量的显示设备；不受电磁干扰；承载较大重量的显示设备；Fakespace LabsFakespace Labs公司公司Boom3CBoom3C缺点：存在运动死角。缺点：存在运动死角。Fakespace LabsFakespace Labs公司公司Boom3CBoom3C立体图形立体图形

8、支撑臂离轴的支撑臂离轴的(off-axis)(off-axis)16001600120012001280128010241024IterSenseIterSense惯性跟踪器惯性跟踪器12桌面支撑显示设备桌面支撑显示设备自动立体显示器自动立体显示器优点：用户不需要带任何视觉备，就可优点：用户不需要带任何视觉备，就可以显示立体图象以显示立体图象缺点：由于采用列交错使得水平分辨缺点：由于采用列交错使得水平分辨率降低一半；照明、观察光学仪率降低一半；照明、观察光学仪器等专用硬件，价格昂贵。器等专用硬件，价格昂贵。自动立体显示器自动立体显示器被动自动立体显示器被动自动立体显示器主动自动立体显示器主动自

9、动立体显示器DTI 2018XLDTI 2018XLVirtual WindowVirtual Window被动自动立体显示器被动自动立体显示器13主动自动立体显示器主动自动立体显示器Elsa Ecomo4DElsa Ecomo4D14各种个人图形显示设备的性能比较各种个人图形显示设备的性能比较显示设备名称类型分辨率FOV(HV)重量(g)价格（103）美元Eye-TrekAMLCD,FMD26722530231000.5cy-visorLCOS,LCD,FMD80060060431601ProView XL35AMLCD,HMD1024 768282199220Datavisor HiRes

10、CRT,HMD128010247839158735Virtual binoculars SXLCOS,LCD,HSD1280102442对角线100019.9Boom3CCRT,FSD1280102485H100Window VRFlat panel,FSD1280102421 in对角线13.9DTI 2018XL Virtual WindowTFT,LCD,Autostereo1280102418.1 in对角线112507Elsa Ecomo4DTFT,LCD,Autostereo1280102418 in对角线170001515定义定义：允许靠得很近的多个用户：允许靠得很近的多个用户同

11、时观察虚拟世界同时观察虚拟世界的立体图像或单视的立体图像或单视场图像的图形显示场图像的图形显示设备称为大型显示设备称为大型显示设备。设备。大型显示设备大型显示设备（1 1）基于监视器的大型显示设备）基于监视器的大型显示设备120140Hz120140Hz图象更图象更清除清除不能遮不能遮挡挡缺点：只有一个用户可以控制场景缺点：只有一个用户可以控制场景优点：分辨率高，多用户同时观看优点：分辨率高，多用户同时观看AkkaAkka关于关于“人的因素人的因素”的考虑的考虑UUurk)(25. 1r（2 2）基于投影仪的大型显示设备）基于投影仪的大型显示设备基于监视器的大型显示设备基于监视器的大型显示设备

12、16单视场多屏幕显示器单视场多屏幕显示器PV290PV290三屏显示器三屏显示器分辨率从：单个分辨率从：单个1280128010241024到到3840384010241024单视场，多屏幕，三单视场，多屏幕，三个个TFT,-TFT,-薄膜晶体管薄膜晶体管LCDLCD问题：同步问题。问题：同步问题。17快速倾斜造成的图象未对齐快速倾斜造成的图象未对齐校正后的对齐图象校正后的对齐图象18基于投影仪的显示器基于投影仪的显示器数字投影仪数字投影仪: :数字微镜数字微镜设备，几千流明设备，几千流明Digital micromirror Digital micromirror device,device

13、,简称简称DMDDMDCRTCRT投影仪投影仪：优点：刷：优点：刷新率高新率高120Hz120Hz；缺点：；缺点：价格高；亮度不足价格高；亮度不足(“fast green”(“fast green”涂涂层层),200300),200300流明流明微镜元素微镜元素1616 m m19WorkbenchWorkbench显示器显示器单投影仪倾斜配置单投影仪倾斜配置V-Desk 6V-Desk 6双投影仪双投影仪L L型配置型配置20四投影仪四投影仪CAVECAVE显示设备显示设备伊利诺斯大学芝加哥校区的电子可视化实验室伊利诺斯大学芝加哥校区的电子可视化实验室21投影仪阵列：是由许多功能相同的投影仪

14、组成的大型显示设备，投影仪阵列：是由许多功能相同的投影仪组成的大型显示设备，这些投影仪经过校准，能显示虚拟场景中的平铺合成图象。这些投影仪经过校准，能显示虚拟场景中的平铺合成图象。带有三投影仪的带有三投影仪的PanoWalPanoWal显示设备显示设备需要预处理需要预处理22由投影仪阵列产生的由投影仪阵列产生的 平铺图象平铺图象PanoramTechnologiesPanoramTechnologies研究了一种无缝矩阵混合方法（专用查找表），研究了一种无缝矩阵混合方法（专用查找表），可以对图象进行预处理，调整象素的亮度，产生明亮一致的图像。可以对图象进行预处理，调整象素的亮度，产生明亮一致的

15、图像。另外，另外，DomeDome是一种大型球形显示设备，能产生是一种大型球形显示设备，能产生360360度视场的图象，容度视场的图象，容纳纳400400500500个观察者。还有个观察者。还有VdomeVdome使用使用7 7个投影仪，主要用于军事飞行个投影仪，主要用于军事飞行训练。训练。23声音显示设备声音显示设备定义：声音显示设备是一种计算机接口设备，能给与虚拟世界交定义：声音显示设备是一种计算机接口设备，能给与虚拟世界交互的用户提供合成的声音反馈。声音可以是单声道互的用户提供合成的声音反馈。声音可以是单声道的的( (两只耳朵听到相同的声音两只耳朵听到相同的声音) )，也可以是双声道的，

16、也可以是双声道的（每只耳朵听到不同的声音）。（每只耳朵听到不同的声音）。立体声：双声道，听起来在用户头部内部发出来的。立体声：双声道，听起来在用户头部内部发出来的。不使用头部跟踪器。不使用头部跟踪器。三维声音：使用头部跟踪器的数据合成的。听起来三维声音：使用头部跟踪器的数据合成的。听起来可以在头部周围的任何地方。可以在头部周围的任何地方。24空间位置不变空间位置不变25人类的听觉系统人类的听觉系统方位角方位角仰角仰角距离距离26人类的听觉系统人类的听觉系统方位角方位角（1 1）ITDITD-interaural time -interaural time differencedifferenc

17、e两耳时差两耳时差是大脑估计声源是大脑估计声源方位角方位角的线索的线索（2 2）两耳强度差两耳强度差(interaural (interaural intensity difference,intensity difference,IIDIID) )是估计声源是估计声源方位角方位角另外一个线另外一个线索。索。（3 3）耳廓的声音路线变化耳廓的声音路线变化提提供了声源供了声源仰角仰角的主要线索。的主要线索。（4 4）经验知识提供距离估计。）经验知识提供距离估计。（5 5）运动时差：当用户头部）运动时差：当用户头部发生变化，声音方位角的变化发生变化，声音方位角的变化大小作为距离线索。大小作为距离线

18、索。（6 6）直接来自声源的声音与）直接来自声源的声音与经周围环境第一次反射后的声经周围环境第一次反射后的声音能量之比，作为距离的另一音能量之比，作为距离的另一重要线索。远声场重要线索。远声场(far (far field):field):比值很小。近声场：比值很小。近声场：比值较大。比值较大。27HRIRHRIRhead-head-related impulse related impulse responses,responses,为与头为与头部相关的脉冲响应。部相关的脉冲响应。HRTFHRTFhead-head-related transfer related transfer func

19、tions,functions,也就是也就是脉冲响应的傅立叶脉冲响应的傅立叶变换，称头部相关变换，称头部相关的传递函数。的传递函数。19881988年年Crystal Crystal River River EngineeringEngineering为为NASANASA签约开发的，签约开发的，实时数字信号处理实时数字信号处理器，名为：器，名为：convolvotronconvolvotron28基于扬声器的三维声音基于扬声器的三维声音4 4声道格式，声道格式，“5.1”5.1”环绕格式环绕格式rightleftrrlrrlllrightleftSSHHHHYY,PCPC三维声卡：三维声卡：S

20、RSSRS公司生产的公司生产的TruSurroundTruSurround和和VideologicVideologic生产的生产的SonicFury 3DSonicFury 3D29触觉反馈接口触觉反馈接口触觉：触觉：haptic,haptic,触觉反馈触觉反馈力反馈力反馈(force feedback)(force feedback)接触反馈接触反馈(touch feedback)(touch feedback)触觉反馈触觉反馈定义：触觉反馈传送接触表面的几何结构、虚拟对象的表面定义：触觉反馈传送接触表面的几何结构、虚拟对象的表面硬度和温度等实时信息。它不会主动抵抗用户的触摸运动，不能阻止用

21、户硬度和温度等实时信息。它不会主动抵抗用户的触摸运动，不能阻止用户穿过虚拟表面。穿过虚拟表面。力反馈力反馈定义：力反馈提供虚拟对象表面柔顺性、对象的重量和惯性等实时定义：力反馈提供虚拟对象表面柔顺性、对象的重量和惯性等实时信息。它主动抵抗用户的触摸运动，并能阻止该运动（如信息。它主动抵抗用户的触摸运动，并能阻止该运动（如果反馈力比较大）。果反馈力比较大）。设计所要考虑的问题设计所要考虑的问题：(1)(1)安全性和合适性；（安全性和合适性；（2 2）轻便性和用户舒适度）轻便性和用户舒适度30人类的触觉系统人类的触觉系统皮肤触觉传感器皮肤触觉传感器MerkeMerke盘盘MeissnerMeiss

22、ner小体小体温度感知温度感知：是由专门的温度感受器和伤害感受器实现的。：是由专门的温度感受器和伤害感受器实现的。本体感受本体感受：对自己身体位置和运动的感知。：对自己身体位置和运动的感知。PacinianPacinian小体小体RuffiniRuffini小体小体慢适应慢适应SASA相应皮肤上的恒力相应皮肤上的恒力快应快应FAFA感受振动和加速度感受振动和加速度传感器发动机控制传感器发动机控制：使用触觉、本体感受和肌肉运动知觉来影响施加：使用触觉、本体感受和肌肉运动知觉来影响施加在触觉接口上的力。关键在触觉接口上的力。关键特征特征：最大施力能力最大施力能力、持续施力持续施力、力跟踪力跟踪（意

23、味着可以控制力的大小）（意味着可以控制力的大小）分辨率分辨率和和力控制带宽力控制带宽（响应力刺激（响应力刺激的迅速性）。的迅速性）。31人的抓握几何人的抓握几何抓握几何抓握几何精确抓握精确抓握用力抓握用力抓握用于巧妙地操纵对象，对象只与手接触用于巧妙地操纵对象，对象只与手接触对象被握在手掌和弯曲对象被握在手掌和弯曲9090度以上的闭合手指之间，度以上的闭合手指之间，它的稳定性更高，施加的力更多，但是缺乏灵活性。它的稳定性更高，施加的力更多，但是缺乏灵活性。32触觉反馈接口触觉反馈接口iFeeliFeel触觉反馈鼠标触觉反馈鼠标33触觉反馈接口触觉反馈接口CyberTouchCyberTouch

24、手套手套提供振动触觉反馈提供振动触觉反馈34触觉反馈接口触觉反馈接口温度反馈手套温度反馈手套PeltierPeltier热电泵热电泵35触觉反馈接口触觉反馈接口温度反馈手套温度反馈手套DTSSDTSS热电泵的控制热电泵的控制PIDPID比例积分微分比例积分微分C&MC&M研究所开发的温度替换感知系统研究所开发的温度替换感知系统DTSS(Displaced Temperature Sensing System)DTSS(Displaced Temperature Sensing System)由由8 8个热电极个热电极(Peltier(Peltier热泵和热电偶温度传感器组成热泵

25、和热电偶温度传感器组成) )和一个控和一个控制接口单元制接口单元36力反馈接口力反馈接口力反馈操纵杆力反馈操纵杆力反馈系统力反馈系统机械带宽定义：表示用户（通过手指附件、手柄和万向接头等）机械带宽定义：表示用户（通过手指附件、手柄和万向接头等）感觉到的力的频率和转矩的刷新率（单位：感觉到的力的频率和转矩的刷新率（单位：HzHz）控制带宽定义：指隔行扫描激励器接受到的命令更新的频率。控制带宽定义：指隔行扫描激励器接受到的命令更新的频率。WingMan Force 3DWingMan Force 3D操纵杆操纵杆三个自由度，三个自由度，两个自由度有两个自由度有力反馈力反馈37力反馈接口力反馈接口PHANToM-Personal Haptic PHANToM-Personal Haptic Interface MechanismInterface Mechanism个人触个人触觉接口装置觉接口装置力反馈系统力反馈系统PHANToM DesktopPHANToM Desktop桌面力反馈桌面力反馈臂臂最大输出最大输出力力