人机交互设计 课件 第3章 交互设备

人机交互设计第三讲交互设备延迟符交互设备01.交互接口设备发展02.交互设备分类视觉设备；听觉设备；力觉、触觉设备；跟踪设备；03.研究热点立体显示；体感跟踪；声音识别；投影类显示……可供人机交互使用的设备主要分为以下几个方面：根据人的认知通道方式，将获取信息的途径分为视觉，听觉、触觉（力觉）及其他跟踪设备。3交互设备1.1人体的视觉特性——立体视觉视觉是人类感知客观世界的最主要的途径。研究表明，人类获取的信息中有83%来自视觉。显示技术作为视觉信息呈现的重要技术手段，是“信息获取、处理、传输、存储和显示”产业链条中的关键环节，对满足人类的视觉需求具有极其重要的意义。401视觉特性与视场几个概念1：立体视觉人为什么要长两只眼睛？5仅从单幅场景图像无法获知物体的深度信息两眼大约有6.5cm的瞳距，对同一场景，两眼得到的图像略有差别，大脑对这两幅图像中的细节进行解释使你有距离和深度的感觉只要使双眼各自看到恰当的图像，就能使人产生立体的感觉。立体显示的原理就是通过体视设备使左右两眼看到两幅图像。两幅图象之间存在的水平位差在人眼中形成视差，使得原本在二维平面上的图像被重构成一虚拟的立体空间。1.1人体的视觉特性——立体视觉立体视觉（StereoVision）是指人通过双眼观察景物并能分辨物体距离和形态的感觉。立体视觉是计算机视觉领域的一个重要课题，它能够帮助我们重构场景的三维信息。视差:空间内的某一点，分别在两眼的图像中投影生成两个像点，这两个像点在图像中横坐标值的差值就是视差，601视觉特性与视场20:19S.7我们只是根据场景中的光照变化、物体遮挡、阴影以及经验等渠道来感觉那些场景的立体效果。20:19S.8立体视觉可以推算出深度z的计算公式：z=D*S/(xl-xr)视差：真实空间的某一点，分别投影生成两幅图像中两个位置不同的像点，这相互对应的两个像点在图像中位置上的差值就是视差。20:19S.9主动系统显示原理标准布局：利用红外信号传送同步信号，用于控制液晶眼镜的开关。20:19S.11几个概念2：视场眼睛的视场约为水平±100o，垂直±60o，而水平的双目重叠视场120o目前的实际全景显示设备可能产生水平±100o，垂直±30o视场，这已经有强的沉浸感了。2.1视觉交互设备的分类在视觉交互设备中，根据元器件的不同，可以将其分为阴极射线管（CRT，CathodeRayTube）显示器、液晶显示器（LCD，LiquidCrystalDisplay）、等离子显示器（PDP，PlasmaDisplayPanel）、发光二极管（LED，LightEmittingDiode）显示器和虚拟视网膜显示设备1202视觉交互设备与相关技术2.1视觉交互设备的分类1．阴极射线管显示器1302视觉交互设备与相关技术20:19S.14发光二极管显示器（LED）20:19S.15虚拟现实VRD显示原理（VirtualRealityDisplay）VCD直接把调制的光线投射在人眼的视网膜上，产生光栅化的图像。20:19S.16VRD显示特点很小很轻的眼镜大于120º的大视场很低的功率消耗具有看穿的显示方式20:19S.17视觉显示表面阴极射线管（CRT）液晶显示器（LCD）等离子显示器（PDP）发光二极管显示器（LED）VRD类显示器投影类显示三维显示20:19S.18投影类显示司空见惯的投影仪投影在投影幕上、墙上或者任何地方20:19S.19能够让任何表面或物体变成交互式显示屏幕，辨识操作者的手势动作。20:19S.20视觉显示表面阴极射线管（CRT）液晶显示器（LCD）等离子显示器（PDP）发光二极管显示器（LED）VRD类显示器投影类显示三维显示20:19S.21三维显器Felix3D20:19S.22几种典型的虚拟现实立体显示设备头盔式立体显示器HMD（头盔显示器Head-MountedDisplay);可看穿的HMD双目全方位监视器BOOM立体眼镜式立体显示器环屏或球屏立体显示设备洞穴式立体显示（CAVE）自动立体显示器20:19S.23HMD20:19HMD

20:19可看穿的头盔显示器在看穿的头盔显示中，虚拟图像投射在观察者眼前的半反光半透明的光学玻璃上。于是在看到计算机生成的虚拟图形的同时，也看到真实场景。BAE为“鹰狮”提供综合头盔显示器系统Sony公司的LDI-100头盔显示器，重量120g，提供可看穿的显示20:19S.26FakespaceFS2

(dualCRT,1280x1024)

20:19S.27FakespacePinch

(dualCRT,1280x1024)

20:19S.28BOOM显示器BOOM已不常用力图克服头戴式头盔的几个缺点：1.有重量，头戴不适2.跟踪延迟3.分辨率低即将推出的游戏头盔：OculusRift2013年CES中展出了一款名为OculusRift的头戴式娱乐终端20:19S.29OculusRift&VR极宽的视角对角线110度、水平视角90度不会有在黑暗中看小屏幕的感觉。这是真正沉浸式体验的保证。低延迟使用高精度、轻量级的屏幕，使得游戏画面能够最大程度跟上头部的摆动。价格实惠希望更多的满足各位游戏迷20:19S.31几种典型的虚拟现实立体显示设备头盔式立体显示器立体眼镜式立体显示器环屏或球屏立体显示设备洞穴式立体显示（CAVE）自动立体显示器20:19S.32立体眼镜式立体显示显示设备提供左右眼交替的立体显示对；通过佩带立体眼镜使双目分别观看左右图像，从而产生立体视觉。20:19S.33立体眼镜式立体显示分类按照眼镜原理分类主动系统（有源系统）。通过场顺序眼镜（液晶光阀眼镜）使双眼分时观看左右图像；被动系统（无源系统），使用红绿眼镜、偏振眼镜等使双眼分别观看不同的左右图像。20:19S.34被动系统戴红绿眼镜看黑白立体影像两台放映机，其一透过红滤镜放映红色影像，另一透过绿滤镜放映绿色影像。这两影像同时在银幕上相叠。观众戴上以一红一绿的玻璃纸为镜片的眼镜。20:19S.3520:19S.36被动系统佩戴偏振眼镜偏振光20:19S.37被动系统两台投影机，各套上一个偏振片，把两个偏振光的影像同时放映在金属银幕上(金属的反射不会改变偏振光向)，两个偏振光的振动方向互成直角。观众也戴上偏振片造成的眼镜。左眼的镜片只许左方摄影机的影像通过，而右眼的镜片只许右方摄影机的影像通过，于是就产生立体感觉。20:19S.38几种典型的虚拟现实立体显示设备头盔式立体显示器立体眼镜式立体显示器环屏或球屏立体显示设备洞穴式立体显示（CAVE）自动立体显示器20:19S.39环屏立体显示设备核心技术——边缘融合20:19S.40重叠区域需要进行融合色彩上的平衡几何矫正几何矫正20:19S.41非线性失真校正20:19S.42无几何矫正时的柱幕投影效果，重合区形状不重合非线性失真校正20:19S.43带几何矫正时的柱幕投影效果，重合区形状重合20:19S.44几种典型的虚拟现实立体显示设备头盔式立体显示器立体眼镜式立体显示器环屏或球屏立体显示设备洞穴式立体显示（CAVE）自动立体显示器20:19S.45洞穴式立体显示（CAVE）20:19S.46洞穴式立体显示（CAVE）第一个CAVE为1991年由美国Illinois大学EVL实验室研制；至少具有三个显示表面，它们彼此相连构成房间；允许多人共享一个虚拟环境，立体视图受控于一位观察者的视点位置和视线方向。20:19S.47几种典型的虚拟现实立体显示设备头盔式立体显示器立体眼镜式立体显示器环屏或球屏立体显示设备洞穴式立体显示（CAVE）自动立体显示器（裸眼3D）20:19S.48自动立体显示（裸眼3D）自动立体显示不要求辅助的观看设备（如场顺序或偏振眼镜），不给用户附加惯性约束自动分光立体显示(AutostereoscopicDisplays)-------又称为光栅3D显示集成成像3D显示(IntegralImaging3DDisplay)体三维显示(Volumetric3DDisplay)全息术(Hologram)其他20:19S.49自动分光立体显示---透镜显示面一个透镜面是圆柱透镜的阵列，它可以产生左右眼观看的图像，并可以将这两副不同的二维图像导向不同的观看子区域。当观察者的头在正确的位置时，每只眼就在不同的观看区，看到不同的图像，得到双目视差。20:19S.50自动分光立体显示---视差档板显示视差档板是放在显示前方的垂直平板，它对每只眼都阻档了屏幕的一部分。视差档板的作用类似透镜面。差别在于它是用档板档住部分显示，而不是用透镜导引屏幕图像。屏幕显示两个图像，每个分成垂直条。屏幕上显示的条交替为左右眼图像。每只眼只看到它的条。自动分光立体显示(光栅3D显示)已开始应用到手机、电脑、电视等产品上。20:19/articles/107717.htm集成成像3D显示记录阶段将记录介质置于微透镜板的焦平面上,每个微透镜单元从不同的方向记录物体空间的部分信息再现阶段将记录介质置于具有相同参数的微透镜阵列的焦平面上,用散射光照射,由光线可逆原理就可在微透镜板另一侧观看到再现物体空间场景20:19S.52记录过程再现过程20:19S.53自动立体显示（裸眼3D）自动立体显示不要求辅助的观看设备（如场顺序或偏振眼镜），不给用户附加惯性约束自动分光立体显示(AutostereoscopicDisplays)-------又称为光栅3D显示集成成像3D显示(IntegralImaging3DDisplay)体三维显示(Volumetric3DDisplay)全息术(Hologram)其他20:19S.54体三维显示体三维显示扫描体显示(Swept-VolumeDisplay)高速旋转的屏幕，二维图像堆积形成立体印象Felix3D、Perspecta固态体显示(Solid-VolumeDisplay)solidFELIX：一整块立方体水晶作为显示介质

DepthCube系统：层叠液晶屏幕方式来实现三维体显示20:19S.55体三维显示---扫描体显示Felix3D原理20:19S.56体三维显示---扫描体显示Perspecta原理20:19S.57体三维显示---固态体显示DepthCube系统原理20:19S.58自动立体显示（裸眼3D）自动立体显示不要求辅助的观看设备（如场顺序或偏振眼镜），不给用户附加惯性约束自动分光立体显示(AutostereoscopicDisplays)----又称为光栅3D显示集成成像3D显示(IntegralImaging3DDisplay)体三维显示(Volumetric3DDisplay)全息术(Hologram)其他20:19S.59自动立体显示---全息摄影20:19S.60←世界上首次使用全息投影的演唱会2010年3月9号晚间世嘉公司举办了一场名为“初音未来的感谢祭”“初音之日”（Miku'sDay）的初音未来全息投影演唱会四种裸眼3D技术的比较自动分光3D显示（光栅3D显示）：技术最成熟，正推向市场，但技术仍需进步。集成成像3D显示：技术较成熟，研发阶段，极具竞争力。体3D显示：机械复杂，3D图形质量欠佳，发展受限。全息3D显示：技术不成熟，研究阶段，3D显示的终极目标。20:19S.61其他一些体三维显示技术Cube显示器投影式三维显示iTouch变成三维显示器20:19S.62交互设备分类延迟符语音交互设备与相关技术0320:19S.643.1耳朵的定位功能双耳效应：人的两只耳朵对同一声源的直达声具有时间差（0.44~0.5）微妙，而人耳可以根据这些微小的差别判断声音的方向，确定声源的位置，但只能局限于确定前方水平方向的声源，不能解决三维空音声源的定位耳廓效应：人的耳廓对声波的反射以及对空间声源的定位有重要的定向作用。借此效应，可以判断声源的三维位置人耳的频率滤波效应：人耳的声音定位机制与声音频率有关，对20~200赫的低音靠相位差定位，对300~4000赫的中音靠音强差定位，对高音则依靠声音差定位头部相关传输函数：人的听觉系统对不同方位的声音产生不同的频谱，而这一频谱特性可由头部相关传递函数HRTF来描述1．常规语音的特性语音，即语言的物质外壳，是语言的外部形式，是记录人的思维活动的最直接的符号体系。语音指人的发声器官发出的具有一定社会意义的声音。语音的三要素包括音量、音调和音色。语音最明显的两个特性是时变性和非平稳性。653.2语音交互设备2．虚拟环绕声技术:环绕立体声

—杜比（Dolby）环绕声系统虚拟环绕声技术：将多声道信号经过处理后，在两组平行放置的音箱中进行播放，从而让用户感觉到环绕声效果。虚拟环绕声技术最典型的应用就是杜比（Dolby）环绕声系统663.2语音交互设备四声道环绕立体声3.语音交互技术语音交互技术的核心技术包括语音识别技术、语音合成技术和语义理解技术。67图12语音识别听觉交互设备市场应用033.语音交互技术（1）语音识别技术。①语音识别技术的发展与应用。②语音识别技术的基本原理。68听觉交互设备市场应用03语音交互技术（2）语音合成技术。语音合成技术是指通过智能设备产生人造语音的技术，语音合成技术的关键部件是TTS语音引擎。语音合成技术按照语音学规则、语义学规则、词汇规则及相关方法，保证语音的合成效果能够满足清晰度和自然度的要求。69听觉交互设备市场应用033.语音交互技术（3）语义理解技术。符号是语言的载体，只有被赋予含义的符号才具有实际意义，这时的语言就蕴含了信息，而语言的含义就是语义。语义理解技术是将自然语言文本转换为用户的意图，使机器理解用户的需求。70听觉交互设备市场应用034．几种典型的语音交互设备71听觉交互设备市场应用03亚马逊推出的智能音箱Alexa4．几种典型的语音交互设备72听觉交互设备市场应用031．触觉交互设备的分类根据触觉交互信息进行分类，触觉交互设备可以分为触觉再现设备和力觉再现设备。73触觉交互设备与相关技术041．触觉交互设备的分类74触觉交互设备与相关技术04接吻机器人2012年2月新家坡国立大学研制1．触觉交互设备的分类75触觉交互设备与相关技术04S.75各种不同类型的抓取动作从左到右，按照力量大小和灵巧程度排列20:19S.76安装在手上的力反馈设备20:19S.77触觉/力觉显示器举例力觉显示器力反馈鼠标FEELitMouse力反馈手柄力反馈手臂安装在人身体上的力反馈设备触觉显示器液压气动手阻抗控制振动20:19S.78力觉交互设备力反馈鼠标FEELitMouse：当仿真碰撞时，它给人手施加反馈力。20:19力反馈手柄ImpulseEngine2000：它在两个自由度跟踪运动，增加力反馈。通过调节刚度、频度、幅度的变化可以仿真表面、纹理、弹性、液体、重力场、弹跳的球、生物材料以及其他物理感觉。20:19S.80力反馈手臂力反馈设备20:19S.81安装在人身体上的力反馈设备力反馈操纵手臂20:19SensoVR数据手套安装在人身体上的力反馈设备美国西北大学研发的TPad触觉再现设备20:19安装在人身体上的力反馈设备应用触觉交互技术的3D屏幕20:19探针式接触反馈还可通过声音线圈的振动来模拟触觉轻型的形状记忆合金（SMM）驱动器探针阵列式的振动触觉反馈设备微软在触觉方面的尝试20:192．触觉交互设备的应用（1）医学领域。（2）军事领域。（3）教育领域。（4）娱乐领域和生活领域。86触觉交互设备与相关技术04S.865.1机械式传感器1．跟踪球跟踪球是一种装有传感器的球体装置，用于测量用户的手施加在弹性元件上的力和力矩，从而控制虚拟物体的运动速度和角速度。87跟踪交互设备与相关技术05S.875.2数据手套数据手套基于弯曲传感器技术，能够精确地识别与测量手指的运动。利用数据手套，用户可以在虚拟现实环境中实现抓取、指压等经典动作的模拟。88跟踪交互设备与相关技术05S.885.2数据手套89跟踪交互设备与相关技术05S.895.3交互设备中常用的传感器1．磁场传感器磁场传感器是可以将各种磁场及其变化的量转变成电信号输出的装置。90跟踪交互设备与相关技术05S.905.3交互设备中常用的传感器2．超声波传感器超声波传感器是将超声波信号转换成其他能量信号（通常是电信号）的传感器。91跟踪交互设备与相关技术05S.915.3交互设备中常用的传感器3．光学传感器光学传感器是依据光学原理进行测量的，它有许多优点，如能够实现无接触且无破坏的测量，抗干扰性强，传输速率快，可远程遥控等。92跟踪交互设备与相关技术05S.925.3交互设备中常用的传感器4．惯性传感器惯性传感器主要用于测量加速度、倾斜角度、冲击力、振动频率、旋转角度等参数。93跟踪交互设备与相关技术05S.935.4体感游戏应用案例1．索尼公司的EyeToyEyeToy是索尼公司于2004年4月28日为PS2游戏主机推出的动作感应控制装置。94跟踪交互设备与相关技术05S.9420:19S.95前几年出现的PC机单摄像头游戏（如EyeToy），可算是一种简单的体感跟踪。5.4体感游戏应用案例2．任天堂公司的WiiRemoteWii是任天堂公司于2006年11月19日推出的家用游戏机。是NGC①的后续机型。Wii第一次将“体感”这一概念引入游戏机。96跟踪交互设备与相关技术05S.9620:19