多媒体计算机技术7

多媒体计算机技术-72024/4/3多媒体计算机技术7多媒体计算机技术-72024/4/2多媒体计算机技术71第七讲多媒体系统的人机交互技术

人机界面概述

多通道用户界面

三维人机交互技术

虚拟现实

多媒体计算机技术7第七讲多媒体系统的人机交互技术人机界面概述多媒体计算机2人机界面概述计算机包括了三个主要部分：人机信息交互、信息处理和存储以及信息显示，其中“信息处理和存储”和“信息展示”技术更新和发展的速度相当快。但人机交互技术多年来并未有重大技术突破。

从计算机问世以来，早期用户是以计算机专业人员为主，但随着计算机广泛进入人们的工作生活领域，计算机用户发生了改变，非计算机专业的普通用户成了用户的主体。这一重大转变使计算机的可用性问题变得日益突出起来。

多媒体计算机技术7人机界面概述计算机包括了三个主要部分：人机信息交互、信息处理3人机界面概述人机界面指人类用户与计算机系统之间的通信媒体或手段，它是人机双向信息交换的支持软件和硬件。这里“界面”定义为通信的媒体或手段，它的物化体现是有关的支持软件和硬件，如带有鼠标的图形显示终端。人机界面和人机对话(HumanComputerDialogue)是两个不同的概念：人机对话是指用户与计算机系统之间的通信，它是人与计算机之间各种符号和动作的双向信息交换。

多媒体计算机技术7人机界面概述人机界面指人类用户与计算机系统之间的通信媒体或手4人机界面的发展历史

就用户界面的具体形式而言，经历了批处理联机终端(命令接口)(文本)菜单等多通道——多媒体用户界面和虚拟现实系统。

就用户界面中信息载体类型而言，经历了以文本为主的字符用户界面(CUI)、以二维图形为主的图形用户界面(GUI)和多媒体用户界面，使得计算机与用户之间的通信带宽不断增加。

多媒体计算机技术7人机界面的发展历史就用户界面的具体形式而言，经历了批处理联5人机界面的发展历史就计算机输出信息的形式而言，经历了以符号为主的字符命令语言；以视觉感知为主的图形用户界面；兼顾听觉感知的多媒体用户界面和综合运用多种感官(包括触觉等)的虚拟现实系统。

就人机界面中的信息维度而言，经历了一维信息(主要指文本流如早期电传式终端)、二维信息(主要是二维图形技术，利用了色彩形状纹理等维度信息)、三维信息(主要是三维图形技术，但显示技术仍利用二维平面为主)和多维信息(多通道的多维信息)。

多媒体计算机技术7人机界面的发展历史就计算机输出信息的形式而言，经历了以符号为6人机界面的发展历史

不论从何种角度看，人机交互发展的趋势体现了对人的因素的不断重视，使人机交互更接近于自然的形式，使用户能利用日常的自然技能不须经过特别的努力和学习提高工作效率。这种“以人为中心”的思想特别是自20世纪80年代以来在人机交互技术的研究中得到明显的体现。

多媒体计算机技术7人机界面的发展历史不论从何种角度看，人机交互发展的趋势体现7人机界面设计技术

三维用户界面多媒体和超媒体界面多通道交互界面虚拟现实技术

组件及可视计算

多媒体计算机技术7人机界面设计技术三维用户界面多媒体计算机技术78用户界面的设计原则从用户的本身需求、生理心理条件和现有硬软件条件出发，可以总结为以下几点：以用户的行为为基本出发点

考虑用户操作时间长短以用户操作中的出错率为依据，改进界面设计减少用户短期记忆负担、长期记忆和学习负担采用日常生活的常识和比喻，较少计算机逻辑思维和专业术语注重用户的个人特性和区别，例如老年人、残疾人的特殊需要

为提高通用性，用户界面最好采用一致性原则

多媒体计算机技术7用户界面的设计原则从用户的本身需求、生理心理条件和现有硬软件9用户界面的设计原则对于软件界面的设计的特殊性，我们可将其设计目的概括成以下3个:

用户界面软件标准化

用户界面的一致性

用户界面的有效性、可靠性、安全性、可移植性(各种软件的数据可以交换)和数据的一体性

多媒体计算机技术7用户界面的设计原则对于软件界面的设计的特殊性，我们可将其设计10第七讲多媒体系统的人机交互技术

人机界面概述

多通道用户界面

三维人机交互技术

虚拟现实

多媒体计算机技术7第七讲多媒体系统的人机交互技术人机界面概述多媒体计算11多通道用户界面多通道人机界面技术基于视线跟踪、语音识别、手势输入、感觉反馈等新的交互技术，允许用户利用自身的内在感觉和认知技能，使用多个交互通道，以并行、非精确方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性

它代表了人机交互的一种新范式，与传统的图形用户界面相比，能将互补的通道进行整合来获取增强的混合，通道之间可以相互补充，克服彼此的缺陷，或者是针对不同的应用采取不同的交互方式，具有更强大的表达能力、自然性、灵活性和便携性

多媒体计算机技术7多通道用户界面多通道人机界面技术基于视线跟踪、语音识别、手势12多通道概念

通道：指传送或获得信息的通信通道的类型，它包含了信息表达、感知以及动作执行的方式，定义了交换数据的类型模式：指一种状态或上下文信息，它决定了如何对信息解释以获取意义

通道整合：指用户在与计算机系统交互时，多个交互通道之间相互作用形成交互意图的过程

多媒体计算机技术7多通道概念通道：指传送或获得信息的通信通道的类型，它包含了13多通道、多媒体与虚拟现实多通道系统力求对语义的理解．它对用户的原始输入在较高的层次上(如任务领域)进行解释、分析和综合，提取语义内容，达到对用户的某种理解，然后，从较高的表现层次上传达给用户最恰当的反馈，它侧重于信息的理解和解释多媒体侧重于信息的表现虚拟现实依靠三维立体视觉、头盔式显示器、身体跟踪和立体音响等技术来模拟现实世界，旨在使用户获得一种沉浸式的多种感知通道的灵境体验多媒体计算机技术7多通道、多媒体与虚拟现实多通道系统力求对语义的理解．它对用户14多通道用户界面的特点

多通道用户界面主要关注人机界面中用户向计算机输入信息以及汁算机对用户意图理解的问题，它所要达到的目标可归纳为如下方面：

交互自然性

交互高效性

吸取已有人机交互技术的成果，与传统的用户界面特别是广泛流行的图形用户界面兼容，使老用户、专家用户的知识和技能得以利用

多媒体计算机技术7多通道用户界面的特点多通道用户界面主要关注人机界面中用户向15多通道用户界面的主要研究内容

认知心理学界面模型及描述方法软件结构多通道整合多通道的错误纠正机制多媒体计算机技术7多通道用户界面的主要研究内容认知心理学多媒体计算机技术716第七讲多媒体系统的人机交互技术

人机界面概述

多通道用户界面

三维人机交互技术

虚拟现实

多媒体计算机技术7第七讲多媒体系统的人机交互技术人机界面概述多媒体计算17三维人机交互技术三维人机交互技术与传统的WIMP（Window，Icon，Menu，Pointer，窗口、图标、菜单和指点装置）图形交互技术不同。它采用六自由度输入设备。

由于自由度的增加，使三维交互的复杂性大大提高。另外，窗口、菜单、图标和传统的二维光标在三维交互环境会破坏空间感，同时也使得交互过程非常不自然

多媒体计算机技术7三维人机交互技术三维人机交互技术与传统的WIMP（Windo18三维设备

浮动鼠标（FlyingMouse）：浮动鼠标类似于标准的计算机鼠标，但当离开桌面后就成为一个六自由度探测器，大多数浮动鼠标器内部装有电磁探测器。数据手套（DataGlove）：早期的数据手套是美国加州VPL公司开发的指示手势的输入装置。数据手套是一种虚拟工具，它将人手的各种手势、动作通过手套上所带的光导纤维传感器，输入计算机中进行分析，这种手势可以是一符号表示或命令，也可以是动作。

多媒体计算机技术7三维设备浮动鼠标（FlyingMouse）：浮动鼠标类似19三维设备

手持式操作器（Wand）：手持式操纵器包含一个位置跟踪探测器和几个按钮，专门用于手中使用。手持式操作器类似于浮动鼠标，但没有鼠标球，因此不能在桌面上滚动。力矩球（空间球SpaceBall）：手持式操作器和浮动鼠标的问题之一是用户必须将设备拿在手中，而力矩球是一种可以提供六自由度的桌面设备，它安装在一个小型的固定平台上，可以扭转、压下的拉出、来回摇摆等。力矩球通常使用发光二极管和光接收器进行测量。

多媒体计算机技术7三维设备手持式操作器（Wand）：手持式操纵器包含一个位置20三维交互方式在三维人机交互中，用户主要通过以下两种交互方式在三维空间中进行操作：

直接操作三维widgets

多媒体计算机技术7三维交互方式在三维人机交互中，用户主要通过以下两种交互方式在21人机交互中的视线跟踪技术视线跟踪技术早期主要应用于心理学研究(如阅读研究)、助残等领域，后来才被应用于图像压缩及人机交互技术。从理论上说，由于几乎所有的人机交互形式都离不开视觉介入，因此，当用户凝视其感兴趣的目标时，如果系统能“自动”将光标置于其上或触发必要的动作，则比利用鼠标器等间接指点设备甚至触屏这样的直接指点设备更为直接。

多媒体计算机技术7人机交互中的视线跟踪技术视线跟踪技术早期主要应用于心理学研究22人机交互中的视线跟踪技术伺服机构半反射镜瞳孔摄像机光源红外滤光镜一种远距离视线跟踪系统原理图多媒体计算机技术7人机交互中的视线跟踪技术伺服机构半反射镜瞳孔摄像机光源红外滤23视线跟踪技术在多通道用户界面研究中，将视线输入作为一个辅助通道加以利用，可充分发挥视觉与语音的互补作用。研究者认为，视线跟踪技术固有的不精确性与视线运动的随意性使其不宜作精确输入，而作为附加约束信息有重要价值。

ABCD感兴趣区域语音与手势整合示例多媒体计算机技术7视线跟踪技术在多通道用户界面研究中，将视线输入作为一个辅助通24基于手势的人机交互技术手势是人手或者手和臂结合所产生的各种姿势和动作，它包括静态手势(指姿态，单个手形)和动态手势(指动作，由一系列姿态组成)。静态手势对应空间里的一个点，而动态手势对应着模型参数空间里的一条轨迹，需要使用随时间变化的空间特征来表述。手势和姿势(Posture)的主要区别在于，姿势更为强调手和身体的形态和状态，而手势更为强调手的运动。多媒体计算机技术7基于手势的人机交互技术手势是人手或者手和臂结合所产生的各种姿25基于手势的人机交互技术手势逐渐成为人机界面中一种新颖的交互手段，研究手势识别的主要目的就是把手势这种既自然又直观的交流方式引入人机接口中，实现更符合人类行为习惯的人机接口。手势识别还可用于虚拟现实、三维设计、临场感、可视化、医学研究、手语理解等领域手势识别问题的解决方法对于表情识别、唇读、步态识别、时空纹理分类、视觉导航、图像拼接和基于内容的视频检索等研究都有直接推广的意义。多媒体计算机技术7基于手势的人机交互技术手势逐渐成为人机