多通道用户界面交.ppt

1、多通道用户界面交互技术,多通道用户界面交互技术,人机交互发展史 多通道用户界面概述 多通道整合 眼动跟踪 三维输入,人机交互发展史,1969年在英国剑桥大学召开了第一次人机系统国际大会，同年第一份专业杂志国际人机研究（IJMMS）创刊。可以说，1969年是人机界面学发展史的里程碑。 在1970年成立了两个HCI研究中心：一个是英国的Loughbocough（拉夫堡大学 ）大学的HUSAT研究中心，另一个是美国Xerox公司的Palo Alto研究中心。 1970年到1973年出版了四本与计算机相关的人机工程学专著，为人机交互界面的发展指明了方向。,人机交互发展史,20世纪80年代初期，学术界相

2、继出版了六本专著，对最新的人机交互研究成果进行了总结。 Human-Computer Interface(界面/接口) Human-Computer Interaction(交互) 20世纪90年代后期以来，随着高速处理芯片，多媒体技术和Internet Web技术的迅速发展和普及，人机交互的研究重点放在了智能化交互，多模态（多通道）-多媒体交互，虚拟交互以及人机协同交互等方面，也就是放在以人为在中心的人机交互技术方面。,人机交互发展史,人机交互的发展经历了几个阶段： 早期的手工作业阶段 作业控制语言及交互命令语言阶段 图形用户界面（GUI）阶段 网络用户界面的出现 多通道、多媒体的智能人机交

3、互阶段,多通道用户界面交互技术,人机交互发展史 多通道用户界面概述 多通道整合 眼动跟踪 三维输入,多通道用户界面的几个概念,通道（modality） 1.传输信息的数据通路。2.计算机系统中传送信息和数据的装置。 模式 （mode） 一种状态或上下文信息。决定了如何对信息解释以获取意义。 通道整合 指用户在与计算机系统交互时，多个交互通道之间相互作用形成交互意图的过程。,多通道用户界面的几个概念,多通道界面 主要关注人机界面中的用户向计算机输入信息以及计算机对用户意图理解的问题，其目标是达到交互自然性和交互高效性。,多通道用户界面的几个概念,多通道用户界面交互技术 基于视线跟踪、语音识别、手

4、势输入、感觉反馈等新的交互技术，允许用户利用自身的内在感觉和认知技能，使用多个交互通道，以并行、非精确方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。,多通道用户界面的概念模型,多通道人机界面概念模型,多通道用户界面的基本特点,多个感觉通道 交互双向性 交互的隐含性 交互的非精确性,多通道用户界面评价,基于多通道用户界面所追求的目标，人们提出相应的评价多通道用户界面的若干指标： 互补性（complementary）； 指派性（Assignment）； 等效性（Equivalence）； 冗余性（Redundancy）；,互补性,互补性是指若干通道必须以互补方式完成特定的交互任务，也

5、就是说，当单个通道不能提供充分的任务信息时，需要其他通道补充，如手势指点补充语音命令。互补性可能存在一个“优势通道”，并需要其他通道予以辅助。,指派性,指派性是指某通道是完成特定交互任务唯一途径的情形，即某通道必须被用于实现特定交互任务而没有其他通道可以替代 指派性可分为两种情形 一种是不存在其他选择，称为严格的指派性（Strict Assignment） 另一种是虽然存在选择，但用户或系统总是倾向于使用同一种通道，称为代理指派性（Agent Assignment）,等效性,等效性是指在完成特定交互任务时至少有两种以上通道可以互相替代，由于设备特性、用户习惯或临时因素（如手头正忙）而使某种通道

6、不能使用时，可选择其他通道代替。,冗余性,冗余性是指在特定交互中多个通道同时使用并具有相同的表达作用 不同通道为相同参数提供所需信息，并且所表达信息可能是一致的，也可能是矛盾的,输入原语,输入原语IP（Input Primitive）代表了用户到计算机的词法输入，它是来自不用的通道的独立的、最小的、不可分割的操作。 根据用户的交互意图和交互方式，输入原语可以抽象出浏览、指点、拾取、文本、变换、手势六类。,输入原语,每个IP可实例化为一个四元组 用户动作，数据表示，使用通道，时间标签 它体现了某一时刻来自某个输入通道的用户输入动作与一种内部数据表示联系在一起 IP是通道无关的，不同的物理通道的输

7、入可以映射到相同的IP 二维鼠标的Click动作和眼动跟踪的眼睛凝视动作都可归为指点类IPPOINT；,多通道用户界面描述方法,UAN面向任务，支持任务分解，并将每个基本任务求精为可以完成它的用户动作序列。体现为一种多异步任务的类似层次结构，每个任务内的时序独立于其他任务。 LOTOS是国际标准化组织ISO为了定义网络协议而制定出来的一种描述语言，适用于描述涉及并行、交互、反馈和不确定性等问题的一类系统。,多通道用户界面的三维表示模型,多通道用户界面的概念模型,人机交互模型的发展,多通道用户界面交互技术,人机交互发展史 多通道用户界面概述 多通道整合 眼动跟踪 三维输入,多通道整合和算法,基本

8、概念 整合（Integration) 在比较低的层次上，主要关注如何把各种各样的交互设备和交互方式容纳到系统中 在较高的层次上，主要关注多个通道之间在意义的传达和提取上的协作 融合 (Fusion) 在多个层次上（词素的、词法的、语义的、会话的）上对来自不同通道、具有不同表示的信息的合一化处理，其目的是正确地获取用户输入，特别是正确地解释用户输入 分流 (Fission) 在多个层次上对需要向用户传达的特定信息向不同输出通道、不同信息表示和表现的转换,多通道整合原理-整合策略,语音和手势整合 歧义消除 时间响应上 多通道反馈 急性子融合 慢性子融合,面向任务的整合模型(ATOM),多通道界面的

9、面向任务设计，需要解决如何将同一任务的相关信息让不同的通道来分担，并使它们能够相互协作的问题。 与传统界面相比，任务参数的设计问题在多通道界面设计中尤其突出，多通道协作的指称就是这一设计所要考虑的问题之一,面向任务的整合模型(ATOM),多通道整合的问题可以看作一个如何对多通道信息流加以合理地组块化并正确解释各个组块的意义的问题 将整个多通道输入流分割成对应于任务的“段”和对应于任务参数的“节”； 分块的依据主要是语法约束和时间接近性 模型以格(lattice)这种代数结构为基础 来自多个通道的输入在时间上的关系是一种偏序关系 为了支持多通道整合，需要由各个通道输入处理程序给每个输入事件加上时

10、间戳，这种时间戳应该尽可能接近用户相应动作发生的时间,多通道用户界面交互技术,人机交互发展史 多通道用户界面概述 多通道整合 眼动跟踪 三维输入,眼动跟踪（Eye-Gaze Tracking）,与视觉有关的人机交互自始至终都离不开视线的控制，如果能通过用户的视线盯着感兴趣的目标，计算机便“自动”将光标置于其上，人机交互将更为直接，也省去了上述交互过程中的大部分步骤 有关视觉输入的人机界面研究主要涉及两个方面 一是视线跟踪原理和技术的研究 二是在使用这种交互方式后，人机界面的设计技术和原理的研究,眼动跟踪,早期的视线跟踪技术首先应用于心理学研究、助残等领域，后来被应用于图像压缩及人机交互技术 视

11、线跟踪技术有强迫式与非强迫式、穿戴式与非穿戴式、接触式与非接触式之分 视线追踪主要用于军事领域（如飞行员观察记录），阅读及帮助残疾人通信等,眼动跟踪,Stanford University和The Poynter Institute合作研究 人们对于Internet上新闻的注意程度,眼动跟踪,人们对于Internet上新闻的注意程度研究结果,人们对于Internet上新闻的注意程度研究结果,眼动的主要形式,眼动有三种主要形式 跳动（Saccades） 在正常的视觉观察过程中，眼动表现为在一系列被观察目标上的停留及在这些停留点之间的飞速跳跃 在注视点之间的飞速跳跃称为眼跳动。 注视（Fixati

12、ons） 停留时间至少持续100ms以上的称为注视。在注视中，眼也不是绝对静止不动，会有微小运动，但大小一般不会超过1视角。 绝大多数信息只有在注视时才能获得并进行加工。 平滑尾随跟踪（Smooth Pursuit） 缓慢、联合追踪的眼动通常称为平滑尾随跟踪。,眼动跟踪的基本原理,利用红外发光二极管发出红外线，采用图像处理技术和能锁定眼睛的特殊摄像机，通过分析人眼虹膜和瞳孔中红外线图象点的连续变化情况，得到视线变化的数据，从而达到视线追踪的目的。 从视线跟踪装置得到的原始数据需要经过进一步的处理才能用于人机交互。 数据处理的目的是滤除噪声、识别定位及局部校准与补偿等，最重要的是提取出用于人机交

13、互所必需的眼睛定位坐标。 但是由于眼动存在固有的抖动，以及眼睛眨动、头部剧烈的移动所造成的数据中断，存在许多干扰信号，提取有意眼动数据非常困难。解决此问题的办法之一是利用眼动的某种先验模型加以弥补。,米达斯接触问题与解决方法,“米达斯接触（Midas Touch）”问题： 如果鼠标器光标总是随着用户的视线移动，可能会引起用户的厌烦，因为用户可能希望能随便看着什么而不必非“意味着”什么，更不希望每次转移视线都可能启动一条计算机命令。 避免“米达斯接触”问题的方法：在理想情况下，应当在用户希望发出控制时，界面及时地处理其视输入，而在相反的情况下则忽略其视线的移动。 可采用其他通道（如键盘或语音）进

14、行配合。,多通道用户界面交互技术,人机交互发展史 多通道用户界面概述 多通道整合 眼动跟踪 三维输入,三维输入,许多应用（如虚拟现实系统）需要三维空间定位技术：三维空间控制器的共同特点是具有六个自由度，分别描述三维对象的宽度、深度、高度、俯仰角、转动角、偏转角。 通过控制这六个参数，用户可以在屏幕上平移三维对象或光标，也可沿三个坐标轴转动三维对象。 三维空间控制器、视线跟踪器、数据手套等输入设备产生的空间位置是相对的。 在三维用户交互中必须便于用户在三维空间中观察、比较、操作、改变三维空间的状态。,三维空间的交互操作方式,三维光标 由六自由度三维输入装置控制的三维光标将使三维交互操作更自然和方

15、便； 三维光标必须有深度感，即必须考虑光标与观察者距离：离观察者近的时候较大，离观察者远的时候较小； 确定光标在三维空间的方向，这种定向操作必须自然且方便操作；为保持三维用户界面的空间感，光标在遇到物体时不能进入到物体内部。三维光标的实现需要大量的计算，对硬件的要求较高，编程接口也比二维光标复杂得多。,三维空间的交互操作方式,三维widgets 三维widgets即三维交互界面中的一些小工具。用户可以通过直接控制它们使界面或界面中的三维对象发生改变。 三维widget包括在三维空间中漂浮的菜单、用于拾取物体的手的三维图标、平移和旋转指示器等。 许多三维用户界面的研究者正在设计和试验各种不同的三维widgets，希