人机交互多通道人机交互

人机交互多通道人机交互2023/4/251第1页，共104页，2023年，2月20日，星期日本章内容多通道交互技术概述眼动跟踪三维输入实例介绍2023/4/252第2页，共104页，2023年，2月20日，星期日多通道交互技术概述为适应目前和未来的计算机系统要求，人机界面应能支持时变媒体（time-varingmedia），实现三维、非精确及隐含的人机交互，而多通道人机界面是达到这一目的的重要途径80年代后期以来，多通道用户界面(MultimodalUserInterface)成为人机交互技术研究的崭新领域，在国内外受到高度重视2023/4/253第3页，共104页，2023年，2月20日，星期日多通道用户界面消除当前WIMP/GUI用户界面通信带宽不平衡的瓶颈综合采用视线、语音、手势眼神、表情等新的交互通道、设备和交互技术使用户利用多个通道以自然、串行/并行、协作的方式进行人机对话通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性2023/4/254第4页，共104页，2023年，2月20日，星期日图5－1多通道人机界面概念模型

2023/4/255第5页，共104页，2023年，2月20日，星期日多通道用户界面研究的目标多通道用户界面主要关注人机界面中用户向计算机输入信息以及计算机对用户意图的理解交互的自然性使用户尽可能多地利用已有的日常技能与计算机交互，降低认识负荷；交互的高效性使人机通讯信息交换吞吐量更大、形式更丰富，发挥人机彼此不同的认知潜力；与传统的用户界面特别是广泛流行的WIMP/GUI兼容2023/4/256第6页，共104页，2023年，2月20日，星期日多通道用户界面的基本特点

使用多个感觉和效应通道

允许非精确的交互

三维和直接操纵

交互的双向性

交互的隐含性

2023/4/257第7页，共104页，2023年，2月20日，星期日使用多个感觉和效应通道感觉通道侧重于多媒体信息的接受，效应通道侧重于交互过程中控制与信息的输入，两者密不可分、相互配合一种通道(如语音)不能充分表达用户的意图时，需辅以其它通道(如手势指点)的信息；有时使用辅助通道以增强表达力交替而独立地使用不同的通道不是真正意义上的多通道技术，必须允许充分地并行、协作的通道配合关系2023/4/258第8页，共104页，2023年，2月20日，星期日允许非精确的交互人类语言本身就具有高度模糊性，人类在日常生活中习惯于并大量使用非精确的信息交流允许使用模糊的表达手段可以避免不必要的认识负荷，有利于提高交互活动的自然性和高效性多通道人机交互技术主张以充分性代替精确性2023/4/259第9页，共104页，2023年，2月20日，星期日三维和直接操纵人类的大多数活动领域具有三维和直接操纵特点人生活在三维空间，习惯于看、听和操纵三维的客观对象，并希望及时看到这种控制的结果多通道人机交互的自然性反应了这种本质特点2023/4/2510第10页，共104页，2023年，2月20日，星期日交互的双向性人的感觉和效应通道通常具有双向性的特点，如视觉可看可注视，手可控制、可触及等多通道用户界面使用户避免生硬的、不自然的、频繁的、耗时的通道切换，从而提高自然性和效率视线跟踪系统可促成视觉交互双向性，听觉通道利用三维听觉定位器实现交互双向性2023/4/2511第11页，共104页，2023年，2月20日，星期日交互的隐含性追求交互自然性的多通道用户界面并不需要用户显式地说明每个交互成分，反之是在自然的交互过程中隐含地说明用户的视线自然地落在所感兴趣的对象之上用户的手自然地握住被操纵的目标2023/4/2512第12页，共104页，2023年，2月20日，星期日多通道用户界面评价基于多通道用户界面所追求的目标，人们提出相应的评价多通道用户界面的若干指标（Nigay等人提出的CARE指标）：互补性（complementary）；指派性（Assignment）；等效性（Equivalence）；冗余性（Redundancy）；2023/4/2513第13页，共104页，2023年，2月20日，星期日互补性互补性是指若干通道必须以互补方式完成特定的交互任务，也就是说，当单个通道不能提供充分的任务信息时，需要其他通道补充，如手势指点补充语音命令互补性可能存在一个“优势通道（DominantModality）”，并需要其他通道予以辅助，例如，用语音直指（“Thiscity”），则需鼠标在屏幕对象上指点2023/4/2514第14页，共104页，2023年，2月20日，星期日指派性指派性是指某通道是完成特定交互任务唯一途径的情形，即某通道必须被用于实现特定交互任务而没有其他通道可以替代指派性可分为两种情形一种是不存在其他选择，称为严格的指派性（StrictAssignment）另一种是虽然存在选择，但用户或系统总是倾向于使用同一种通道，称为代理指派性（AgentAssignment）2023/4/2515第15页，共104页，2023年，2月20日，星期日等效性等效性是指在完成特定交互任务时至少有两种以上通道可以互相替代，由于设备特性、用户习惯或临时因素（如手头正忙）而使某种通道不能使用时，可选择其他通道代替。2023/4/2516第16页，共104页，2023年，2月20日，星期日冗余性冗余性是指在特定交互中多个通道同时使用并具有相同的表达作用不同通道为相同参数提供所需信息，并且所表达信息可能是一致的，也可能是矛盾的2023/4/2517第17页，共104页，2023年，2月20日，星期日眼动跟踪（Eye-GazeTracking）

与视觉有关的人机交互自始至终都离不开视线的控制如果能通过用户的视线盯着感兴趣的目标，计算机便“自动”将光标置于其上，人机交互将更为直接，也省去了上述交互过程中的大部分步骤有关视觉输入的人机界面研究主要涉及两个方面一是视线跟踪原理和技术的研究二是在使用这种交互方式后，人机界面的设计技术和原理的研究2023/4/2518第18页，共104页，2023年，2月20日，星期日眼动跟踪早期的视线跟踪技术首先应用于心理学研究、助残等领域，后来被应用于图像压缩及人机交互技术视线跟踪技术有强迫式与非强迫式、穿戴式与非穿戴式、接触式与非接触式之分视线追踪主要用于军事领域（如飞行员观察记录），阅读及帮助残疾人通信等

2023/4/2519第19页，共104页，2023年，2月20日，星期日

图5－2StanfordUniversity和ThePoynterInstitute合作研究人们对于Internet上新闻的注意程度2023/4/2520第20页，共104页，2023年，2月20日，星期日图5－3人们对于Internet上新闻的注意程度研究结果2023/4/2521第21页，共104页，2023年，2月20日，星期日人们对于Internet上新闻的注意程度研究结果

内容注视率文章文字（Articlestext）92%简讯（Briefs）82%照片（Photos）64%标题广告（BannerAds）45%图形（graphics）22%2023/4/2522第22页，共104页，2023年，2月20日，星期日眼动的主要形式

眼动有三种主要形式跳动（Saccades）在正常的视觉观察过程中，眼动表现为在一系列被观察目标上的停留及在这些停留点之间的飞速跳跃在注视点之间的飞速跳跃称为眼跳动。注视（Fixations）停留时间至少持续100ms以上的称为注视。在注视中，眼也不是绝对静止不动，会有微小运动，但大小一般不会超过1°视角。绝大多数信息只有在注视时才能获得并进行加工。平滑尾随跟踪（SmoothPursuit）缓慢、联合追踪的眼动通常称为平滑尾随跟踪。2023/4/2523第23页，共104页，2023年，2月20日，星期日眼动跟踪的基本要求

在人机交互中眼动跟踪技术必须满足以下几点要求，才能满足实际需求：

不能妨碍视野不要与用户接触，对用户基本无干扰精度要高动态范围要从1弧分（六十分之一弧度）到45º

反映速度要快，实时响应能与获取的身体和头部运动相配合

定位校正简单可作为计算机的标准外设

2023/4/2524第24页，共104页，2023年，2月20日，星期日眼动跟踪的基本原理

利用红外发光二极管发出红外线，采用图像处理技术和能锁定眼睛的特殊摄像机，通过分析人眼虹膜和瞳孔中红外线图象点的连续变化情况，得到视线变化的数据，从而达到视线追踪的目的。

从视线跟踪装置得到的原始数据需要经过进一步的处理才能用于人机交互。数据处理的目的是滤除噪声、识别定位及局部校准与补偿等，最重要的是提取出用于人机交互所必需的眼睛定位坐标。但是由于眼动存在固有的抖动，以及眼睛眨动、头部剧烈的移动所造成的数据中断，存在许多干扰信号，提取有意眼动数据非常困难。解决此问题的办法之一是利用眼动的某种先验模型加以弥补。

2023/4/2525第25页，共104页，2023年，2月20日，星期日米达斯接触问题与解决方法“米达斯接触（MidasTouch）”问题：如果鼠标器光标总是随着用户的视线移动，可能会引起用户的厌烦，因为用户可能希望能随便看着什么而不必非“意味着”什么，更不希望每次转移视线都可能启动一条计算机命令。

避免“米达斯接触”问题的方法：在理想情况下，应当在用户希望发出控制时，界面及时地处理其视输入，而在相反的情况下则忽略其视线的移动。

可采用其他通道（如键盘或语音）进行配合。2023/4/2526第26页，共104页，2023年，2月20日，星期日三维输入

许多应用（如虚拟现实系统）需要三维空间定位技术：三维空间控制器的共同特点是具有六个自由度，分别描述三维对象的宽度、深度、高度、俯仰角、转动角、偏转角。通过控制这六个参数，用户可以在屏幕上平移三维对象或光标，也可沿三个坐标轴转动三维对象。三维空间控制器、视线跟踪器、数据手套等输入设备产生的空间位置是相对的。在三维用户交互中必须便于用户在三维空间中观察、比较、操作、改变三维空间的状态。2023/4/2527第27页，共104页，2023年，2月20日，星期日三维空间的交互操作方式三维光标由六自由度三维输入装置控制的三维光标将使三维交互操作更自然和方便；三维光标必须有深度感，即必须考虑光标与观察者距离：离观察者近的时候较大，离观察者远的时候较小；确定光标在三维空间的方向，这种定向操作必须自然且方便操作；为保持三维用户界面的空间感，光标在遇到物体时不能进入到物体内部。三维光标的实现需要大量的计算，对硬件的要求较高，编程接口也比二维光标复杂得多。

2023/4/2528第28页，共104页，2023年，2月20日，星期日三维空间的交互操作方式三维widgets三维widgets即三维交互界面中的一些小工具。用户可以通过直接控制它们使界面或界面中的三维对象发生改变。

三维widget包括在三维空间中漂浮的菜单、用于拾取物体的手的三维图标、平移和旋转指示器等。许多三维用户界面的研究者正在设计和试验各种不同的三维widgets，希望将来能够建立一系列标准的三维widgets就像二维图形用户界面中的窗口、按钮、菜单等。2023/4/2529第29页，共104页，2023年，2月20日，星期日图5－5三维widgets图例2023/4/2530第30页，共104页，2023年，2月20日，星期日采用三视图输入技术，实现三维的输入

如果输入一个三维点，只要在两个视图上把点的对应位置指定后便唯一确定了三维空间中的一个点；把直线段上两端点在三视图上输入后便可决定三维空间的一条直线；把一个面上的各顶点在三视图上输入后，也唯一确定了三维空间中的一个面；如果把一个多面体上的各面均用上述方法输入，也就在三维空间中输入了一个多面体2023/4/2531第31页，共104页，2023年，2月20日，星期日

图5－6三视图输入实例2023/4/2532第32页，共104页，2023年，2月20日，星期日多通道人机交互通道(Modality)用户可以使用手动、语言、眼神等多种效应通道与计算机系统进行交互2023/4/2533第33页，共104页，2023年，2月20日，星期日多通道人机交互通道指传送或获得信息的通讯通道的类型，它包含了信息表达、感知以及动作执行的方式，定义了数据类型模式一种状态或上下文信息，决定对信息的解释一获取意义通道整合(ModalityIntegration)指用户在与计算机系统交互时，多个交互通道之间相互作用形成交互意图的过程2023/4/2534第34页，共104页，2023年，2月20日，星期日多通道用户界面的三维表示模型2023/4/2535第35页，共104页，2023年，2月20日，星期日多通道用户界面的概念模型2023/4/2536第36页，共104页，2023年，2月20日，星期日人机交互模型的发展2023/4/2537第37页，共104页，2023年，2月20日，星期日输入原语为了摆脱设备的特定物理特性和操作方式上的差异，便利多种输入设备在词法级的整合，有必要在物理设备和对话控制中再抽象出一层，即输入原语翻译层与应用无关的输入原语的抽象具有重要意义原语IP(InputPrimitive)代表了用户到计算机的词法输入，它是来自不同的通道的独立的、最小的、不可分割的操作，这些原子操作在一定的应用上下文中有着特定的交互意义2023/4/2538第38页，共104页，2023年，2月20日，星期日输入原语界面需抽象出一个简单完备的原语集合每个IP可实例化为一个四元组〈用户动作，数据表示，使用通道，时间标签〉它体现了某一时刻来自某个输入通道的用户输入动作与一种内部数据表示联系在一起IP是通道无关的，不同的物理通道的输入可以映射到相同的IP二维鼠标的Click动作和眼动跟踪的眼睛凝视动作都可归为"指点类"IP─POINT；2023/4/2539第39页，共104页，2023年，2月20日，星期日输入原语IP是应用无关的，在软件环境的支持下，同一个IP在不同的应用上下文中可被解释为完全不同的操作根据用户的交互意图和交互方式，抽象出六类输入原语浏览（NAVIGATE），指点（POINT），拾取（TOUCH），文本（WORD），变换（TRANSFORM）手势（GESTURE）2023/4/2540第40页，共104页，2023年，2月20日，星期日输入原语2023/4/2541第41页，共104页，2023年，2月20日，星期日输入原语2023/4/2542第42页，共104页，2023年，2月20日，星期日用户模型和描述方法在构建一个多通道界面的结构模型时，以下是问题关键不应该在应用程序中进行多通道整合允许用户完成不同通道与不同功能之间的映射多通道相互作用能在不中断相互作用过程的条件下随时相互启动和终止2023/4/2543第43页，共104页，2023年，2月20日，星期日用户模型和描述方法

VisualMan多通道用户界面模型2DGUI应用/3DVR应用通道整合交互分析交互设备2023/4/2544第44页，共104页，2023年，2月20日，星期日用户模型和描述方法交互设备处理直接来自不同通道的输入，系统对每一时刻的全部输入进行加工主要的交互通道包括语音、手和身体的运动以及视觉追综等交互分析根据各通道的特性分析来自不同通道的输入，形成交互的原语完成定位、说明属性和操作。交互分析使原语的说明变得与设备无关通道整合将相同操作维度的原语输入通过整合来完成某项任务的操作，从而做到任务的完成与通道无关不同的物理装置能整合成相同的操作，形成与装置独立的多通道界面2023/4/2545第45页，共104页，2023年，2月20日，星期日用户模型和描述方法在这个多道通用户界面模型中，有二个重要的特征值得注意用户对一个特定的操作没有固定的输入顺序各输入的时相(timing)对说明操作维度是非常重要的2023/4/2546第46页，共104页，2023年，2月20日，星期日用户模型和描述方法2023/4/2547第47页，共104页，2023年，2月20日，星期日用户模型和描述方法层次化的多通道界面描述方法HMISLOTOS（LanguageOfTemporalOrderingSpecification）LOTOS算符主要有以下几种：T1|||T2（交替Interleaving)T1[]T2（选择Choice)T1|[a1,...,an]|T2（同步Synchronization)T1[>T2 （禁止Deactivation)T1>>T2（允许Enabling)2023/4/2548第48页，共104页，2023年，2月20日，星期日象棋对弈实例中国象棋2023/4/2549第49页，共104页，2023年，2月20日，星期日用户模型和描述方法LOTOS2023/4/2550第50页，共104页，2023年，2月20日，星期日用户模型和描述方法拾取棋子UAN2023/4/2551第51页，共104页，2023年，2月20日，星期日用户模型和描述方法放置棋子2023/4/2552第52页，共104页，2023年，2月20日，星期日用户模型和描述方法基于事件-目标的多通道用户结构模型2023/4/2553第53页，共104页，2023年，2月20日，星期日用户模型和描述方法分布式多通道用户界面的结构模型2023/4/2554第54页，共104页，2023年，2月20日，星期日多通道整合和算法分布式多通道用户界面模型共享窗口客户通过网络完成对同一系统的操作，每一个用户都可以在他的私有窗口中通过多个通道和CSCW系统交互，操作的结果可以在共享窗口中显示出来共享窗口服务器共享窗口服务器同时为所有的用户提供系统输出DMMI协调服务器支持多用户之间的协作2023/4/2555第55页，共104页，2023年，2月20日，星期日多通道整合和算法基本概念整合（Integration)在比较低的层次上，主要关注如何把各种各样的交互设备和交互方式容纳到系统中在较高的层次上，主要关注多个通道之间在意义的传达和提取上的协作融合(Fusion)在多个层次上（词素的、词法的、语义的、会话的）上对来自不同通道、具有不同表示的信息的合一化处理，其目的是正确地获取用户输入，特别是正确地解释用户输入分流(Fission)在多个层次上对需要向用户传达的特定信息向不同输出通道、不同信息表示和表现的转换2023/4/2556第56页，共104页，2023年，2月20日，星期日多通道整合和算法多通道整合实例分析自然语言/语音和指点的整合语音与唇读的整合眼动和其他通道的整合2023/4/2557第57页，共104页，2023年，2月20日，星期日多通道整合原理_通道用法语音和手势/直接操纵互补其他形式的多通道整合也应该考虑，如语音和书写的整合语音通道并不需要支持大词汇量，并且当词汇量小时识别得到改善结合多个通道的输入有利于提高识别率在任何时候所有通道都应该可用，以保证通道的自由组合如果存在限制，则限制应该是来自交互任务本身，而非系统功能的局限2023/4/2558第58页，共104页，2023年，2月20日，星期日多通道整合原理_系统结构系统应该能够在硬件和软件上支持多种、多个通道时间是融合处理的基本准则系统需要能够精确记录通道输入事件的时间以自然语言处理为核心将强烈影响多通道系统的结构；采用语音/自然语言为输入方式的系统也可以采取更简单的系统结构和整合方法语义层次的整合会给界面带来更多的应用相关性，整合需要充分利用应用领域信息由于各个通道的技术是不完美的，任务特定的应用领域有利于实现多个通道的协作，这里存在着强的约束2023/4/2559第59页，共104页，2023年，2月20日，星期日多通道整合原理-整合策略语音和手势信息的融合是目前整合的主要问题融合中的一个重要问题是歧义消除上下文知识或者会话模型有助于消解歧义的输入并提高识别率设备之间在时间响应上的差异可能非常大多通道反馈是一个在信息融合过程中及时与适当地向用户分流重要信息的过程急性子融合只要多通道输入支持一定程度的整合，就开始处理，可以看作事件驱动的慢性子的融合则要到具有了全部输入之后才开始处理。融合处理可以是分散系统中，也可以集中进行2023/4/2560第60页，共104页，2023年，2月20日，星期日面向任务的整合模型(ATOM)多通道界面的面向任务设计，需要解决如何将同一任务的相关信息让不同的通道来分担，并使它们能够相互协作的问题任务结构的设计解决如何定义任务的总的行为结构的问题，以及相应的交互任务参数的设计要解决如何构成一个完整的任务表示的各个参数的问题参数的输入可能是以多通道的方式进行的。与传统界面相比，任务参数的设计问题在多通道界面设计中尤其突出，多通道协作的指称就是这一设计所要考虑的问题之一2023/4/2561第61页，共104页，2023年，2月20日，星期日多通道输入的格模型多通道整合的问题可以看作一个如何对多通道信息流加以合理地组块化并正确解释各个组块的意义的问题将整个多通道输入流分割成对应于任务的“段”和对应于任务参数的“节”；分块的依据主要是语法约束和时间接近性模型以格(lattice)这种代数结构为基础来自多个通道的输入在时间上的关系是一种偏序关系为了支持多通道整合，需要由各个通道输入处理程序给每个输入事件加上时间戳，这种时间戳应该尽可能接近用户相应动作发生的时间2023/4/2562第62页，共104页，2023年，2月20日，星期日积木世界实例2023/4/2563第63页，共104页，2023年，2月20日，星期日格模型整合算法2023/4/2564第64页，共104页，2023年，2月20日，星期日格模型整合算法多通道输入的格模型2023/4/2565第65页，共104页，2023年，2月20日，星期日面向任务整合的主要因素任务时间任务结构和任务参数的多通道结构上下文应用领域信息2023/4/2566第66页，共104页，2023年，2月20日，星期日面向任务整合整合算法(1)1)通过自下而上的过程识别出任务，比如单纯地根据语音识别的结果2）根据任务知识更新任务上下文3）对任务结构中的每一任务参数重复执行下面的（1）（2）（1）根据任务结构信息并利用时间节进行进行输入分解；（2）在分解后，进行任务参数的多通道整合，根据不同情况处理自然语言中的指称 自然语言中的指称：

A)通过应用相关的处理，结合交互上下文，根据指点输入求出候选对象集P. B)通过应用相关的处理，结合交互上下文，根据名词短语输入求出候选对象集N C)根据不同的指称方式：

a)直指指称：以P作为所指集R; b)代词指代指称：结合上下文，求出P中满足会话上下文约束的候选对象，以P作为所指集R;2023/4/2567第67页，共104页，2023年，2月20日，星期日面向任务整合整合算法(2)

c)名词短语（可以是指代的）指称：求出P与N的交集，结合会话上下文，求出该交集中满足会话上下文约束的候选对象，作为所指集。

D)根据任务相关约束（如当前任务不能以某些对象为参数）进一步缩小R。

E)如果R为空，或者R中有超过允许个数的候选对象，则整合失败。

F)给出适当反馈，如突出显示所指对象。 其他情况1:相应处理 其他情况2：相应处理 。。。。。。4）将具有完整而确认任务参数信息的任务表示提交给应用执行。2023/4/2568第68页，共104页，2023年，2月20日，星期日多通道整合和算法2023/4/2569第69页，共104页，2023年，2月20日，星期日多通道分层整合模型和算法通道信息的分层表示2023/4/2570第70页，共104页，2023年，2月20日，星期日多通道分层整合模型和算法多通道的整合模型2023/4/2571第71页，共104页，2023年，2月20日，星期日多通道分层整合模型和算法词法级整合设IP1=<ACTION1,PARA1,TEMP1>,IP2=<ACTION2,PARA2,TEMP2> IP1IP2=<ACTION3,PARA1PARA2,(TEMP1+TEMP2)/2 IFACTION=ACTION2and|TEMP1-TEMP2|<T, whereT是两个通道相关的最小时间间隔 且ACTION1=ACTION2=ACTION3 IP1IP=IP1orIP2 IFACTION1<>ACTION2or|TEMP1-TEMP2|>T语法级整合将原语分层三类：表示动作，对象和对象属性2023/4/2572第72页，共104页，2023年，2月20日，星期日多通道分层整合模型和算法语义级整合TASK:=<NAME,PARA1,PARA2,…,PARAi,…,PARAn>PARA:=<TYPE,DATA,TEMP>Mi=<TYPEi,DATAi,Tempi>(提交的任意参数）MiTASK=<BANE,PARA1,PARA2,…,PARAj*,…PARAn> ifTYPEi=TYPEjand|TEMPi-TEMPj|/2<T, wherePARAj*表示整合的结果，其中

PARAj*=<TYPEi,DATAi,TEMPi>Mi

TASK=<BANE,PARA1,PARA2,…,PARAj,…PARAn> IFTYEPi<>TYPE1,2,…,j,…,nor|TEMPi–TEMPj|>T2023/4/2573第73页，共104页，2023年，2月20日，星期日基于概率模型的指称整合模型三级整合的整体结构模型2023/4/2574第74页，共104页，2023年，2月20日，星期日基于概率模型的指称整合模型多通道整合的体系结构2023/4/2575第75页，共104页，2023年，2月20日，星期日基于概率模型的指称整合模型多通道整合的体系结构2023/4/2576第76页，共104页，2023年，2月20日，星期日基于概率模型的指称整合模型概率整合的基本机制2023/4/2577第77页，共104页，2023年，2月20日，星期日基于概率模型的指称整合模型概率变换发生在整合过程的不同阶段交互元素提取器在某一时刻t输出整合概率Pi(t)(1im,m为通道数)命令整合器在某一段时间段[t0,tn]内接受来自各交互元素提取器产生的整合概率Pi(tj)(1im,1jn)对于每个交互元素i,在[t0,tn]经过整合，得到与时间无关的整合概率：2023/4/2578第78页，共104页，2023年，2月20日，星期日基于概率模型的指称整合模型不同阶段的概率变换2023/4/2579第79页，共104页，2023年，2月20日，星期日基于概率模型的指称整合模型－几个重要问题交互周期从用户发动一个交互任务到提交系统完成该交互任务时间间隔，是交互任务的基本单位“超时“阀值为了支持回溯事件,工作事件队列WEQ保存给定时间内的所有事件可能会溢出不同参数对WEQ的遍历深度可能不同2023/4/2580第80页，共104页，2023年，2月20日，星期日基于概率模型的指称整合模型－几个重要问题时序问题时序适应向用户界面自然性的重要特性多通道用户界面应当支持非时序性，允许用户以任何合理的顺序指定交互任务的各种交互元素如何根据非严格时序交互捕捉用户的交互意图首先确定动作在获得了任务的结构后，就获得了任务结构中各参数之间的时序关系可以按有序和无序的要求填写参数槽2023/4/2581第81页，共104页，2023年，2月20日，星期日基于概率模型的指称整合模型－几个重要问题交互上下文事件的指向（是否有目标）、系统的状态、应用语义响应特性通道相关概率根据交互任务的匹配特性，不同通道和设备适合于不同的交互任务，通道和设备对于完成任务的自然形成都会有所不同同一事件可解释为不同参数，但具有不同的概率，不同事件可解释为同一参数，概率各不相同2023/4/2582第82页，共104页，2023年，2月20日，星期日基于模糊识别模型的视线交互整合模型视线交互将视线交互抽象成不精确的指称，采用模糊识别模型进行视线的交互整合手势的指点范围 2023/4/2583第83页，共104页，2023年，2月20日，星期日基于模糊识别模型的视线交互整合模型人机交互中的指称技术自然语言处理技术指称处理描述式直指式指代式目标选择与指称按名引用（描述式）属性描述（描述式）空间引用（直指式）时间引用（指代式）指代（指代式）间接引用（描述式和直指式结合）2023/4/2584第84页，共104页，2023年，2月20日，星期日基于模糊识别模型的视线交互整合模型人机交互中的指称技术参数指定与指称可以用语言描述35直指式间接方式人机交互中的模糊信息多通道用户界面需处理模糊信息，在多通道整合中集中处理2023/4/2585第85页，共104页，2023年，2月20日，星期日基于模糊识别模型的视线交互整合模型模糊目标选择与参数指定算法属性模糊集的确定将目标的可描述属性视为一个模糊集域，每个目标属性可以用适当的语言变量的原词来概括空间位置：上、下、左、右、中、前、后、左上、东形状大小：大、中、宽、圆的颜色特征：日常颜色名称特征：在上下文中并不能唯一确定的个体和忽略大小写、拼写错的名称等位序模糊特征：下一个、前面的、附近的、刚刚经过的2023/4/2586第86页，共104页，2023年，2月20日，星期日基于模糊识别模型的视线交互整合模型模糊目标选择与参数指定算法属性模糊集的确定直指模糊集2023/4/2587第87页，共104页，2023年，2月20日，星期日基于模糊识别模型的视线交互整合模型模糊目标选择与参数指定算法指称范围的确定特定单选非特定单选复选指定词汇集的确定模糊目标选择算法需要识别和处理四类描述词汇属性形容词：大的、红的修饰副词：很、稍微、一些、一点、最范围限定词：这个、一个、所有、每个连接词：而且、或是、不是、非2023/4/2588第88页，共104页，2023年，2月20日，星期日基于模糊识别模型的视线交互整合模型模糊目标选择与参数指定算法隶属函数的确定位置：采用以目标中心点为自变量的分段函数形状大小：先找出参考标准，在确定目标的实际指标与标准值之间的函数关系颜色:GRB模型计算距离位序：离散形式直指：兴趣区域2023/4/2589第89页，共104页，2023年，2月20日，星期日基于模糊识别模型的视线交互整合模型模糊目标选择与参数指定算法模糊目标识别特征抽取：从对象xi(i=0,2,…n)中提取与识别有关的特征，并监测xi在各个特征上的具体数据，将对象xi转换为模式p(xi)=(xi1,xi2,…,xin)建立隶属函数A：识别判决：找出最接近的模糊集A最大原则阀值原则混合原则2023/4/2590第90页，共104页，2023年，2月20日，星期日基于模糊识别模型的视线交互整合模型目标识别算法根据用户描述的属性信息分析并选取有关特征，形成目标模式根据目标模式的隶属度函数，计算交互场景中每个目标在“描述属性”中所涉及的属性模糊子集上的隶属度根据描述属性中包含的逻辑关系和程度修饰词，计算目标的复合隶属度若复选操作，则使用“阀值原则”判决，选择出隶属度高于阀值的所有目标若为单选操作，则综合使用“阀值原则”和“最大原则”2023/4/2591第91页，共104页，2023年，2月20日，星期日基于模糊识别模型的视线交互整合模型模糊参数指定参数通常是连续的和无限的从用户描述信息中提取参数的本质是去除模糊性对于用户未提到的属性纬度，可以使用平均参数随机参数缺省参数对于用户提到的属性维度，可在模糊集中使用极大；极小；中间；随机策略2023/4/2592第92页，共104页，2023年，2月20日，星期日5.4实例介绍多通道人机交互与许多领域紧密相关，包括：多媒体、虚拟现实、模式识别（语音识别、手写识别、表情识别及相应的合成技术）、自然语言处理等。以基于多通道交互技术的虚拟座舱和象棋游戏为例说明多通道人机交互的特性2023/4/2593第93页，共104页，2023年，2月20日，星期日基于多通道交互技术的虚拟座舱利用虚拟座舱系统来发展座舱设计新概念是一种有效的方法易于重构和低费用是利用虚拟座舱系统的有利因素在虚拟座舱系统中采用多通道用户界面设计是座舱发展的趋势飞机性能的日益提高使得飞行员与机器之间的信息交换更加频繁，如何拓宽信息传输通道是迫切需要解决的问题通过多通道来交换信息是解决问题的主要方法2023/4/2594第94页，共104页，2023年，2月20日，星期日虚拟座舱系统的构成虚拟座舱系统通过视觉、听觉、触觉向飞行员提供信息，飞行员通过言语、手来控制飞行。虚拟座舱系统由硬件和软件两部分组成2023/4/2595第95页，共104页，2023年，2月20日，星期日硬件组成整个虚拟座舱系统的硬件组成包括座舱框架、油门杆、驾驶杆、座椅、话筒、触摸屏、三对影像以及两台显示