智能空间：和谐的人机交互环境精编版

1、智能空间 :和谐的人机交互环境智能空间是研究和谐人机交互原理与技术的典型环境， 智能空间的应用价值还可以直接体现 在其具体用途上，如智能会议室、作战指挥室、智能教室、能照料人的智能家居等，本文将 对智能会商室进行重点介绍。智能空间( Smart Space)是嵌入了计算、信息设备和多模态的传感装置的工作或生活空间， 具有自然便捷的交互接口， 以支持人们方便地获得计算机系统的服务。 人们在智能空间的工 作和生活过程就是使用计算机系统的过程， 也是人与计算机系统不间断的交互过程。 在这个 过程中， 计算机不再只是一个被动地执行人的显式的操作命令的信息处理工具， 而是协作人 完成任务的帮手， 是人的

2、伙伴， 交互的双方具有和谐一致的协作关系。 这种交互中的和谐性 主要体现在人们使用计算机系统的学习和操作负担将有效减少， 交互完全是人们的一种自发 的行为。自发( spontaneous )意味着无约束、非强制和无须学习，自发交互就是人们能够 以第一类的自然数据(如语言、姿态和书写等)与计算机系统进行交互。当前，普适计算( Pervasive Com-puting )是计算技术研究和应用的热点，而自发交互是普适 计算脱离桌面计算交互模式束缚的关键问题， 具有重要的研究价值， 智能空间成为研究和谐 人机交互原理与技术的典型环境。认识智能空间普适计算将使计算和信息服务以适合人们使用的方式普遍存在于

3、我们的周围， 以往相互隔离 的信息空间和物理空间将相互融合在一起。 在这个融合的空间中， 人们可以随时随地、 透明 地获得计算机系统的服务。 普适计算中信息空间和物理空间的融合可以在不同尺度上得到体 现，其在房间、建筑物这个尺度上的体现就是智能空间。NIST(美国国家技术标准研究院)给出的智能空间具备的功能和为用户提供的服务包括: 能识别和感知用户以及他们的动作和目的，理解和预测用户在完成任务过程中的需求 ; 用户能方便地与各种信息源(包括设备和数据)进行交互 ; 用户携带的移动设备可以无缝地与智能空间的基础设施进行交互 ; 提供丰富的信息显示 ; 提供对发生在智能空间中的经历的记录，以便在以

4、后检索回放 ; 支持空间中多人的协同工作以及与远程用户的沉浸式的协同工作。有学者指出， 将来不太可能存在一个全球统一的普适计算系统， 而会存在许多因为管理区划、 地域区划和文化区划而互相分离的、 有明确边界的智能空间系统。 这些智能空间系统间可以 有一定的交互，人和各种可携带设备可以透明地在它们之间移动。智能空间的特点 目前国际上对智能空间的研究开展得相当广泛， 表明了智能空间在普适计算研究中的重要作 用。这些研究计划中， 智能空间以不同的应用形态展现出来， 并被分别赋予了研究者希望中 的普适计算的特性， 对这些研究计划的分析， 能够分析出智能空间的三个主要特征和三个发 展阶段。首先，处于计算

5、环境中的计算设备不再像在桌面计算模式下， 要求用户端坐在计算机前或者 处于某个固定位置才能完成计算任务。大量的计算设备、多模态交互技术模块、情景感知 (context awareness )模块被嵌入并隐藏在实际的物理环境中 ,这些模块需要能互相协作并能 主动为用户提供服务， 使得智能空间能拥有立体、 连续的交互通道。 例如一个智能书房能检 测到用户在其中阅读书籍，它可能会打开窗帘来为用户提供足够的照明 ; 随着时间的推移， 夜幕降临，智能书房还可能根据当前的光照条件，逐渐加强房间中的灯光照明。其次，智能空间的一个重要特性称为游牧服务(cyber foraging)。它是指用户携带入空间的无线

6、手持设备可以充分利用其周围基础设施中的相对较强的设备的能力， 同时其上运行的模 块也可以与空间中的其他模块进行交互和协作， 以共同为用户提供增强的服务。 这也是信息 空间与物理空间融合的一个体现。 这种融合使得空间距离对计算的含义与传统分布式计算正 好相反。 传统的分布式计算是试图用网络消灭空间距离， 而智能空间是强调找到离用户最近 的各种资源和服务。 反过来， 基础设施也应该能够利用用户所携带的移动设备的功能， 为用 户提供个性化或者增强的服务。 例如， 当用户甲在一个智能会议室开会时， 系统检查到乙给 甲发了一个重要的 E-mail，并希望甲马上能阅读其内容。智能会议室则应该根据当前的情景

7、 (在开会)以及甲所携带的移动设备 (手机或者 PDA)做出判断，将此 E-mail 转发到手机上， 并通过震动提醒甲， 而不是通过会议室的大屏幕显示出来。 而如果只是甲单独待在智能会议 室，该 E-mail 则可经由声音提示，显示在大屏幕上。作者简介 :史元春清华大学计算机系教授， 系学术委员会副主任， 人机交互与媒体集成研究所所长， 兼任中国 计算机学会理事、普适计算专业委员会主任、IEEE 北京分会教育委员会主席。曾在 MIT 人工智能实验室作高级访问学者。 主要研究方向为人机交互、 分布式多媒体信息处理、 普适计 算、远程教育。最后，不同的空间之间也应该能够自发地发生交互。 当一个空间

8、的资源无法满足用户的需要 时，智能空间应该根据用户的要求向临近的空间发出请求来完成用户的任务。 例如， 处于智 能空间用户需要打印一张彩色图片， 由于该空间中只有黑白打印机， 智能空间可能会拒绝用 户的请求并告诉用户任务无法完成。 但是， 如果智能空间发现在附近的环境中存在一个彩色 打印机， 则它有可能向用户提示该彩色打印机的位置，并询问用户是否需要使用该打印机来打印。智能空间的发展阶段 上面所列举的三点可以被看作是三个具有递进关系的特点。 事实上我们认为这三个特点是智 能空间发展的三个不同阶段的特征体现。 图 1 描述了智能空间发展的这三个阶段， 并说明了 每一个阶段所重点关心和研究的问题。

9、独立智能空间 （Individual Smart Space ）系统是智能空间研究的第一个阶段。 在这个阶段里， 其主要的研究内容是空间内模块的通信与协调方式、 自然的人机交互接口， 同时还要求系统 具有持久性以及透明性的特点。为了支持模块间的协调，人们研究了协调模型、多 Agent 系统以及通信语言等， 构筑智能空间的软件支撑平台， 并应用大量可触摸接口、 传感器以及 感知模块来获得更友好的人机交互能力。 松散耦合结构应用系统提高了系统的持久性， 而嵌 入式技术的应用使得计算设备能够退到环境中去，并从人们的视线中消失。智能空间发展的第二个发展阶段是开放的智能空间（Open Smart Spa

10、ce），要同时关注大量应用的移动设备。 移动设备随着用户在空间的漫游， 它们能发现计算环境的存在， 同时自发地 与计算环境发生交互。 这个阶段需要研究的问题涉及了计算环境的发现、 异构通信信道的互 通、资源管理、代理以及复合服务等技术应用。事实上，我们认为， 在将来智能空间可能会构成层次的结构。 空间与空间之间将会互联，并 且单个智能空间可能联合起来构成一个大的空间 （例如清华大学的媒体所的所有房间构成整 个清华的智能媒体所） 。这些空间同样可能继续构成更为复杂的空间（例如清华媒体所、清 华网络所、清华软件所、清华高性能所、清华电子系等构成整个清华的东主楼） 。最终，智 能空间将构成一系列智能

11、社区 （ Smart Community ）。智能社区中的智能空间将以怎样的形式 组织在一起，如何进行跨空间的交互，如何进行跨空间的资源访问则是需要研究的问题。需要说明的是， 这些问题是按照逻辑关系而不是按时间关系出现的（如图 1 所示， 在从左向右的发展中，新的问题不断加入） 。各个阶段之间连接使用的是调制符号，以表示在原有问 题的解决过程中因新问题的加入而使之变得更为复杂。 阶段论的观点同时也表示前一个阶段 提出的问题并不意味着它们在后一个阶段不重要， 只是我们在后一个阶段中不去重点考虑这 些问题， 而是假设这些问题已经有了比较好的解决方案。 我们在前一阶段的基础上重点开展 后一阶段的研究

12、。就目前的研究现状而言， 多数项目已经对第一个阶段 （智能空间内部的协作机制） 进行了比 较深入的研究，研究的重点开始向第二个阶段转移。也有少数项目（如MIT 的 AIRE计划）已经开始就第三个阶段的问题展开了一定程度的研究。智能会商室原型系统在信息时代， 面临重大突发事件时， 决策小组需要在很短的时间内了解大量复杂的信息， 并 在决策人员间进行充分的交流讨论，以迅速做出正确的决策。决策过程是人对信息综合的过程， 单纯的决策支持软件系统作用的有限、 尤其是人机隔阂的 使用方式不利于决策人员获取和交流信息。只有把决策人员和信息化系统有机地结合起来， 在两者之间建立自然、高效的交互通道才能充分利用

13、信息、高效决策。智能会商室（ SEMIC: Smart Environment for Multi-user Interactive Cooperation ）以重大突发事 件的战略决策为应用背景， 通过开发和集成先进的和谐交互技术， 为决策人员提供一个高效 的信息获取、交流的工作空间，从而促使显著提高决策效率。在智能会商室中， 多种来源的相关信息将集成显示在会商室的三维物理空间中， 会商人员可 以在多个显示表面上以自然便捷的方式直接与信息系统交互、 或与远程的同事进行充分的协 作交流， 整个会商过程还将被自动存放为可索引的决策记录或参考案例。 智能会商室是一个 典型的多用户和谐人机交互环境，

14、 目标是促使决策人员在复杂的情况下尽快地理解和掌握当 前形势并快速地做出合理的决策， 关键是要为开放式信息集成、 多用户自然交互提供支撑技 术。图 2 是智能会商室原型系统的一个现场照片。该原型系统建立在一个 5 米 6 米的房间中， 开发和集成的硬件设备主要有 : 一个交互显示墙、 一个大屏幕触摸式显示板、 一个交互桌面、 一个平板电脑、 2 个 PDA、多功能交互笔（每个用户配备 1 支）、线阵麦克风阵列 2 个、室 内定位系统 1套（包括 7个接收器和 5 个用户徽章） 、用于识别交互笔和过程记录的摄像头 4 个、计算机主机 7 台。开发和集成的软件模块主要有 : 基于多 Agent 的

15、软件支撑平台、过 程记录与检索、无缝数据管理、远程协作、手写标注识别以及GIS地理信息系统。图2 智能会商室实验系统智能会商室基于普适计算中的智能空间技术营造全方位信息显示与和谐交互环境， 将大大提 高决策的快速性和可靠性。其创新特点主要体现在 : 新型交互方式自然便捷，能使决策人员集中精力于信息本身，决策效率将大幅提高 ; 松耦合的计算平台能较好地与现有信息系统快速集成，最大限度地增进多系统的协调工 作; 远程实时的深度协同提高了决策过程中远程协作时的效率，能有效降低决策的风险 ; 超媒体的过程记录和多线索的索引技术为决策分析提供了真实全面的记录。集成化的信息显示会商过程中需要理解和交流的各

16、种信息被集成显示在整个房间中， 营造出一个全方位的信息 空间。 根据决策过程中不同的信息访问方式， 配置了不同类型的显示设备 （如大面积的交互 显示墙、交互桌面、触摸式挂板、便携终端等） ，一改目前信息显示通道与信息交互通道相 分离的应用模式， 均支持在信息显示表面上直接操作信息内容， 提供用户全方位、 高效率的 信息访问界面。 同时， 各种显示设备通过底层的计算平台互联起来， 使得信息在不同显示设 备上的迁移直观便捷。会商过程中有新的重要信息源时， 例如随身携带的个人笔记本或来自网络的新的数据， 智能 会商室的底层计算平台可以通过协议自动发现信息源， 并调度软硬件资源， 提供合适的调度 和信

17、息显示方式，无需复杂的手工配置。1软件支撑平台 Smart Platform软件支撑平台是智能会商室计算平台的系统软件， 负责智能会商室中各种软硬件模块的协调 与通信， 最终将各种功能模块组成一个有机的整体。 平台面临的主要问题是要集成各种异质 的具有计算、传感能力的交互设备，实现设备间数据的交互、资源的发现、协作等。软件平台 Smart Platform 基于多 Agent 模型，原因是 : 它鼓励计算实体行为自主，以适应系 统组成和结构的动态性 ; Agent 封装程度和抽象层次更高， 可降低复杂系统的构建难度 ; 计算 实体间通过较高层的 Agent 间语言协调，耦合度小，利于系统的鲁棒

18、性和功能扩展。图 3 是我们设计的基于多 Agent 模型的系统软件结构， （a）表示系统软件是在底层操作系统和 网络之上的中间件，应用、资源和服务等将被封装成为 Agent ，系统的通信层、协调层和通 用服务将提供 Agent 的运行环境和上层应用开发工具 ; （b）表示系统的运行时结构 : Container 管理单机本地的 Agent， DS（ Directory Service ）负责 Agent 全局注册、运行环境的管理及消 息转发。其特点是 :图 3 多 Agent 软件支撑平台 Smart Platform 松耦合结构使系统具有良好的可扩展性，并有利于提高系统的鲁棒性。 点到点通

19、信通道和层次转发通信通道相结合，兼顾了 Agent 间消息和实时数据流交互的 需要。 协调层采用基于消息组的发布 /订阅模式，可有灵活的订阅粒度控制， 利于 Agent 间自发 交互 ; 基于 XML 的消息格式描述能力强，支持异构，便于开发和移植。 充分的通用服务支持应用层功能的开发。2无缝数据管理 LiquidSmart Platform 协调层的无缝数据管理模块 （ Liquid ）能够统一管理存储在不同计算设备上的 信息源（以文件为粒度） 。从用户的角度来看，进入会商室后，不同计算设备上的信息被放 置在一个系统中， 用户无需关心信息的上传和下载， 只需利用下文介绍的多功能交互笔就能 在

20、不同显示设备上方便地显示、 切换、 标注这些信息， 使得用户的注意力能主要放在讨论和 信息理解的过程中， 无需过多理会计算系统的细节。 远程用户被允许接入会商室后， 也能利 用无缝数据管理模块来提供和共享信息。图4 是该模块的结构图。便捷的交互方式 在多种显示设备集成的信息空间中，决策人员可以通过物理环境（如墙面、桌面） 、日常用 具（如笔、激光笔） ，新型信息设备（如 PDA、麦克风阵列） ，以及语音命令等自然便捷的方 式与信息系统交互， 无需依赖传统的鼠标键盘， 以使对计算机不熟练的人员也能够直观地访 问、处理信息。原型系统主要通过语音命令和多显示表面上的笔式交互提供直接的支撑技术。uPe

21、n1多功能交互笔在会商室这样一个包括多种显示设备的三维交互空间中， 用传统的鼠标键盘进行交互是相当 繁琐的 : 每个显示设备都需要单独配备鼠标或键盘 ; 对于不熟练的计算机用户来说，这种交 互方式效率很低 ; 对某些操作，例如绘制图标，即使是熟练的计算机用户用鼠标和键盘也很 麻烦。我们设计实现了一种多功能交互笔uPen，它是一个具有压力传感器的触摸笔，可以发射激光，笔身上还有激光发射和鼠标左右键共三个功能按键。 结合触摸板和计算机视觉技术， 用 户利用一只 uPen 就能够以便捷的方式在会商室中与各种显示设备进行交互。这种笔势交互 的模式摆脱了鼠标键盘， 使用户在会议室的各个位置都能与显示设备

22、交互， 而且交互方式统 一便捷。每一支 uPen 在使用过程中能向系统发送惟一的 ID 信息，为多支 uPen同时工作提供了基础。 结合室内定位系统， 就能够确定使用人员的当前交互状态， 为系统的主动服务和用户相关的 过程记录提供了可能。2交互显示墙 iWall显示墙是多人协同工作情况下的有效的信息呈现手段。目前， 高级指挥或决策中心大都已经使用了一定的显示墙技术来提供多路信息的同时呈现。 智能会商室中的交互显示墙包括利用 投影仪投放到普通墙面的主屏幕， 以及若干个小面积显示屏组成的辅助屏幕 （图 2 中的墙面 投影及右侧墙面及其下方的辅助小屏幕） 。主屏幕的大小和辅助屏幕的数量可以根据需要方

23、 便地扩展。用户对交互显示墙的操作通过 uPen 完成，其基本原理是用视觉跟踪的技术识别uPen 发出的激光点在交互显示墙上的位置，用户手持 uPen 可以改变激光点的位置和发出无线命令信 号。系统根据识别得到的激光点轨迹和接收到的无线命令信号执行操作， 例如改变交互显示 墙上的内容，完成在主辅显示屏之间的切换等。3交互桌面 iTable在决策的多人讨论交流过程中， 决策人员仍然喜欢围坐在桌旁利用纸和笔方式进行交流， 其 原因是操作更为快捷和直观， 也便于多人面对面的交流。 但这种方式失去了计算机可以提供 的许多文档显示、编辑功能和联网协作功能。我们设计的交互桌面（iTable）结合了两种方式

24、的优点，即 : 使用者可以用笔或手指直接在大尺寸的桌面式显示平面上与计算机交互、又 保留了传统的会议桌的讨论方式。iTable 结合 uPen，能够提供多人同时操作的解决方案。 基本原理是基于压力传感和视觉跟踪 的技术。交互桌面的表面装备摄像头跟踪 uPen 的轨迹，用户手持的 uPen 笔尖装有压力传 感器，当笔尖接触到交互桌面时，通过 uPen 轨迹、笔的当前受压时间和自身的ID，系统将可区分多支笔在桌面上同时操作时的当前位置和ID。进一步地考虑用户在绘制过程中像素的连续性和运动特性， 即可把各支笔和它们各自绘制的笔画对应起来， 从而解决了多人在桌 面上进行同时操作的问题，目前支持两人并行

25、工作。4室内定位系统 Cicada智能会商室是一个典型的多人协作的工作环境。 利用室内定位系统、 麦克风阵列以及能区分 人员身份信息的交互笔来自动区分决策人员以及他们当前的活动状态。 在此基础上， 结合具 体的决策流程，为决策人员提供与其职责相匹配的主动服务，提高决策效率。同时，智能会商室内的人员可以与远程决策人员进行不同于传统的视频会议系统的充分的远 程协作。 智能会商室除具备音视频通道外， 将为身处不同地点的决策人员提供丰富的信息共 享和自如的交互能力， 使各方能充分觉察对方决策所依据的思路过程， 在共享的工作空间上 克服空间阻隔充分交流协作。会商室是一个典型的多用户工作环境， 为支持不同

26、身份人员的高效工作， 一个重要的前提是 能够区分不同的人员， 检测当前人员的活动状况。 清华大学研制了一种新型室内定位系统 Cicada，它基于射频和超声波达到时间差来测量距离。Cicada 不仅能对静止和移动物体进行准确定位（静止误差在 5cm 以内），而且拥有全向型的工作区。由于它的小巧和轻便（如 图 6 所示），可以配置在用户的胸牌等随身携带的物品中。图 5 Cicada 的系统架构图6 电子徽章和接收器 自动记录决策过程决策过程记录是重要的参考， 单纯的文字记录或者视频录像都是不够的， 前者丢失了对于理 解决策过程十分关键的数据本身， 而后者无法对信息进行精确的还原， 同时视频本身缺乏

27、结 构性，不便于检索。智能会商室能够实现对空间中发生的事件的多线索数据流的同步记录、 索引和回放。我们研制的过程记录模块能够对决策全过程做多线索数据流的同步记录，包括交互显示墙、 交互桌面等设备显示的各种信息和数据、 决策人员对交互设备操作， 如交互显示墙主屏幕的 切换过程、交互桌面上的动作以及基本的现场音频、视频等 ; 这些不同线索流上的数据在时保证了通用性。 为便于记录的快速浏览和查询，过程记录模块从用户、 个维度上自动建立起索引结构， 并且开发了用户友好的图形查询界面，时间、位置和事件四 支持快速回放和图形间上保持同步，这样回放时可以全面地重现决策过程。记录下来的数据用XML 语言描述，化查询。链接 :智能教室 普适计算研究中的一个重要问题是如何把这项研究与当前的