人机自然交互技术

人机自然交互技术

提纲

•人机交互概述

-定义，内涵与外延

-研究内容

-历史、现状

•人机自然交互技术

•我的工作

HCI是什么?

•用尸：我又错了？

-用户必须不断地适应计算机，而不是相反!

人机交互

・定义(ACM,1992)

-Human-computerinteractionisadiscipline

concernedwiththedesign,evaluationand

implementationofinteractivecomputing

systemsforhumanuseandwiththestudyof

majorphenomenasurroundingthem.

-一门研究人类所使用的交互式计算系统的设计、

实施、评估及相关主要现象的学科

HCI简化模型

HCI目标

•使得用户在完成任务时，能够达到

-安全性(Safely)

-有效性(effectively)

-高效率(Efficiently)

-愉悦感(Enjoyably)

-高可用性(Usability)

高可用性(Usability)

•易于学习如何使用

-Easeoflearning,freeoftraining

•用户可高速执行任务

-Highspeedofusertaskperformance

•低的用户错误率

-Lowusererrorrate

•用户的主观满意度

-Subjectiveusersatisfaction

•对用户持久的吸引力

一Userretentionovertime

HCI主要研究内容(ACM1992)

U1u会组织与工作

C2对话技C4计律机制

术图

nn

C3对话风

楙C5对话构建

D4实例系统与、

实施技巧

D3评估技D2

与工具

巧D1设计

HCI研究内容

•N人机交互的本质

-N1人机交互(元-)模型

•U计算机的应用及情景

-U1人类社会组织和工作

-U2应用领域

-U3人机适应(FitandAdaptation)

•H人类特征

-H1人类信息处理

-H2语言，通信与交互

-H3工效学(Ergonomics)

HCI研究内容(续)

•C计算机系统和界面构建

-C1输入和输出设备

-C2对话技术

-C3对话风格Genre

-C4计算机图形学

-C5对话架构(ArcMtecture)

•D开发过程

-D1设计方法

-D2实施技术

-D3评估技巧

-D4实例系统和案例研究

•P项目展示和测试

U2HCI应用领域

•面向文档的应用•多媒体信息亭

-文字处理，文档格式化，

•连续控制系统

插图，电子表格，超文本

•面向通信的应用-过程控制系统，虚拟

-email,视频会议，电话/声音现实系统，仿真器，

信息系统座舱，视频游戏

•设计开发环境类•嵌入式系统

-开发环境，CAD/CAM-复印机，电梯，消费

•在线帮助和指南电子，家用电器（TVs,

VCRs,微波炉.）

U3人机适应

•实现人机适应的可变化技术手段

•自适应系统的本质，适应冗余系统的错误本质，

用户对例程改进的经验发现，成功系统的关键点

•系统选择：系统采用理论

­系统适应：定制与裁剪技术

•用户选择：用户和系统特性的兼容性

•用户适应：易学习，训练方法（在线指南），与

系统设计的关系

•用户指导：帮助技术，文档，错误处理技术

H1人类信息处理

•认知机理模型

-符号主义，连接主义，工程模型

•诸多认知过程的现象和理论

-记忆，知觉，运动技巧，注意和警惕，问题求

解，学习和技巧获得，动机等

•用户的概念模型

•用户行为模型

•人类的多样性（包括残障人士）

C1输入和输出设备

•输入设备

-特定设备的结构，性能特性，残障人专用设备，手写,

手势，语音输入，眼动跟踪，其他设备（如脑电扫描

设备，3D扫描仪，其他测量生物信号的设备）

•输出设备

-特定设备的结构，向量式设备，光栅设备，帧缓存，

图像存储，事件处理，残障人专用设备，声音和语音

输出，3D显示器，运动等等

•输入输出设备特性

-重量，便携性，带宽，感觉模态

•虚拟显示设备

C2对话技术

•对话输入

-输入目的类型（如选择，具体参数指定，连续控制）

-输入技术

•键盘技术（e.g,commands,menus）

•基于鼠标的技术（e.g.,选择）

•基于pen的技术（eg,字符识别，手势等）

•基于语音的技术

•对话输出

-输出目的

•如：传达精确信息，信息摘要，过程展示，信息可视化

-输出技术

•滚动条显示，窗口，动画，鱼眼显示，画中画等

-屏幕布局问题

•焦点，杂乱，视觉逻辑

C2对话技术（续）

•对话交互技术

-对话种类和技术

•文字技术，表格填充，菜单选择，图标和直接操作,

自然语言等

-对话市的导航和指向，错误管理

-多媒体和非图形对话

•语音输入/输出，语音信箱，视频信箱，主动文档，

视频磁盘

-智能代理，AI

-多人对话

HCI简史

D4实例系统和案例研究

WhyHistory?

•读史使人明智

-理解我们从哪里走过来的，有助于指明我们继

续前进的方向！

Understandingwhereyou'vecomefromcan

helpalotinfiguringoutwhereyou'regoing.

-领域知识意味着对其历史的准确评价！

Knowledgeofanareaimpliesan

appreciationofitshistory.

HCI范式(Paradigms)

•里程碑式的理论框架或科学世界观

-如物理学上的亚里士多德时代、牛顿时代、爱

因斯坦时代

•对HCI历史的理解，可以通过对计算机应

用范式变迁的认识来完成

-HCI的历史，基本上就是计算机发展的历史！

计算机的诞生

•回溯

-数字计算机的概念在18世纪提出

-在20世纪40年代技术上称为现实

•早期模拟计算机

-1943年1月：MarkI,自动顺序控制计算机在美国研制

成功，被用来为美国海军计算弹道火力表

-1943年12月：AlanTuring参与设计制造的最早的可编

程计算机Colossus在英国推出，目的是为了破译德国

的密码，每秒能翻译大约5000个字符

ENIAC,1946

•开始研制于1943年，完成于1946年2月15日

-ElectronicNumericalIntegratorAndComputer电子

数字积分计算机——第一台真正意义上的数字电子计

算机

-占地面积170平方米，30个操作台，约相当于10间普

通房间的大小，重达30吨，耗电量150千瓦，造价48

万美元。它使用18000个电子管，70000个电阻，

10000个电容，1500个继电器，6000多个开关

-每秒执行5000次加法或400次乘法，是继电器计算机

的1000倍、手工计算的20万倍

-负责人是JohnW.Mauchly和J.PresperEckert

ENIAC

・用途：计算弹道和氢弹的研制。

P1:V.Bush&Memex1945

•促成了美国NSF,ARPA等的创立

•“AsWeMayThink〃-1945年

•Memexdevice理论模型/概念

-能够存储所有记录、文章和通信

-内存巨大

-按索弓I,关键词，相互参照获取信息

-相互连接管理（提出的概念非常类似

THypertext）

g寸6LX0E8W

P2:J.R.Licklider

・心理学家f计算机科学家■

—1960年，发表了“人机共生”/

("man-computersymbiosis")的论文

・计算机如何更好的帮助人做事情1

一1962年，J.CRLicklider和W.CIark

发表论文《On-LineManComputer

Communication^,讨论分布式社

交行为的全球网络概念

-Batchprocessing今time-sharing

-Internet先驱人物之一

P3:LSutherland&SketchPad1963

•SketchPad"编程”系统

-信息论先驱Shannon的学生

-1963PhDthesisatMIT

-1988TuringAward

-可以通过使用手持物体（如光

笔）直接在显示屏幕上创建图

形图像。可视的图样随即被存

入计算机内存，它们可以被重

新调用，并同其他数据一样可

以进行后期的处理。

-CAD先驱，后期致力于设计头

盔式3D显示器（1967年开始）

■

■

V

P3:IvanSutherland

•Sketchpad是第一个可以在显示屏幕上直

接构造图形图像的系统，不用再通过键盘

向计算机输入代码和公式

•更具革命性的是，它考虑到了在显示屏幕

上作某些改动后，存储在计算机中的信息

可以被改变和更新。

•Sketchpad开创了计算机辅助设计的一个

新领域，即我们所熟知的CAD

新的范式：VideoDisplayUnits

•视频显示部件VDU

-Sutherland^Sketchpad是里程碑式的系统

-计算机从此可以用于信息可视化和数据操作

■之前：主要用于数据计算

P4:DouglasEngelbart

•道格拉斯•恩格尔巴特——“人机交互”大师

—因发明鼠标而闻名，鼠标最初的名字：显示系统的X-

Y位置指示器(1963〜1965)

P4:DouglasEngelbart

­鼠标器只不过是他所有成果中的一个小发明。但

他提出的那些气魄辉宏的计算机理论却远远不及

他发明的鼠标器广为世人所知晓

-发明涉及视窗、文字处理系统、在线呼叫集成系统、

共享屏幕的远程会议、超媒体、电脑交互输入设备、

群件，层次超文本，多媒体，鼠标

•20世纪60年代初，他就发表了一篇题为《放大人

类智力》(AugmentingtheHumanIntellect)的文

章，提出了把计算机作为人类智慧放大器的观点

•1997年，ACM图灵奖

P5:AlanKay

•最早的图形用户界面(GUI)电脑A代。

—在施乐PARC,与同事构建了Alto,

成为Macintosh和Windows的先马区

•2003年度图灵奖得主(forOOP)

-发明了“ObjectOriented”这个术语，第一个完全面向

对象的动态计算机程序设计语言Smalltalk的发明者

•SmaHtalk源自AlanKay"使用一组独立的互相通信的对象来

解决问题”的思想，它可以说是目前主流语言C++,Java和

C#的前身。

•1972年，他来到施乐PARC,开始将Smalltalk作为一种儿童

教育工具

P5:AlanKay

・个人计算之父

—1968年，提出Dynabook设想

•"Notebooksizedcomputerloadedwith

multimediaandcanstoreeverything"

•将是一款如同书籍般，既为可携式且具互动功能的

多媒体个人式电脑，它的主要规格如下：

1.大小如A4纸张之易携带；

2.显示器的解析度必须优于报纸文字；

3.必须具有声音输入的功能且易操作；

4.必须能够网路化和作无线通讯

新的范式：个人计算

•因易于使用而更强大

•小而强大的计算机器为个人用户而做

•互联和分时的重要性

•先驱者

-Kay'sDynabook,1968年

-IBMPC,1970年代

•文本和命令方式

具有GUI的PC

•XeroxPARC-mid1970Js

-Alto

•BravoWYSIWYG文本编辑.

•BravoXMicrosoftWord的祖先.

•Laurel电子邮件.

•Neptune磁盘文件管理.

•Press文件打印.

•Sil画图程序.

XeroxStar-1981

・第一台为商务应用设计的商用PC

—具有了桌面电脑的主要特征

•Pointing,WYSIWYG,highdegreeofconsistency

andsimplicity

•采用了可用性工程方法

-有原型设计和分析

-好用性测试，迭代式的改进

XeroxStar

•天才的概念，商业失败

-$15kcost

一Closedarchitecture

一Lackingkeyfunctionality

1981IBMPC

•1981年8月12日，IBM正式发布了历史上第一台

PC,从此人类就进入了个人电脑时代！旧MPC

改变了我们的生活和工作方式

-IBMPC之父：埃斯特利奇，13人小组

AppleLisa-1982

•BasedonideasofStar

•更加个人化，而不全是

办公工具

-LisaWrite:字处理

-LisaCalc:表格

-LisaGraph:图形

-LisaList:规划管理工具刘”

-LisaProject:项目计划Gtdffhtrg

-LisaDraw:绘图程序

-LisaTerminal:现代通信软件

•失败③mrtt“E

14modoiM."必

18bold/ihlfc

拉Lmin-l

AppleMacintosh-1984

•并非先驱，但非常聪明的拷贝

一Nottrailblazer,smartcopier

•优点

-Aggressivepricing-$2500

-界面友好

-支持第三方应用

-童质量图像和激光打印

一高质量的应用系统，MacWrite>MacDraw

-新的应用：Pagemaker,Word,Excel

新的HCI范式：WIMP

•Windows,Icons,Menus,Pointers

-并行操作

•Candoseveralthingssimultaneously

-图形用户界面

—实例

•XeroxAlto,Star;earlyApples

P6:BenShneiderman

•Dr.Shneiderman的著作有《软件心理学：计算

机和信息系统中的人类要素》，1980

-发明了直接操作DM(DirectManipulation)概念

•在1983年首次设计了选中条目点击转到另一页的

方法.

•创立并任马里兰大学HCI实验室主任4n

新的范式：直接操作

DirectManipulation

•直接操作的特点

-对象可见

-渐进动作和快速反馈

-可逆性鼓励探索

-使用动作代替语言

-对动作进行句法修正

一WYSIWYG—WhatYouSeeIsWhatYouGet.

P7:DonaldA.Normar

•20世纪60年代他就是一流的认知心理学家，是认

知科学的开拓者之一，发展了HCI应用科学，涉

及到认知学、工程和设计，在HCI方面做出了大

量创造性的成就，提出的“以人为中心的设计”

概念。

•"DesignofEverydayThings55

-已成了设计人员的必备，以人为本，可用性、易用性,

还有情感影响，新的理念指导着很多的设计

•《EmotionalDesign:Whywelove(orhate)

everydaythings》情感化设计

-强调情感在产品设计中的重要作用

新的范式：多模态用户界面

•模态是人类交流的通道

-不仅仅是感官

•例如：语音（听觉通道）和唇读（视觉通道）

•多模态融合

-多通道同时使用共同协作完成输入/输出功能

P8:TedNelson

•Hypertext（超文本）,hypermedia（超媒

体）等概念的（合作）提出者

新的范式：Hypertext

•WWW,1993

•超文本

-将信息看作互联的节点，而不是线性流

•Thinkofinformationnotaslinearflowbutasinterconnected

nodes

・源头

-Nelson'shypertext

-Bush'sMEMEX

•非线性的浏览结构

-Non-linearbrowsingstructure

P9:MarkWeiser

•提出普适计算是21世纪的计算模式

-MarkWeiser于1988年在XeroxPARC的

计算机科学实验室首次提出了这个概念

-无处不在的计算描述了具有丰富计算资源和通信能力

的人和环境之间关系的场景，能够在需要的何时何地

都可以提供信息和服务，这个环境与人们逐渐地融合

在一起。使得计算机“Invisible”，“最好的仆人是看

不见的仆人”

•还提出了"宁静技术calmtechnology”的概念

-充分利用人体丰富多彩的感知和动作器官，以及人们

与日常物理世界打交道时所形成的自然交互技能来获

得计算机提供的服务

人机自然交互技术

•HCI简史——人适应计算机的历史！

-1960年代一70年代：键盘，字符界面

-1980年代一90年代：鼠标，图形界面

•目前

-仍然以鼠标，图形界面为主，书写、听觉等为辅

•未来——计算机适应人的未来！

-到2015年左右，我们会如何使用计算机？

•下一代自然人机界面会是什么？

•需要大家的想象力！

人机自然交互技术

人们对于现存的人机交互方式并不满足，因为人与

人的交互不是通过人手操作来实现的，而是通过听觉与

视觉以语言、表情、手势和体势进行的。人们期望新一

代的人机交互能像人与人交互那样自然、准确和快捷。

于是在20世纪90年代人机交互的研究进到了多模态的阶

段，祢为人机自然交互(Human-ComputerNature

Interaction,HCNI°£Human-MachineNatureInteraction,

HMNI)O

人机自然交互与前几代人机交互的方式有本质上的差

别，这是一种人机交互的革命，是摆脱人手操作，赋予

机髓以智能，通过听觉和视觉通道来实现的新一代交互

方式。

人机自然交互的基本特征是只动嘴不动手，赋予计算

机听觉与视觉智能，使计算机能认识交互的对象，理解

以语言形式表达的说话内容，理解交互对象的情感，按

人的要求去做，或回答人提出的问题，达到交互的目的。

人机自然交互技术

•主要功能

-识别交互对象，即知道在与谁对话，以称为说话人识

别，这可以由视觉和听觉信息通道获取的知识中进行

识别和判断；

-要理解对话的内容，以便执行人发出的指令，或回答

人提出的问题，这是主要由听觉信息通道获取知识，

但由于语言本身是双模态的，由视觉信息通道获取的

唇动知识对某些