课件1-人机界面与人机交互

人机界面设计2023/11/271课程目标基础了解人机交互的含义，人机交互的研究内容及发展趋势了解并掌握认知心理学、人机工程学在人机界面设计的作用，并在此基础上能够进行人机交互界面评价了解普遍流行的各种交互设备，包括文本输入设备、图像输入设备、指点输入设备和显示设备等理论了解人机交互的一些新技术，如语音、手写识别、眼动跟踪等技术掌握人机交互的界面模型，如用户模型、任务模型、表现模型等学习计算机支持的协同工作、信息搜索与可视化、超媒体与万维网、普适计算与增强现实等内容2023/11/272教材及参考书Human-ComputerInteraction(3rdEdition)AlanDix等，PrenticeHall，2004。 用户界面设计----有效的人机交互策略（第三版）张国印、李健利等译，电子工业出版社，2004年人机界面设计周苏等编著人机交互技术----原理与应用孟祥旭、李学庆编著，清华大学出版社，20042023/11/273第1章

人机界面与人机交互2023/11/274本章内容本章主要介绍以下内容：人机交互的概念人机交互与其他学科的关系人机交互技术的发展历史人机交互的研究内容人机交互技术的发展趋势2023/11/275一、人机交互概念人机交互（Human-ComputerInteraction,HCI）是关于设计、评价和实现供人们使用的交互式计算机系统且围绕这些方面进行研究的科学。人机交互技术是21世纪信息领域需要解决的重大课题。例如，美国二十一世纪信息技术计划中的基础研究内容定为四项，即软件、人机界面、网络、高性能计算。人机交互概念有广义和狭义的区别2023/11/276广义人机交互广义上讲，人机交互以实现自然、高效、和谐的人机关系为目的，与之相关的理论和技术都在其研究范畴，是计算机科学，心理学，认知科学以及社会学等学科的交叉学科研究开发新的人机交互设备、技术和理论，以实现无处不在计算（ubiquitouscomputing）环境下的以用户为中心的交互式计算机系统，使其能够增强人的创造力，解放人类的大脑、改善人与人之间的交流与协作2023/11/277狭义人机交互人机交互从技术上讲（狭义的），主要是研究人与计算机之间的信息交换，它主要包括人到计算机和计算机到人的信息交换两部分人们如何借助键盘、鼠标、操纵杆、眼动跟踪器、位置跟踪器、数据手套、压力笔等设备，用手、脚、声音、姿势或身体的动作、眼睛甚至脑电波等向计算机传递信息计算机如何通过打印机、绘图仪、显示器、头盔式显示器（HMD）、音箱、力反馈等输出设备给人提供信息2023/11/278人机交互与人机界面人机交互和人机界面是两个不同的概念人机交互是指用户与计算机系统之间的通信，它是人与计算机之间各种符号和动作的双向信息交换人机界面是指人类用户与计算机系统之间的通信媒体或手段，它是人机双向信息交换的支持软件和硬件这里“界面”定义为通信的媒体或手段，人机交互是通过一定的人机界面来实现的，在界面开发过程中，有时把它们作为同义词使用2023/11/279图1.1人机系统模型2023/11/2710二、人机交互与其他学科的关系人机交互与认知心理学、人机工程学、多媒体技术和虚拟现实与增强现实技术密切相关。其中，认知心理学与人机工程学是人机交互技术的理论基础，而多媒体技术和虚拟现实与增强现实技术与人机交互技术相互交叉和渗透虚拟与增强现实技术多媒体技术认知心理学人机工程学人机交互与其他相关学科的关系人机交互技术2023/11/2711

认知心理学（CognitivePsychology）研究人们如何获得外部世界信息，信息在人脑内如何表示并转化为知识，知识怎样存储又如何用来指导人们的注意和行为涉及心理活动的全部过程——从感觉到知觉、识别、注意、学习、记忆、概念的形成、思维、表象、回忆、语言、情绪和发展过程信息加工心理学是现代认知心理学的主流用计算机信息处理过程来类比人的认知过程了解认知心理学原理可以指导人们进行人机交互界面设计可用性、用户心理、用户行为2023/11/2712人机工程学（Ergonomics）人机工程学是运用生理学、心理学和医学等有关知识，研究人、机器、环境相互间的合理关系，以保证人们安全、健康、舒适地工作，从而提高整个系统工效的交叉学科早期人机工程学是最活跃、最主要的分支硬件人机工程学对人体能力、人体限制及其他与设计相关的人体特性信息的应用，以满足设计、分析、测试与评价、标准化，以及系统控制的要求软件人机工程学（SoftwareErgonomics）研究软件和软件界面，侧重于运用和扩充软件工程的理论和原理，对软件人机界面进行分析、描述、设计和评估2023/11/2713人机工程学示例2023/11/2714多媒体技术多媒体技术是指将文本、声音、图形、图像、视频等集成在一起的技术动画、音频、视频等动态媒体，大大丰富了计算机表现信息的形式，拓宽了计算机输出的带宽，提高了用户接受信息的效率多媒体带来的信息冗余性可消除人机通信过程中的歧义性及噪声目前多媒体技术的研究基本上限于信息的存储和传输方面，媒体理解和推理研究较少2023/11/2715多通道人机交互研究的兴起，将进一步提高计算机的信息识别、理解能力，提高人机交互的效率和用户友好性，将人机交互技术和用户界面设计引向更高境界多通道系统力求对语义的理解，侧重于信息的理解和解释；多媒体系统则侧重于信息的表现2023/11/271665%20%10%2%3%视觉味觉嗅觉触觉听觉1+1〉2多样性集成性2023/11/2717虚拟现实技术（VirtualReality,VR）虚拟现实就是借助于计算机技术及硬件设备，建立高度真实感的虚拟环境，使人们通过视觉、听觉、触觉、味觉、嗅觉等感官在其中看、听、触、闻起来像真实的，以产生身临其境的感觉的一种技术。沉浸感（immersion）交互性（interaction）构想性（imagination）自然和谐的交互方式是虚拟现实技术的一个重要研究内容，其目的是使人能以声音、动作、表情等自然方式与虚拟世界中的对象进行交互（三维交互）2023/11/2718虚拟现实技术2023/11/2719三维交互设备：如立体眼镜、WorkBench、头盔式显示器、CAVE、柱形或球形立体显示器、立体音频输出设备；位置跟踪器、眼动跟踪器、三维扫描设备、三维鼠标、三维跟踪球、三维游戏杆、数据手套；触觉和力反馈装置、可穿戴计算机等复杂场景的建模、实时高度真实感绘制等技术，也是虚拟现实非常重要的研究内容。虚拟现实为人机交互的研究提供了很好的契机和媒介2023/11/2720增强现实技术

（AugmentedReality,AR）增强现实技术融合了虚拟环境与真实环境，其在交互性与可视化方法方面开辟了一个崭新的领域；而虚拟现实使用虚拟环境取代了真实环境增强现实是把虚拟的信息叠加在真实场景中，在人的周围环境中再现出来，虚实结合，能够达到以假乱真的地步，完全给人逼真的感觉。在增强现实环境中交互是实时的。2023/11/2721三、人机交互的发展历史人机交互一直伴随着计算机的发展而发展。人机交互的发展过程，也是人适应计算机到计算机不断地适应人的发展过程。它经历了几个阶段：1.语言命令交互阶段2.图形用户界面（GUI）交互阶段3.自然和谐的人机交互阶段（现状）2023/11/27221-语言命令交互阶段：计算机语言经历了由最初的机器语言，而后是汇编语言，直至高级语言的发展过程。这个过程也可以看作早期的人机交互的一个发展过程2023/11/27232-图形用户界面交互阶段：图形用户界面（GraphicalUserInterface，GUI）的出现，使人机交互方式发生了巨大变化。桌面隐喻、WIMP技术、直接操纵和所见即所得。与命令行界面相比，图形用户界面的人机交互自然性和效率都有较大的提高。图形用户界面很大程度上依赖于菜单选择和交互小组件（Widget）。图形用户界面使得初学者易于使用，但效率并不高另外，图形用户界面需要占用较多的屏幕空间，并且难以表达和支持非空间性的抽象信息的交互。2023/11/27243-自然和谐的人机交互阶段：随着虚拟现实、移动计算、普适计算等技术的飞速发展，自然和谐的人机交互方式得到了一定的发展。基于语音、手写体、姿势、视线跟踪、表情等输入手段的多通道交互目的是使人能以声音、动作、表情等自然方式进行交互操作2023/11/2725人机界面发展中最有影响的事件和成果1、1945年美国罗斯福总统的科学顾问VanneverBush(1894-1974)在《大西洋月刊》上发表的“AsWeMayThink”的著名论文，提出了应采用设备或技术帮助科学家来检索、记录、分析及传输各种信息的明确目标和名为“Memex”的一种工作站构想，这一目标和构想影响着过去和当今的一大批最著名计算机科学家2023/11/27262、1963年发明鼠标器的美国斯坦福研究所的D.Engleberg，他预言鼠标器比其他输入设备都好，并在超文本系统、导航工具方面会有杰出的成果。10年后鼠标器经Xerox研究中心改进后，成为影响当代计算机使用的最重要成果3、1963年美国麻省理工学院I.Sutherland开创了计算机图形学的新领域，随后美国布朗大学A.VanDam等人组织了SIGGRAPH。I.Sutherland还在1968年开发了头盔式显示器。2023/11/27274、20世纪70年代当时在Xerox研究中心的AlanKay发明了重叠式多窗口系统，并提出了Smalltalk面向对象程序设计等思想。5、1989年TimBerners-Lee在日内瓦的CERN用HTML及HTTP开发了WWW网，随后出现了各种浏览器（网络用户界面），使因特网飞速发展起来。6、20世纪90年代美国麻省理工学院N.Negroponte（他早在30年前就提出了“交谈式计算机”概念）领导的媒体实验室在新一代多通道人机界面方面（包括语音、手势、智能体等），做了大量开创性的工作。2023/11/2728四、人机交互的研究内容人机交互的研究内容十分广泛，涵盖了建模、设计、评估等理论和方法以及在计算机支持的协同工作、信息搜索与可视化、超媒体与万维网、普适计算与增强现实等方面的交互设计技术，主要包括：人机交互界面表示模型与设计方法一个交互界面的好坏，直接影响到软件开发的成败。友好人机交互界面的开发离不开好的交互模型与设计方法2023/11/2729多通道交互技术在多通道交互中，用户可以使用语音、手势、眼神、表情等自然的交互方式与计算机系统进行通信。多通道交互主要研究多通道交互界面的表示模型、多通道交互界面的评估方法以及多通道信息的融合等。智能用户界面智能用户界面的最终目标是使人机交互和人－人交互一样自然、方便。上下文感知、眼动跟踪、手势识别、三维输入、语音识别、表情识别、手写识别、自然语言理解等都是认知与智能用户界面需要解决的重要问题。2023/11/2730计算机支持的协同工作（ComputerSupportedCooperativeWork--CSCW）“计算机支持的协同工作已成为一个多学科交叉的新兴的研究领域CSCW是要研究在计算机技术支持的环境下，特别是在计算机网络环境下，一个群体如何协同工作完成一项共同的任务。它的目标是要设计出能支持各种各样的协同工作的工具、环境与应用系统2023/11/2731信息搜索与可视化随着数据量和数据多样性的增加，对信息集合的搜索和可视化日益重要。信息搜索包括：数据库查询、文本文档的短语搜索、照片搜索、地图搜索、图案或图标的搜索、声音搜索、视频搜索和动画搜索等。信息可视化是一种计算方法，它将符号形式转化为几何形式，使研究人员能够观察所做的模拟与计算。可视化提供了一种查看原来不可见事物的方法。2023/11/2732超媒体与万维网超媒体扩展了传统的线性文本，给用户提供了在多个相关内容之间跳转的机会网页中可以包含图形、图像、声音以及由Java或虚拟现实建模语言(VRML)所提供的日益逼真的动画，并且这些网页可在全世界成千上万台计算机服务器上进行传递2023/11/2733虚拟现实和增强现实（VirtualReality&AugmentedReality）“以人为本”的、自然和谐的人机交互理论和方法是虚拟现实的主要研究内容之一通过研究视觉、听觉、触觉等多通道信息融合的理论和方法、协同交互技术以及三维交互技术等，建立具有高度真实感的虚拟环境，使人产生“身临其境”的感觉。普适计算（UbiquitousComputing）普适计算是指通过新一代的设备根据需要随时随地方便地访问相关信息，并可轻松地对其进行操作普适计算对人机交互技术提出了更高的要求2023/11/2734在未来的计算机系统中，将更加强调“以人为本”、“自然、和谐”的交互方式，以实现人机高效合作。概括的讲，新一代的人机交互技术的发展将主要围绕以下几个方面：1.

集成化人机交互将呈现出多样化、多通道交互的特点。桌面和非桌面界面，可见和不可见界面，二维与三维输入，直接与间接操纵，语音、手势、表情、眼动、唇动、头动、肢体姿势、触觉、嗅觉、味觉以及键盘、鼠标等交互手段将集成在一起，是新一代自然、高效的交互技术的一个发展方向。五、人机交互的发展趋势2023/11/2735

2002年2月，W3C（WorldWideWebConsortium）国际组织成立了“多通道交互”工作小组（MultimodalInteractionWorkingGroup），开发W3C新的一类支持移动设备MMI的协议标准。目前已有42家大型IT企业或单位参加该小组，参与制定“多通道交互”的相关协议标准。该小组成员覆盖了几乎所有计算机软硬件、移动通信、家电的大型厂商。2023/11/2736卡耐基-梅隆大学

INTERACTIVESYSTEMLABSINTERACT项目包括如下子课题2023/11/27372.网络化无线互联网、移动通信网的快速发展，对人机交互技术提出了更高的要求。新一代的人机交互技术需要考虑在不同设备、不同网络、不同平台之间的无缝过渡和扩展，支持人们通过跨地域的网络（有线与无线、电信网与互联网等）在世界上任何地方用多种简单的自然方式进行人机交互，而且包括支持多个用户之间以协作的方式