人机交互技术

人机交互技术1第1页，共127页，2023年，2月20日，星期三本章将主要介绍以下几种人机交互技术：l

命令行和文本菜单l

图形用户界面l

多通道用户界面l

汉字信息处理

2第2页，共127页，2023年，2月20日，星期三4.1人机交互技术概述

人机交互技术发生的历史及发展趋势

根据用户界面的具体形式分为批处理联机终端(命令接口)文本菜单WIMP界面多媒体用户界面多通道用户界面和虚拟现实用户界面3第3页，共127页，2023年，2月20日，星期三4.1人机交互技术概述人机交互技术发生的历史及发展趋势

根据根据用户界面中信息载体的类型文本为主的字符用户界面(CUI)二维图形为主的图形用户界面(GUI)多媒体用户界面4第4页，共127页，2023年，2月20日，星期三4.1人机交互技术概述人机交互技术发生的历史及发展趋势根据计算机输出信息的形式以符号为主的字符界面以视觉感知为主的图形用户界面兼顾听觉感知的多媒体用户界面综合运用多种感观(包括触觉等)的虚拟现实技术5第5页，共127页，2023年，2月20日，星期三4.1人机交互技术概述人机交互技术发生的历史及发展趋势根据人机界面中的信息维度，人机交互技术可以分为：一维信息(主要指文本流，如早期电传式终端)二维信息(主要是二维图形技术，利用了色彩、形状、纹理等信息)三维信息(主要是三维图形技术，但显示技术仍利用二维平面为主)和多维信息(多通道的多维信息)空间6第6页，共127页，2023年，2月20日，星期三4.1人机交互技术概述人机交互技术发生的历史及发展趋势根据人机交互中采用的语言形式语言:形式语言是一种人工语言，特点是简洁、严密、高效。类自然语言:类自然语言则是介于计算机语言和自然语言之间。自然语言:自然语言的语法成分有更多的规则，具有多义性、微妙、丰富、灵活的特点。7第7页，共127页，2023年，2月20日，星期三4.2命令行和文本菜单技术

4.2.1命令行

真正意义上的人机交互开始于联机终端的出现。用户输入文本命令，系统也以文本的形式表示对命令的响应。这种人机界面称为命令行界面。

8第8页，共127页，2023年，2月20日，星期三

图4-1命令行界面概念模型9第9页，共127页，2023年，2月20日，星期三命令行交互界面操作系统MS-DOS是文本命令行交互界面。

例如，需要将所有扩展名为“.AAA”的文件替换为扩展名为“.BBB”，如果在“我的电脑”或“WINDOWS资源管理器”中，需要一个一个地去查找、改名，操作的局限性是显而易见的。利用命令rename[drive:][path]filename1filename2或ren[drive:][path]filename1filename2，使用通配符“*”或“？”，就可以方便地更改一组文件名或扩展名。

10第10页，共127页，2023年，2月20日，星期三命令行交互界面不同的操作系统要用不同的命令进入命令行界面。在Win9x/Me的开始菜单中的运行程序中键入“command”命令，可进入命令行界面。在Win2000/NT的开始菜单中的运行程序中键入“cmd”命令，可进入命令行界面。

批处理文件（也称为批处理程序或脚本）。批处理文件是无格式的文本文件，包含一条或多条命令，文件扩展名为

bat或cmd。

11第11页，共127页，2023年，2月20日，星期三4.2.2文本菜单

字符界面下的菜单方式：在菜单方式下用户必须在有限的一组选项中进行识别和选择，更多的是响应而不是发出命令。用户不必记忆功能命令，缩短了用户的培训时间，减少用户的击键次数，错误处理能力也有了显著提高。

在这种界面中，人还是被看成操作员，机器做出被动的反应，人只能使用手这一交互通道用键盘输入选择信息，通过视觉通道获取信息，界面输出只能为静态的文本字符。

12第12页，共127页，2023年，2月20日，星期三文本菜单的设计设计基于文本菜单的系统主要包括两方面的工作：菜单的生成和显示，内部流程的控制及错误处理。【例4-2】图书管理程序的主菜单的Java语言代码。13第13页，共127页，2023年，2月20日，星期三importjava.io.*;publicclassMenuDemo{staticvoiddisplay_maintenace_menu(){System.out.print(“\n\n\t\t<<维护子菜单>>\n\n”);System.out.println(“\t1--注册借书者”);System.out.println(“\t2--注册图书”);

…….System.out.println(“\t0--返回主菜单”);}publicstaticvoidmain(Stringargs[])throwsException{booleanquit=false;charch;do{display_mainmenu();ch=(char)System.in.read();switch(ch) {…….//调用相应的处理函数

}}while(!quit);Sytem.in.read();}}14第14页，共127页，2023年，2月20日，星期三4.3图形用户界面

图形用户界面又称为WIMP界面，由窗口(windows)、图标(icons)、菜单m)、指点设备(pointingdevice)四位一体，形成桌面(desktop)

，如图4-2所示。图形用户界面是当前用户界面的主流，广泛应用于各档台式微机和图形工作站。比较成熟的商品化系统有Apple的Macintosh、IBM的PM(PresentationManager)、Microsoft的Windows和运行于Unix环境的X-Window、OpenLook和OSF/Motif等。15第15页，共127页，2023年，2月20日，星期三图4-2WIMP界面概念模型

16第16页，共127页，2023年，2月20日，星期三4.3图形用户界面图形用户界面的共同特点是以窗口管理系统为核心，使用键盘和鼠标器作为输入设备。窗口管理系统除了基于可重叠多窗口管理技术外，广泛采用的另一核心技术是事件驱动(event-driven)技术。17第17页，共127页，2023年，2月20日，星期三4.3图形用户界面WIMP界面可看作是第二代人机界面，是基于图形方式的人机界面。在WIMP界面中，人被称为用户，人机通过对话进行工作。用户只能使用手这一种交互通道输入信息，通过视觉通道获取信息。在WIMP界面中，界面的输出可以为静态或动态的二维图形或图像等信息。18第18页，共127页，2023年，2月20日，星期三4.3图形用户界面这种方式能同时输出不同种类的信息，用户也可以在几个工作环境中切换而不丢失几个工作之间的联系，通过菜单可以执行控制型和对话型任务。由于引入了图标、按钮和滚动条技术，大大减少键盘输入，提高了交互效率。基于鼠标和图形用户界面的交互技术极大地推动了计算机技术的普及。

19第19页，共127页，2023年，2月20日，星期三4.3.1图形用户界面的主要思想图形用户界面的三个重要思想1．桌面隐喻(desktopmetaphor)2．所见即所得（WhatYouSeeIsWhatYouGet，WYSIWYG）

3．直接操纵(directmanipulation)20第20页，共127页，2023年，2月20日，星期三1.桌面隐喻(desktopmetaphor)

桌面隐喻是指在用户界面中用人们熟悉的桌面上的图例清楚地表示计算机可以处理的能力。图形具有一定的文化和语言独立性，可以提高搜索目标的效率。图形用户界面中的图例可以代表对象、动作、属性或其他概念。

隐喻的表现方法:静态图标动画视频

21第21页，共127页，2023年，2月20日，星期三隐喻的分类：直接隐喻：隐喻本身就带有操纵的对象如Word绘图工具中的图标，每种图标分别代表不同的图形绘制操作。工具隐喻：代表所使用的工具如用磁盘图标隐喻存盘操作、用打印机图标隐喻打印操作等，这种隐喻设计简单、形象直观，应用也最为普遍。过程隐喻：其通过描述操作的过程来暗示该操作如Word中的撤销和恢复图标。22第22页，共127页，2023年，2月20日，星期三晦涩的隐喻不仅不能增加可用性，反而会弄巧成拙。隐喻的主要缺点：需要占用屏幕空间难以表达和支持比较抽象的信息。

23第23页，共127页，2023年，2月20日，星期三2.所见即所得（WYSIWYG）在WYSIWYG交互界面中显示的用户交互行为与应用程序最终产生的结果是一致的。

非WYSIWYG的编辑器，用户只能看到文本的控制代码，对于最后的输出结果缺乏直观的认识。

WYSIWYG的一些弊端：如果屏幕的空间或颜色的配置方案与硬件设备所提供的配置不一样，在两者之间就很难产生正确的匹配。文本处理器都提供了定义章、节、小节等的标记，这些标记显式地标明了对象的属性，但并不是用户最终输出结果的一部分。

24第24页，共127页，2023年，2月20日，星期三3.直接操纵(directanipulation)

直接操纵是指可以把操作的对象、属性、关系显式地表示出来，用光笔、鼠标、触摸屏或数据手套等指点设备直接从屏幕上获取形象化命令与数据的过程。直接操纵的对象是命令、数据或是对数据的某种操作。

25第25页，共127页，2023年，2月20日，星期三直接操纵的特性

1.

直接操纵的对象是动作或数据的形象隐喻形象隐喻应该与其实际内容相近，使用户能通过屏幕上的隐喻直接想象或感知其内容。2.

用指点和选择代替键盘输入用指点和选择代替键盘输入有两个优点，一是操作简便，速度快捷。3.

操作结果立即可见操作结果立即可见，用户可以及时修正操作，逐步往正确的方向前进。4.

支持逆向操作用户在使用系统的过程中，不可避免地会出现一些操作错误，通过逆向操作，用户可以很方便地恢复到出现错误之前的状态。26第26页，共127页，2023年，2月20日，星期三直接操纵的特性5.借助物理的、空间的或形象的表示，而不是单纯的文字或数字的表示。6.不具备命令语言界面的某些优点.例如从用户界面设计者角度看，设计图形比较繁琐，需进行大量的测试和实验.7.表示复杂语义、抽象语义比较困难。

27第27页，共127页，2023年，2月20日，星期三4.3.2设计图形用户界面的原则1.一般性原则

(1)界面要具有一致性在同一用户界面中，所有的菜单选择、命令输入、数据显示和其他功能应保持风格的一致性。

(2)常用操作要有快捷方式为常用操作设计快捷方式，不仅会提高用户的工作效率，还使界面在功能实现上简洁而高效。(3)提供简单的错误处理

在出现错误时，系统应该能检测出错误，并且提供简单和容易理解的错误处理功能

(4)对操作人员的重要操作要有信息反馈提供信息反馈。对操作人员的重要操作要有信息反馈。28第28页，共127页，2023年，2月20日，星期三4.3.2设计图形用户界面的原则1.一般性原则

(5)操作可逆对大多数动作应允许恢复(UNDO)，对用户出错采取比较宽容的态度(6)设计良好的联机帮助人机界面应该提供上下文敏感的求助系统，让用户及时获得帮助，尽量用简短的动词和动词短语提示命令。

(7)合理划分并高效地使用显示屏只显示与上下文有关的信息，允许用户对可视环境进行维护，如放大、缩小窗口；用窗口分隔不同种类的信息，只显示有意义的出错信息

(8)保证信息显示方式与数据输入方式的协调一致尽量减少用户输入的动作，隐藏当前状态下不可用的命令，允许用户自选输入方式，能够删除错误的输入，允许用户控制交互过程。

29第29页，共127页，2023年，2月20日，星期三4.3.2设计图形用户界面的原则2.颜色的使用

颜色是一种有效的强化手段，同时具有美学价值。使用颜色时应注意如下几点：(1)

限制同时显示的颜色数.(2)

画面中活动对象的颜色应鲜明，而非活动对象应暗淡。(3)

尽量避免不相容的颜色放在一起，如黄与蓝，红与绿等，除非作对比时用。(4)

若用颜色表示某种信息或对象属性，要使用户理解这种表示，并尽量采用通用的表示规则。30第30页，共127页，2023年，2月20日，星期三4.3.2设计图形用户界面的原则3.图标的设计

图标是可视地表示实体信息的简洁、抽象的符号。图标设计是方寸艺术，需要在很小的范围内表现出图标的内涵》。设计图标时应该着重考虑视觉冲击力，要使用简单的颜色，利用眼睛对色彩和网点的空间混合效果，做出精彩图标。31第31页，共127页，2023年，2月20日，星期三4.3.2设计图形用户界面的原则设计图标时须遵守的原则和方法：（1）图标的图形应该和目标的外形相似。尽量避免过于抽象。（2）可在图标中附加上简要的文本标注，使用户明确图标的含义。（3）设计图标应尽可能简单，符合常规的表达习惯，保持图标含义的前后连贯。32第32页，共127页，2023年，2月20日，星期三4.3.2设计图形用户界面的原则4.按钮的设计设计按钮应该具有交互性，应该有3到6种状态效果：点击时的状态鼠标放在上面但未点击的状态点击前鼠标未放在上面时的状态点击后鼠标未放在上面时的状态不能点击时的状态独立自动变化的状态按钮应具备简洁的图示效果，应能够让使用者产生功能上的关联反应。属于一个群组的按钮应该风格统一，功能差异大的按钮应该有所区别。

33第33页，共127页，2023年，2月20日，星期三4.3.2设计图形用户界面的原则5.屏幕布局的设计设计屏幕布局(Layout)时应该使各功能区重点突出

,应遵循如下几条原则：

(1)平衡原则注意屏幕上下左右平衡。(2)

预期原则对屏幕上所有对象，如窗口、按钮、菜单等处理应一致化，使对象的操作结果可以预期。(3)经济原则在提供足够信息量的同时要注意简明、清晰。

(4)顺序原则对象显示的顺序应按需要排列。

(5)

规则化画面应对称，显示命令、对话及提示行在一个应用系统的设计中尽量统一规范。34第34页，共127页，2023年，2月20日，星期三4.3.2设计图形用户界面的原则6.菜单界面的设计

菜单在图形界面的应用程序中使用得非常普遍，是软件界面设计的一个重要组成方面，描述了一个软件的大致功能和风格。

菜单中的选项在功能上与按钮相当，一般具有下列一种或几种类型的选项：命令项、菜单项和窗口项。

菜单的结构一般有单一菜单、线状序列菜单、树状结构菜单、网状结构菜单等，其中树状结构菜单是最常见的结构。

35第35页，共127页，2023年，2月20日，星期三菜单的结构单一菜单单一菜单是在几个选项中做出选择，可以有两个或多个选项，用户可以选中其中一个或确定多个选择。线状序列菜单把一组相关联的菜单组合在一起，用户清楚地知道如何向前选择和目前在菜单中所处的位置，并且可以重返以前所作的选择。树状结构菜单树状菜单是把选项划分为若干类，类似的选项组成一组，最后形成一个树状结构。网状结构菜单网状结构菜单允许用户在父辈菜单与子菜单之间切换，而不必重新回到父辈菜单然后再转到子菜单。36第36页，共127页，2023年，2月20日，星期三图4-4Word中设置字体的界面

37第37页，共127页，2023年，2月20日，星期三4.3.2设计图形用户界面的原则设计菜单界面时应注意的一般性原则：功能组织菜单，合理分类，并力求简短，前后一致合理组织菜单界面的结构与层次。按一定的规则对菜单项进行排序。菜单选项的标题要力求文字简短、含义明确，并且最好以关键词开始。常用选项要设置快捷键。充分利用菜单选项的使能与禁止、可见与隐藏属性。

使用弹出式菜单。38第38页，共127页，2023年，2月20日，星期三4.3.2设计图形用户界面的原则7.填表输入界面的设计

在处理大量相关数据的场合下，需要输入一系列的数据，这时填表输入界面是最理想的数据输入界面。填表输入界面有以下的特点：有明确的提示，使用户可以不需要学习、训练，也不必记忆有关的语义、语法规则。填表输入界面充分地利用了屏幕空间。在填表输入方式中，可以充分利用上下文信息，帮助用户完成输入。

39第39页，共127页，2023年，2月20日，星期三4.3.2设计图形用户界面的原则在设计填表输入界面时应遵循的原则

一致性保证前后用词、语法一致。

有含义的表格标题采用有含义的表格标题，栏目标题要为用户所熟悉。

使用易于理解的指导性说明文字采用易于理解的说明性文字，并力求简短。如果确实需要较多的信息，应为初学者提供一组求助信息。栏目按逻辑分组排序表格布局要直观，栏目按操作逻辑分组排序。

40第40页，共127页，2023年，2月20日，星期三表格的组织结构和用户任务相一致把相关的输入字段组织安排在一起，并按照使用频率、重要性、功能关系或使用顺序来进行表格的排序和分组。光标移动方便需要一种简单直观的机制来移动光标，如使用Tab键或箭头键。出错提示系统应提示输入数据的允许范围和输入方法，对不可接受的值给出出错信息。提供帮助界面应该在响应处提供帮助信息，以解决新用户在不熟悉的情况下的输入。

表格显示应美观、清楚，避免过分拥挤。41第41页，共127页，2023年，2月20日，星期三图4-6填表输入界面

42第42页，共127页，2023年，2月20日，星期三4.3.4基本的图形输入原语

在交互设计时，将用户的输入抽象成一些独立的、基本的逻辑输入单元，这些抽象的逻辑输入单元称为输入原语，由这些基本输入原语可以形成复杂的交互。43第43页，共127页，2023年，2月20日，星期三主要的输入原语：1.定位定位是去确定平面或空间的一个点（x,y）或（x,y,z）的坐标，是图形交互的最基本的输入原语，许多原语都是建立在定位的基础上的。

2.选择

在一个选择集中选出一个元素或几个元素称为选择。

3.笔画输入

笔画输入用于输入一组顺序的坐标点，笔画输入相当于多次调用定位输入，输入的一组点常用于显示折线或作为曲线的控制点。4.数值输入

数值输入是要在给定的数字范围内确定一个值。

5.字符串输入

44第44页，共127页，2023年，2月20日，星期三4.4多通道用户界面

为适应目前和未来的计算机系统要求，人机界面应能支持时变媒体（time-varingmedia），实现三维、非精确及隐含的人机交互，而多通道人机界面是达到这一目的的重要途径。80年代后期以来，多通道用户界面(MultimodalUserInterface)成为人机交互技术研究的崭新领域，在国内外受到高度重视。45第45页，共127页，2023年，2月20日，星期三4.4多通道用户界面多通道用户界面的研究正是为了消除当前WIMP/GUI用户界面通信带宽不平衡的瓶颈，综合采用视线、语音、手势等新的交互通道、设备和交互技术，使用户利用多个通道以自然、并行、协作的方式进行人机对话，通过整合来自多个通道的、精确的和不精确的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性，图4-10所示。46第46页，共127页，2023年，2月20日，星期三图4-10多通道人机界面概念模型

47第47页，共127页，2023年，2月20日，星期三多通道人机界面主要解决科学计算可视化、虚拟现实对计算机系统提出的高效、三维和非精确的人机交互要求。在多通道人机界面中，用户可以使用自然的交互方式，如语音、手势、眼神、表情等与计算机系统进行协同工作。交互通道之间有串行/并行、互补/独立等多种关系，因此人机交互方式向人与人的交互方式靠拢，交互的自然性和高效性得到极大的提高。4.4多通道用户界面48第48页，共127页，2023年，2月20日，星期三4.4多通道用户界面多通道用户界面主要关注人机界面中用户向计算机输入信息以及计算机对用户意图的理解，所要达到的目标可归纳为如下方面：（1）交互的自然性使用户尽可能多地利用已有的日常技能与计算机交互，降低认识负荷。（2）交互的高效性使人机通讯信息交换吞吐量更大、形式更丰富，发挥人机彼此不同的认知潜力。（3）与传统的用户界面特别是广泛流行的WIMP/GUI兼容。49第49页，共127页，2023年，2月20日，星期三4.4.1多通道用户界面的基本特点

使用多个感觉和效应通道

允许非精确的交互

三维和直接操纵

交互的双向性

交互的隐含性

50第50页，共127页，2023年，2月20日，星期三4.4.1多通道用户界面的基本特点1.使用多个感觉和效应通道感觉通道侧重于多媒体信息的接受，效应通道侧重于交互过程中控制与信息的输入，两者密不可分、相互配合。一种通道(如语音)不能充分表达用户的意图时，需辅以其它通道(如手势指点)的信息；有时使用辅助通道以增强表达力。交替而独立地使用不同的通道不是真正意义上的多通道技术，必须允许充分地并行、协作的通道配合关系。

51第51页，共127页，2023年，2月20日，星期三4.4.1多通道用户界面的基本特点2.允许非精确的交互人类语言本身就具有高度模糊性,人类在日常生活中习惯于并大量使用非精确的信息交流。允许使用模糊的表达手段可以避免不必要的认识负荷，有利于提高交互活动的自然性和高效性。多通道人机交互技术主张以充分性代替精确性。52第52页，共127页，2023年，2月20日，星期三4.4.1多通道用户界面的基本特点3.三维和直接操纵人类的大多数活动领域具有三维和直接操纵特点（数学的和逻辑的活动例外）。人生活在三维空间，习惯于看、听和操纵三维的客观对象，并希望及时看到这种控制的结果。多通道人机交互的自然性反应了这种本质特点。53第53页，共127页，2023年，2月20日，星期三4.4.1多通道用户界面的基本特点4.交互的双向性人的感觉和效应通道通常具有双向性的特点，如视觉可看可注视，手可控制、可触及等。多通道用户界面使用户避免生硬的、不自然的、频繁的、耗时的通道切换，从而提高自然性和效率。视线跟踪系统可促成视觉交互双向性，听觉通道利用三维听觉定位器实现交互双向性。

54第54页，共127页，2023年，2月20日，星期三4.4.1多通道用户界面的基本特点5.交互的隐含性追求交互自然性的多通道用户界面并不需要用户显式地说明每个交互成分，反之是在自然的交互过程中隐含地说明。例如，用户的视线自然地落在所感兴趣的对象之上；又如，用户的手自然地握住被操纵的目标。

55第55页，共127页，2023年，2月20日，星期三4.4.2多媒体技术

定义多媒体（multimedia）的含义是使用计算机交互式综合技术和数字通信网技术处理多种表示媒体，如文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个交互系统。

56第56页，共127页，2023年，2月20日，星期三4.4.2多媒体技术多媒体技术的组成部分包括：存储与访问技术表现与表达技术实时处理技术接口技术人机交互界面技术等57第57页，共127页，2023年，2月20日，星期三4.4.2多媒体技术多媒体技术与人机交互技术多媒体技术使人机交互技术最终要向着更接近于人的自然方式发展，使计算机具有听觉和视觉，以更自然的方式与人交互。多媒体技术引入了动画、音频、视频等动态媒体，大大丰富了计算机表现信息的形式，拓宽了计算机输出的带宽，提高了用户接受信息的效率，使人们可以得到更直观的信息，从而简化了用户的操作，扩展了应用范围。58第58页，共127页，2023年，2月20日，星期三4.4.2多媒体技术它能提高人对信息表现形式的选择和控制能力。能提高信息表现形式与人的逻辑和创造能力的结合程度，在顺序、符号信息以及并行、联想信息方面扩展人的信息处理能力。多媒体信息比单一媒体信息对人具有更大的吸引力，有利于人对信息的主动探索而不是被动接受。另外，由于多媒体所带来的信息冗余性，重复使用别的媒体或并行使用多种媒体可消除人机通信过程中的多义性及噪声。59第59页，共127页，2023年，2月20日，星期三4.4.3虚拟现实技术虚拟现实（VirtualReality）又称虚拟环境（VirtualEnvironment）。虚拟现实系统向用户提供沉浸（immerse）和多感觉通道（multi-sensory）体验。在虚拟现实中，人是主动参与者，复杂系统中可能有许多参与者共同在以计算机网络系统为基础的虚拟环境中协同工作。虚拟现实系统具有三个重要特点：沉浸感（immersion）交互性（interaction）构想性（imagination）60第60页，共127页，2023年，2月20日，星期三4.4.3虚拟现实技术虚拟现实中的基本要素：（1）计算机生成的虚拟世界（环境）必须是一个能给人提供视觉、听觉、触觉、嗅觉以及味觉等多种感官刺激的世界。目前虚拟现实通常由视觉、听觉和触觉三种刺激构成。（2）虚拟现实统实质上是一种高级的人机交互系统。这里的交互操作是对多通道信息进行的，并且对沉浸式系统要求采用自然方式的交互操作，对于非沉浸式系统也可使用常规交互设备进行交互操作。

61第61页，共127页，2023年，2月20日，星期三虚拟世界的概念模型虚拟世界的概念模型虚拟现实是人们可以通过视、听、触等信息通道感受到设计者思想的用户界面,由两部分组成：一部分是创建的虚拟世界（环境），另一部分是为介入者（人）。虚拟世界的核心是强调两者之间的交互操作，即反映出人在虚拟世界（环境）中的体验。人机交互是虚拟现实的核心。62第62页，共127页，2023年，2月20日，星期三虚拟现实的概念模型介入者感知系统反应系统虚拟世界（环境）感官刺激信号反应动作图4-11虚拟现实的概念模型

63第63页，共127页，2023年，2月20日，星期三虚拟现实的概念模型理解虚拟现实的概念模型从虚拟环境对人的作用来看，虚拟现实的概念模型可以看作为“显示/检测”模型。从人对虚拟环境的作用来看，也就是从用户的角度看，上述概念模型可以看作“输入/输出”模型。输入是指用户感知系统接受虚拟环境提供的各种感官刺激信号。输出是指用户对虚拟环境系统做出的反映动作。64第64页，共127页，2023年，2月20日，星期三虚拟现实与多媒体及多通道虚拟现实技术正是一种以集成为主的技术，其人机界面可以分解为多媒体、多通道界面。从本质上说，多媒体用户界面技术侧重解决计算机信息表现及输出的自然性和多样性问题，而多通道技术侧重解决计算机信息输入及理解的自然性和多样性问题。

65第65页，共127页，2023年，2月20日，星期三虚拟现实造型语言VRMLVRML是一种描述交互式三维世界和对象的文件格式。VRML允许描述对象并把对象组合到虚拟场景中，可以实现仿真系统，可模拟动画、具有动力学特性的物体。VRML能构造一个交互的虚拟世界，其中的对象能对外部事件做出响应，并可在其中任意穿行。可以支持虚拟场景的网上发布，并可实现多用户的实时参与。VRML比高级语言容易掌握，并且无须再去了解OpenGL3D或者

Directx3D之类的三维图形开发库。VRML文件的解释、执行和显示一般由浏览器来完成。

66第66页，共127页，2023年，2月20日，星期三VRML浏览器的概念模型

VRML浏览器概念模型的组成解释器读取VRML文件并产生场景图。场景图场景图包括节点的变换层次和路径图及执行引擎。执行引擎处理事件、读取和编辑路径图、改变节点的变换层次。听／视觉展示浏览器的听／视觉展示部分完成变换层次的图形和声音的产生，给用户以反馈。67第67页，共127页，2023年，2月20日，星期三用户执行引擎路径图*插值器*感知器*脚本变换层次音频／视频展示解释器原型内建节点VRML文件用户输入VRML浏览器场景图图4-12一种VRML浏览器的概念模型

68第68页，共127页，2023年，2月20日，星期三4.4.4眼动跟踪（Eye-GazeTracking）

与视觉有关的人机交互自始至终都离不开视线的控制。如果能通过视线的用户盯着感兴趣的目标，计算机便“自动”将光标置于其上，人机交互将更为直接，也省去了上述交互过程中的大部分步骤。69第69页，共127页，2023年，2月20日，星期三4.4.4眼动跟踪早期的视线跟踪技术首先应用于心理学研究、助残等领域，后来被应用于图像压缩及人机交互技术。视线跟踪技术有强迫式与非强迫式、穿戴式与非穿戴式、接触式与非接触式之分。视线追踪主要用于军事领域（如飞行员观察记录），阅读及帮助残疾人通信等。

70第70页，共127页，2023年，2月20日，星期三1.眼动的主要形式

眼动有三种主要形式(在人机交互中，眼动跟踪主要利用跳动和注视:跳动（Saccades）在正常的视觉观察过程中，眼动表现为在一系列被观察目标上的停留及在这些停留点之间的飞速跳跃。在注视点之间的飞速跳跃称为眼跳动。注视（Fixations）停留时间至少持续100ms以上的称为注视。在注视中，眼也不是绝对静止不动，会有微小运动，但大小一般不会超过1°视角。绝大多数信息只有在注视时才能获得并进行加工。平滑尾随跟踪（SmoothPursuit）缓慢、联合追踪的眼动通常称为平滑尾随跟踪。71第71页，共127页，2023年，2月20日，星期三2.眼动跟踪的基本要求

在人机交互中眼动跟踪技术必须满足以下几点要求，才能满足实际需求：

不能妨碍视野。不要与用户接触，对用户基本无干扰。精度要高。

动态范围要从1弧分（六十分之一弧度）到45º。反映速度要快，实时响应。能与获取的身体和头部运动相配合。

定位校正简单。

可作为计算机的标准外设。

72第72页，共127页，2023年，2月20日，星期三3.眼动跟踪的基本原理

利用红外发光二极管发出红外线，采用图像处理技术和能锁定眼睛的特殊摄像机，通过分析人眼虹膜和瞳孔中红外线图象点的连续变化情况，得到视线变化的数据，从而达到视线追踪的目的。

从视线跟踪装置得到的原始数据需要经过进一步的处理才能用于人机交互。数据处理的目的是滤除噪声、识别定位及局部校准与补偿等，最重要的是提取出用于人机交互所必需的眼睛定位坐标。但是由于眼动存在固有的抖动，以及眼睛眨动、头部剧烈的移动所造成的数据中断，存在许多干扰信号，提取有意眼动数据非常困难。解决此问题的办法之一是利用眼动的某种先验模型加以弥补。

73第73页，共127页，2023年，2月20日，星期三4.米达斯接触问题与解决方法“米达斯接触（MidasTouch）”问题如果鼠标器光标总是随着用户的视线移动，可能会引起用户的厌烦，因为用户可能希望能随便看着什么而不必非“意味着”什么，更不希望每次转移视线都可能启动一条计算机命令。

避免“米达斯接触”问题的方法：在理想情况下，应当在用户希望发出控制时，界面及时地处理其视输入，而在相反的情况下则忽略其视线的移动。

可采用其他通道（如键盘或语音）进行配合。74第74页，共127页，2023年，2月20日，星期三4.4.5手势识别（gesturerecognition）

一个简单的手势蕴涵着丰富的信息，人与人可以通过手势传达大量的信息，实现高速的通信。将手势运用于计算机能够很好地改善人机交互的效率。

在多数情况下我们笼统地认为手势是人的上肢(包括手臂、手和手指)的运动状态。

75第75页，共127页，2023年，2月20日，星期三手势的分类

交互性手势与操作性手势

在交互性手势中手的运动表示特定的信息(如乐队指挥)，靠视觉来感知；操作性手势不表达任何信息(如弹琴)。自主性手势和非自主性手势

自主性手势与语音配合用来加强或补充某些信息(如演讲者用手势描述动作、空间结构等信息)。

离心手势和向心手势

离心手势直接针对说话人，有明确的交流意图，向心手势只是反应说话人的情绪和内心的愿望。

76第76页，共127页，2023年，2月20日，星期三计算机识别和解释手势利用计算机识别和解释手势输入是将手势应用于人机交互的关键前提，识别手势的手段有：

鼠标器和笔优点是仅利用软件算法来实现，从而适合于一般桌面系统。缺点是只能识别手的整体运动而不能识别手指的动作。数据手套主要优点是可以测定手指的姿势和手势。相对而言较为昂贵，并且有时会给用户带来不便。

计算机视觉利用摄像机输入手势，优点是不干扰用户，这是一种很有前途的技术。在技术上存在很多困难，还难以胜任手势识别和理解的任务。

77第77页，共127页，2023年，2月20日，星期三主要手势识别技术模板匹配技术一种最简单的识别技术，将传感器输入的原始数据与预先存储的模板进行匹配，通过度量两者之间的相似度完成识别任务。神经网络技术一种较新的模式识别技术，具有自组织和自学习能力，具有分布性特点，抗噪声能力比较强，能处理不完整的模式，并具有模式推广能力。

统计分析技术通过统计样本特征向量来确定分类器的一种基于概率的分类方法。在模式识别中一般采用贝叶斯极大似然理论确定分类函数。78第78页，共127页，2023年，2月20日，星期三实用的手势识别目前较为实用的手势识别是基于数据手套。因为数据手套不仅可以输入包括三维空间运动在内的较为全面的手势信息，而且比基于计算机视觉的手势在技术上要容易实现。79第79页，共127页，2023年，2月20日，星期三4.4.6三维输入

许多应用（如虚拟现实系统）需要三维空间定位技术：三维空间控制器的共同特点是具有六个自由度，分别描述三维对象的宽度、深度、高度、俯仰角、转动角、偏转角。通过控制这六个参数，用户可以在屏幕上平移三维对象或光标，也可沿三个坐标轴转动三维对象。三维空间控制器、视线跟踪器、数据手套等输入设备产生的空间位置是相对的。在三维用户交互中必须便于用户在三维空间中观察、比较、操作、改变三维空间的状态。80第80页，共127页，2023年，2月20日，星期三三维空间的交互操作方式直接操纵

由六个自由度、三维输入装置控制的三维光标将使三维交互操作更自然和方便。三维光标必须有深度感，即必须考虑光标与观察者距离。离观察者近的时候较大，离观察者远的时候较小。确定光标在三维空间的方向，这种定向操作必须自然且方便操作；为保持三维用户界面的空间感，光标在遇到物体时不能进入到物体内部。三维光标的实现需要大量的计算，对硬件的要求较高，编程接口也比二维光标复杂得多。

81第81页，共127页，2023年，2月20日，星期三三维空间的交互操作方式三维widgets三维widgets即三维交互界面中的一些小工具。用户可以通过直接控制它们使界面或界面中的三维对象发生改变。

三维widget包括在三维空间中漂浮的菜单、用于拾取物体的手的三维图标、平移和旋转指示器等。

82第82页，共127页，2023年，2月20日，星期三采用三视图输入技术，实现三维的输入

如果输入一个三维点，只要在两个视图上把点的对应位置指定后便唯一确定了三维空间中的一个点；把直线段上两端点在三视图上输入后便可决定三维空间的一条直线；把一个面上的各顶点在三视图上输入后，也唯一确定了三维空间中的一个面；如果把一个多面体上的各面均用上述方法输入，也就在三维空间中输入了一个多面体。

83第83页，共127页，2023年，2月20日，星期三4.4.7语音识别（speechrecognition）

语音识别是计算机通过识别和理解过程把语音信号转变为相应的文本文件或命令的技术。

语音识别又是一门交叉学科，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。

84第84页，共127页，2023年，2月20日，星期三语音识别涉及的技术

数字化语音信号的转换和量化涉及到信号表示问题，需要研究如何使系统在传感器与环境的变化中保持性能的稳定，以适应这些变化。各种语音必须被恰当地建模，目前采用的最广泛的建模技术是隐马尔科夫模型（HMM）。最后是语言的约束问题。语音识别技术所涉及的领域包括：信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。目前主流的语音识别技术是基于统计的模式识别的基本理论，如图4-13所示。

85第85页，共127页，2023年，2月20日，星期三图4-13语音识别系统的处理流程

86第86页，共127页，2023年，2月20日，星期三语音识别系统的组成

语音特征提取

从语音信号中提取语音的特征，既可以获得语音的本质特征,也起到数据压缩的作用。输入的模拟语音信号首先要进行预处理，包括预滤波、采样和量化、加窗、端点检测、预加重等。声学模型

声学模型对应于语音到音节概率的计算。在识别时将输入的语音特征同声学模型（模式）进行匹配与比较，得到最佳的识别结果。目前采用的最广泛的建模技术是隐马尔科夫模型HMM建模和上下文相关建模。87第87页，共127页，2023年，2月20日，星期三隐马尔科夫模型HMM建模马尔可夫模型是一个离散时域有限状态自动机，隐马尔可夫模型HMM是指这一马尔可夫模型的内部状态外界不可见，外界只能看到各个时刻的输出值。

语音识别中使用HMM通常是用从左向右单向、带自环、带跨越的拓扑结构来对识别基元建模，一个音素就是一个三至五状态的HMM，一个词就是构成词的多个音素的HMM串行起来构成的HMM，而连续语音识别的整个模型就是词和静音组合起来的HMM。

语音识别系统的组成

88第88页，共127页，2023年，2月20日，星期三上下文相关建模上下文相关建模方法在建模时考虑了协同发音的影响。协同发音是指一个音受前后相邻音的影响而发生变化，从发声机理上看就是人的发声器官在一个音转向另一个音时只能逐渐变化，从而使得后一个音的频谱与其他条件下的频谱产生差异。上下文相关模型能更准确地描述语音，只考虑前一音的影响的称为Bi-Phone，考虑前一音和后一音的影响的称为Tri-Phone。英语的上下文相关建模通常以音素为基元，由于有些音素对其后音素的影响是相似的，因而可以通过音素解码状态的聚类进行模型参数的共享。

语音识别系统的组成

89第89页，共127页，2023年，2月20日，星期三语言模型语言模型计算音节到字的概率。语言模型主要分为：

规则模型统计模型统计语言模型是用概率统计的方法来揭示语言单位内在的统计规律，其中N-Gram模型简单有效，被广泛使用。听写机大词汇量、非特定人、连续语音识别系统通常称为听写机。其架构就是建立在声学模型和语言模型基础上的HMM拓扑结构。对话系统对话系统往往是面向一个狭窄领域、词汇量有限的系统。语音识别系统的组成

90第90页，共127页，2023年，2月20日，星期三语音识别技术在实际使用中达到了较好的效果，但如何克服影响语音的各种因素还需要更深入地分析。目前听写机系统还不能完全实用化以取代键盘的输入，但识别技术的成熟同时推动了更高层次的语音理解技术的研究。由于英语与汉语有着不同的特点，针对英语提出的技术在汉语中如何使用也是一个重要的研究课题，四声等汉语本身特有的问题也有待解决。

语音识别技术存在问题

91第91页，共127页，2023年，2月20日，星期三4.4.8表情识别

面部表情是人体语言的一部分。人的面部表情不是孤立的，它与情绪之间存在着千丝万缕的联系。人的各种情绪变化以及对冷热的感觉都是非常复杂的高级神经活动，如何感知、记录、识别这些变化过程是表情识别的关键。到目前为止，国际上关于表情分析与识别的研究工作可以分为基于心理学的和基于计算机识别的两类。92第92页，共127页，2023年，2月20日，星期三计算机面部表情的识别的三个步骤

表情的跟踪

以某种方式将表情信息从外界摄取出来。表情的编码

即对面部表情进行编码。基于面部运动确定表情的思想，Ekman和Friesen于1978年提出了一个面部动作编码系统（FacialActionCodingSystem，FACS），它是基于对所有引起面部动作的脸的“动作单元”的枚举编制而成的。

表情的识别

面部表情的识别可以通过对FACS中的那种预定义的面部运动的分类来进行，而不是独立地确定每一个点。

93第93页，共127页，2023年，2月20日，星期三4.4.9手写识别发展手写识别技术并嵌入到各种设备中，将是手写识别技术未来发展的重要方向之一。

世界上绝大多数语言的字符都可以用Unicode的形式来表示。联机手写识别技术的优点是不需专门学习与训练、不必记忆编码规则、安装后即可手写输入汉字，是最简单方便的输入方式。同时符合人的书写习惯，可以一面思考、一面书写，不会打断思维的连续性，是最自然的输入方式。94第94页，共127页，2023年，2月20日，星期三手写识别的形式和约束脱机（off-line，又称离线）识别脱机识别就是机器对于已经写好或印刷好的静态的语言文本图像的识别。联机（on-line，又称在线）识别联机识别是指用笔在输入板上写，用户一边写，机器一边进行识别，可实时人机交互。手写体识别的方法和识别率取决于对手写约束的层次，这些约束主要是手写的类型、写字者的数量、词汇量的大小以及空间的布局。显然，约束越宽识别越困难。

95第95页，共127页，2023年，2月20日，星期三1.联机手写识别

联机手写文字的识别过程：预处理、归一化、特征抽取、特征匹配汉字手写输入板预处理模式表达（特征提取）判别（分类或句法分析）字典（特征模板集合或句法规则集合）汉字代码图4-14联机手写识别原理框图

96第96页，共127页，2023年，2月20日，星期三2.脱机手写识别

脱机手写识别比印刷体汉字识别、联机手写体识别都要困难。

脱机手写识别得到的描述则是点阵图像，要得到笔段的点阵通常需要细化运算。

细化会损失一些信息，并且不可能得到时间顺序信息。脱机识别中，笔画与笔画之间经常粘连，很难拆分，而且笔段经过与另一笔段交叉分成两段后，也难以分清是否应该连起来。

97第97页，共127页，2023年，2月20日，星期三汉字识别的方法结构识别结构识别方法的出发点是汉字的组成结构。汉字是由笔划(点、横、竖、撇、捺等)、偏旁、部首构成，通过把复杂的汉字模式分解为简单的子模式直至基本模式元素，对子模式的判定以及基于符号运算的匹配算法，实现对复杂模式的识别。结构识别法的优点是区分相似字的能力强，缺点是抗干扰能力差。98第98页，共127页，2023年，2月20日，星期三汉字识别的方法统计识别统计识别方法是将汉字看为一个整体，其所有的特征是从整体上经过大量的统计而得到的，然后按照一定准则所确定的决策函数进行分类判决。统计识别的特点是抗干扰性强，缺点是细分能力较弱。神经网络神经网络具有学习能力和快速并行实现的特点，因此可以通过神经网络分类器的推广能力准则和特征提取器的有效特征提取准则，对手写字符进行识别。

99第99页，共127页，2023年，2月20日，星期三影响汉字识别率的因素

笔顺问题

书写习惯影响笔划的书写顺序，单纯通过串匹配进行识别难以达到理想效果。对汉字进行描述时，仅仅采用一维串也就显得不够，必须利用一些二维方法来描述，但其会极大地增加匹配的难度。连笔问题

对于结构识别而言，连笔一方面使笔划种类大大增加，甚至达到难以归纳的程度；另一方面，连笔又使得笔段抽取难度大增，连笔会增加一些冗余笔段，连笔造成的畸变又会使笔段方向严重离散。100第100页，共127页，2023年，2月20日，星期三相似字区分

汉字种类繁多，很多汉字彼此之间非常相似，例如“己、已、巳”三个字相差只在细微之间。手写汉字的变形十分严重，怎样能使识别系统抓住微小的差别，是一个非常值得研究的问题。

对抗干扰能力的要求书写时候，笔划的畸变、丢失，多余笔段(如笔锋)的插入，字的倾斜，部件间相对位置、大小的变化，经常出现，会造成基元提取和识别的错误。影响汉字识别率的因素

101第101页，共127页，2023年，2月20日，星期三4.4.10数字墨水（digitalink）

数字墨水是一种新的人机界面技术，它借鉴手写识别技术的同时，克服了它的许多局限性。

数字墨水在数学上是通过三阶贝塞尔曲线来描述笔输入的笔迹，它的记录格式与图像和文本格式都不同。这种存储方式使得数字墨水文件的大小很小，从而可以更有效地进行存储。

102第102页，共127页，2023年，2月20日，星期三数字墨水的处理

数字墨水的表示压缩和显示智能的墨水分析技术墨水标记和注解技术墨水的智能操作墨水存储墨水搜索103第103页，共127页，2023年，2月20日，星期三数字墨水的解析墨水解析技术是数字墨水技术中的亮点，它可以将笔输入的文字串解析成单字，从而将复杂的语句级手写识别化繁为简，分解成语句解析和单字识别两个部分。可以对记录下来的数字墨水进行结构化和深度分析，分析目的不是要去解决“写的是什么字”，而是要解决“到底在写什么，以及是如何写的”。

104第104页，共127页，2023年，2月20日，星期三数字墨水的保存格式数字墨水可以用墨水格式保存（ink文件），用户不再需要利用其他Windows应用程序来把手绘、手写的笔迹转换为别的格式来保存、发送和编辑。同样，由于Windows平台将数字墨水定义为基本数据类型之一，如同文本得到操作系统级的支持一样，数字墨水在不同应用软件之间的交换也变得非常容易。数字墨水的数据格式比图像数据格式所占的空间小得多，而且数字墨水记录的是结构化的信息，可以进行全文搜索。

105第105页，共127页，2023年，2月20日，星期三数字墨水的使用当前，微软已实现了数字墨水技术对英文、德文、法文、韩文、日文、简体和繁体中文等语言的支持。WindowsXPTabletPCEdition拥有强大而简单的数字化墨水控件和API，方便软件开发商将笔墨功能扩展到其现有和即将推出的软件中，就如同集成目前的键盘和鼠标一样简单。

106第106页，共127页，2023年，2月20日，星期三数字墨水的价值它结合了个人电脑强大的计算处理能力以及纸的易用性。它“还墨水以本色”，人类不再需要扭曲自己最自然的写作方式，在机器所设置的“行”或“框”中按机器的要求书写，而是随心所欲、随意勾画。将成为许多崭新应用的底层支持，这些应用将把人类传统的手写和手绘发挥得淋漓尽致。

107第107页，共127页，2023年，2月20日，星期三4.5汉字信息处理技术

汉字信息处理主要是研究汉字的属性、编码、输入方法、词处理、字形存储等基本理论和技术，提高汉字字符处理系统的性能，加强汉语理解和高层次应用研究。

108第108页，共127页，2023年，2月20日，星期三4.5.1文字信息的计算机处理过程

图4-17文字信息的计算机处理过程

109第109页，共127页，2023年，2月20日，星期三4.5.2汉字编码

国标码：GB2312-80《信息交换用汉字编码字符集》是目前国内所有汉字系统的统一标准。每个国标码都对应着一个惟一的汉字或符号。国标码共有字符7445个，包括汉字和其他字符。其中一级汉字有3755个，按汉语拼音顺序排列；二级汉字有3008个，按部首和笔画排列；其他字符有常用符号、序号、GB1988图形字符集、希腊字符、制表符等。是一个四位十六进制数编码，前两位表示行(0~93)，后两位表示列(0~93)，分别用双7位二进制数表示，即两个字节的最高位为0。110第110页，共127页，2023年，2月20日，星期三汉字的编码区位码

区位码是一个四位的十进制数，前两位叫做区码(1~94)，后两位叫做位码(1~94)，分别用双2位十进制数表示，不足两位时前面补0。机内码是计算机内部实际使用的表示汉字的代码，在微机中多用两字节(最高位为1)代码作为机内码。

BIG5我国台湾地区的计算机界实行的汉字编码字符集，包含了420个图形符号和13070个汉字（不包含简化汉字）。111第111页，共127页，2023年，2月20日，星期三汉字的编码GBK《汉字内码扩展规范》，国家于1995年12月15日将它确定为技术规范指导性文件。GBK共有20902个GB汉字。包括了GB码简体汉字和BIG5繁体汉字。GBK向下与GB2312编码兼容，向上支持ISO10646.1国际标准。与Unicode组织的Unicode编码完全兼容。112第112页，共127页，2023年，2月20日，星期三4.5.3汉字输入方法

键盘输入利用键盘、根据一定的编码规则来输入汉字。常用汉字编码音码形码音形混合码数码等非键盘输入联机手写输入语音输入光电扫描输入

113第113页，共127页，2023年，2月20日，星期三目前主要键盘中文输入法

流水码（对应码）

音码

形码

声形码

混合输入法

数字键盘输入技术

114第114页，共127页，2023年，2月20日，星期三目前主要键盘中文输入法流水码（对应码）以各种编码表作为输入依据因为每个汉字只有一个编码，所以重码率几乎为零，效率高，可以高速盲打，缺点是需要的记忆量极大，而且基本上没有什么规律。常见的流水码有区位码、电报码、内码等。这种方法适用于某些特殊用户，如电报员等。在计算机中输入汉字时，这类输入法已经基本淘汰。

115第115页，共127页，2023年，2月20日，星期三目前主要键盘中文输入法音码

是按照汉字的拼音来进行输入汉字的，不需要特殊记忆，符合人的思维习惯，只要会拼音就可以输入汉字。缺点：同音字太多，重码率高，输入效率低。对用户的发音要求较高。很难处理不认识的生字。常用的输入法全拼双音、双拼双音、新全拼、新双拼、智能