人机交互技术

人机交互技术山东大学计算机学院李学庆xqli@2023/11/271课程目标基础了解人机交互的含义，人机交互的研究内容及发展趋势了解并掌握认知心理学、人机工程学在人机界面设计的作用，并在此基础上能够进行人机交互界面评价了解普遍流行的各种交互设备，包括文本输入设备、图像输入设备、指点输入设备和显示设备等理论了解人机交互的一些新技术，如语音、手写识别、眼动跟踪等技术掌握人机交互的界面模型，如用户模型、任务模型、表现模型等学习计算机支持的协同工作、信息搜索与可视化、超媒体与万维网、普适计算与增强现实等内容2023/11/272课程内容第一篇基础知识人机交互简介、认知心理学、交互设备、用户界面设计第二篇理论多通道人机交互、软件工具、界面模型、帮助系统的设计第三篇专题计算机支持的协同工作、信息搜索与可视化、超媒体与万维网、普适计算与增强现实2023/11/273人机交互教学方式

1.教师授课

2.学生自学和讨论

3.课程设计2023/11/274Lecture1人机交互考试方式

课程设计/提交论文论文是对课程设计所完成的的项目按照软件工程的描述方法进行详细的描述，其中包括对交互过程控制的转状态图的描述课程结束的最后一次课采用答辩和演示的方式提交课程设计作业2. 期末考试

2023/11/275Lecture1课程设计分组完成在下列课程设计中一个项目用绘图笔完成一个非形式化界面完成一基于语音输入和笔输入的多通道人家交互界面建立三维虚拟场景，并实现简单的三维交互控制，以实现对场景中的三维物体的交互控制用手机模拟开发环境，设计一手机上的小游戏2023/11/276Lecture1教材及参考书Human-ComputerInteraction(3rdEdition)AlanDix等，PrenticeHall，2004。 用户界面设计有效的人机交互策略（第三版）张国印、李健利等译，电子工业出版社，2004年人机交互和多通道用户界面戴国忠等编著人机交互技术原理与应用孟祥旭、李学庆编著，清华大学出版社，20042023/11/277第一篇基础知识

第1章人机交互简介山东大学计算机学院2023/11/278Lecture1本章内容本章主要介绍以下内容：人机交互的概念人机交互与其他学科的关系人机交互技术的发展历史人机交互的研究内容交互软件的人性因素人机交互技术的发展趋势2023/11/279Lecture1人机交互概念人机交互（Human-ComputerInteraction,HCI）是关于设计、评价和实现供人们使用的交互式计算机系统且围绕这些方面进行研究的科学（ACMSIGCHI,1992,第6页）人机交互概念有广义和狭义的区别2023/11/2710Lecture1广义人机交互广义上讲，人机交互以实现自然、高效、和谐的人机关系为目的，与之相关的理论和技术都在其研究范畴，是计算机科学，心理学，认知科学以及社会学等学科的交叉学科研究开发新的人机交互设备、技术和理论，以实现无处不在计算（ubiquitouscomputing）环境下的以用户为中心的交互式计算机系统，使其能够增强人的创造力，解放人类的大脑、改善人与人之间的交流与协作2023/11/2711Lecture1狭义人机交互人机交互从技术上讲（狭义的），主要是研究人与计算机之间的信息交换，它主要包括人到计算机和计算机到人的信息交换两部分人们如何借助键盘、鼠标、操纵杆、眼动跟踪器、位置跟踪器、数据手套、压力笔等设备，用手、脚、声音、姿势或身体的动作、眼睛甚至脑电波等向计算机传递信息计算机如何通过打印机、绘图仪、显示器、头盔式显示器（HMD）、音箱、力反馈等输出设备给人提供信息2023/11/2712Lecture1人机交互与人机界面人机交互和人机界面是两个不同的概念人机交互是指用户与计算机系统之间的通信，它是人与计算机之间各种符号和动作的双向信息交换人机界面是指人类用户与计算机系统之间的通信媒体或手段，它是人机双向信息交换的支持软件和硬件这里“界面”定义为通信的媒体或手段，人机交互是通过一定的人机界面来实现的，在界面开发过程中，有时把它们作为同义词使用2023/11/2713Lecture1人机交互与其他学科的关系人机交互与认知心理学、人机工程学、多媒体技术和虚拟现实与增强现实技术密切相关。其中，认知心理学与人机工程学是人机交互技术的理论基础，而多媒体技术和虚拟现实与增强现实技术与人机交互技术相互交叉和渗透虚拟与增强现实技术多媒体技术认知心理学人机工程学人机交互与其他相关学科的关系人机交互技术2023/11/2714Lecture1

认知心理学（CognitivePsychology）研究人们如何获得外部世界信息，信息在人脑内如何表示并转化为知识，知识怎样存储又如何用来指导人们的注意和行为涉及心理活动的全部过程——从感觉到知觉、识别、注意、学习、记忆、概念的形成、思维、表象、回忆、语言、情绪和发展过程信息加工心理学是现代认知心理学的主流用计算机信息处理过程来类比人的认知过程了解认知心理学原理可以指导人们进行人机交互界面设计可用性、用户心理、用户行为2023/11/2715Lecture1人机工程学（Ergonomics）人机工程学是运用生理学、心理学和医学等有关知识，研究人、机器、环境相互间的合理关系，以保证人们安全、健康、舒适地工作，从而提高整个系统工效的交叉学科早期人机工程学是最活跃、最主要的分支硬件人机工程学对人体能力、人体限制及其他与设计相关的人体特性信息的应用，以满足设计、分析、测试与评价、标准化，以及系统控制的要求软件人机工程学（SoftwareErgonomics）研究软件和软件界面，侧重于运用和扩充软件工程的理论和原理，对软件人机界面进行分析、描述、设计和评估2023/11/2716Lecture1人机工程学示例2023/11/2717Lecture1多媒体技术多媒体技术是指将文本、声音、图形、图像、视频等集成在一起的技术动画、音频、视频等动态媒体，大大丰富了计算机表现信息的形式，拓宽了计算机输出的带宽，提高了用户接受信息的效率多媒体带来的信息冗余性可消除人机通信过程中的歧义性及噪声目前多媒体技术的研究基本上限于信息的存储和传输方面，媒体理解和推理研究较少2023/11/2718Lecture1多媒体技术（续）多通道人机交互研究的兴起，将进一步提高计算机的信息识别、理解能力，提高人机交互的效率和用户友好性，将人机交互技术和用户界面设计引向更高境界多通道系统力求对语义的理解，侧重于信息的理解和解释；多媒体系统则侧重于信息的表现2023/11/2719Lecture1虚拟现实技术（VirtualReality,VR）虚拟现实就是借助于计算机技术及硬件设备，建立高度真实感的虚拟环境，使人们通过视觉、听觉、触觉、味觉、嗅觉等感官在其中看、听、触、闻起来像真实的，以产生身临其境的感觉的一种技术。沉浸感（immersion）交互性（interaction）构想性（imagination）自然和谐的交互方式是虚拟现实技术的一个重要研究内容，其目的是使人能以声音、动作、表情等自然方式与虚拟世界中的对象进行交互最终要的三维交互2023/11/2720Lecture1虚拟现实技术（续）三维交互设备：如立体眼镜、WorkBench、头盔式显示器、CAVE、柱形或球形立体显示器、立体音频输出设备；位置跟踪器、眼动跟踪器、三维扫描设备、三维鼠标、三维跟踪球、三维游戏杆、数据手套；触觉和力反馈装置、可穿戴计算机等复杂场景的建模、实时高度真实感绘制等技术，也是虚拟现实非常重要的研究内容。虚拟现实为人机交互的研究提供了很好的契机和媒介2023/11/2721Lecture1增强现实技术

（AugmentedReality,AR）增强现实技术融合了虚拟环境与真实环境，其在交互性与可视化方法方面开辟了一个崭新的领域；而虚拟现实使用虚拟环境取代了真实环境增强现实是把虚拟的信息立体化，在人的周围环境中再现出来，虚实结合，能够达到以假乱真的地步，完全给人逼真的感觉。在增强现实环境中交互是实时的。2023/11/2722Lecture1人机交互的发展历史人机交互一直伴随着计算机的发展而发展。人机交互的发展过程，也是人适应计算机到计算机不断地适应人的发展过程。它经历了几个阶段：1.语言命令交互阶段2.图形用户界面（GUI）交互阶段3.自然和谐的人机交互阶段（现状）2023/11/2723Lecture1语言命令交互阶段计算机语言经历了由最初的机器语言，而后是汇编语言，直至高级语言的发展过程。这个过程也可以看作早期的人机交互的一个发展过程2023/11/2724Lecture1图形用户界面交互阶段图形用户界面（GraphicalUserInterface，GUI）的出现，使人机交互方式发生了巨大变化。桌面隐喻、WIMP技术、直接操纵和”所见即所得（WhatYouSeeIsWhatYouGet，WYSIWYG）”。与命令行界面相比，图形用户界面的人机交互自然性和效率都有较大的提高。图形用户界面很大程度上依赖于菜单选择和交互小组件（Widget）。图形用户界面使得初学者易于使用，但效率并不高另外，图形用户界面需要占用较多的屏幕空间，并且难以表达和支持非空间性的抽象信息的交互2023/11/2725Lecture1自然和谐的人机交互阶段随着虚拟现实、移动计算、无处不在计算等技术的飞速发展，自然和谐的人机交互方式得到了一定的发展。基于语音、手写体、姿势、视线跟踪、表情等输入手段的多通道交互目的是使人能以声音、动作、表情等自然方式进行交互操作。2023/11/2726Lecture1人机界面发展中最有影响的事件和成果1、1945年美国罗斯福总统的科学顾问VanneverBush(1894-1974)在《大西洋月刊》上发表的“AsWeMayThink”的著名论文，提出了应采用设备或技术帮助科学家来检索、记录、分析及传输各种信息的明确目标和名为“Memex”的一种工作站构想，这一目标和构想影响着过去和当今的一大批最著名计算机科学家2023/11/2727Lecture1人机界面发展中最有影响的事件和成果(续)2、1963年发明鼠标器的美国斯坦福研究所的D.Engleberg，他预言鼠标器比其他输入设备都好，并在超文本系统、导航工具方面会有杰出的成果。10年后鼠标器经Xerox研究中心改进后，成为影响当代计算机使用的最重要成果3、1963年美国麻省理工学院I.Sutherland开创了计算机图形学的新领域，随后美国布朗大学A.VanDam等人组织了SIGGRAPH。I.Sutherland还在1968年开发了头盔式显示器。2023/11/2728Lecture1人机界面发展中最有影响的事件和成果(续)4、20世纪70年代当时在Xerox研究中心的AlanKay发明了重叠式多窗口系统，并提出了Smalltalk面向对象程序设计等思想。5、1989年TimBerners-Lee在日内瓦的CERN用HTML及HTTP开发了WWW网，随后出现了各种浏览器（网络用户界面），使因特网飞速发展起来。6、20世纪90年代美国麻省理工学院N.Negroponte（他早在30年前就提出了“交谈式计算机”概念）领导的媒体实验室在新一代多通道人机界面方面（包括语音、手势、智能体等），做了大量开创性的工作。2023/11/2729Lecture1人机交互的研究内容人机交互的研究内容十分广泛，涵盖了建模、设计、评估等理论和方法以及在计算机支持的协同工作、信息搜索与可视化、超媒体与万维网、普适计算与增强现实等方面的交互设计技术，主要包括：人机交互界面表示模型与设计方法（ModelandMethodology）一个交互界面的好坏，直接影响到软件开发的成败。友好人机交互界面的开发离不开好的交互模型与设计方法MDD和MDA2023/11/2730Lecture1人机交互的研究内容（续）多通道交互技术（Multi-Modal）在多通道交互中，用户可以使用语音、手势、眼神、表情等自然的交互方式与计算机系统进行通信。多通道交互主要研究多通道交互界面的表示模型、多通道交互界面的评估方法以及多通道信息的融合等。智能用户界面（IntelligentUserInterface，IUI）智能用户界面的最终目标是使人机交互和人－人交互一样自然、方便。上下文感知、眼动跟踪、手势识别、三维输入、语音识别、表情识别、手写识别、自然语言理解等都是认知与智能用户界面需要解决的重要问题。2023/11/2731Lecture1人机交互的研究内容（续）计算机支持的协同工作（ComputerSupportedCooperativeWork--CSCW）“计算机支持的协同工作已成为一个多学科交叉的新兴的研究领域CSCW是要研究在计算机技术支持的环境下(CS)，特别是在计算机网络环境下，一个群体如何协同工作完成一项共同的任务(CW)。它的目标是要设计出能支持各种各样的协同工作的工具、环境与应用系统2023/11/2732Lecture1人机交互的研究内容（续）信息搜索与可视化随着数据量和数据多样性的增加，对信息集合的搜索和可视化日益重要。信息搜索包括：数据库查询、文本文档的短语搜索、照片搜索、地图搜索、图案或图标的搜索、声音搜索、视频搜索和动画搜索等。信息可视化是一种计算方法，它将符号形式转化为几何形式，使研究人员能够观察所做的模拟与计算。可视化提供了一种查看原来不可见事物的方法。2023/11/2733Lecture1人机交互的研究内容（续）超媒体与万维网超媒体扩展了传统的线性文本，给用户提供了在多个相关内容之间跳转的机会网页中可以包含图形、图像、声音以及由Java或虚拟现实建模语言(VRML)所提供的日益逼真的动画，并且这些网页可在全世界成千上万台计算机服务器上进行传递2023/11/2734Lecture1人机交互的研究内容（续）虚拟现实和增强现实（VirtualReality&AugmentedReality

）“以人为本”的、自然和谐的人机交互理论和方法是虚拟现实的主要研究内容之一通过研究视觉、听觉、触觉等多通道信息融合的理论和方法、协同交互技术以及三维交互技术等，建立具有高度真实感的虚拟环境，使人产生“身临其境”的感觉。普适计算（UbiquitousComputing）普适计算是指通过新一代的设备根据需要随时随地方便地访问相关信息，并可轻松地对其进行操作普适计算对人机交互技术提出了更高的要求2023/11/2735Lecture1E-Learning是一种受教育的方式，包括新的沟通机制和人与人之间的交互作用。这些新的沟通机制是指：计算机网络、多媒体、专业内容网站、信息搜索、电子图书馆、远程学习与网上课堂等通过因特网进行的教育及相关服务提供了学习的随时随地性，从而为终身学习提供了可能；学生在e-Learning中是以一种全新的方式进行学习将改变教师的作用和师生之间的关系，从而改变教育的本质是提高学生批判性思维和分析能力的重要途径

能很好地实现某些教育目标，但不能代替传统的课堂教学不会取代学校教育，但会极大地改变课堂教学的目的和功能2023/11/2736Lecture1CMU人机交互研究INTERACT项目包括如下子课题2023/11/2737Lecture1眼动跟踪许多眼动跟踪方法会对用户造成干扰。CMU开发的面部特征跟踪方法避免对用户的干扰。当用户的脸出现在摄像机摄录范围之内，面部特征跟踪器就能够自动发觉和跟踪用户的眼睛2023/11/2738Lecture1脸部跟踪CMU使用皮肤颜色模型、动作模型和摄像机模型开发的脸部跟踪器可以在用户频繁运动的情况下跟踪用户的脸部，更新速率达到30帧每秒。右图是脸部跟踪器显示的图像的拷贝，大框区域中的内容显示的是研究窗口，小框区域中的内容是定位的用户的脸部。只有研究窗口中的内容会每帧都更新。

2023/11/2739Lecture1手势语音集成手势语音集成项目的研究集中在对多通道输入信息的联合解释。已经开发了使用多通道用户界面完成日程安排任务的程序。典型的用户操纵情景是：用户口述：“在星期一安排一个会议”，同时用笔在日历上划一条线指示会议的开始时间和持续时间。

2023/11/2740Lecture1注意焦点模型注意焦点模型项目主要是利用计算机图像技术开发能识别用户注意力焦点的系统，并且要求该系统不能对用户造成干扰。目前已经开发出Attentionfinder系统，它跟据用户脸部朝向来识别用户的注意焦点。该系统需要一个由软件控制的摄像机。在捕捉用户注意焦点的过程中系统允许用户在房间内自由的移动。2023/11/2741Lecture1多通道交互中的错误纠正目前自动语音识别的正确率仍然不能让人满意，因此需要一定的方法纠正这些识别错误。纠错方法可以包括重述、拼写、手写等。例如，将seems改为send，将the删除。2023/11/2742Lecture1读唇系统读唇系统可以增强语音识别系统的识别率，并且可以应用于多人交叉谈论的情形。项目目标是获得一个在线读唇系统。2023/11/2743Lecture1清华大学的智能教室通过语音识别才能登陆系统支持面对面教学及远程教育课件支持动态注释及语音操纵（如：下一页，第一页）远程的学生可以请求发言有相应的课堂现场记录，帮助课后复习

2023/11/2744Lecture1直接操纵和命令选择相结合三个将直接操纵和命令选择相结合的技术Toolglass使用双手操作controlmenus和FlowMenu使用单手操作用户连续的完成连接线段的任务，在每次连接线段的过程中，需要首先为该线段选择颜色，然后指定线段的起点和终点，并且本次任务中线段的终点又是下次任务中线段的起点2023/11/2745Lecture1四种工具2023/11/2746Lecture1任务：选择颜色连接线段2023/11/2747Lecture1实验设备

统一的实验设备：显示器，写字板，笔，鼠标2023/11/2748Lecture1快速的文档导航技术数字文档中最标准的导航方法是使用ScrollbarsThumbnail-EnhancedScrollbars,Rate-basedscrollingSpeed-DependentAutomaticZoomingMultiFlippingTheSpace-FillingThumbnails2023/11/2749Lecture1Scrollbars滚动条滚动条包括一个上下箭头用于文档的上下翻页，还包括一个活动的竖杆用于快速移动。Thumbnail-EnhancedScrollbars(TES)增加缩影的滚动条AdobeReader的缩影面板中默认情况下一列显示10页文档。2023/11/2750Lecture1Rate-basedscrolling(RBS)基于速率的滚动技术文档滚动速率由鼠标中间键的滚动速率和鼠标在垂直方向的拖动速率决定。文档滚动速率与鼠标中间键的滚动速率和鼠标在垂直方向的拖动速率成线性关系。Speed-DependentAutomaticZooming(SDAZ)基于速率的自动放缩文档每页所占的屏幕大小根据鼠标中间键的滚动速率和鼠标在垂直方向的拖动速率相应的变化，当鼠标中间键的滚动速率和鼠标在垂直方向的拖动速率较大时，文档每页所占的屏幕尺寸较小，反之较大。这样可以增加用户快速导航时每页文档在屏幕上的显示时间。2023/11/2751Lecture1MultiFlipping充分利用屏幕空间，同时增加用户快速导航时每页文档在屏幕上的显示时间2023/11/2752Lecture1TheSpace-FillingThumbnails(SFT),区域填充缩影技术该技术允许用户控制两个界面的交替显示，一个界面如右图所示，它缩小显示文档所有的页面，另一个界面是用户在某一个缩小页面上双击后显示的单个页面，同普通的文本编辑界面相同。使用鸟瞰界面避免了大量的滚动操作。右图是显示了150个页面的鸟瞰图。2023/11/2753Lecture1基于局部表情参数化的三维表情脸像合成采用MPEG4人脸动画框架，提出了一种基于局部表情参数化的三维表情脸像合成方法在人脸动画参数(FAP)的基础上，定义了局部表情状态参数(PartialExpressionParameter，简称PEP)，建立了PEP与FAP参数之间的关联规则。在此基础上，实现了一个三维表情脸像编辑器，利用PEP参数可以快速编辑合成人脸表情，以适应可视语音、对话系统中人脸表情实时变化的需求2023/11/2754Lecture1局部表情状态参数定义表局部区域

PEP编号

表情动作描述

参数为正

参数为负

眉1.1眉毛上扬眉毛下垂1.2眉毛紧皱眉毛舒展1.3眉梢下垂、眉尖上挑眉梢上挑、眉尖下垂眼2.1眼皮张开眼皮闭合2.2眼球向左看眼球向右看2.3眼球向下看眼球向上看唇3.1嘴唇张开嘴唇闭合3.2嘴角向上弯曲嘴角向下弯曲3.3唇向前突(撅嘴)唇向后缩(抿嘴)3.4嘴角左右张开(咧嘴)嘴角左右收缩下颌4.1下巴向下张下巴向上收4.2下巴向左撇下巴向右撇2023/11/2755Lecture1PEP参数3.2描述嘴唇的弯曲变化PEP在[-1,+1]归一化区间的连续变化，对应了该局部区域的状态变化。PEP的数值决定了表情的变化幅度。A：状态参数3.2从0到1连续变化B：状态参数3.2从0到-1连续变化2023/11/2756Lecture1PEP与FAP的关联规则关键区域

PEP编号

FAP个数

关键FAP

关联的FAP参数

眉1.16F33[F33,F31,F35,F34,F32,F36]122F37[F37,F38]1.36F31[F31,F35,F33,F32,F36,F34]眼2.14F19[F19,F21,F20,F22]2.22F23[F23,F24]2.32F25[F25,F26]唇3.112F5[F5,F10,F11,F52,F57,F58,F4,F8,F9,F51,F55,F56]3.24F12[F12,F13,F59,F60]3.32F16[F16,F17]3.44F6[F6,F7,F53,F54]下颌4.11F3[F3]4.21F15[F15]局部表情参数3.2合成的局部表情状态局部表情参数1.3合成的局部表情状态2023/11/2757Lecture1PEP参数之间的关联规则关联关系

关联区域

状态参数

关联表情

左右对称左眉－右眉1.1-1.1双眉同时上扬/压低1.2-1.2双眉同时向眉心皱紧/向两侧舒展1.3-1.3双眉呈“内八字”或“外八字”形状左眼－右眼2.1-2.1两眼睁开/闭合2.2-2.2向左看/向右看2.3-2.3向上看/向下看主次动作眉－眼1.1-2.1扬眉-睁眼/低眉-闭眼眉－眼1.3-2.1眉倒竖-眼睁大/眉低垂-眼微闭眼－眼2.3-2.1向上/下看时，眼球带动眼皮运动唇－唇3.3-3.4噘嘴/咧嘴时嘴角与唇突的关联唇－颌3.1-4.1嘴张开闭合带动下颌骨未关联之前“抬眼”的表情状态关联后“抬眼”的表情状态(主次动作PEP2.3-PEP2.1)2023/11/2758Lecture1合成效果中性喜悦厌恶愤怒悲伤

恐惧

惊喜焦虑2023/11/2759Lecture1运动神经受损的用户使用轨迹球完成文本输入使用轨迹球模拟手写字母时的笔画完成字母的输入(把每个字母的笔画都简化为一笔完成)，以笔画代替点击降低了对于准确度的要求。对于运动神经受损的用户，使用轨迹球比使用屏幕上的键盘速度快2023/11/2760Lecture1轨迹球对那些力量较小，协调能力较差，手腕疼痛及其他运动神经受损的用户来说，使用轨迹球比使用鼠标在桌面上来回移动要容易得多。右图显示了两个轨迹球。2023/11/2761Lecture1运动神经受损的用户首选使用轨迹球。这些用户通常也不能使用通用的键盘，所以用户同时使用轨迹球和屏幕上的键盘，使用轨迹球将光标移动到目标键后选取。屏幕上的键盘不仅占用屏幕空间而且要求用户的注意力在文档和屏幕键盘之间切换two-foci-of-attention。轨迹球的另一个优点是：操纵轨迹球所需空间小，它可以嵌入到控制台或键盘上2023/11/2762Lecture1

单一笔画每一个字母的笔画.使用轨迹球向记事本中输入字符。2023/11/2763Lecture1平均速度不熟悉轨迹球的普通用户在45分钟的练习后可以达到每分钟10个字的速度，同时错误率小于<4%。运动神经受损的用户时用轨迹球最高可以达到每分钟7.11个字。运动神经受损的用户使用屏幕上的键盘最高可以达到每分钟5.95个字。2023/11/2764Lecture1写字板幻灯片允许ppt的页无限长可以用笔使用不同的颜色添加备注并设置某些备注只对教师可见，对学生不可见2023/11/2765Lecture1上课时教师在自己的屏幕上看到的幻灯片

2023/11/2766Lecture1上课时学生在投影屏幕上看到的幻灯片2023/11/2767Lecture1教师使用PowerPoint创建的幻灯片2023/11/2768Lecture1学生在投影屏幕上看到的幻灯片2023/11/2769Lecture1汉语语音合成系统――SinoSonic2023/11/2770Lecture1SinoSonic系统功能和指标SinoSonic能说出你想说的话，只要你把相应的文字输入计算机，即实现了Whathe(she)saysiswhatyouwrite。具体的指标有：可读字、词、句子、文章及标点、数字、运算符和英文字母，语音库覆盖国标一、二级所有汉字能输出男声或女声提供丰富的、合理的编程接口，方便用户进行二次开发语音输出以句子为单位，按词汇停顿，能自动决定多音字的正确读音可随时改变声音的幅度（Volume）、基频（Pitch）、速度（Duration）词间或句间停顿。读出时，可随时“暂停”“恢复”“终止”语音.2023/11/2771Lecture1TTS(TextToSpeech)系统应用2023/11/2772Lecture1个人电脑上应用通过外挂式播放工具，对计算机屏幕中任意出现的文字进行朗读，如Word、浏览器、PDF阅读器等中出现的文字。2023/11/2773Lecture1网络和电信上应用--EMAILTOMOBILE

EMAILTOMOBILE就是通过用户随身携带的手机，运用语音网关技术实时的“听取”互联网上的电子邮件。每当用户的电子信箱接受到电子邮件时，系统都会自动播打用户注册的手机，通知邮件的到达，用户可根据自己的需要，自己确定是否需要“听取”、恢复或删除邮件。这样的方式使一般人方便了信息获取，减轻了手机屏幕小，需要不断反屏阅读短信息的麻烦。2023/11/2774Lecture1儿童娱乐城基于三维虚拟场景，开发面向儿童娱乐的3D界面，为儿童用户提供虚拟生活环境，儿童可以在游乐中进行学习，进行全方位的素质教育。用一个统一3D界面管理各类益智资源，为儿童使用这些软件提供总入口。这种界面要有卡通气氛，采用笔交互，操作上要直观，符合现实的经验儿童娱乐城开发平台研究开发适应儿童智力发展特点的教育软件开发平台和示范教育软件，其中包括音乐室、绘图室、学习室和游戏室等2023/11/2775Lecture12023/11/2776Lecture1绘图室儿童画板儿童画板可用于儿童绘制色彩绚丽、场景逼真的平面图画，绘制形象可爱、三维立体的卡通人物或小动物等，卡通人物、小动物可漫游于场景之中，构成一幅美丽的卡通画面2023/11/2777Lecture1学习室的儿童看图学字该产品界面设计生动活泼，操作方式新颖独特，使用学习方便简单，符合儿童娱乐要求，满足家长培养教育儿童感知能力、创造能力、形象思维能力的需要，激发儿童的娱乐和学习兴趣2023/11/2778Lecture1学习室的动态几何教师或家长根据儿童的年龄特点，绘制出一些简单的几何图形，增加他们对于几何的感性认识。此外，可以利用该软件，让孩子们了解到图形之间的相互关系；可以起到对孩子的启迪、益智的作用

2023/11/2779Lecture1音乐室的架子鼓系统让儿童通过电子笔敲击屏幕上的鼓进行演奏，同时提供了录音和存储作品的功能。采用了实物界面，不单是鼓的呈现是利用了真实的鼓的样子，在进行录音和存储的时候将磁带用形象化为糖果，将录音机形象化为小人，小人吃不同的糖果就会播放出不同的音乐来2023/11/2780Lecture1音乐室的儿童作曲系统——哆徕咪这是笔式简谱制作软件，家长或教师可以教儿童学习手写简谱制作和试唱，在制作简谱过程中随时播放制作效果，调整调式、速度等，操作简单，识别准确，生动有趣2023/11/2781Lecture1游戏室的拼图通过笔完成各个图形块的移动和拼凑，家长和老师可以教孩子们任意拼出他们所喜欢的形状，操作简单，识别准确，生动有趣2023/11/2782Lecture1游戏室的七巧板它源于我国古代的一种拼板玩具，可用笔把正方形薄板分为7块，其中包括5块大小不等的三角形，l块正方形和1块不等四边形。然后用七巧板拼排出变化多端的图形，玩的时候可以打破定势，转换思维，展开想像，是较好的一类儿童益智软件2023/11/2783Lecture1使用鱼眼技术实现大型菜单Fisheye是显示大列表的有效技术，处于焦点focus附近的数据正常显示未处于焦点的数据缩小显示作为context避免了使用上下箭头、滚动条和层次结构等技术带来的额外操作。2023/11/2784Lecture1ArrowBar使用上下箭头控制显示内容。

2023/11/2785Lecture1ScrollBar使用右侧的滚动条控制显示内容2023/11/2786Lecture1Hierarchy使用层次结构控制显示内容。2023/11/2787Lecture1Fisheye使用鱼眼技术控制显示内容。2023/11/2788Lecture1系统工程的目标适当的功能任务分析至关重要，功能不完善，界面设计再好也没有用功能过多很危险，所带来的混乱和复杂性给系统的实现、维护、学习和使用带来很大困难可靠性、可用性、安全性和数据完整性标准化、集成化、移植性和可移植性标准化是指在不同应用程序中共同的用户界面特点一致性主要是指应用程序中的通用操作序列、术语、组件、布局、颜色、排版样式等的统一可移植性是指在多个软硬件环境中转换数据和共享用户界面的潜在能力进度和预算2023/11/2789Lecture1用户界面设计目标学习时间执行速度用户的出错率记忆保持能力主观满意度2023/11/2790Lecture1设计方案的人性因素动机关键系统控制空中交通、核反映堆等，价格昂贵，高可用性和高可靠性，严格的培训和学习，用户满意度不再是重要问题工商业系统成本是重要问题，可靠性一般，易用性很重要，用户满意度适当考虑办公、教廷和娱乐应用易学习、出错率低和个人满意度非常重要探索性、创造性和协同性系统用户有行业经验，但缺乏计算机支持，最好感觉不到界面的存在2023/11/2791Lecture1适应人的多样性人体能力与工作环境适应不同用户的感觉、认知和运动能力工作环境的设计对保证工作满意度、高效率和低出错率很重要认知能力和感知能力认知过程短时记忆、长时记忆和学习、问题求解、决策、关注与设定、查找与搜索、时间感知影响感觉和运动能力的因素应急性和警惕性、疲劳、感觉负担、对结果的了解、单调和厌倦、感官的丧失、失眠、焦虑和恐惧、孤独、衰老、药品和酒精、生理节奏2023/11/2792Lecture1适应人的多样性个性差异外向型和内向型外向型倾向于外部的刺激、喜欢变化和运动；内向型倾向于熟悉的模式，依赖自己内心的想法，喜欢独自工作敏感型和直觉型敏感型乐于建立规范，擅长做严谨工作，喜欢使用已知的经验直觉型喜欢解决问题，发现新事务，但不喜欢做严谨的工作2023/11/2793Lecture1适应人的多样性个性差异感觉型和判断型感觉型喜欢了解新的情况，但不善于做决定判断型喜欢做细致的计划，但即使出现新情况使目标发生改变还是照着原计划去做情感型和理智型情感型知道其他人的感觉，想办法让别人高兴，跟大多数人保持良好关系理智型不容易动感性，可以客观地看待别人，喜欢按逻辑办事2023/11/2794Lecture1文化多元性与种族差异用户界面设计的国际化字符、数字、特殊符号和音标输入和阅读的方式：从左到右，从右到左或从上到下日期和时间格式数字和货币格式重量和尺寸电话号码和地址名字和称谓社会保险号、国家代码、护照号大写字母开头和标点符号排列的顺序图标、按钮、颜色复数形式、语法、拼写规则、方针、声调、理解、隐喻2023/11/2795Lecture1适应人的多样性残疾人用户老年用户2023/11/2796Lecture1人机交互技术的发展趋势在未来的计算机系统中，将更加强调“以人为本”、“自然、和谐”的交互方式，以实现人机高效合作集成化网络化智能化标准化2023/11/2797Lecture1集成化人机交互将呈现出多样化、多通道交互的特点桌面和非桌面界面，可见和不可见界面，二维与三维输入，直接与间接操纵，输入与输出、语音、手势、表情、眼动、唇动、头动、肢体姿势、触觉、嗅觉、味觉以及键盘、鼠标等交互手段将集成在一起2023/11/2798Lecture1网络化无线互联网、移动通信网的快速发展，对人机交互技术提出了更高的要求。新一代的人机交互技术需要考虑在不同设备、不同网络、不同平台之间的无缝过渡和扩展，支持人们通过跨地域的网络（有线与无线、电信网与互联网等）在世界上任何地方用多种简单的自然方式进行人机交互，而且包括支持多个用户之间以协作的方式进行交互2023/11/2799Lecture1智能化目前，用户使用键盘和鼠标等设备进行的交互输入都是精确的输入，但人们的动作或思想等往往并不很精确，人类语言本身也具有高度模糊性，人们在生活中常常习惯于使用大量的非精确的信息交流。在人机交互中，使计算机更好地自动捕捉人的姿态、手势、语音和上下文等信息，了解人的意图，并做出合适的反馈或动作，提高交互活动的自然性和高效性，使人－机之间的交互像人－人交互一样自然、方便2023/11/27100Lecture1标准化在人机交互领域，ISO已正式发布了许多的国际标准，以指导产品设计、测试和可用性评估等。但人机交互标准的设定是一项长期而艰巨的任务，并随着社会需求的变化而不断变化。2023/11/27101Lecture1国家863计划人机交互技术主题－探索导向基于人类感知和认知机理的智能信息处理技术感知计算模型，图像语义理解技术，基于人类感知和认知机理的机器学习、模式识别、多源感知融合等新型人机交互模式及技术新型人机交互模式与多通道人机交互技术，生物特征识别新方法，基于注意机制的人机交互新模型，脑/机接口等以中文为核心的多语言智能处理新技术语音识别与语音合成技术，文字与符号识别技术，机器翻译技术，语料处理技术与语言处理的评估技术，跨语言信息检索技术，新一代基于语义的搜索技术等面向网络计算的软件新技术面向用户的需求工程、领域工程和编程模型，模型驱动的智能化软件技术，新的软件构件技术，可信服务软件技术，软件代理与多模式协同技术等。2023/11/27102Lecture1国家863计划人机交互技术主题－目标导向基于视觉感知与认知机理的图像分析与识别系统研究目标：突破基于人类视觉感知与认知机理的图像处理模型、关键技术和算法，建立个性化、高准确度的图像分析与识别系统主要研究内容：分层交互的统计视觉计算模型与推理，基于感知整合机制的视觉模式识别技术，具有选择性注意机制的视觉信息搜索与多目标跟踪模型主要指标：分层交互的立体视觉匹配算法综合性能进入世界前列，提供一定规模的具有13个视点以上的人脸图象数据库，系统具有可重构性，针对不同视觉任务灵活配置2023/11/27103Lecture1国家863计划人机交互技术主题－目标导向复杂应用环境下的生物特征识别系统研究目标：突破安全便捷的、高可靠性的多生物特征获取及识别算法，建立面向典型应用的生物特征识别与认证原型系统主要研究内容：脸相、虹膜、掌纹等多生物特征获取技术，大规模生物特征库的分类和检索，具有鲁棒性的生物特征识别关键技术，面向实际应用需求的多种生物特征的融合技术等主要指标：研制脸相、虹膜、掌纹等生物特征获取设备样机，以及大规模脸相、虹膜和掌纹库的分类和检索系统，错误接收率为百万分之一条件下错误拒绝率小于3%，等错误率小于1/10002023/11/27104Lecture1国家863计划人机交互技术主题－目标导向面向网络应用环境的自然人机/人际语音系统研究目标：研究基于自然口语的人机对话技术和特定领域的口语翻译技术，建立网络应用环境下的自然人机对话系统和双语语音翻译系统，探索语音应用新模式主要研究内容：自然口语语音识别、理解和翻译技术，面向应用的自然人机对话模型与管理技术，个性化目标语音合成，人机对话和语音互译的系统集成技术等主要指标：面向领域自然口语人机对话响应准确率达到90%，语音合成MOS得分超过4.5，支持中-英、中-日互译，支持多种实时翻译模式，在限定应用场景下的语音翻译BLEU达到0.35，支持企业级和电信级的大用户量的并发使用2023/11/27105Lecture1国家863计划人机交互技术主题－目标导向智能化中文搜索引擎研究目标：研究基于语义的内容搜索技术，建立智能化中文搜索基础平台主要研究内容：基于语义的自然语言处理技术，数据挖掘和机器学习技术，用户空间与文档空间的个性化属性挖掘，图像、音视频等多媒体搜索关键技术等主要指标：支持自然语言查询，支持基于实例的图像、音视频等相似性查询2023/11/27106Lecture1国家863计划人机交互技术主题－目标导向面向普适计算的自适应软件集成环境研究目标：建立面向普适计算的自适应软件集成体系结构，突破自适应软件容器、轻量级实时容错管理等关键技术，建立一定规模的普适计算实验床和软件集成环境，以及演示验证应用。主要研究内容：基于反射机制的自适应软件体系结构，可灵活配置的自适应的软件容器技术，轻量级实时容错技术，事件管理、上下文管理、位置管理等支持普适计算的基础服务，面向领域的普适计算应用集成框架等。主要指标：提出基于反射机制的自适应软件体系结构和应用集成框架技术规范，建立具有一定代表性的普适计算实验床及其软件集成平台，至少包括两种不同嵌入式的操作系统，两种不同的通讯协议和三类传感器，建立至少两个演示验证应用。2023/11/27107Lecture1国家863计划虚拟现实技术主题－探索导向虚拟现实建模与表现技术多种媒体融合、光照合成和虚实结合等新技术；大规模复杂场景快速建模与实时绘制新技术；虚拟对象情感与行为特性建模表现技术；医学医疗、文化教育、工业制造、社会活动等领域中特殊环境和行为过程建模表现的新技术和新方法等数字媒体内容制作技术文字、图像、音视频信息数字化处理与合成的新技术；电影/动漫特效制作和数字影音内容制作的新技术；游戏、动漫等媒体内容网络化协同创作技术；支持数字媒体内容制作的图形图像处理新技术等。2023/11/27108Lecture1国家863计划虚拟现实技术主题－探索导向数字媒体处理与服务技术数字媒体内容集成与分发的关键技术；数字媒体海量信息管理与基于内容检索的关键技术；提升数字媒体制作效率或精度的CG新技术；视音频编解码新技术等。支持人机交互的显示技术视觉、听觉、触觉等感知信息处理和显示技术；虚拟环境中的多通道交互信息融合与显示技术；可伸缩的高分辨率投影显示技术；沉浸感的新型显示方法与技术等。分布式虚拟现实与数字媒体技术分布式大规模虚拟环境构建与时空管理技术；支持分布式大规模虚拟仿真应用的并行计算技术；分布式应用环境中多用户远程协同交互技术等。2023/11/27109Lecture1国家863计划虚拟现实技术主题－目标导向虚拟现实应用系统集成开发环境研究目标：构建由工具和平台组成的，能够支持虚拟现实技术研究、应用系统开发和效能分析评价的综合集成环境。主要研究内容：虚拟环境和对象高效建模的新型技术，虚拟现实应用系统开发、测试、发布和体验的关键技术，虚拟现实系统效能的验证与评判技术，千兆级复杂度的虚拟环境驱动引擎技术，支持虚拟现实相关技术研究的分布计算环境。主要指标：能够支持具有千兆级复杂度虚拟场景的建构与实时绘制，具有跨域的分布处理功能且能够支持大规模分布结点动态加入，主要的工具和平台技术具有自主性和先进性2023/11/27110Lecture1国家863计划虚拟现实技术主题－目标导向支持数字媒体内容创作的集成环境研究目标：构建能够支持动漫、游戏、数字影视等数字媒体产品开发的创作工具集和通用引擎。主要研究内容：支持大规模网络协作式内容创作的关键技术，网络游戏通用引擎开发的关键技术，高效的对象造型与非线性编辑技术；支持多种媒体融合的建模技术与创作工具，高效的数字媒体渲染服务新技术。主要指标：能够支持网络化资源的有机整合和共享运行，支持的媒体应包括数字内容素材、音视频作品及最终产品等多种类型，通用引擎能够灵活支持用户插件的即插即用，同时达到每秒不少于24帧的帧率，主要的工具和平台技术具有自主性和先进性。2023/11/27111Lecture1国家863计划虚拟现实技术主题－目标导向支持大型公共设施安全问题研究的系统原型研究目标：建构能支持对大型公共建筑或重要公共基础设施危机处置预案进行研究与评估的系统原型。主要研究内容：复杂场景和大规模实体建模技术，安全危机过程的建模、控制和可视化体验技术，安全危机处置预案可视化编辑和分析决策支持技术，安全危机处置效果的分析验证技术。主要指标：虚拟场景中的实体规模数应大于五万个、环境规模应大于100平方公里或建筑面积大于10万平方米；实现的虚拟环境能够随现实世界的自然变化过程而实时生成新的环境。2023/11/27112Lecture1国家863计划虚拟现实技术主题－目标导向支持大规模综合训练的集成环境研究目标：构建能够支持重大问题决策分析的，集大规模人员、装备及相关环境设施为一体的综合训练集成环境