人机交互界面设计和要求Lecture12：评估

1、人机交互界面设计和要求Lecture12：评估可用性评估可用性评估是检验软件系统的可用性是否达到了用户的要求。常用的方法包括用户模型法、启发式评估、认知性遍历、用户测试和用户调查等，其中最常用的方法是用户测试和用户调查。 评估的作用降低系统技术支持的费用，缩短最终用户训练时间减少由于用户界面问题而引起的软件修改和改版问题使软件产品的可用性增强，用户易于使用更有效地利用计算机系统资源帮助系统设计者更深刻地领会以“用户为核心”的设计原则评估时间设计过程中的评估是为了尽早发现错误，用于确保产品始终满足用户的需要，这称为“构造性评估”在验收时则时为了检查已完成的系统是否达到需求规格说明书所规定的功能和

2、性能，评估已完成的产品是否成功，称为“总结性评估”软件可用性评估应遵循的原则最具有权威性的可用性测试和评估不应该针对专业技术人员，而应该针对产品的用户。软件的可用性测试和评估是一个过程，这个过程在产品开发的初期阶段就应该开始。软件的可用性测试必须是在用户的实际工作任务和操作环境下进行。要选择有广泛代表性的用户。可用性评估方法用户模型（User Model）启发式评估 (Heuristic Evaluation)认知性遍历 (Cognitive Walkthrough)用户测试 (User Testing)用户问卷调查 (Questionnaire) 评估方法用户评估：通常是由一个或多个用户在恰

3、当的环境里完成一个或多个任务来进行评估。通过记录交互过程中的客观用户数据，询问用户的主观反映，可以了解到用户对界面的满意程度及界面设计的有效性。理论评估：一般是由设计者或评估者根据某种形式化方法计算任务或用户模型与系统描述的匹配情况，这种方法可以给出定量的结果专家评估：由评估者（人因专家）以一种可以称为结构化的方式使用系统，测试是否符合预先定义的准则。评估结果反映了评估者的主观看法。这种评估方式主要是系统一致性的评估，即将系统和已建立的人因标准、规则（guideline)或原则（principle)进行比较用户模型法用户模型法是用数学模型来模拟人机交互的过程。这种方法把人机交互的过程看做是解决

4、问题的过程。认为人使用软件系统是有目标的，而一个大的目标可以被细分为许多小的目标。在人机交互领域中最著名的预测模型是GOMS模型。GOMS 是描述任务和用户执行该任务所需知识的方法，通过目标 (Goal)、操作符 (Operator)、方法 (Method) 以及选择规则 (Selection rule) 四个方面进行描述。 GOMS 1983年由Card, Morgan和Newell 提出在交互系统中用来分析建立用户行为的模型。它采用“分而治之”的思想，将一个任务进行多层次的细化。 GOMS 1.目标 Goals 目标就是用户执行任务最终想要得到的结果,它可以在不同的层次中进行定义。 2.

5、操作 Operators 操作是任务分析到最低层时的行为，是用户为了完成任务所必须执行的基本动作。 GOMS 3. 方法 Methods 方法是描述如何完成目标的过程。一个方法本质上来说是内部的算法，用来确定子目标序列及完成目标所需要的操作。GOAL: ICONSIZE-WINDOW. select GOAL: USE-CLOSE-METHOD. . MOVE-MOUSE-TO-WINDOW-HEADER. . POP-UP-MENU. . CLICK-OVER-CLOSE-OPTION. GOAL: USE-L7-METHOD. . PRESS-L7-KEYGOMS 4选择 Selectio

6、n选择是用户要遵守的判定规则，以确定在特定环境下所要使用的方法。当有多个方法可供选择时，GOMS中并不认为这是一个随机的选择，而是尽量来预测会使用哪个方法,这需要根据特定用户、系统的状态、目标的细节来预测要选择哪种方法。用户Sam: Rule 1: Use the CLOSE-METHOD unless another rule applies Rule 2: If the application is GAME, use L7-METHODGOMS应用作为一种人机交互界面表示的理论模型，GOMS是人机交互研究领域内少有的几个广为人知的模型之一，并被称为最成熟的工程典范，该模型在计算机系统的评

7、估方面也有广泛的应用。GOMS can save money!美国 公司NYNEX利用GOMS分析一套即将被采用的新的计算机系统的应用效果，结果发现效果不理想，放弃了使用新系统，为公司节约了数百万的资金。GOMS的局限性GOMS没有清楚的描述错误处理的过程，假设用户完全按一种正确的方式进行人机交互，因此只针对那些不犯任何错误的专家用户。GOMS对于任务之间的关系描述过于简单,只有顺序和选择.事实上任务之间的关系还有很多种（具体参见节中LOTOS的介绍），另外选择关系通过非形式化的附加规则描述，实现起来也比较困难。GOMS把所有的任务都看作是面向操作目标的，而忽略了一些任务所要解决的问题本质以及

8、用户间的个体差异，它的建立不是基于现有的认知心理学，无法代表真正的认知过程。 启发式评估启发式评估法就是使用一套相对简单、通用、有启发性的可用性原则（即“启发”）来进行可用性评估。具体方法是，专家使用一组称为“启发式原则”的可用性规则做为指导，评价用户界面元素（如对话框，菜单，在线帮助等）是否符合这些原则。 启发式评估虽然任何人都可以充当评审人员的角色，有试验表明，选用既具有可用性知识又具有和被系统相关专业知识的“双重专家”是最有效的，这样的双重专家比只用可用性知识的专家平局多发现大约20的可用性问题。每一个评审人员在12各小时的评估后都应该提供一个独立的报告，将各独立的报告综合以后就得到最后

9、的报告。在报告中应该包括可用性问题的描述，问题的严重性，改进的建议可用性启发原则(1)系统状态可见性系统与用户现实世界相互匹配用户控制权与自主权一致性与标准化帮助用户认识、诊断和修正错误可用性启发原则(2)错误预防识别而非回记忆使用的灵活性与有效性美观而精炼的设计帮助和文档系统状态的可视性在适当的时候应提供适当的反馈，以便用户随时掌握系统的运行状态。系统的反馈形式可以分为两类：一类是非文字反馈，另一类是文字反馈非文字反馈是指系统通过改变人机界面元素的外观或显示暂时的元素，让用户知道他们行动的结果文字反馈指的是系统根据用户的行动而产生的文字信息系统状态的可视性根据反馈显示时间的长短，可以分为非持

10、久反馈和持久反馈。非持久反馈只与某一个动作有关，在动作完成后，反馈也应被取消。一些非常重要的反馈则应该成为界面的一部分，持久显示与系统状态和反馈相关的可用性问题缺乏必要的反馈，没有清晰的系统状态反馈不够持久，用户没有足够的时间注意到或理解反馈的内容反馈没有立即显示非文字反馈不容易看到，或不容易理解不必要的反馈，或是反馈使用户慢下来让用户误解的反馈关于系统响应时间的一般约定0.1 sec.: 即时响应的极限时间.直接操纵、虚拟场景的导航.1 sec.: 片刻等待的操作.若长于1sec.，显示表示系统忙的光标.10 sec.: 使用户保持对当前交互关注的极限时间.如果长于10sec., 应显示操作

11、进度指示。网页下载时间网页的实际下载时间是指从用户点击网页开始到网页完全下载完毕的时间。根据美国2000年对网页实际下载时间的研究表明，用户对低于5s的下载时间的评价是良，6s到10s是中，高于10s是差。当下载时间达到时，用户普遍希望网页的质量可以提高一些系统应与用户真实世界相符合使用用户语言，也就是使用用户熟悉的词汇、惯用语和概念，而不是面向系统的术语。系统还应符合真实世界中的习惯，信息应该按一个自然、合理的顺序出现相关可用性问题的例子系统使用的词语和概念不符合用户的实际使用习惯，包括系统使用了用户不熟悉的术语，或是没有使用用户熟悉的术语系统使用的语言是以系统为中心的，而不是以用户为中心的

12、任务流程没有反映用户的实际工作过程系统的结构不符合用户对真实世界的理解系统使用的暗喻或比拟的方法不容易理解相关的系统功能没有组合在一起，或是没有正确地组合在一起，或是功能地组合和用户的理解不同用户的控制权及自主权提供标记醒目的“紧急出口”，便于用户退出异常状况与此相关的可用性问题的例子：在不可逆转的行动之前系统没有提供足够警告系统没有在适当的实际提供取消的功能系统的取消功能不明显或是很难找到系统不支持撤销的功能一致性和标准化避免用户无法确定不同的词汇（或情景、动作）是否具有相同含义的情形。一致性包括两个方面：内部一致性和外部一致性。内部一致性指的事系统的各部分之间要保持一致外部一致性是指系统应

13、该和其他系统、传统习惯及标准保持一致，也就是标准性相关可用性问题的例子界面元素的外观、布局和分组不一致界面元素的命名不一致系统反馈信息的格式不一致系统提供不一样的方法来操作相似的对象表达含义不一致，例如在不同的地方红色代表不同的意义设计标准和通用的标准不一致帮助用户识别、诊断和修复错误使用简明的语言，描述问题的本质并推荐解决方法。系统信息应该礼貌，不应该将错误归咎于用户。如“非法命令”或“非法用户名或密码”在设计错误信息时，另一个常见的策略是先为用户提供一个短的信息，如果这个信息不能满足用户的需要，他们可以用一个按键或链接找到更详细的帮助信息。短的错误信息用来处理比较常见的情况，读起来简单一些

14、，并且可以在大多数情况下帮助用户解决问题。相关可用性问题的例子错误信息使用了不当的幽默，或是用词不礼貌，消极，使人不愉快，具有威胁性，使用命令的口吻等错误信息赋予软件系统人的特点，使系统人格化错误信息使用户迷惑，不能帮助用户解决问题预防错误应尽可能预防错误的发生基于知识的行为和学习是没有区别的，这常常发生在人们刚刚开始使用一个新的系统的时候。在这个层次的行为中，错误主要是由于用户对系统理解的差错引起的。为了防止错误，应该为用户提供正确的帮助信息，帮助他们在解决问题的过程中建立对系统的正确理解预防错误基于规则的行为层次，用户根据记忆中已经形成的规则来处理所接受到的信息。错误常常是因为忽略了重要的

15、步骤，或是使用了错误规则来处理问题。在这个行为层次里，防止错误最有效的方法就是提供明确的文字提示，或是非语言的暗示（如鼠标的变化）预防错误基于技巧的行为层次，用户的行为是一种近乎机械的行为，他们可以不断地对接受到的信号进行条件反射式的处理。错误常常是与用户的知觉及运动技能有关。系统提供的信息应该能清晰地从背景中分辨出来，防止用户错误。在必要时，还应该使用户的行为提升到基于规则的行为层次，用正确的规则处理问题相关的可用性问题的例子用户不能学会怎样控制用户界面上的物体输入信息时，界面没有告诉用户所需的格式缺少非语言暗示用户界面上不同的物体太相识识别而非记忆使得对象、动作和选项清晰可见。用户应该不需

16、要在系统的一个部分记忆一些信息，才能使用系统的另一个部分，系统的使用说明应该在需要时容易找到，并清晰可见。相关可用性问题的例子系统的使用过于复杂，用户不得不记忆复杂的命令去操作系统界面提供的信息不及时，用户不得不自己从系统的另一部分找到相关的信息图像或符号难以理解，甚至误导用户菜单、选择或链接有太多的层次使用的灵活性及有效性提供一些新用户不可见的快捷键，以便有经验的用户快速执行任务。相关可用性问题的例子：系统缺少自动化，没有自动地执行下面地任务,例如，一个新的视窗打开时，视窗的大小不合适，用户不得不自己改变视窗的大小系统没有提供应有的默认值默认值不正确使用系统需要太多的控制动作系统没有提供捷径

17、，如：没有定义必要的功能键最小化设计用户界面应美观、精练，不应该包括不相关或不常用的信息。任何多余的信息都会影响哪些真正相关的信息，从而降低他们的可见性从视觉角度来说，界面上如果有几个元素距离比较接近，或是被先或线框所包围，或是一起移动、变化，或是在形状、颜色、大小、字体上比较相似，人们会认为他们是同一个部分或同属于一组。界面设计中正确地应用这个原则可以起到简化的效果，如果使用不当，则会引起用户理解上的混乱。最小化设计人体工程学告诉我们，人的注意资源是有限的，过多的信息不但会使新用户迷惑，也会让熟练用户慢下来。当人的心理活动指向和集中于某一对象时，该对象即成为人的注意中心，它所提供的信息，将得

18、到大脑最有效的加工。处于注意边缘的事物，虽位人所仪式，但大脑反映得模糊不清。而处于注意范围之外的事物，则完全不为人所仪式。所以，人机交互时，人不可能把界面上的所有元素全部接受并产生意识，当用户只能注意某一方面的信息时，就不能注意其他方面的信息。最小化设计因为用户注意资源的有限性，界面的设计不但要引导用户合理地使用他们的注意资源，也应该保持界面提供的信息精练简介，在界面上突出某一个元素的方法很多，如使用和背景或其他元素不同的颜色，使用粗体字或大一些的字号，放在页面左上角的信息比右下角的信息得到更多的注意相关可用性问题的例子用户界面上的元素太大或太小，元素的颜色、形状或文字不适当，不同意识别界面元

19、素的移动太快、太慢或不容易察觉声音使人感到被打扰、分心或使人烦恼屏幕上过于拥挤，界面元素的密度分布不均匀不相关的元素距离太近，互相干扰或使用不方便不同的元素太相似，例如，按键或链接看上去像一般的文字系统没有帮助用户注意到系统状态的变化帮助及文档提供易于检索、便于用户逐步学习的帮助信息实验表明，用户使用联机帮助比使用用户手册找到相关信息的时间要短。相关可用性问题的例子帮助信息或用户手册不存在帮助信息没有意义或使用户更加迷惑网站启发式评估参考Navigation，导航清晰指示了当前的位置清晰定义了首页的链接网站的所有主要部分都能通过首页访问如果需要的话，应该有个站点地图网站结构清晰，没有不必要的层

20、级如果需要的话，要有个易用的搜索功能Functionality，功能所有功能都被清晰地表示出来所有重要功能在不离开网站的前提下都可以使用没有不必要的插件网站启发式评估参考Control，控制用户可以取消所有操作在每一页，用户都可以找到清晰的离开本页的标识所有图片链接都和文字链接一样清晰可用网站的流程符合用户的操作流程支持所有主流浏览器Language，语言文案简洁没有术语Feedback，反馈现在网页发生了什么，应该一直都清晰的标示出来如果必要的话，用户应该能收到email反馈所有反馈都要及时准确如果需要安装插件或者需要特定的浏览器，必须告知用户用户可以通过email或者提交表单来提交反馈意见

21、如果必要的话，提供在线帮助网站启发式评估参考Consistency，一致性对任何元素都只有固定的一种叫法链接与其指向页面的标题要匹配对链接和已访问链接使用规范的色彩一致使用术语的普遍叫法Error Prevention，防止出错使用朴素的语言来表述错误信息错误信息需要给出下一步操作提示错误信息提供清晰的离开标识错误信息提供详细的帮助信息Visual Clarity，视觉清晰布局清晰足够的留白所有图片都有alt标记使用标准的模版认知性遍历（cognitive walkthrough） 进行认知性遍历活动，需要以下四个条件： (1)对系统原型的详尽描述，这种描述不一定是完整的，但要相当详尽。诸如菜

22、单的位置描述或措辞选择等这样的细节也可能导致相当大的差异。(2)对用户在系统中要完成任务的描述，该任务应当是大多数用户将要执行的有代表性的任务。(3)一个完整的、书面的操作清单，列出使用给定原型完成任务所需执行的操作。 (4）确定用户的身份，以及评估人员能够确定这些用户已具有哪一类别的知识和经验。 认知性遍历认知性遍历认为用户完成一个任务的过程有三步：1.用户在交互界面上寻找能帮助完成任务的行动方案。2.用户选择并采用看起来最能帮助完成任务的行动。3.用户评估系统作出的反馈，判断在完成任务上的进展。评审人员可以对用户的每个交互过程模拟这三个步骤去评价，并以回答下列三个问题为基础：1.界面上执行

23、正确动作的控件（按钮、菜单、选项等）是否可见？2.用户是否知道正确动作可以到达希望的结果？3.根据系统对动作的反馈信息，用户是否能够知道他的动作是否正确？ 用户测试1. 前期准备工作（1）明确测试的目的l帮助改进交互设计通过测试了解交互中有待改进的地方，要搞清楚为什么出错，而不仅仅是知道错了。可以在测试中收集过程数据定量的去观察发生了什么问题以及为什么会这样。l评估交互的整体质量根据一定的衡量指标，通过测试评估交互的水平，比如用户在某个交互任务上耗费的时间，任务是否成功，出错情况等等。也可对两个以上的可选设计针对确定的性能需求进行比较性评测。 用户测试（2）准备测试环境要确保测试环境的舒适。最

24、简单的是选一个安静的房间，贴上“用户测试中请勿打扰”，关掉 ，保证房间足够的亮度，给受测试者提供饮料；如果有可能的话使用专门的可用性实验室。（3）准备测试设备包括记录测试过程需要的摄像机，三脚架，麦克风，耳机，单向透光的镜子，彩色监视器，录像机，录像带，电源线，扩展插座，“请勿打扰”标志，饮料，记录软件或表格等等。 用户测试（4）确定测试过程中的各种角色分配 l 测试负责人负责全面控制测试，执行所有与测试用户的交谈，以及撰写任务报告等。 l 数据记录员记录测试过程中的重要事件和活动。 l摄像操作员对整个测试过程进行录像，包括开始的介绍和最后的任务报告部分。 l计算机操作员负责在测试之前，为每个

25、新的测试用户准备交互初始界面和在系统崩溃、死机时进行重新启动等处理。 l测试者或测试用户-参加测试的系统实际使用者。 测试用户摄像机可用性工程师测试间观察间摄像记录控制设备其他观察者单向透光的镜子用户测试2测试执行的六个阶段为了有效地进行可用性测试，需要正确设计、准备和执行试验。一个测试执行过程一般要经过一些步骤。 具体步骤见 “用户测试执行步骤”表。 3可用性测试的评价 用户测试执行步骤阶段工作内容1.制定测试计划计划的主要部分包括测试目标、问题陈述、目标用户特征、测试方法、测试任务列表、需要收集的数据、测试报告内容等2.选择测试者根据目标用户特征选择有代表性的用户，将他们分为几类，每一类包

26、含若干用户；测试用户来源应该广泛，有条件的话可以建立一个测试用户数据库3.准备测试材料包括：（1）测试指导书，说明测试的目的、介绍测试注意事项等；（2）背景问卷，用来收集用户的有关信息，以便在测试过程中更好地理解用户的表现；（3）训练脚本，精确描述正式测试步骤，演示测试中的各种要求（4）任务场景描述，给测试用户的测试描述（5）数据采集表格和测试后问卷，采集用户数据和收集用户在测试中的感受、观点、建议等（6）最后将要做的事情按时间顺序列成表格备查续表阶段工作内容4.执行引导测试对整个测试程序执行引导测试，发现那些对测试的含糊描述和容易出错的地方5.执行正式测试执行测试，测试过程中不要给用户任何提

27、示；测试结束，与用户做测试后面谈调查；对特别有趣的问题和发现的问题保存屏幕快照；深入了解测试笔记中记录的问题；复查测试后调查问卷；整理观察者提出的问题等6.分析最终报告汇编和总结测试中获得的数据，例如完成时间的平均值、中间值、范围和标准偏差，用户成功完成任务的百分比，对于单个交互，用户做出各种不同倾向性悬着的直方图表示等。分析数据，找出发生错误的或使用比较困难的交互，逐个分析他们的原因，并根据问题的严重程度和紧急程度排序撰写最终测试报告。可用性测试的评价（1）通过搜集一些客观、量化的数据进行性能评价 完成特定任务的时间在给定时间内完成的任务数目发生的错误数目 成功交互与失败交互的比率恢复错误交

28、互所消耗的时间使用命令或其他特定交互特征（如快捷键）的数量测试完毕后用户还能记住的特定交互特征的数量使用帮助系统的频度使用帮助的时间用户对交互的正面评价与负面评价的比率用户偏离实际任务的次数 可用性测试的评价（2）如果要比较两个可选的交互设计，即对两个交互界面A和B根据某一准则做一个客观的测试，决定那个更好，可以采用如下方法：选择两个同等规模的测试用户群将用户随机分配到两个组中在每个组内执行同样的任务规定第一组只使用系统A，第二组只使用系统B，分别进行测试可用性测试的评价（3）统计分析使用统计学原理和手段对得到的测试数据进行进一步的统计分析。比如使用统计学中的假设检验，判断系统A与B有没有统计

29、意义上的明显差别。使用统计学中的点估计、平均值等指标评价差别的大小，对结果的准确性进行判断等。问卷调查(Questionnaire)优点：问卷法节省时间、经费和人力，这是为什么经常采用问卷法的原因。 问卷法调查结果容易量化。问卷调查是一种结构化的调查，其调查问题的表达形式、提问的顺序、答案的方式与方法都是固定的，而且是一种文字交流方式，因此，任何个人，无论是研究者，还是调查员都不可能把主观偏见代入调查研究之中。其调查的统计结果一般都能被量化出来。 由于问卷调查结果便于统计处理与分析。现在有大量的相关统计分析软件可以帮助我们进行数据分析，有些甚至能直接帮助我们设计问卷。方便实施和分析。也方便进行

30、数据挖掘。 现在的电子问卷克服了纸质问卷的一些缺点，方便实施与调整。虽然他不可能取代面对面的问卷调查，但由于成本更低，更容易及时调整问卷设计上的不足，越来越多的问卷采用电子问卷的形式，可以通过网站，email进行发布与回收。数据直接使用数据库记录，方便筛选与分析。 问卷调查法可以进行大规模的调查。无论研究者是否参与了调查，或者参与的多少，都可以从问卷上了解被访者的基本态度与行为。这种方式是其他任何方法也不可能做到的，而且问卷调查可以周期的进行而不受调查研究人员变更的影响,可以跟踪某些问题用户的变化。 问卷调查缺点：面向设计的问题问卷调查比较难面向未来的调查（为设计进行的调查）很多时候需要了解用

31、户的意图、动机和思维过程。问卷调查这类问题往往效果不佳，或者说问题设计比较难。而开放式的问题，回收质量、分析和统计等工作也会受影响。 调查问卷设计难调查问卷的主体内容设计的好坏，将直接影响整个专项调查的价值。问题的设计需要大量的经验，不同的人针对同一个问题，尤其是面向思维的问题，设计问卷差别可能会很大，信度和效度控制需要丰富经验。 调查结果广而不深。问卷调查是一种用文字进行对话的方法，如果问题太多，被访者会产生厌烦情绪，因此，一般的问卷都比较简短，也就不可能深入探讨某一问题及其原因； 问卷调查经常采用由用户自己填答问卷的方式，所以其调查结果的质量常常得不到保证。因为在被访者填答问卷时，用户的调

32、查过程我们很难得知，是我们需要调查的真实用户吗？（经常有人冒充用户参与调查，目的是为了获得参与调查的回报与奖励）用户当时的情绪状况是怎么样的？是否有其他人影响用户的回答？是否是同别人商量进行填答？用户是否是随意填写问卷的？得到的结果是用户的真实情况？研究者并不知道，所以有人说过：“问卷调查法所得资料的信度与效度问题一直是困扰问卷法的幽灵”。 问卷调查的回收率难以保证。问卷调查必须保证有一定的回收率，否则资料的代表性就会受到影响，回收率受问卷长度，问题难易程度，是否涉及隐私，参与调查获得回报多少等因素相关。另外，网络调查的回收率一般都不高，质量也难以保证。 问卷调查在学术论文中常见的可用性问卷包

33、括：用户交互满意度问卷（questionnaire for user interaction satisfaction,QUIS）（）软件可用性测量目录(software usability measurement inventory,SUMI)计算机系统可用性问卷(computer system usability questionnaire,CSUQ)。SUMI软件可用性测试目录爱尔兰University College Cork的人因素研究组（Human Factors Research Group (HFRG) at University College Cork, Ireland）开

34、发出软件可用性测试清单（Software Usability Measurement Inventory，缩写为SUMI），通过测试用户满意度去评价用户感知到的软件质量（User Perceived Quality）。它是MUSiC项目中的一部分。它是国际标准化的50项问卷，在英国、德国、荷兰、西班牙和意大利都有效。大约花费10分钟可以完成一次调查。这个测试要求的人数至少为有代表性的用户10人。 SUMI软件可用性测试目录SUMI提供了三种测试：整体性的评价。满分为100，平均分50，标准偏差10，大多数软件得分为40-60分）。 可用性分解因素：它把可用性整体性评价分解成5个子参数：喜欢程度（affect），效率（efficiency），帮助性（helpfulness），用户控制程度（control），可学习性（lear