用户体验测试和评价

1、用户体验测试与评价产品的用户体验测试评价就是把构成产品的软、硬件系统按其性能、功能、 界面形式、 可用 性等方面与某种预定的标准或者预想进行比较， 对其做出评价。 用户体验测试与评价是产品 开发设计的一个重要步骤。 产品的成功与否需要通过评价以及用户的实践， 才能得到最终的 判定。8.1 概述从体验的过程角度来讲， 用户体验评价大致可分为两类： 一类是在产品完成之后做出的最终 评价，称为总结性评价( Summative Evaluation)；另一类是在设计过程中的评价，称为阶段性评价( Formative Evaluation )。这两类评价在产品的开发过程中都起着重要的 作用， 是整个用户

2、体验设计的有机组成部分。 其中，阶段性评价强调在评价中采用的是开放 式手段，如访谈、问卷、态度调查以及量表技术；而总结性评价则大多采用较严格的定量评 价，如反应时间和错误率等。从被试选择来看，用户体验也可以分为两类： 一类是用户评价 ( User-Based Evaluation)，有时也称用户测试；另一类是专家评价( Expert-BasedEvaluation )。如图 8.1 所示。图 8.1 用户体验测试与评价的分类可用性评估可以分为三个类别：可用性测试( Usability Test )、可用性调查( Usability Inquiry )和可用性检验( Usability Insp

3、ection)( Karat ，1997 ； Zhang ，2003 )。可用性测试的方法比较多，如焦点小组、认知路径法( Cognitive Walkthrough )和启发 式评价( Heuristic Evaluation )等( Nielsen and Mack ，1994 )。 Santon 和 Young (1998 )在文献回顾的基础上分离出了60 余种可用性测试方法。根据产品的具体开发阶段，可用性测试方法可分为四类：探索性测试( Exploratory Test )、评估性测试 (Assessment Test )、验证性测试(Validation Test )和对比性测试 (

4、 Comparison Test ) (张光强等， 2001 )。图 8.2 社区类网站可用性测试场景示例 针对测试方法，人们也在不断地探索和完善之中。周荣刚( 2007 )提出了一种用户体验质 量综合评价的模型： 首先建立了包括人机交互角度、 用户角度和观察者角度的用户体验质 量的 360o 指标体系模型， 然后针对可用性概念的模糊性及其综合评价中的问题， 应用层次 分析法确定了指标体系中相关因素的权重， 并根据模糊隶属度函数对用户体验质量评价标准 进行了模糊化处理，最后采用模糊评价方法对用户体验质量进行评价。8.2 用户体验测试与评价的意义软件或系统正式交付前需进行严格测试， 使用户进行评

5、价。 严格的测试方法和评价标准可以 促进产品的设计。据统计，在开发新软件时，微软都要将其 Beta 版发往全世界上千个专业 用户进行试用，以提出进一步的修改意见，仅此每年可以为软件开发节省数 10 亿美元。对用户体验的测试和评价可以起到以下作用：(1 )更加贴近市场，通过市场反馈，进一步了解市场和用户的需求，改进产品的设计；(2 )降低产品或者系统技术支持的费用，缩短最终用户训练时间；(3 )减少由于用户界面问题而引起的软件修改和改版问题；（4 ）使产品的可用性增强，用户易于使用；（5 ）更有效地利用计算机系统资源；（6 ）帮助系统设计者更深刻地领会以 “用户为核心 ”的设计原则；（7 ）在界

6、面测试与评价过程中形成的一些评价标准和设计原则对界面设计有直接的指导作 用。8.3 用户体验测试与评价的准则Macintosh 机之保证在整个产品在设计早期，用户体验设计师组织一份设计准则是有必要的。苹果公司的 所以获得成功， 原因之一是它早期为应用开发人员建立了一组明确的准则， 开发周期中的协调。设计准则应考虑以下几方面的问题：（1 ）产品运行前后的一致性；（2 ）产品的界面方式及可选项内容；（3 ）系统提示、反馈、出错信息的内容；（4 ）产品界面中各种术语、缩写、图符的内容、式样、对齐方式等的定义；（5 ）色彩、亮度、闪烁、图像等技术的使用；（6 ）各种输入输出设备的类型和使用；（7 ）产

7、品操作响应时间和显示速率；（8 ）命令语言的语义、语法、序列；（9 ）系统控制的灵活性；（10 ）系统满足适当的功能；（ 11 ）可编程的功能键的使用；（12 ）产品出错显示和恢复；（13 ）联机帮助和指导；（14 ）培训和参考资料。设计准则的建立主要目的是提出设计原理， 为开发人员提供设计的功能需求。 准则文件前后 应一致并保持文件的完整。 它提供了严格的标准， 同时具有一定的灵活性， 可以根据用户体 验设计的发展以及用户需求的变更增加新的内容。 这样，用户体验开发的执行过程就会很快， 并减少设计的改变。8.4 评价指标和形式8.4.1 评价指标经过可用性工程界多年的不懈努力， 对可用性衡量

8、标准的看法逐渐趋于一致，那就是： 可用性是特定产品在特定使用环境下为特定用户用于特定用途时所具有的有效性（Effectiveness） 、效率 （Efficiency） 和用户主观满意度 （Satisfaction） （张丽萍等， 2003 ）。对于用户体验的评价可以使用不同的四类评价指标，它们是：（1 ）设计功能的评价（2 ）信息架构的评价（3 ）设计效果的评价（4 ）设计问题的诊断8.4.2 评价形式（1 ）从设计评价的主体区分（2 ）从评价的性质区分（3 ）从评价的过程区分8.5 用户体验测试与评价方法一般来说， 用户体验测试主要是借助定性和定量的方法， 对用户的生理、 心理和行为等相关

9、 指标进行研究。用户体验的测试与评价方法还可以参照第四章中的 4.2 用户研究方法，这 些方法同时也可以被用来对产品的用户体验进行测试和评价。 其他有关评价方法也可以参照 人机界面设计（罗仕鉴等， 2002 ）一书第十二章。8.5.1 原型评价方法5 / 16在产品研发过程中， 对于界面设计以及程序的测试来获得用户的反馈是至关紧要的。 以用户 为中心和交互式设计的重要因素之一就是原型( Prototyping )方法，原型方法的目的是将 界面设计与用户的需求进行匹配。8.5.2 简易测试评价方法在条件不允许的情况下， 可以采取简易的方法来对用户体验进行评价。 其实验构成如图 8.3 所示。图

10、8.3 简易用户体验测试实验室8.5.3 眼动追踪评价方法眼动在人的视觉信息加工过程中， 起着重要的作用。 它有三种主要形式： 跳动( Saccade )、 注视( Fixation )和平滑尾随跟踪( Smooth Pursuit )。眼动追踪可用于揭示用户在研究对象上感兴趣或注意的空间位置及注意的转移过程， 因此用 眼动追踪技术可以进行界面分析、 可用性测试以及人操作的内因分析等。 眼动追踪主要跟踪 眼睛的运动以及瞳孔的变化，已经有 60 多年的历史了，用于神经生理学和眼科学、知觉和 认知、临床研究、人机互动、人机工程学、图形用户界面、网络、广告心理学、眼控人机界 面、虚拟现实、生物医学工

11、程、人工智能和机器人学、警觉、运动心理学、军事、航空和交 通心理学、人事评鉴等。如 Thomsen 和 Fulton (2007 )借助 ASL Eye-TRAC 6000 系 统，以 63 名 12 14 岁之间的青少年为被试，以 6 幅杂志广告为研究对象(如图 8.4 所 示)，研究了青少年对于酒广告的注视度以及回忆性。结果发现， 青少年对于文字信息的关 注度比较少，只使用了平均 0.35 秒， 7 的关注时间，而对于酒瓶、商标和卡通等内容关 注度较高； 但是只有少部分人能够回忆起广告的内容。 Ozcelik 等(2009 )借助 Tobii 1750 5 / 16EyeTracker 系

12、统，以 52 名 19 27 岁之间的研究生为被试，采用眼动跟踪方法研究了色 彩编码对多媒体学习的影响， 结果显示， 色彩编码具有保持记忆和转化的功能， 能够增强图 形与文字之间的联系，同时有助于对显著信息的理解。图 8.4 6 幅酒的印刷品广告在工业设计、用户体验设计、人机交互设计领域， 眼动追踪可以用来评价对产品（包括硬件产品和软件产品）设计的感性意象，评测产品设计的特性。图 8.5 The EyeLink II头戴式眼动仪图 8.6 眼动仪在实验中的情景在眼动追踪中， 眼动仪会记录下眼球注视的点并形成区域、 注视顺序注视点的时间以及路径， 如图 8.7 所示。图 8.7 注视点、注视顺序

13、以及注视点的时间下图 8.8 为 Tobii Demo 中被试的眼动跟踪结果图（八比特熊咨询公司， 8-bit BearConsulting ），红颜色表示关注时间最长，黄颜色其次，绿颜色最短。从图中可见，被试 关注页面中心和右上角的图片的时间较长。17 / 16图 8.8 Tobii Demo 中的眼动跟踪结果图图 8.9 眼动追踪对广告、网页界面的评估图 8.10 眼动追踪对手机界面与汽车外形进行评估8.5.3 行为观察评价方法大多数可用性实验室都配备或开发了软件， 以观察和登记用户的活动， 并有自动的时间标志。 在用户与界面进行交互时， 界面系统自身能够对用户输入的某些数据进行自动记录，

14、 例如出 现的错误、 特殊命令的使用等， 还可以通过计时器， 对用户输入进行统计以得到各个事件的 发生频率等。与其他观察方法相比，系统监控记录的数据比较精确。其次， 在监控系统建立以后，收集数 据和统计的过程非常自动化和可靠， 而且获得的数据客观公正、 具体明确， 为进行系统性能 的评价、对比提供了客观的基础，并且不存在对用户的任何干扰。 其缺点是局限性较大，一 般只能搜集到用户对系统的直接操作， 不可能收集到有关用户主观性的活动 （例如思考） 之 类的信息。因此，这种方法最好与其他方法一起共同使用。用录像机记录下用户与界面交互的整个过程， 包括用户的操作、 界面显示的内容， 以及用户 其他各

15、种状态，如思考过程等。事后向设计者重放，显示用户遇到的问题。与直接观察法相比， 它有提供大量丰富的数据信息等优点， 并且能长期保持完整的人机交互 的记录，提供反复观察和分析的可能。其缺点是录像记录一般都长达 23 小时，分析起来 非常费事。 因为用录像设备很费钱费时， 录像带的重放检验也是一个很乏味的工作， 所以只 有在想要发现特别的偶然事件时才在关键阶段使用。图 8.11 为行为观察场景。图 8.11 场景观察目前，我们主要采用荷兰 Noldus Observer XT 行为分析系统对产品和界面进行测试和评 估。荷兰 Noldus 公司的 Observer XT 行为分析软件 （包括三种型号

16、： Observer XT Basic ， Observer XT Mobile和 Observer XT Video ），对人的思维动态及行为过程进行科学的数据化的分析，使研究更目的化、条理化和科学化。广泛应用于研究儿童教育、儿童心理、 犯罪心理、昆虫行为、动物行为、人的行为等方面。在工业设计、用户体验设计、人机交互 设计领域，它可以用来测量用户的操作行为，包括操作时间、路径等，用以评估对产品（包 括硬件产品和软件产品）设计的感性意象，评测产品设计的特性。图 8.12 和图 8.13 分别 为行为分析的场景和数据分析。图 8.12 行为分析的场景图 8.13 行为分析的数据分析行为分析系统可

17、用来记录分析被研究对象的动作、姿势、运动、位置、表情、情绪、社会交 往以及人机交互等各种活动； 记录被研究对象各种行为发生的时刻、 发生的次数和持续的时 间，然后进行统计处理，得到分析报告。8.5.4 脑电信号评价方法一般认为，脑电信号( Electroencephalogram，EEG )是由大脑皮质神经元突触后电位总和而形成， 主要通过波幅、 潜伏期和电位或电流的空间频率等指标来提供大脑工作过程的 信息。脑电可以直接反映神经的电活动， 有极高的时间分辨率。 因此，它受到研究者的重视， 成为一种比较成熟的认知神经科学手段。人体的脑电信号的幅值十分微小( V)，加上人 体又是电的不良导体(内阻

18、在 1M 数量级)，脑电信号源的输出阻抗很高，这对脑电放大 器和脑电电极以及安置方法等各方面都提出了很高要求。脑电信号通过对头皮电极采集， 记录脑电信号， 通过放大器对信号进行滤波、 放大与模数转 换传递并储存到电脑中。 研究者通过后期分析软件提取和分析其中的有用信息， 并做后期数 据信号滤波、叠加、平、输出图形报告和脑电信号源定位，主要应用于心理学、认知科学和 产品设计领域。 通过对脑电信号的分析， 研究者可以探索大脑的认知加工过程和受试者的心 理状况。图 8.14 所示为美国 EGI 公司的 GES300 (Geodesic EEG System 300)128通道脑电(事件相关电位)系统

19、( EGI research catalog， 2008 )。图 8.14 GES300 系统在实验过程中，需要将电极帽佩戴在头上，如图 8.15 所示。图 8.15 GES300 系统在做实验的情景图 8.16 GES300 系统在作驾驶实验的情景GES300 系统采用新一代源分析软件 GeorSource ，它整合了目前最佳的线性逆解方法 （LORETA 和 LAURA ）。它将大脑进行三维分割，得到 2400 多个体素，用户只需通过简 单的设定即可获得每一个体素的信号强度， 得到大脑活动时所有脑皮层的完整特征描述。 由 于所有计算均由计算机自动完成， 没有源定位经验的用户也能够轻松掌握。

20、 另外， GES300 系统具备有限差分模型（ FDM ），第一次对公共头模（ Atlas Man ）进行精确重建，得到 了精确的大脑几何构造，可以生成更为精确的源定位结果。 GeorSource 源分析软件可以 将 EEG 数据与信号源影像学数据（ MRI 切片图）精确同步显示回放，从而揭示了在某一特 定时间点（毫秒）上信号源活动与头皮电位（ EEG ）的关系。图 8.17 GES300 系统数据采集与分析系统数据分析热图图 8.18 GES300当然，脑电技术也存在一定的缺陷，例如：（ 1 ）在空间分辨率上存在着局限性，因而对某 些认知过程脑区的定位并不是非常准确；（ 2 ）在许多相似的实验研究中，由于研究者采用 了不同的实验材料和方法等，导致实验结果存在诸多差异；（3 ）由于采集、记录时间的滞后性，脑电所记录的并不一定是被试者当下所想到的。8.5.5 用户体验问卷调查表用户体验设计评价有很多种方法， 编写用户体验问卷调查表是一种费用少、 管理人员和用户 双方都能接受的方法。 这个方法