《用户体验设计导论》第14章-用户体验质量的测试与评价课件

用户体验设计导论IntroductiontoUserExperienceDesign第十四章用户体验质量的测试与评价王晨升，陈亮编著.用户体验设计导论[M]，机械工业出版社，2020.09.内容CONTENTS01用户体验质量的概念02常用用户体验测试方法03用户体验质量的评价方法用户体验质量的概念TheConceptofQualityofExperience01用户体验质量评判的要素用户体验质量评价的意义用户体验质量评判的要素用户体验质量评判的要素，是指在用户体验评价中起到显著影响的因素的集合。由于人类的感觉的复杂性和产品的多样性，体验要素并没有确切的标准可资借鉴，它随产品或服务而异，也与用户对象及其属性（文化背景、生理特征等）密切相关，同时还受到社会与自然环境的制约；产品或服务的可用性是影响用户体验质量的关键要素之一。图14-1用户体验质量评判的要素用户体验质量评判的要素从宏观上看，美国学者杰西•詹姆斯•加瑞特（JesseJamesGarrett）将用户体验要素划分成了战略层、范围层、结构层、框架层和表现层；罗伯特•鲁宾诺夫（RobertRubinoff）于2004年发表的论文中，提出了网站的用户体验四要素（图14-2），即品牌、可用性、功能性和内容，认为只有这四方面共同作用才能产生一个积极的用户体验。有学者按体验的类型划分成感官体验，即呈现给用户视听上的体验，强调舒适性；交互体验，即用户操作上的体验，强调易用/可用性；情感体验，即用户心理感受，强调友好性；浏览体验，即用户浏览时的感受，强调吸引性；信任体验，即给用户的信任度，强调可靠性。也有学者按需求层次理论将用户体验定义为五个要素（图14-3），即漂亮----对应于感觉需求；合用----交互需求；高兴----情感需求；尊重----社会需求；自信----自我需求等。图14-2网站用户体验宏观四要素图14-3基于需求层次的宏观用户体验要素用户体验质量评判的要素微观方面的用户体验要素，主要指能创建积极体验的关键组成部分，如对网站来说包括信息构建、信息设计、工作流程、资源转换、界面设计和跨平台的兼容等，其中信息构建是网站体验的核心。也有人将前述类型细化成数十个子项来构成体验评估的微观要素。用户体验调查表（UserExperienceQuestionnaire，UEQ）是美国SAP公司开发的一套定量分析微观用户体验的工具，它让用户对一系列细化指标在问卷上表达出在使用产品或服务中的感受、印象和态度，系统会自动生成覆盖体验多个方面的量化表，如在易用性方面，包括高效（Efficiency）、易懂（Perspicuity）和可信任（Dependability）等三个指标；在感官方面，包括吸引度（Attractiveness）、激励性（Stimulation）和新鲜度（Novelty）等指标（图14-4）图14-4微观用户体验调查表示例用户体验质量评判的要素用户在使用产品时的心理负荷（MentalWorkload）水平，也直接影响着主观满意度。心理负荷是和体力负荷相对应的概念，即在进行一项操作或完成一个任务时所要花费的心思和承受的心理压力。在心理学上，耶基斯-多德森（Yerkes-Dodson）定律描述了心理唤醒水平（Arousal）和操作绩效（Performance）之间倒U字型的关系，而心理负荷和唤醒水平又正向相关（图14-5）。美国航空航天局（NASA）基于此定律开发了认知负荷量表（NASA-TLX）来测量用户完成一项任务时的心理负荷水平，这是目前适用范围最广、效度最好的心理负荷量表之一，它从微观上将影响用户心理负荷的因素细分为六个维度，包括心理需求（MentalDemand）、体力需要（PhysicalDemand）、时间需要（TemporalDemand）、绩效（Performance）、努力程度（Effort）和挫败感（Frustration）。通常被试者在这六个维度上对自己的行为进行打分，再根据对应各维度不同的权重计算出最终的心理负荷指数。图14-5耶基斯-多德森定律曲线图14-6NASA-TLX量表用户体验质量评价的意义通过对各个开发阶段的用户体验质量的评价，及时发现存在的问题，可使产品的迭代开发目标更明确、过程更高效。开展用户体验质量评价，首先需要认识用户体验的价值、理解其意义所在，这里存在两个误区，一是试图把用户体验工作的贡献从全部工作的贡献中分离出来；二是把“用户体验的价值”等同于“用户体验人员的价值”。事实上，在产品开发前、中、后期，都需要体验研究员、设计师和产品经理等一起合作来改进产品体验质量。其中在产品开发前期和中期的用户体验工作最为重要，这时的探索和验证能极大程度地减少产品研发过程中可能出现的错误和风险。用户所关心的是最终的、综合呈现的体验效果，而不是哪些人、在哪个产品环节上做出了一个好的用户体验（体验的全局性）。所以用户体验质量的评价是完全融入产品研发与运营的全程中的，也是关乎产品成败的关键工作。常用用户体验测试方法TheCommonUserExperienceTestingMethods02用户体验测试流程及注意事项用户体验测试方法用户体验测试流程及注意事项第一阶段：测试前的准备1．编写测试脚本。测试脚本也称测试方案，是用户测试的一个提纲。测试任务的制订一般由简至难，或者根据场景来确定。明晰用户需求是制订高质量的用户测试脚本（方案）的前提，一般由访谈或问卷、量化和评估用户需求等步骤来得到结果。2．用户招募+体验室的预订。用户测试一般需要6～8人，也可酌情增减；男女比例要符合产品目标用户比例；并要考虑将来会使用、或者是很可能使用该产品的目标用户；根据测试目的不同可选择新手、普通或高级用户。在时间紧迫时，如只是为了简单地发现产品存在哪些可用性问题，也可让公司内部员工充当用户、参与测试。正规的用户测试要在体验室进行，不仅需要录音、录屏，还需要观察人员观察用户的具体操作，并做详细的记录。因此测试前需要进行体验室的预订；在非正式情况下，一台笔记本电脑、一间会议室也可以进行用户测试，虽然简陋，但足以完成对基本可用性问题的发现。第二阶段：进行测试一切准备就绪后，就可以开始进行用户测试了。测试时需要一名主持人在测试间主持测试，1～2名观察人员在观察间进行观察记录；过程需要录音、录屏，以备后期分析；测试时尽量不要对用户做太多的引导，以免影响测试效果。具体的步骤包括向用户介绍测试目的、测试时间、测试流程及测试规则；签署保密协议并填写基本信息表；让用户执行指定任务，尽量边做边说，说出自己操作时的想法和感受；收集用户反馈；对参试用户表示感谢等。第三阶段：测试后总结测试后需要进行测试报告的撰写，并将测试结果与相关人员进行分享，具体有主持人与观察人员要进行即时沟通，确定体验问题的分级并汇总简要的测试报告，以抛出问题为主，不做过多的建议；报告确认后，召开会议将测试结果与相关人员进行分享；确定产品发布前需要进行优化的具体问题并进行分类，明确解决问题的关键人。关键是要落实到人。用户体验测试方法1．认知预演（CognitiveWalkthroughs）认知预演是由德国计算机和认知学家克莱顿•刘易斯和凯瑟琳•沃顿（等于1990年提出的，该方法首先要定义目标用户、代表性测试任务、每个任务正确的执行顺序、用户界面等；然后进行行动预演，并不断地向用户提出问题，如能否建立任务目标、能否获得有效的行动计划、能否自主采用适当的操作步骤、能否根据系统的反馈信息评价任务是否完成等；任务完成后，对执行过程进行评价，诸如应该达到什么效果、某个行动是否有效、某个行动是否恰当、某个状况是否良好等，最终得到用户体验的定性度量。其优点在于，能够使用任何低保真原型包括纸原型；缺点在于评价人并非真实的用户，未必能很好地表征用户的特征。2．启发式评估（HeuristicEvaluation）启发式评估方法是由雅各布•尼尔森和罗尔夫•毛里克于1990年提出的，该方法通常由多位专家（一般4至6人）参加，根据可用性原则反复浏览系统各个界面，独立测试系统；允许用户在独立完成测试任务之后，讨论各自的发现，共同找出可用性问题，给出体验感受。其优点在于专家决断比较快、使用资源少，能提供综合测试结果，测试机动性好；不足之处一是会受到专家的主观影响较大；二是没有规定任务，会造成测试目标的不一致；三是测试后期阶段，由于测试人的原因可能造成信度降低；四是专家与用户的期待存在差距，这意味着所发现的问题可能仅能代表专家的体验感受。3．用户测试法（UserTest）指让用户真正地使用产品或服务，由实验人员对过程进行观察、记录和测量。用户测试可分为实验室测试和现场测试，前者是在实验室里进行的，而后者则是到实际使用现场进行观察和测试。测试之后，测试人员需要汇编和总结测试中获得的数据、并进行数据分析，比如完成时间的平均值、中间值、范围和标准偏差、以及用户感受、成功完成任务的百分比、对于单个交互用户做出各种不同倾向性选择的直方图表示等；然后对分析结果进行评估，并根据体验问题的严重和紧急程度排序，撰写最终测试报告。用户体验质量的评价方法EvaluationMethodsofQualityofExperience03基于统计学的评价方法基于心理学的评价方法基于人工智能的评价方法基于随机模型的评价方法基于统计学的评价方法

基于统计学的评价方法（2）其次，利用主成分分析法（PrincipalComponentsAnalysis，PCA）进行因子提取，并且进行旋转。主成分分析法是一种对数据集进行降维的方法，它通过一个线性变换将变量映射为一组因子；然后依次取方差最大的前m个因子，并确保这m个因子累计贡献率达到85％～95％。（3）最后，进行结果处理，包括对得到的每个因子进行命名。因子的命名应能解释其代表的含义；然后再计算每个因子的值，以便以后利用这些因子进行问题的分析。基于统计学的评价方法【例】对某3G网络下视频质量QoE的评价。采用主观参数因子分析法，主观参数可分为质量层面和情绪层面，这里仅介绍质量层面主观参数的分析。首先对质量层面的主观参进行KMO检验，得到表11-1给出的示例。由于KMO值大于0.6，所以可以用PCA（PrincipalComponentAnalysis，PCA）方法进行数据降维。它的主要过程是，首先将这些数据进行标准化处理；其次利用主成分分析方法和方差极大旋转方法进行处理；最后对这些主成分进行可靠性分析，得出的最终结果如表14-2所示。通过PCA处理，可以将质量层面的参数用两个不相关的参数，即空间质量（Spatialquality）和时间质量（Temporalquality）来代替。这样质量层面的参数从6个变成了2个，大大降低了原问题的复杂度。质量层面KMO=0.75内容5个级别合适性5个级别音频质量5个级别图像质量5个级别流畅性5个级别音/视频同步5个级别第1个主成分（空间质量）方差解释

可靠性43.26%

克朗巴哈系数=0.73问题条目因子载荷公因子方差内容0.830.71音频质量0.720.57合适性0.720.52图像质量0.560.66第2个主成分（时间质量）方差解释

可靠性18.91%

r=0.28,p=0.00问题条目因子载荷公因子方差流畅性0.850.75音/视频同步0.650.53表14-1QoE质量层面的主观参数示例表14-2质量层面的PCA分析基于统计学的评价方法2．QoE评价指标与QoE之间的相关性分析。每个指标对QoE的影响度通常可用统计学中的相关性分析和方差分析来确定。式（14-2）给出的相关系数r，在某种程度上反映了两变量间的相关关系。但由于抽样误差的影响，根据r值的大小来判断两变量间的相关关系时，必须进行显著性检验。表14-3给出了上例中QoE的5个评价指标与QoE之间的相关性分析。表14-3QoE的5个评价指标与QoE之间的相关性主成分皮尔逊相关系数显著性空间质量r=0.82p=0.00时间质量r=0.43p=0.00满意程度r=0.73p=0.00兴趣r=0.37p=0.00关注级别r=0.12p=0.00基于统计学的评价方法3．QoE统计学模型与模型验证。在进行了评价指标之间和评价指标与QoE之间相关性分析之后，可以采用回归分析和判别分析的方法，来构建QoE评价的函数模型：（1）若将QoE映射为一连续的值，则应采用回归分析的方法建立QoE评价模型，如线性回归模型、指数回归模型或对数回归模型。回归分析方法是：首先做散点图以观察曲线的形状。若坐标轴相关点呈团状分布，则表示两变量没有任何关系；如果两变量有关系，则它们可能是最简单的直线线性关系或非线性关系。非线性关系又分两种：一种是本质线性关系或拟线性关系，这两种情况都可以转换成线性关系，用最小二乘法求出相关系数；另一种是本质非线性关系，不可转换成线性关系，仅能用迭代方法或分段平均值方法求解.（2）若将QoE映射为离散的值，则QoE的评价问题就等价为一个分类问题，这时可以采用判别分析法，具体步骤为：选择QoE的评价指标；收集数据，得到训练样本，并利用训练样本给出判别函数；对判别函数进行验证分析；输出结果，得出结论。一般来说，QoE的函数模型需要进行验证。常用的有自身验证、外部数据验证、样本二分法以及交互验证等。因子分析大多采用统计产品与服务解决方案软件（StatisticalProductandServiceSolutions，SPSS）来实现，可以节约很多时间；具体请参阅有关说明。基于心理学的评价方法基于心理学的评价方法，其本质就是利用心理学领域著名的韦伯-费希纳定律（Weber-FechnerLaw）来进行QoE的评价。

基于心理学的评价方法2、韦伯-费希纳定律与QoE评价。这里以通信中语音业务的OoE与比特率的关系为例，来说明韦伯-费希纳定律在QoE评价中的应用。如图14-7所示，将比特率作为唯一变化的因素，变化范围从2.4kbps到24.8kbps，并且利用PSQA（Pseudo-SubjectiveQualityAssessment）方法，计算出语音业务的平均主观意见分数（MeanOpinionScore，MOS）。由于图中横坐标经过了对数处理，因此可以更清楚地看出语音业务的QoE与比特率成对数的关系。如果将比特率理解为物理刺激、语音业务的QoE理解为人的感觉，则运用韦伯-费希纳定律，可以得出式（14-6）：𝑑𝑄𝑜𝑆∝𝑄𝑜𝑆∙𝑑𝑄𝑜𝐸（14-6）可以看出利用韦伯-费希纳定律得出的结论和实验数据相符，即利用韦伯-费希纳定律通过概念映射变换，就可以直接解释语音业务的QoE与比特率之间的关系。图14-7语音业务的QoE与比特率间的对数关系基于人工智能的评价方法

基于人工智能的评价方法

标度说明0.5两元素同等重要0.6一元素比另一元素稍微重要0.7一元素比另一元素明显重要0.8一元素比另一元素重要得多0.9一元素比另一元素极端重要0.1,0.2若元素ai与元素aj相比较得到的判断为rij0.3,0.4则元素aj与ai相比较得到的判断为rji=1-rij（3）计算权重向量。计算模糊互补矩阵A中每行（层）的权重，具体有几何平均法（根法）和规范列平均法（和法）两种方法。具体做法是，先将模糊互补矩阵转换成模糊一致矩阵，然后，再计算每一层的权重向量；（4）根据步骤（3）的结果，通过对权重的分析计算出最终的各元素对QoE的重要程度。表14-4短信服务0.1～0.9标度基于人工智能的评价方法【例】利用模糊层次分析法，分析短信服务各分指标对QoE质量的影响。首先，建立短信服务QoE的评价体系结构，将短信服务的QoE评价指标归纳为可访问性、即时性、完整性、内容质量及可持续性等.其次，找出与每一个QoE评价指标关联的QoS参数，建立短信服务的QoE评价体系（图14-8）.然后，确定与短信服务QoE相关的各个QoS参数的权重。这需要先确定QoE评价指标两两比较的值，以及每一个QoE评价指标下相关的QoS参数两两比较的值，用以构造模糊矩阵；

图14-8短信服务QoE评价体系基于人工智能的评价方法接下来，按照模糊层次分析法，即可计算得出每个评价对短信服务QoE的权重（图14-9），这也是每个分指标对短信服务QoE的贡献。同样地，可以得到每个QoS参数对短信服务QoE的权重（图14-10）。模糊层次分析法方法可以很好地解决多指标以及多层次的问题，但它需要依赖专家的经验，并且无法描述同一层次指标之间的关系，即需要保证同一层指标之间是相互独立的。这也是应用该方法的一个限制。图14-10短信服务的QoS参数关于QoE的权重图14-9短信服务QoE评价结果基于人工智能的评价方法

图14-11C4.5决策树算法基于人工智能的评价方法

基于人工智能的评价方法

基于随机模型的评价方法随机模型指一种非确定性模型，其变量之间的关系是以统计值的形式给出的。由于用户之前的体验会对当前体验造成较大的影响，所以需要更科学地模拟用户的这种体验过程。因此有学者尝试用随机模型来进行QoE评价，隐马尔科夫模型（HiddenMarkovModel，HMM）便是其中之一。HMM是由美国数学家莱昂纳德•鲍姆（LeonardE.Baum）等于二十世纪六十年代后期提出的一种统计分析模型，是一个双重随机过程----具有一定状态数的隐马尔可夫链和显式随机函数集，广泛应用于语音、行为及文字识别以及故障诊断等领域。下面以隐马尔可夫方法为例介绍基于随机模型的评价思路。。【例】利用隐马尔可夫方法建立3G/4G网络中的视频流媒体业务的QoE评价模型。1．评价参数体系。利用HMM评价流媒体业务的第一步，是构造在3G/4G中通用的视频流媒体评价参数体系，如图14-12所示。其中，EQoS（