TCESS 8-2021 工业互联网界面用户体验 第2部分：评价模型和方法

（）ICS13.180（）CCSA25中国人类工效学学会标准T/CESS8—20212Userexperienceofindustrialinternetinterface—Part2:Evaluationmodelsandmethods2021-08-30

2021-08-31实施中国人类工效学学会 发布T/CESS8—2021T/CESS8—2021II目 录前  言 I范围 1规范性引用文件 1术语和定义 1评价模型 2评价模型指标 2易读性 2一致性 3易用性 3愉悦度 3性能体验 4评价方法 4易读性评价 4一致性评价 4易用性评价 4愉悦度评价 4性能体验评价 5评价实施程序 5体验评分 5评分原则 5指标权重 6评分 6附录A（资料性）可用性测试方法 7附录B（资料性）一致性检查列表 10附录C（资料性）整体满意度评价量表 11附录D（资料性）评价指标权重 12参考文献 13T/CESS8—2021T/CESS8—2021鏈鏈鏈鏈前  言本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本文件由中国人类工效学学会提出并归口。本标准起草单位：青岛海尔工业智能研究院有限公司、海尔数字科技（青岛）有限公司、海尔卡奥（中国II工业联网界面用户体验第2部分：评价模型和方法范围本文件给出了工业互联网用户界面用户体验的评价模型和方法。本文件适用于工业互联网用户界面的评价。规范性引用文件（包括所有的修改单适用于本文件。GB/T16260.1—2006软件工程产品质量第1部分：质量模型GB/T18978.11—2004使用视觉显示终端(VDTs)办公的人类工效学要求第11部分：可用性指南ISO9241-210:2019人-系统交互工效学第210部分：以人为中心的交互系统设计（Ergonomicsofhuman-systeminteraction—Part210:Human-centreddesignforinteractivesystems）术语和定义以及下列术语和定义适用于本文件。3.1用户体验userexperience人们对于使用或期望使用的产品、系统或者服务的主观印象和认知，即用户在使用一个产品或系统[来源：ISO9241-210:2019，2.15]3.2可用性usability以有效性、效率和满意度为指标，产品在特定使用背景下为了特定的目的可为特定用户使用的程度。[来源：GB/T18978.11—2004，3.1]3.3有效性effectiveness用户实现特定目标的准确性和完备性。[来源：GB/T18978.11—2004，3.2]3.4效率efficiency与用户实现目的的准确性和完备性相应的资源消耗。[来源：GB/T18978.11—2004，3.3]13.5满意度satisfaction无不适感并对产品使用持肯定态度。[来源：GB/T18978.11—2004，3.4]3.6用户user使用智能终端应用软件产品执行特定功能的使用者。[来源：GB/T16260.1—2006，3.3]3.7任务task实现目标所必需的活动。评价模型评价模型指标工业互联网用户体验评价模型由两级指标组成。具体指标、度量方法和度量工具见表1。宜根据工业互联网的产品类型、业务特性、目标用户等情况选择适宜的评价指标。表1工业互联网用户体验评价模型一级指标二级指标度量方法度量工具易读性清晰性可用性测试可用性测试任务脚本易理解性一致性界面元素设计的一致性启发式评估一致性评估量表界面布局设计的一致性交互方式的一致性用户支持的一致性易用性任务完成率可用性测试可用性测试任务脚本任务效率出错率愉悦度整体满意度问卷调查系统可用性量表（SUS）推荐度（NetPromoterScore，NPS）问卷调查NPS问卷（CustomerEffort问卷调查CES问卷性能体验流畅性页面性能监控Locus、Jemeter或Loadrunner软件稳定性易读性清晰性工业互联网界面的外观、内容、布局等设计宜清晰可辨。a）外观清晰性：主要界面上的字体、文字大小、色彩和对比度等清晰可辨。b）内容清晰性：信息传达的语言表达明确、简洁。2c）布局清晰性：主要界面上分区合理，重要信息突显，菜单、表单等设计合理。易理解性工业互联网界面上的图标、符号、术语、语言等宜符合用户的认知习惯，具有较好的可理解性。一致性同一工业互联网的不同页面上，主要元素、界面布局、人-机交互方式、用户支持方式等宜使用统一的设计方式，以方便用户进行信息查找、浏览和进行交互操作。界面一致性主要包括以下四方面：界面元素设计的一致性以下界面元素的外观风格、样式等视觉呈现宜具有一致性：——文字；——符号/图标；——颜色；——按钮；——表格；——窗口；——光标和指针；——链接；——多媒体。界面布局设计的一致性以下界面布局的设计宜保持一致性：——整体结构；——页面信息；——标志性元素；——页面间隔。交互方式的一致性以下界面交互方式的设计宜保持一致性：——导航；——搜索；——菜单交互；——表单交互。用户支持的一致性以下用户支持方式的设计宜保持一致性：——帮助信息；——错误提示。易用性任务完成率工业互联网界面设计宜支持用户完整且正确地完成目标任务。任务效率在用户完成任务的过程中，所消耗的资源宜尽可能少。出错率在用户完成任务的过程中，出错率宜尽可能低。愉悦度3整体满意度用户对工业互联网界面的使用宜无明显的负面情绪。推荐度（NetPromoterScore，NPS）用户在使用工业互联网界面时，宜具有较高推荐给他人使用的意愿。费力度（CustomerEffortScore，CES）工业互联网的界面设计宜尽可能减少用户完成任务或解决问题所花费的努力。性能体验流畅性工业互联网主要功能页面宜具有尽可能短的响应时间。稳定性工业互联网界面宜具有较好的稳定性以及较高的页面响应成功率。评价方法易读性评价易读性评价采用可用性测试方法。具体方法见附录A。一致性评价一致性评价采用5级评价量表，由专家采用启发式评估方法进行评价。一致性评价表见附录B。易用性评价易用性评价采用可用性测试方法。具体方法见附录A。愉悦度评价整体满意度5CNPS推荐度NPS由用户通过量表进行主观判定等级。参与可用性测试的用户在完成给定任务后，给出推荐度评价。评价量表如下所示：您有多大可能性愿意向您的朋友（亲人、同事）推荐该网站？非常不愿意 非常愿意0123456789100-67-89-10NPS值计算公式如下：净推荐值NPS=（推荐者数/总样本数）×100%－（批评者数/总样本数）×100%。将净推荐值NPS转化为5分制，如下所示：推荐度NPS分值123454NPS值<5%5%～15%15%～25%25%～35%>35%CESCES5级量表进行主观判定等级。参与可用性测试的用户在完成给定任务后，给出费力度评价。评价量表如下所示：您需要费多大努力才能解决问题？非常少非常多12345性能体验评价流畅性流畅性通过页面响应时间进行度量。页面响应时间是从用户发出请求到得到响应整个过程的时间（单位为毫秒，ms）。选择工业互联网首页和2-3个主要功能页面作为待评价的典型页面，测试每个页面的响应时间。工业互联网整体页面响应时间为各个典型页面响应时间的算数平均值。流畅性的评分表如下所示：评估分数12345响应极慢 响应极快网站响应时间，ms>60004000～60002000～40001000～20000～1000稳定性%=页面响应成功次数/页面请求次数*100%。选择工业互联网首页以及2-32-3个典型业务在一段时间内的响应成功率。工业互联网整体页面稳定性为各个典型页面响应成功率的算数平均值。稳定性的评分表如下所示：评估分数12345成功率极低 成功率极高页面响应成功率，%<9999～99.999.9～99.9999.99～99.999>99.999评价实施程序工业互联网界面用户体验评价的实施步骤如下：确定测试的目的和范围；确定具体的待测试工业互联网及其版本；c）确定参与测试的用户群；d）确定待测试的典型任务（或页面）；e）确定相关评价指标；招募测试用户；h）创建测试环境；i）分析测试结果；j）编制测试报告。体验评分评分原则5各项指标均采用55个评分等级：优（5分）、良（4分）、一般（3分）、较差（2分）、差（1分）。指标权重D评分一级指标得分为其所包含的二级指标的加权平均值。测评总分为其所包含的一级指标的加权平均值。测评总分计算公式如下：

i=1S=ΣnaiWi （1）i=1式中：S—测评总分；ai—第i个一级指标的得分；Wi—第i个一级指标的权重；n—一级指标的数量。6附录A（资料性）测试指标易读性清晰性界面的外观、内容、布局等设计宜清晰可辨。清晰性通过5级主观评价量表来评分。易理解性图标、符号、术语、语言可理解性通过5级主观评价量表来评分。易用性任务完成率式中：ci—每个被试用户的任务完成率；ny—已完成的任务数；Ny—应完成任务数。

cinyNy*100%

（A.1）任务完成率为被试用户的任务完成率取算术平均值，计算公式如下：m式中：C—任务完成率；ci—每个被试用户的任务完成率；m—被试用户数量。任务效率

Cimi1

（A.2）任务完成时间为被试用户完成任务时间取算术平均值，计算公式如下：m式中：T—任务完成时间；ti—第i个被试用户的完成时间；

Ttimi1

（A.3）7T/CESS8—2021T/CESS8—2021PAGEPAGE10m—被试用户数量。任务效率为任务完成率与任务完成时间的比值，计算公式如下：ECT*100%

（A.4）式中：E—任务效率；C—任务完成率；T—任务完成时间。计算得到任务效率后，采用百分比合并的方法，将任务效率转化为百分制得分。注：百分比合并是将所有维度上指标的得分，根据其与最高分之比，将其转化为百分比得分。出错率出错率为界面出错的概率。计算公式如下：Ww

Ny*100%

（A.5）式中：W—出错率；w—用户出错的次数；Ny—应完成任务数。计算得到出错率后，采用百分比合并的方法，将出错率转化为百分制得分。用户选择8-12年龄（所有年龄或某一年龄段）；性别（男女不限或某一性别）；职业（如果相关）；使用经验；生理或心理认知能力。测试流程测试人员根据待测系统的功能特点设计典型操作任务，并编写执行脚本；测试人员向参加测试的用户介绍测试目的；用户完成给定模拟操作任务；测试人员观察记录用户完成任务的有效性、效率等指标；测试人员分析测试中获得的数据，计算相关指标的数值。得分计算（见表表A.1可用性测试评分表一级指标二级指标评分等级54321易读性清晰性平均分≥4平均分3.5～4平均分3～3.5平均分2.5～3平均分＜2.5易理解性平均分≥4平均分3.5～4平均分3～3.5平均分2.5～3平均分＜2.5易用性任务完成率独立完成用户比例≥90%独立完成用户比例80～90%独立完成用户70～80%独立完成用户60～70%独立完成用户比例＜60%任务效率平均分≥80平均分70～80平均分60～70平均分50～60平均分＜50出错率平均分≥80平均分70～80平均分60～70平均分50～60平均分＜50附录B（资料性）B.1工业互联网一致性检查列表工业互联网一致性检查列表见表B.1。表B.1一致性检查列表一级列表二级列表要素评分12345界面元素文字字体使用方案一致性（位置、尺寸、颜色）标题文字使用方案一致性（位置、尺寸、颜色）正文文字使用方案一致性符号/图标设计风格一致性（位置、尺寸、颜色）页面颜色主体色彩一致性按钮按钮样式一致性按钮颜色一致性标签标签语言表述一致性标签位置一致性表格表格样式一致性窗口窗口样式一致性窗口弹出位置一致性光标和指针光标样式一致性指针样式一致性链接相同功能链接视觉呈现一致性链接打开方式一致性导航组件导航一致性（位置、样式、方式）分页器一致性（位置、样式、方式）步骤条一致性（位置、样式、方式）搜索组件搜索框视觉呈现一致性搜索反馈一致性多媒体控件视觉呈现一致性控制方式一致性界面布局整体结构页面布局结构一致性页面内容区左右边距一致性页面信息标题样式和位置一致性内容文字/图片排版一致性标志性元素标志性元素位置一致性标志性元素风格一致性页面分隔与间距分隔风格一致性组件间间距一致性信息显示密度信息呈现密度在不同页面间的一致性交互方式菜单交互菜单所含组件样式一致性交互方式一致性反馈方式一致性表单交互表格样式一致性表格所含组件样式一致性交互方式一致性用户支持帮助信息帮助信息呈现一致性（位置、风格）错误提示提示方式一致性注：在对一致性进行评价时，宜对1-5分的评价标准进行详细描述，以确保不同专家评价标准的一致性。附录C（资料性）整体满意度评价量表C.1工业互联网整体满意度评价量表工业互联网整体满意度评价量表(SUS)见表C.1。表C.1整体满意度评价量表(SUS)序号量表指标评分非常不同意 非常同意123451我愿意使用这个网站/系统2我认为这个网站/系统是简单的3我认为这个网站/系统用起来很容易4我认为我不需要专业人员的帮助就能使用这个网站/系统5我认为这个网站/系统里的