《企业级人工智能应用产品体验验收指南》

T/CAS1.1—2017

企业级人工智能应用产品体验验收指南

1范围

本标准提供了企业级人工智能应用产品体验验收指南，给出以用户体验为导向的人工智能应用产品

体验验收的维度、验收的方法以及验收实施流程，旨在帮助人工智能应用产品提升产品可用性、易用性

等产品质量。

本标准适用于企业级人工智能应用产品或集成人工智能模型于企业业务系统的应用产品，其他同类

具有高度业务属性的应用产品可参考使用；

本标准暂不适用于以个体用户为主的个人用户产品。

2规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

WCAG2.0Web内容无障碍指南

GB/T29799-2013网页内容可访问性指南

GB/T25000.51-2016系统与软件工程系统与软件质量要求和评价（SQuaRE）

GB/T29836.3-2013系统与软件易用性第3部分：测评方法

3术语和定义

下列术语和定义适用于本文件。

3.1人工智能企业级服务应用产品EnterpriseServiceApplicationProduct

人工智能企业级服务应用产品是利用人工智能为底层技术，并面向商业和组织需求设计的业务应用

产品。

注：企业级服务通常指面向企业的服务，服务范围涵盖企业发展过程中以再生产为目标的方方面面。

产品的购买者通常为正式机构、组织。

3.2目标用户targetusers

目标用户是指在产品、服务、应用设计中，开发者或设计团队明确定义的特定用户群体。

3.3核心任务coretasks

4

T/CAS1.1—2017

核心任务是指在特定工作中，最为关键和高频的任务或活动，它们对于实现成功和达成目标至关重

要。如果它们没有得到有效执行，将会对工作流程产生显著的不利影响。

其中任务沿用

4体验验收指标体系与评价标准

体验验收指标体系希望建立一套能够保障用户在使用人工智能企业级服务应用产品时顺利高效完

整核心任务的产品体验评价标准，进而达成业务目标。指标体系由6个一级评价维度、20个二级考察指

标以及指标优先级划分标准，共同组合成一套体验验收指标体系。请见表1.体验验收指标体系

评估重要性级别具体检查项

类型

实用Block(P0)1.总的来说，使用该产品/功能可以使用户达成上述所定义的目

性标

可学Block(P0)2.在使用该产品/功能时，用户可以时刻明确当前界面的任务

习性Critical(P1)3.在使用该产品/功能时，当用户感到迷惑时，可通过产品内提供

的解释说明或帮助手册解决

Major(P2)4.在使用该产品/功能时，用户所接触到的现有概念符合其认知

Major(P2)5.在使用该产品/功能时，对所接触到的产品独特概念，用户可

以在产品中找到其清晰的解释

Major(P2)6.在使用该产品/功能时，用户认为产品的导航划分方式是合理

的

Critical(P1)7.在使用该产品/功能时，用户所需操作是能够被用户找到的

Major(P2)8.在使用该产品/功能时，用户认为产品所用的色彩、图标、插

图可被辨识且符合其认知

效率Major(P2)9.在使用该产品/功能时，用户不必进行任何大量的、重复性的

操作即可完成任务

Major(P2)10.在使用该产品/功能时，用户不必进行任何有难度的精确控制

即完成任务

Major(P2)11.在使用该产品/功能时，涉及多角色、不同权限的任务符合用

户的协作模式

5

T/CAS1.1—2017

评估重要性级别具体检查项

类型

可记Major(P2)12.在使用该产品/功能时，用户不必记忆任何不属于当前操作界

忆性面的信息

Major(P2)13.在使用该产品/功能时，用户应随时感知他操作的对象所处的

状态

防错Major(P2)14.在使用该产品/功能时，除非在操作前向用户提供告警，否则

性所有关键操作均允许用户撤销

Critical(P1)15.在使用该产品/功能时，用户可以随时返回上一个层级/来源

页

Major(P2)16.在使用该产品/功能时，用户每次在执行有风险的命令前，均

会接收到二次确认，以便其了解操作风险

Critical(P1)17.在使用该产品/功能时，如发生错误，用户可以获取到易于理

解的错误原因说明及解决错误的方法

视觉Critical(P1)18.该产品/功能中所使用的品牌及Logo符合公司规范

品牌Major(P2)19.该产品/功能中所使用的字体、图标、图片等设计元素无版

权风险

Critical(P1)20.该产品/功能中，与客户定制化相关的品牌、Logo、文案等信

息没有错误

表1.体验验收指标体系

4.1评价维度说明

一级维度基于用户任务视角，强调用户目标达成与系统的可学习型，具体如下：

评价维度维度说明

实用性关注的是用户目标能否通过产品达成。

可学习性从界面呈现内容角度，围绕产品的信息结构、视觉元素、功能概念等方面建立指标，关

注用户对产品理解的容易程度。

效率从功能操作角度，围绕完成任务的操作步骤是否便捷无冗余、提供多角色协同支持等方

面建立指标，关注用户完成任务的效率。

可记忆性将时间维度加入可用性度量，在用户长期使用过程中确保产品提供一定记忆性。

防错性对于用户使用期间的容错性功能进行评价。

6

T/CAS1.1—2017

视觉品牌主要围绕品牌视觉使用的规范性、版权问题、定制化合规等角度进行评价。

表2.评价维度说明

4.2指标优先级划分标准

在指标体系建立的过程中我们紧密聚焦用户目标任务，因此20个二级指标的优先级划分主要以其对

任务的完成的影响作为依据，按印象的严重程度由大到小，优先级划分为以下5种：

优先级优先级对应问题严重程度说明

Block(P0)用户要执行的核心任务完全不可用的问题。如不修复这类问题，用户将认为自己无法通过产品

完成目标

Critical(P1)导致某些核心功能不可用的问题。如不修复这类问题，用户将认为产品令其感到气愤或痛苦

Major(P2)可以正常使用、但极大影响用户使用效率的问题。如不修复这类问题，用户将认为产品体验是

不友好的

Minor(P3)非体验行业专业用户可察觉的界面样式、交互动效等问题。如不修复这类问题，用户认为产品

设计品质较低

Trivial(P4)仅体验行业专业用户可察觉的微小的界面问题。如不修复这类问题，将不会影响用户对产品的

整体满意度

表3.指标优先级

4.3分级评价标准

为了能够适用于不同发版产品的情况，我们基于产品可售卖客户数为不同版本分别制定评审标准，

评审范围。产品版本分级评价标准具体如下：

版本类别最大可支持客户数版本标准

概念版11、无block级体验问题（预案支持）

体验版51、无block级体验问题

2、无critical级体验问题

3、其余交互体验部分（预案支持）

抢鲜版101、无block级体验问题

2、无critical级体验问题

3、其余交互体验部分（预案支持）

7

T/CAS1.1—2017

版本类别最大可支持客户数版本标准

预览版301、无block级体验问题

2、无critical级体验问题

3、Major级体验问题（预案支持）

正式版30以上1、无block级体验问题

2、无critical级体验问题

3、无major级体验问题

表4.产品版本分级评价标准

说明1：“预案”需保证公司品牌不受影响，“预案支持”即产品出现对应问题有对应方案保障

说民2:发布的版本售卖客户数越多，相应的度量指标也会越严格，评审标准增加一定灵活性与适

用度。

5验收流程

5.1验收小组人员选定

验收小组成员包括：主持人、评审专家、测试用户、业务方代表。其中各成员应具备以下相关条件

如下：

1）主持人：具有公平公正、合理沟通的基本素养；熟悉验收流程和相关文件信息；了解验收产品

的产品架构、用户需求和判定条件。

2）评审专家：具有客观公正的基本素质；熟悉用户体验、人工智能的基本知识和相关业务知识；

接受过相关培训，清楚了解测试的目标、范围和标准，以便能够评估测试文档的一致性。评审专家除了

在用户测试过程中进行评估外，自身也要进行启发式评估，以熟悉测试功能，和提供专业视角，对于用

户忽略的问题，以及难以界定的情形会给出专业视角的补充。

3）测试用户：应该代表产品或服务的潜在最终用户。技能、知识储备等需要与最终用户画像一致，

测试前会评估用户的角色定位、角色权限、使用场景、行为特点/规律，与目标用户画像的匹配度偏差

不能超过50%，以确保他们的反馈和行为能够代表实际用户的需求和期望；不能与测试结果有相关的利

益冲突，以确保他们能够提供客观的反馈。参与测试的用户要求不少于2名。

测试用户人数说明：企业服务产品中的用户代表的是一种组织中的某个角色。无论性别、年龄、地

区有何差异，他们都是一类角色，具有相对一致的职业属性。因此产品的功能设计的主要依据就是企业

对角色的业务定位和考核目标，因此在外部用户数量上我们在Nielsen提出的测试5人就能发现85%的

可用性问题的理论基础上进行了进一步缩减，因此要求测试用户至少2名。

4）业务方代表：具有实事求是的基本素养；熟悉验收产品的产品架构、需求背景、业务方向和用

户信息；可以负责组织产品后续的迭代。

8

T/CAS1.1—2017

5.2验收实施流程

5.2.1筹备阶段

1）业务方明确产品相关的背景、测试边界与协助形式、产品版本与分级信息；

2）业务方确定测试用户。业务方在测试执行前要为评审小组明确产品的目标用户用户画像，并负

责联系真实用户作为测试对象。

3）业务方确定评估边界。业务方需明确本次测试任务，任务范围与发版材料中的主干任务一致。

此外业务方还需明确测试时为用户提供的预设情景。

4）业务方提供稳定的测试环境、账号等必要信息

5）业务方/产品设计师根据主干任务以及以上信息完成验收信息收集，表中除了包括用户信息、环

境、验收时间时间、目标等基本信息外，还需要写出每项用户任务可以判定成功的标准，后续专家会结

合此判定标准对任务通过情况进行判断。详情请见：表5.验收信息收集

产品版本产品分级验收时间

对应级别重要性程

度级别要求

边界/协助范围

目标用户

角色定位角色权限业务熟练度

行为特点/规律使用场景

待测用户

姓名职位是否为真实用户匹配

度偏

差

可验收时间验收场所验收环境

辅助工具录像设备音频设备验收设备其他：

产品目标

序号目标简介（根据此版本项目需求转换成用户可理解的任务目标）

1

2

验收指标体系判断条件表

9

T/CAS1.1—2017

任务一名称

步骤补充材料判定标准结果反馈反馈备注

表5.验收信息收集表

5.2.2信息审核

1）专家评审根据产品的立项材料确认其版本分级对应的验收评审要求。

2）专家评审根据产品的立项材料确认其需求范围及需求等级，以此判断业务方给出的任务流程是

否合理。

3）专家评审测试前确认任务流程与了解版本功能，各自独立模拟用户完成特定任务，给出基于任

务的指标达成情况判定。

4）表格审核后确定最终测试执行时间、地点。

5.2.3执行阶段

测试执行阶段参考标准

1）为避免真实用户临场紧张或受到干扰，评审组成员不与测试用户在一个空间，通常通过共享屏

幕查看真实用户操作。

2）主持人提供任务书给测试用户，简述背景任务以及注意事项。

3）在测试过程中允许用户按照发版计划接受一定程度的帮助。例如如果产品本身承诺为客户提供

了使用手册、电话咨询等协助，那在测试过程中，允许测试用户进行该范围内的支持。

4）测试过程中评审小组观察用户使用情况，发现问题点后，比照表格查看是否在考察项范围，如

果在考察范围内，则将其记录在对应问题点后。结合用户完成任务情况和走查结果给出各个指标的判定

结果，并综合版本可用性要求，经过几位专家沟通给出最终一致的评审结果。

5.2.4统计复盘

1）在统计复盘阶段，评审小组统计每个指标项中问题的数量。根据各检查项重要性级别，得到各

级别下问题的数量，并根据整体的质量标准进行判定。

2）完成验收报告。报告重点用于梳理和记录验收过程中发现的问题，例如任务范围、内容、验收

结果、指标统计和各项指标的达成结果以及改进意见等，具体报告请见表格6.验收报告。

3）如未通过测试，需由业务方与相关人员同步问题，阐述失败原因，修改后由项目经理重新预约

新一轮测试。

10

T/CAS1.1—2017

产品名称：测试用户：

产品对应分级及体验要求：用户角色：

标准说明问题统计

体验检查项的重要性程度的级别划分：

Block(P0)问题数量

Block(P0)：

用户要执行的核心任务完全不可用的问题。如不修复这类问题，

用户将认为自己无法通过产品完成目标Critical(P1)问题数量

Critical(P1)：

导致某些核心功能不可用的问题。如不修复这类问题，用户将认

Major(P2)问题数量

为产品令其感到气愤或痛苦

Major(P2)：

可以正常使用、但极大影响用户使用效率的问题。如不修复这类

Minor(P3)问题数量

问题，用户将认为产品体验是不友好的

Minor(P3)：

非体验行业专业用户可察觉的界面样式、交互动效等问题。如不Trivial(P4)问题数量

修复这类问题，用户认为产品设计品质较低

Trivial(P4)：

总计问题数

仅体验行业专业用户可察觉的微小的界面问题。如不修复这类问

题，将不会影响用户对产品的整体满意度

任务评估

评估类别重要级别具体检查项是否通过存在的问题

1.总的来说，使用该产品/功能可以使用户达

实用性Block（0）

成上述所定义的目标

2.在使用该产品/功能时，用户可以时刻明确

可学习性Block（0）

当前界面的任务

Critical(P1)3.在使用该产品/功能时，当用户感到迷惑时，

可通过产品内提供的解释说明或帮助手册解

决

Major(P2)4.在使用该产品/功能时，用户所接触到的现

有概念符合其认知

Major(P2)5.在使用该产品/功能时，对所接触到的产品

独特概念，用户可以在产品中找到其清晰的解

释

Major(P2)6.在使用该产品/功能时，用户认为产品的导

航划分方式是合理的

Critical(P1)7.在使用该产品/功能时，用户所需操作是能

够被用户找到的

1

T/CAS1.1—2017

Major(P2)8.在使用该产品/功能时，用户认为产品所用

的色彩、图标、插图可被辨识且符合其认知

Major(P2)9.在使用该产品/功能时，用户不必进行任何

效率

大量的、重复性的操作即可完成任务

Major(P2)10.在使用该产品/功能时，用户不必进行任何

有难度的精确控制即完成任务

Major(P2)11.在使用该产品/功能时，涉及多角色、不同

权限的任务符合用户的协作模式

Major(P2)12.在使用该产品/功能时，用户不必记忆任何

可记忆性

不属于当前操作界面的信息

Major(P2)13.在使用该产品/功能时，用户应随时感知他

操作的对象所处的状态

Major(P2)14.在使用该产品/功能时，除非在操作前向用

出错

户提供告警，否则所有关键操作均允许用户撤

销

Critical(P1)15.在使用该产品/功能时，用户可以随时返回

上一个层级/来源页

Major(P2)16.在使用该产品/功能时，用户每次在执行有

风险的命令前，均会接收到二次确认，以便其

了解操作风险

Critical(P1)17.在使用该产品/功能时，如发生错误，用户

可以获取到易于理解的错误原因说明及解决

错误的方法

Critical(P1)18.该产品/功能中所使用的品牌及Logo符合

视觉品牌

公司规范

Major(P2)19.该产品/功能中所使用的字体、图标、图

片等设计元素无版权风险

Critical(P1)20.该产品/功能中，与客户定制化相关的品

牌、Logo、文案等信息没有错误

表格.6验收报告

_________________________________

2

ICS

A00T/

团体标准

T/CIDADS—

企业级人工智能应用产品体验验收指南

Artificialintelligenceenterpriseserviceapplicationproductexperienceacceptance

processandevaluationguide

点击此处添加与国际标准一致性程度的标识

（征求意见稿）

（本稿完成日期：2024-03-07）

2024-××-××发布2024-××-××实施

中国工业设计协会发布

T/CAS1.1—2017

企业级人工智能应用产品体验验收指南

1范围

本标准提供了企业级人工智能应用产品体验验收指南，给出以用户体验为导向的人工智能应用产品

体验验收的维度、验收的方法以及验收实施流程，旨在帮助人工智能应用产品提升产品可用性、易用性

等产品质量。

本标准适用于企业级人工智能应用产品或集成人工智能模型于企业业务系统的应用产品，其他同类

具有高度业务属性的应用产品可参考使用；

本标准暂不适用于以个体用户为主的个人用户产品。

2规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

WCAG2.0Web内容无障碍指南

GB/T29799-2013网页内容可访问性指南

GB/T25000.51-2016系统与软件工程系统与软件质量要求和评价（SQuaRE）

GB/T29836.3-2013系统与软件易用性第3部分：测评方法

3术语和定义

下列术语和定义适用于本文件。

3.1人工智能企业级服务应用产品EnterpriseServiceApplicationProduct

人工智能企业级服务应用产品是利用人工智能为底层技术，并面向商业和组织需求设计的业务应用

产品。

注：企业级服务通常指面向企业的服务，服务范围涵盖企业发展过程中以再生产为目标的方方面面。

产品的购买者通常为正式机构、组织。

3.2目标用户targetusers

目标用户是指在产品、服务、应用设计中，开发者或设计团队明确定义的特定用户群体。

3.3核心任务coretasks