T-CIDADS 00019-2024 企业级人工智能产品应用体验设计验收指南

ICS35.020CCSY70CIDADSEnterprise-levelArtificialIntelligenceapplicationproductexperienceIT/CIDADS00019—2024前言 II引言 III 12规范性引用文件 3术语和定义 4验收指标体系 4.1验收一级评价指标 4.2验收二级指标 4.3指标优先级划分 5验收规则 6验收流程 6.1验收小组成员组成 6.2验收流程 附录A（资料性）验收信息收集表 7附录B（资料性）验收报告 8II本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件请注意本文件的某些内容可能涉及专利，本文件的发布机构不承担识别专利的责任。本文件由中国工业设计协会设计标准分会提出并归口。本文件起草单位：第四范式（北京）技术有限公司、艾普工华科技（武汉）有限公司、西安迅腾科技有限责任公司、中电云计算技术有限公司、中移（苏州）软件技术有限公司。本文件主要起草人：徐昀、冯佳宁、王雨萱、王蔚、李鑫杰、于东、路露、陈罡、浦玉、赵晖、杜俊志。本文件为首次发布。IIIT/CIDADS00019—2024企业级人工智能应用产品随着人工智能技术的不断升级，逐步面向众多细分行业领域。由于AI技术特性，人工智能产品在使用方式上往往不同于以往传统业务系统，例如知识图谱产品、模型训练平台等可以说是诞生了一种新的产品品类。这就意味着人工智能产品对于用户天然具有一定的学习和认知成本。加之企业级产品本身的专业性、流程的复杂性，对于越复杂的产品，确保向用户提供良好的使用体验就越困难，因此如何保障企业级人工智能产品的体验是一个值得讨论和探究的问题。目前业界暂无成熟的对企业级人工智能应用产品体验相关的现行标准与具体指南。业界存在针对人工智能模型能力、芯片能力、算法能力的评价维度，但无法真实的反映出用户使用企业级人工智能应用产品的体验水平。用户体验质量是衡量企业级人工智能应用产品品质的关键；面对市场上不断出现的企业级人工智能应用产品，具有高可用性的产品会受到客户青睐，因此当前需解决的一个问题就是如何保障企业级人工智能应用产品满足企业业务需求的同时，还具备可用的体验服务特点。而对于企业级人工智能应用产品的开发者，可以通过收集体验服务的验收报告，针对真实的用户群体不断改善产品体验质量，增加用户黏性和市场口碑，占领更多的市场份额，从而推进人工智能应用产品在市场的快速发展和向更多业务领域的普及。为了达成以上各方的不同需求，且持续的普及和推广人工智能技术至各行业领域，需要构建一套科学可靠的企业级人工智能应用产品体验设计验收指南。本文件提供了企业级人工智能应用产品体验设计验收的指南，给出以用户体验为导向的人工智能应用产品体验验收的维度、验收的方法以及验收实施流程，旨在帮助人工智能应用产品提升产品体验设计质量。1T/CIDADS00019—2024企业级人工智能应用产品体验设计验收指南本文件规定了企业级人工智能应用产品体验设计的验收指标体系、验收规则和验收流程。本文件适用于企业级人工智能应用产品或集成人工智能模型与企业业务系统的应用产品的验收。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T25000.51系统与软件工程系统与软件质量要求和评价（SQuaRE）第51部分：就绪可用软件产品（RUSP）的质量要求和测试细则。3术语和定义下列术语和定义适用于本文件。3.1企业级人工智能应用产品设计enterprise-levelArtificialIntelligenceapplicationproductdesign为满足企业或组织需求，开发和构建以AI技术为核心的产品的过程。设计过程中注重如何将智能功能无缝融入产品，以增强产品的智能特性和用户价值。3.2业务目标businessobjective一个组织、公司或企业所设定的具体、可衡量的成就或结果，用于指导其经营和战略决策。这些目标通常与组织的使命、愿景和长期战略计划相一致，有具体的可衡量的指标，帮助确定公司在特定时间段内想要达到的结果。3.3用户任务usertask用户任务基于3.2中的业务目标向下拆解得到，是用户在使用产品时需要执行的特定操作，旨在满足他们特定的需求或解决特定问题。用户任务是用户体验设计中的概念，用户任务的高效完成是保障用户体验的基本单元。3.4目标用户targetusers在产品、服务、应用设计中，开发者或设计团队明确定义的特定用户群体。产品主要满足他们的需求和期望。3.5待测用户testparticipants在用户界面、产品或服务的测试过程中，被邀请参与测试的特定用户群体。3.6核心任务coretask在特定工作中，最为关键和高频的任务或活动，它们对于实现成功和达成目标至关重要。如果它们没有得到有效执行，将会对工作流程产生显著的不利影响。4验收指标体系4.1验收一级评价指标体验验收指标体系希望建立一套能够保障用户在使用人工智能企业级服务应用产品时顺利高效完整核心任务的产品体验评价标准，进而达成业务目标。结合度量目标，建立6个一级评价维度和20个二级考察指标，共同组合成一套体验验收指标体系。一级指标基于用户任务视角，强调用户目标达成与系统的可学习型，具体如下：1）可用性：关注的是用户目标能否通过产品达成；2）易学性：从界面呈现内容角度，围绕产品的信息结构、视觉元素、功能概念等方面建立指标，关注用户对产品理解的容易程度；3）效率性：从功能操作角度，围绕完成任务的操作步骤是否便捷无冗余、提供多角色协同支持等方面建立指标，关注用户完成任务的效率；4）记忆性：将时间维度加入可用性度量，在用户长期使用过程中确保产品提供一定记忆性；5）防错性：对于用户使用期间的容错性功能进行评价；对于使用手册文档帮助性内容是作为必须材料要求业务方提供，因此不作为考察指标项；6）品牌规范性：主要围绕品牌视觉使用的规范性、版权问题、定制化合规等角度进行评价。4.2验收二级指标在4.1中评价维度的基础上，设立跟进一步的二级指标，共20项，具体如下：4.2.1可用性使用该产品/功能时可以使用户达成用户任务。4.2.2易学性易学性包括：1）在使用该产品/功能时，用户可以时刻明确当前界面的任务；2）在使用该产品/功能时，当用户感到迷惑时，可通过产品内提供的解释说明或帮助手册解决；3）在使用该产品/功能时，用户所接触到的现有概念符合其认知；4）在使用该产品/功能时，对所接触到的产品独特概念，用户可以在产品中找到其清晰的解释；5）在使用该产品/功能时，用户认为产品的导航划分方式是合理的；6）在使用该产品/功能时，用户所需操作是能够被用户找到的；7）在使用该产品/功能时，用户认为产品所用的色彩、图标、插图可被辨识且符合其认知。4.2.3效率性效率性包括：1）在使用该产品/功能时，产品应根据GB/T25000.51包含有关使用质量中效率的陈述；2）在使用该产品/功能时，用户不必进行任何大量的、重复性的操作即可完成任务；3）在使用该产品/功能时，用户不必进行任何有难度的精确控制即完成任务；4）在使用该产品/功能时，涉及多角色、不同权限的任务符合用户的协作模式。4.2.4记忆性记忆性包括：1）在使用该产品/功能时，用户不必记忆任何不属于当前操作界面的信息；2）在使用该产品/功能时，用户应随时感知他操作的对象所处的状态。3T/CIDADS00019—20244.2.5防错性防错性包括：1）在使用该产品/功能时，除非在操作前向用户提供告警，否则所有关键操作均允许用户撤销；2）在使用该产品/功能时，用户可以随时返回上一个层级/来源页；3）在使用该产品/功能时，用户每次在执行有风险的命令前，均会接收到二次确认，以便其了解操作风险；4）在使用该产品/功能时，如发生错误，用户可以获取到易于理解的错误原因说明及解决错误的方法。4.2.6品牌规范品牌规范包括：1）该产品/功能中所使用的品牌及Logo符合公司规范；2）该产品/功能中所使用的字体、图标、图片等设计元素无版权风险；3）该产品/功能中，与客户定制化相关的品牌、Logo、文案等信息没有错误。4.3指标优先级划分在指标体系建立的过程中我们紧密聚焦用户目标任务，因此20个二级指标的优先级划分主要以其对任务的完成的影响作为依据，优先级划分有以下5种：1）阻塞级(Block)：用户要执行的核心任务完全不可用的问题。如不修复这类问题，用户将认为自己无法通过产品完成目标。2）关键级(Critical)：导致某些核心功能不可用的问题。如不修复这类问题，用户将认为产品令其感到气愤或痛苦。3）主要级(Major)：可以正常使用、但极大影响用户使用效率的问题。如不修复这类问题，用户将认为产品体验是不友好的。4）次要级(Minor)：非体验行业专业用户可察觉的界面样式、交互动效等问题。如不修复这类问题，用户认为产品设计品质较低。5）低优先级(Trivial)：仅体验行业专业用户可察觉的微小的界面问题。如不修复这类问题，将不会影响用户对产品的整体满意度。综上，完整的指标体系呈现见表1：表1体验设计验收指标体系4息性5验收规则根据产品版本可支持客户占比进行验收，产品版本分级评价标准见表2。表2产品版本分级评价标准6验收流程6.1验收小组成员组成6.1.1验收小组成员包括：主持人、评审专家、待测用户、业务方代表。5T/CIDADS00019—20246.1.2成员分别具备以下相关条件。1）主持人：熟悉验收流程和相关文件信息；了解验收产品的产品架构、用户需求和判定条件。2）评审专家：为非待测项目组成员；熟悉用户体验、人工智能的基本知识和相关业务知识；接受过相关培训，清楚了解测试的目标、范围和标准，以便能够评估测试文档的一致性。评审专家自身进行启发式评估，以熟悉测试功能、提供专业视角，对于用户忽略的问题以及难以界定的情形会给出专业视角的补充。3）待测用户：代表产品或服务的潜在最终用户。技能、知识储备等需要与最终用户画像一致，测试前会评估用户的角色定位、角色权限、使用场景、行为特点/规律，与目标用户画像的匹配度偏差不应超过50%，以确保待测用户的反馈和行为能够代表实际用户的需求和期望；不应与测试结果有相关的利益冲突，以确保待测用户能够提供客观的反馈。4）业务方代表：熟悉验收产品的产品架构、需求背景、业务方向和用户信息；可以负责组织产品后续的迭代。6.2验收流程6.2.1筹备阶段筹备阶段流程如下：1）业务方代表明确产品相关的背景、测试边界与协助形式、产品版本与分级信息；2）业务方代表确定待测用户。业务方代表在测试执行前要为评审小组明确产品的目标用户用户画像，并负责联系真实用户作为测试对象；3）业务方代表确定评估边界。业务方代表需明确本次测试核心任务，任务范围与发版材料中的主干任务一致。此外还需明确测试时为用户提供的预设情景；4）业务方代表提供稳定的测试环境、账号等必要信息；5）业务方/产品设计师根据主干任务以及以上信息完成验收信息收集表、用户任务书，验收信息收集表见附录A。6.2.2专家审议专家审议流程如下：1）评审专家根据产品的立项材料确认其版本分级对应的验收评审要求；2）评审专家根据产品的立项材料确认其需求范围及需求等级，以此判断业务方给出的核心任务流程是否合理；3）评审专家测试前确认核心任务流程与了解版本功能，各自独立模拟用户完成特定任务，给出基于任务的指标达成情况判定；4）表格审核后确定最终测试执行时间、地点。6.2.3执行阶段执行阶段流程如下：1）为避免真实用户临场紧张或受到干扰，评审组成员不与测试用户在一个空间，通常通过共享屏幕查看真实用户操作；2）主持人提供任务书给测试用户，简述背景任务以及注意事项；3）在测试过程中允许用户按照发版计划接受一定程度的帮助。例如如果产品本身承诺为客户提供了使用手册、电话咨询等协助，那在测试过程中，允许测试用户进行该范围内