T∕ZSA 15-2021 任务型智能对话系统的能力评价

1、ICS 35.240.20CCS L 70团体标准T/ZSA 15-2021任务型智能对话系统的能力评价Evaluation on the capability for the task-oriented artificial intelligencedialogue system2021-06-11发布2021-06-12实施中关村 化协会发布T/ZSA 15-2021目次目次.I前言.II引言.III1 范围.12 规范性引用文件.13 术语和定义.14 总体原则与要求.35 智能能力类型.36 智能能力等级.56.1三类智能能力的等级.56.2综合评定.67 智能能力的评价.67.1评价

2、指标.67.2评价方法.67.3评价数据.67.4评价过程.6附录A（资料性）对话系统智能等级评价项检查清单及应用示例.8附录B（资料性）评价用例类型及示例.11IT/ZSA 15-2021前言本文件按照GB/T1.12020化工作导则 第1部分:化文件的结构和起草规则给出的规则起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本文件由中关村化协会技术委员会提出并归口。本文件起草单位：联想（北京）有限公司、北京图拉扬科技有限公司、理光软件研究所（北京）有限公司、中国信息通信研究院、百度在线网络技术（北京）有限公司、北京小米移动软件有限公司、北京影谱科技股份有限

3、公司、北京市闪联信息产业协会。本文件主要起草人：胡长建、孟遥、黎丹、张宇、丁琦城、张惟师、徐鹏、董滨、夏丽娇、孙叔琦、崔建伟、吉长江、彭方振、段亚锋、吕飞燕、林巍巍、陶宏芝、杨磊、李悠、张博、熊思远、王冉。IIT/ZSA 15-2021引言人工智能理论和技术兴起以来，各种理论观点和应用分析大量涌现，导致各种技术规范、指南、文件条文复杂，术语繁多。其中，以人工智能应用为最大特点的对话机器人研究领域，细分领域众多，评价不一致、不兼容、不互通，给研究人员、开发者和使用产品的用户都带来了很多困扰。因此，为对话机器人或人工智能对话系统，建立智能能力评价，有助于构建兼容社会规范的、安全的、系统扩展性良好的

4、人工智能设施。本文件在人工智能领域内，对以完成任务为目标的智能对话系统，确立了评价体系，把智能能力分为三个类型、五个等级，明确了各自的能力组成和相应的能力表现要求。本文件与国内已有的智能语音交互系统、人工智能等级评估等国家、团体都兼容。本文件适用于面向任务型的智能对话系统，非任务型的其他智能对话系统也可参考使用。本文件可供人工智能系统的设计和开发人员、理论研究人员，以及实际使用对话系统的用户参考使用。依托本文件，可评价对话系统的智能等级水平，并指导对话系统的研究、设计、生产和应用分析。IIIT/ZSA 15-2021任务型智能对话系统的能力评价1 范围本文件确立了任务型对话系统的智能能力评价体

5、系，明确了能力分类，并对每类能力给出分级评价表，明确了各等级的能力表现要求。本文件适用于智能对话系统能力的分类、分级与评价。2 规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件； 不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T36464.1-2020 信息技术 智能语音交互系统 第1部分：通用规范GB/T36464.3-2018 信息技术 智能语音交互系统 第3部分：智能客服GB/T5271.28-2001 信息技术 词汇 第28部分：人工智能 基本概念与专家系统T/CESA1038-

6、2019 信息技术 人工智能 智能助理能力等级评估3 术语和定义GB/T5271.28-2001、GB/T36464.1-2020、T/CESA1038-2019界定的，以及下列术语和定义适用于本文件。3.1对话系统 dialogue system一种与人进行沟通交流的人工智能（Artifical Intelligence）系统，其交流方式可通过自然语言，也可通过文字、语音、图形、触觉、手势等模式之一种或多种的组合。也可称之为对话代理（Conversational Agent），或对话机器人。注：本定义参考了 GB/T 5271.28-2001的术语 28.01.05“基于知识的系统”，以及

7、GB/T 36464.3-2018的术语 3.3“语音交互系统”。3.2任务task一种指向性明确的、可量化实现的目标。注：开放性的、没有明确指向的过程，比如，闲聊型机器人的对话，不属于本文件所定义的“任务”。3.3任务型对话系统 task-oriented dialogue system以完成任务为目标的对话系统。3.4人工智能 Artificial Intelligence，AI1T/ZSA 15-2021表现出与人类智能（如推理和学习）相关的各种功能的功能单元的能力。注：本文件中，特指利用数字计算机或者数字计算机控制的机器或系统，模拟和扩展人类智能，感知环境、获取知识并使用知识获得某种结

8、果的能力。来源：GB/T 5271.28-2001，28.01.023.5情感 affection人对客观事物是否满足自己的需要而产生的态度体验。注1：情感是多种感觉、思想和行为综合产生的心理和生理状态。注2：情感产生于内部动机和外部环境刺激。注3：情感有三个成分：主观体验、外部表现和生理唤醒。注4：情感有四个特性：通用特性、文化特性、个体特性与情境特性。注5：情感可以描述用户的情绪、倾向、喜好、个性等。3.6认知智能cognitive intelligence基于用户输入及系统内部信息，通过理解、交互、决策以解决目标任务的能力。3.7情感智能emotional intelligence为有效

9、实现目标，对话系统对自身及用户的情感进行建模和处理的能力。3.8系统完备性 system completeness基于维护、验证、扩展等角度，在不同程度人工干预下进行智能运维的能力。3.9情感计算 affective computing在人机交互过程中对特定情感的收集、识别、决策和表示。来源：GB/T 36464.1-2020, 3.303.10情感识别affective recognition通过分析和处理情感数据，得到用户情感状态的过程和方法。3.11人机交互 human machine interaction人类和功能单元之间，为完成确定任务，以一定的交互方式进行的信息传递和交流活动。来

10、源：GB/T 36464.1-2020, 3.43.12模态 modality模态指人机交互中进行信息传递和交流的形式，例如文字、语音、图形、触觉、手势等模式之一种。2T/ZSA 15-2021多模态（multimodal）即上述多种模态的组合。3.13智能能力类型 types of intelligence用于评价智能系统的主要智能领域。3.14能力子项 capability sub-item构成能力的可度量的若干技术特性指标单项。来源：T/CESA 1038-2019，2.74 总体原则与要求本文件适用的对话系统，基于GB/T 36464.1-2020的规定，支持以语音信号为载体的情感计算

11、，并在任务型应用上符合本文件规定的专门要求。本文件将智能能力分为三类，为认知智能、情感智能、系统完备性。对每一类智能能力，均从低到高划分5个等级，并通过等级评价表，明确了各级的能力表现要求。此三类智能各自包含的能力，概述如下：认知智能：包含理解、交互及决策能力；情感智能：包含情感理解和情感策略能力；系统完备性：包含可维护、可验证和可扩展能力。三类智能能力的评价相互独立，可并行进行，在此基础上还可进一步作出综合评定。5 智能能力类型智能能力分为三类，每类智能能力都有各自的能力组成，其下属的能力子项以及相应的表现，可以参考表1表3进行评价。表1 认知智能的能力组成能力组成能力子项表现特定领域意图识

12、别系统可以将特定领域的用户输入按预定义的意图进行分类。系统可以检测识别通用领域的用户意图，如寒暄闲聊、对话过程中的肯定、否定等表态反馈。通用领域意图识别信息抽取系统可以从用户输入中提炼出有价值的信息，如关键词、实体及其关系等。理解能力系统可以综合利用各种可用信息如结合上下文以消除用户表述中的语义歧义问题。语义消歧系统可以自动检测用户输入的语言，并平滑切换到相应语言。多语言识别对话管理自然应答系统对于整个对话系统流程的控制，包含执行对话策略，跟踪对话状态，应用历史信息等以达成对话任务的目标。交互能力系统基于理解结果在交互响应时能进行灵活自然的应答，且回复内容与用户表述相适配。3T/ZSA 15-

13、2021用户能通过多种形式如文本、语音、图像、动作等进行输入，并且系统也能通过多种输出形式或基于它们的组合，如语音合成、智能图形和其他形式的组合来进行双向交互。多模态交互系统可以通过知识库或知识图谱，组织和存储相应的知识，并可使用复杂结构化和非结构化信息，按某种规则推理演绎得到新的知识。该信息将提供给用户以解决问题。知识表示与推理自学习及优化决策能力系统可以通过自学习而自主获取、组织及应用知识，以及优化自身理解、交互等能力。表2 情感智能的能力组成能力组成情感理解能力子项表现情感倾向分类系统可对用户输入的情感倾向分类，包括正面、负面和中性情感。系统可对用户输入的情感类别进行细粒度识别，比如开心

14、、悲伤、愤怒、惊讶、恐惧等。情感类别识别1系统支持多模态输入的情感识别，如可识别语音、文本、图像、视频、面部表情、神经生理或心理信号等形式的输入。系统可基于对话语境来理解情感，例如从只能基于单次对话到可以利用整个多轮对话。多模态情感理解与识别情感语境理解系统可基于情感理解得到的分类信息（包括粗粒度的情感倾向或细粒度情感类别）选择相应策略进行情感表达。情感分类响应2系统可以多模态输出情感表达，如以语音、文本、图像、视频等形式的输出呈现。多模态情感表达情感响应系统可基于语境信息来应对情感，包括多轮对话及用户历史对话中记录的情感信息。情感语境决策社会规范决策系统可基于用户的社会文化背景，以相适应的情

15、感策略应对。注1：情感的类别，可基于心理学理论，也可基于实际应用需要，划分为“喜悦”、“悲哀”、“愤怒”、“快乐”、“忧郁”、“惊讶”、“恐惧”等。注2：用户可以依据实际需求来指定评价表中的情感类型。表3 系统完备性的能力组成能力组成能力子项理解管理对话管理表现系统可以对理解相关组件进行运维，如增删改关键词等。系统可以对对话管理相关组件进行运维管理，如修改对话策略等。系统可以对回复相关组件进行运维管理，如修改答案模板、调整答复渠道范围，设置有效时间等。可维护能力回复管理多领域管理人机协作管理验证性一个对话系统可以管理设置支持多个领域。系统可以管理设置其与真人协作的配合方式如策略、时间等。系统具

16、有验证方案以及报告、分析与行动的能力。系统具有管理其自身系统边界的能力和与其他系统互动的能力。可验证能力可扩展能力扩展性4T/ZSA 15-20216 智能能力等级6.1 三类智能能力的等级对话系统所包含的三类智能能力，每一类按对用户需求的满足程度、工作模式的自主程度，以及自主学习能力的差异，可划分智能等级，从低到高分为五级，以L1、L2、L3、L4、L5表示。每类智能的分级能力要求，在表4表6中给出。参考这三个能力等级要求列表，附录A给出了一个典型的智能等级评价项检查清单示例。表4 认知智能的能力等级智能能力等级能力要求L1L2具备理解特定领域用户意图的能力（如对话系统所服务的特定业务领域）

17、。在前级基础上，具备显式信息抽取的能力（如实体识别），能进行多于一轮的对话。在前级基础上，具备通用领域用户意图识别能力（如寒暄闲聊、表态反馈等），具备语义关系的提取和理解能力，支持话题切换、灵活自然应答的能力，以及推荐相关信息的能力。L3在前级基础上，具备联系上下文理解、语义消歧及提取隐含语义的能力，具备复杂语义关系的提取和理解能力，具备多模态融合交互、推理计算的能力。在前级基础上，具备充分理解、记忆、预测和响应用户查询，并利用当前状况和过去积累常识等进行自学习与优化的能力。L4L5表5 情感智能的能力等级智能能力等级L1能力要求无情感要求。具备在单轮对话中识别1-3种用户情感倾向（正面、负面

18、、中性）的能力，并能作出应对。L2L3L4L5在前级基础上，具备识别3种以上更细粒度用户情感类别的能力（如愤怒、悲伤、厌恶、开心等），并能作出应对。在前级基础上，具备在包含上下文多轮对话的情况下，理解用户情感并应对的能力；具备融合多模态（文本、语音、表情等）理解并作出应对的能力。在前级基础上，具备充分理解、记忆、预测和响应用户情感，并利用当前语境、过去积累以及社会规范等经验常识等，进行自学习与优化的能力。表6 系统完备性的能力等级智能能力等级L1能力要求维护方面，可以使用给定的工具维护回复答案与话术；验证方面，能评估系统的基本使用情况，包括用户、流量、反馈等。在前级基础上，维护方面，能维持有限

19、的对话流程；验证方面，能评估理解能力，能评估系统稳定性；扩展方面，能与第三方系统集成。L2L3在前级基础上，维护方面，能管理和调整理解模型；验证方面，能评估对话流畅度；扩展方面，能根据需要扩展方案。5T/ZSA 15-2021在前级基础上，维护方面，能管理多个对话系统；验证方面，能使用算法模型评估端到L4L5端系统效率；扩展方面，能按需保护信息。在前级基础上，维护方面，能支持端到端系统生命周期中的数据驱动管理；验证方面，系统根据评估能提供对外部环境的见解；扩展方面，系统能实现自我保护和自动扩展。6.2 综合评定可在完成智能能力分级评价后进行综合评定，以体现对话系统在全面能力上的均衡程度。综合评

20、定不是必须进行的，因为不是所有的对话系统都必须覆盖全面的智能能力，比如，某些对话系统在完成指定任务时并不要求具备情感智能。综合评定需包含全部三类智能能力。综合评定的最终等级，取三类能力等级中最低的级数。示例 1：选择全部三类智能进行综合评定，三者智能能力等级分别为 L3、L2、L3，则综合评定为综合 2级。示例 2：三者智能能力等级均为 L3，则综合评定为综合 3级。如不进行综合评定，也应在评价报告中列出已完成的各类智能能力评价。例如，对于不要求考虑情感智能的对话系统，其评价报告中可以只列出认知智能和运维智能的能力评价。7 智能能力的评价7.1 评价指标对话系统的智能能力，其各类能力以及等级评

21、价指标，根据其能力子项设定。7.2 评价方法对话系统的智能，应在不同的智能能力类型下，各自独立进行评估。评价某一类智能时，应逐级比对智能子项的等级评价表，进行评估。基于表4表6的指标要求，并参考附录A中表A.1的检查清单，逐级对照检查项，以对话系统能否实现为准。如某一级的必备检查项未实现，则系统未达到该等级。评估应用示例参见附录表A.2。在各智能类别下，完成智能等级评估后，可按6.2进行综合评定。比如，某对话系统的认知智能达L4级，情感智能达L2级，系统完备性达L3级，则系统达到综合2级。7.3 评价数据根据评价的智能类型不同，可提出多个用于评价能力的测试数据集合，参考附录B。不同的智能类型，

22、在评价时需使用不同的测试用例/数据。数据集需提前准备完成（包括数据采集及加工等过程），并根据实际被测样品的差异性，进行适当的调整或扩充。测试用例设计应符合以下准则：1)2)覆盖面广：用例应尽可能覆盖所设定范围下的各分类，必须覆盖用户高频用到的分类。代表性强：用例分布应与真实环境中的分布相适配，比如用户更高频用到的分类，用例占比也要求相对更高。3)多样性足：用例应包含真实用户可能出现的表达方式，比如文字表述上，应包含长句、短句。如仅有短语、关键词等形式，也应包括但不限于陈述、疑问、祈使、反问等各种句式或语气。7.4 评价过程7.4.1 确定评价方案6T/ZSA 15-2021根据评价目的需要，综

23、合考虑对话系统智能等级的影响因素，制定与其需求相符合的评价方案。可选择自行制定方案来实施评价，也可委托第三方制定评价方案。其中，运维智能的评价从终端用户角度无法有效触及，可自评，或向第三方公开必要的信息后，由第三方进行评价。7.4.2 界定评价范围评价前应识别、界定和描述被评价的对话系统产品及其特性，包括系统概述、使用范围、目标用户、使用方式等。7.4.3 评价实施和等级划分根据评价目的，结合被评价对话系统在各类智能能力各个子项的满足情况，对系统智能等级进行分类及综合等级评价，从而形成评价结论。7.4.4 评价报告评价报告内容应包括：a) 对话系统产品基本概况；b) 评价目的；c) 评价对象和

24、范围；d) 评价等级划分和定义；e) 评价假设和限定条件；f) 评价依据；g) 评价方法；h) 评价程序实施过程和情况；i) 评价结论，如进行综合评定，给出综合级别评分；j) 特别事项说明；k) 评价报告的使用限制说明；l) 评价报告日。评价方应对评价报告建档存留并定期复审。7T/ZSA 15-2021附录A（资料性）对话系统智能等级评价项检查清单及应用示例表A.1 智能等级评价项检查清单智能类型检查项L1-L2-L3-L4-L5分级门限L1能识别特定领域用户意图能抽取关键词或实体L2能支持单轮以上的对话能识别通用领域用户意图能支持话题动态切换的多轮对话支持自然应答-L2-L3-L3-L3认知

25、智能支持相关信息推荐-L3能联系上下文理解-L4能支持语义消歧-L4能抽取复杂语义关系及提取隐含语义支持多模态融合-L4-L4能进行知识推理计算-L4能自主学习并优化-L5能识别1-3种用户情感倾向（负面、中性、正面）并作出应对能识别3种以上用户情感，并能进行作出应对-L2L3能融合多模态（文本、语音、表情等），识别用户情感并作出应对的能力能结合上下文识别并应对用户情感能充分理解、记住、预测和响应用户情感，并具备利用当前状况和过去的经验常识进行学习与优化的能力。能使用给定的工具维护回复答案和话术情感智能-L4L4-L5L1L1能评价基本系统使用情况，包括用户、流量、反馈等系统完备性能保持有限的

26、对话流程能评价理解能力-L2L2L2L2L3能评价系统稳定性能与第三方系统集成能管理和调整理解模型8T/ZSA 15-2021表A.1 智能等级评价项检查清（续）智能类型检查项L1-L2-L3-L4L5分级门限能评价对话流畅程度能根据需要扩展方案能管理多个对话系统能使用算法模型评价端到端系统效率能按需保护信息L3L3L4L4L4-系统完备性端到端系统生命周期中的数据驱动管理-L5能根据系统评价提供对外部环境的见解-L5L5系统自我保护和自动扩展注：表示“通过”，-表示“不通过”。表A.2 智能等级评价应用示例系统实现情况(“-”为无，“”为实现)智能类型分类门限L1检查项评定等级能识别特定领域

27、用户意图-能抽取关键词或实体能支持单轮以上的对话能识别通用领域用户意图能支持动态话题迁移的多轮对话支持自然应答L2L3支持语义关系的提取支持相关信息推荐认知智能L3能联系上下文理解能支持语义消歧-L4能提取隐含或者复杂关系语义-支持多模态融合-能进行知识推理计算能自主学习并优化L5L2能识别1-3种用户情感倾向（负面、中性、正面）并作出应对情感智能L3L3能识别3种以上用户情感并能作出应对9T/ZSA 15-2021表A.2 智能等级评价应用示例（续）系统实现情况(“-”为无，“”为实现)智能类型情感智能分类门限检查项评定等级能融合多模态（文本、语音、表情等）识别用户情感并作出应对的能力L4L

28、5-能结合上下文识别并应对用户情感-能使用给定的工具维护回复内容和脚本L1能评价基本系统使用情况，包括用户、流量、反馈等能保持有限的对话流程能评价理解能力-L2能评价系统稳定性能与第三方系统集成能管理和调整理解模型能评价对话流畅程度能根据需要扩展方案能管理多个对话系统能使用算法模型评价端到端系统效率系统完备性L3L3L4L5-能按需保护信息-端到端系统生命周期中的数据驱动管理能根据系统评价提供对外部环境的见解系统自我保护和自动扩展综合评定整体智能等级综合3级10T/ZSA 15-2021附录B（资料性）评价用例类型及示例不同的智能类型，在评价时需要使用不同的测试用例/数据。数据集需提前准备完成

29、（包括数据采集及加工等过程），并且根据实际被测样品的差异性进行适当的调整或扩充。根据分级对照表条目，给出部分测试项如下，实际测试可包含但不限于如下分类，个别条目给出一些示例供参考。B.1 特定领域意图识别以对话系统所支持的特定业务域为例，系统能将用户输入意图对应到预定义的一个或多个意图上，返回所属意图类别。以手机客服对话系统为例：1) 首先从覆盖面的角度出发，常见问题大致可以分为售前咨询、售后维修、使用方法、故障解决、配置参数查询等领域。用例设计首先考虑需要各领域都被覆盖到，表B.1给出了一个应用示例。表B.1 特定领域意图识别的应用示例问题领域售前咨询售后维修使用方法故障解决配置参数示例最近

30、有什么促销活动？我想查一下当前维修状态。忘记密码该怎么办？我的手机开不了机。最新款的折叠屏手机有几个摄像头？2) 接着考虑代表性的角度，根据数据统计，用户最常询问的领域是故障解决类问题，比如开机、充电、自动重启、相机等等问题，而实体类问题相对其他领域咨询量更少。在设定测试用例分布比例时，需要考虑常用询问领域里的常用询问意图是否已覆盖到。3) 同时也需要考虑测试用例是否具有足够的多样性，包括句式长短，各种语气等，如：开不了机怎么连 Wi-fi？我的手机支持双卡双待吗？什么时候才能升级到 Android 10？请帮忙处理一下我的单子刚买没几天就坏了，这质量是不是太差了？经测试，对业务类输入进行意图

31、分类，符合常识和功能白皮书要求，如覆盖率、理解率大于80%, 则视为该项通过；否则，该项不通过。这个覆盖率或理解率的百分比，80%，可由用户根据实际情况调整。B.2 通用领域意图识别通用领域意图是指对不在特定业务域内的用户输入，如对话过程中的寒暄式闲聊、反馈（对回复作出的表态）等，系统可作出识别及回应。测试用例可考虑覆盖表B.2中示例的维度。11T/ZSA 15-2021表B.2 通用意图识别的应用示例维度示例开场问候、结语等：日常寒暄你好再见跟对话系统或聊天机器人相关的问题：你是真人还是机器人你叫什么名字你多大了系统周边话题肯定、否定、感谢、抱歉等：好的，已解决不对不是那个意思已经试过了，还

32、是不行稍等，再试一下谢谢用户对上文表示反馈不好意思交互中等价于按钮等形式的表述等：第一个对特定交互方式的指代这几个都不是下一步经测试，对非业务类输入，系统返回与用户输入相关且有意义，或符合功能白皮书要求，则视为该项测试通过；否则，该项不通过。B.3 信息抽取对用户意图的关键信息进行提取，包括但不限于以下内容：实体及属性：文本中具有特定意义的实体，如人名、地名、机构名、专有名词等。特征词：实体之外，系统定义的其他关键词。实体关系：词语的逻辑关系，以及隐含的含义。例：用户对产品型号的表述，如“我有只 MotoZ2Play，昨天把屏摔坏了”，其中“MotoZ2Play”的产品型号信息应视为可被系统抽

33、取到的关键信息。测试时，数据库或功能白皮书中规定需抽取的实体、关键词、实体关系，均能正确提取，或满足进一步归一化识别要求，则视为该项测试通过；否则，该项不通过。B.4 语义修正语义修正又可称为语义消歧，是指待测系统被输入测试文本数据后，具备将限定范围错误文本（如语法错误文本、同音字错误文本等）的语义理解结果进行自动校正的能力。经测试，若待测系统可以对前一句文本语义进行校正，针对由于文本错误导致的语义理解结果失准，可以校正正确，则视为该项测试通过；否则，该项不通过。B.5 多语言识别待测系统可识别多种语言，系统可以根据输入语种进行相应回复。12T/ZSA 15-2021经测试，若待测系统对不少于一种的目标语种能有效识别并应对，则视为该项测试通过；否则，该项不通过。B.6 多轮对话管理对于复杂的用户需求，待测系统需要支持用户通过多轮对话来达到最终的用户目的，过程中待测系统需要对交互进行管理，包含但不限于：对话状态跟踪，对话策略，历史信息继承等。例：用户在上轮会话中所处的对话状态，系统应能予以跟踪，能结合上下文进行应对；用户在上次会话中已提及的业务问题分类，产品型号等，后续用户再进入时相应信息可被系统继承。经测试和人工判断，若待测系统具备多轮对话管理的能力，则视为该项测试通过；否则，该项不通过。B.7 自然应答基于自然语言理解的语义结果，实现交互响应的自