信息技术 人工智能 智能助理智能能力等级评估

ICS35.240在提交反馈意见时，请将您知道的相关专利连同

L70支持性文件一并附上

团体标准

T/CESAXXXX—XXXX

代替GB/T

信息技术人工智能智能助理智能能力等

级评估

Informationtechnology-Artificialintelligence-Classifiedevaluationonintelligent

assistant'sintelligencecapabilities

（征求意见稿）

XXXX-XX-XX发布XXXX-XX-XX实施

中国电子工业标准化技术协会发布

T/XXXXXXXX—XXXX

前  言

本部分按照GB/T1.1—2009给出的规则起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。

本标准由中国电子技术标准化研究院提出并归口。

本标准起草单位：

本标准主要起草人：

III

T/XXXXXXXX—XXXX

信息技术人工智能智能助理智能能力等级评估

1范围

本标准规范了智能助理的系统框架、能力框架、智能能力等级、智能能力等级评估要素及评估体系。

本标准适用于智能助理的智能能力等级划分与评估。

2规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。

凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

ISO/IEC19505-2:2012Informationtechnology——ObjectManagementGroupUnified

ModelingLanguage(OMGUML)——Part2:Superstructure

3术语和定义

3.1

代理人软件agentsoftware

代替或协助人进行工作的软件系统，如自主决策系统或辅助决策系统。

3.2

智能助理intelligentassistant

为人提供情感支持、行动支持、知识支持、决策支持以及应变支持等工作的代理人软件或包含软硬

件的机器人实体的系统总称。如果系统仅由软件构成，该智能助理也可称为虚拟助理（virtual

assistant,VA）。

3.3

源信息sourceinformation

被理解、响应和处理的任何形态的信息。例如：文本、声音、语音、图像、视频、触控操作和其他

物理信号等。

3.4

行动action

智能助理理解源信息后为了完成工作或任务所做的动作。例如：调用、分析、推荐、控制、播放、

语音合成等。

3.5

主能力域majorcapabilitydomain

1

T/XXXXXXXX—XXXX

智能助理智能能力的主要领域划分，由一组相关的子能力域组成。

3.6

子能力域subcapabilitydomain

构成智能能力的若干技术能力领域，由一组相关的能力项组成。

3.7

能力项capabilityitem

构成智能能力的可度量的若干技术特性指标单项。

3.8

用例usecase

用例是由系统执行的一组动作的规范，其产生一个可观察的结果，通常是一个或多个参与者或其他

利益相关者的价值系统。

[ISO/IEC19505-2:2012Informationtechnology——ObjectManagementGroupUnified

ModelingLanguage(OMGUML)——Part2:Superstructure]

4系统框架

智能助理应能理解来自用户的文本、声音、语音、图像、视频、触控操作等源信息并完成相关行动；

应能理解来自环境的传感器输入信号等源信息并完成相关行动；应能理解来自反馈的源信息并完成相关

行动。一个智能助理应包含用户界面、信息收集、信息理解、行动决策、行动、信息适配及交换六个部

分。

智能助理各部分功能如下：

a)用户界面（UserInterface）为用户提供键盘、手写、触摸、语音、手势等人机交互方式进

行源信息输入，且通过语音、文本、图像、声音、视频等方式向用户传递信息；

b)信息收集模块将各种源信息进行融合，形成智能助理可以理解的上下文信息；

c)信息理解模块对信息收集模块整理好的上下文信息进行分析，并预测和产生用以支持行为决策

的信息；同时，该模块需要学习来自内外部的知识、反馈等源信息，提高分析、理解能力；

d)行动决策模块根据信息理解模块产生的信息选择合适的一个或一组行动；同时，该模块需要根

据来自内外部的知识、反馈等源信息提升其决策空间的扩展和规划能力；

e)行动模块根据行动决策模块产生的最优决策调取内外部资源并执行相应行动，同时该模块将行

动执行结果反馈给信息收集模块；

f)信息适配及交换模块负责连接内外部资源，并完成内外部资源的数据格式转换。

智能助理的系统框架见图1。

2

T/XXXXXXXX—XXXX

图1智能助理系统框架

说明：

1——用户界面（UserInterface）模块获得用户输入的语音、文字、触控、手势等源信息；

2——用户界面模块向信息收集模块输出源信息流；

3——信息收集模块向信息理解模块输出整理好的包含上下文的信息；

4——信息理解模块向行动决策模块输出上下文信息的解析结果；

5——行动决策模块向信息收集模块输出决策结果，用以评估遴选最优决策；

6——行动决策模块向行动模块输出最优决策结果；

7——行动模块向信息收集模块输出反馈信息；

8——行动模块向用户界面模块输出文本、图像、视频、声音等信息；

9——用户界面向用户输出语音、文本、图像、视频、声音等媒体流；

10——行动模块向信息适配及交换模块输出表单提交、资源获取或命令执行等请求；

11——信息适配及交换模块向外部物联网设备输出控制命令等请求信息；

12——信息适配及交换模块向外部应用输出表单提交、资源获取等请求信息；

13——信息适配及交换模块向机器人输出待执行的命令等信息；

14——信息适配及交换模块获得外部传感器等输入的事件、信号等源信息；

15——信息适配及交换模块获得外部知识源等输入的新知识或知识更新等源信息；

16——信息适配及交换模块获得外部的协作请求、业务状态更新等其他事件源信息；

17——信息适配及交换模块向信息收集模块输出源信息。

5用例分类

3

T/XXXXXXXX—XXXX

智能助理的用例分为情感支持、知识支持、行动支持、决策支持、应变支持五大类。

a)情感支持

1)对用户给予聊天、关心和陪伴，帮助用户打发时间和缓解孤独感等情绪；

2)当用户感到沮丧或需要发泄时倾听用户，并努力减少用户的负面情绪，当用户感到情绪低

落的时候激励用户或愉悦用户；

3)对用户的关切、感受表达同情，在恰当的时候为用户提供鼓励或营造氛围；

4)对于用户的问题提供另一个视角的解读和分享。

g)知识支持

1)为用户提供知识问答、知识搜索等答疑解惑服务；

2)高效地为用户提供优质内容等知识服务。

h)行动支持

1)代替人进行日常生活或工作中的重要活动，譬如控制、播放、购物、劳动、查询、通知、

管理、协作等；

2)帮助人进行日常活动管理、以及行动或工作调度；

3)以用户为核心实时洞察各种事件和用户需求，并及时恰当地自主提供满足用户需求或用户

感兴趣的服务。

i)决策支持

1)为用户提供信息摘要、信息分析等支持；

2)为用户做出推理、推荐、规划等决策建议。

b)应变支持

1)代替人对任务、工作、行动等的执行情况进行监控并对异常进行处置；

2)对于智能助理的自主学习进行监控并对异常进行处置。

6智能能力等级划分

智能助理对用户需求的满足程度、工作模式的自主程度、自主学习能力、能力项的多少以及能力项

的水平共同决定了智能助理的智能能力等级。智能助理的智能能力等级分为六级：

1级：在1级的能力项要求下，在情感支持、知识支持、行动支持、决策支持、应变支持五种用例中，

有不少于1个用例的能力项满足比率达到50%以上，并且可完成人机交互闭环；

2级：在2级的能力项要求下，在情感支持、知识支持、行动支持、决策支持、应变支持五种用例中，

有不少于2个用例的能力项满足比率达到50%以上，并且可完成人机交互闭环；

3级：在3级的能力项要求下，在情感支持、知识支持、行动支持、决策支持、应变支持五种用例中，

有不少于3个用例的能力项满足比率达到50%以上，并且可完成人机交互闭环；

4级：在4级的能力项要求下，在情感支持、知识支持、行动支持、决策支持、应变支持五种用例中，

有不少于4个用例的能力项满足比率达到50%以上，并且可完成人机交互闭环。同时，必须具备通知型的

应变支持能力，在部分用例的工作模式上支持主动模式，在学习能力上必须具备对用户反馈和个性化特

征的学习能力；

5级：在5级的能力项要求下，在情感支持、知识支持、行动支持、决策支持、应变支持五种用例中，

有不少于4个用例的能力项满足比率达到60%以上，并且可完成人机交互闭环。同时，必须具备建议型的

应变支持能力，在所有用例的工作模式上支持主动模式，在学习能力上必须具备新知识的学习能力；

6级：在情感支持、知识支持、行动支持、决策支持、应变支持五种用例中均具备6级所需的所有能

力项，并且具备无需人工干预的应变支持能力、在所有用例的工作模式上支持主动模式，在学习能力上

具备算法模型的自主升级能力。

4

T/XXXXXXXX—XXXX

7智能助理能力框架

基于智能助理用例分类，智能助理的能力分为以下4个主能力域：

a)交互能力：包含信息的收集、识别、理解和反馈等子能力域；

b)决策能力：包含推荐、推理、规划等子能力域；

c)事务能力：包含对话、搜索、控制、知识问答、任务表单提交、业务监控与处置、性能以及第

三方服务等子能力域；

d)学习能力：包含反馈学习、个性化学习、新知识学习和算法优化等子能力域。

各主能力域的子能力域及能力项见表1。

表1智能助理能力框架

主能力域子能力域能力项

语音输入

文本输入

图像输入

信息收集

反馈信息输入

外部事件源输入

视频输入

语音识别

情感识别

信息识别知识抽取

图像识别

动作识别

交互能力

自然语言理解（不含上下文）

自然语言理解（含上下文）

情感理解

图像理解

信息理解

动态主题漂移

视频理解

空间理解

时间理解

语音合成

信息反馈自然语言生成

摘要生成

5

T/XXXXXXXX—XXXX

表1智能助理能力框架（续）

主能力域子能力域能力项

图像生成

推荐个性化推荐

演绎推理

归纳推理

推理

决策能力案例推理

不确定性推理

任务序列规划

规划动态任务规划

异常应对规划

情感对话

个性化对话

启发式对话

对话任务型对话

闲聊

主动型对话

多模态对话

单句搜索

垂直搜索

回复自动搜索

搜索

下钻式搜索

启发式搜索

图像搜索

单句指令控制

事务能力启发式控制

控制自主交互式控制

多模态控制

场景联动控制

限定域问答

开放域问答

图谱问答

知识问答

上下文问答

信息摘要

阅读理解

任务表单提对话式表单

交生物特征验证

任务状态管理

业务监控与

任务异常通知

处置

任务异常处理

6

T/XXXXXXXX—XXXX

表1智能助理能力框架（续）

主能力域子能力域能力项

可用性

响应速度

性能事务流程高效性

主动性

可靠性

服务接入方式

第三方服务

服务体系

反馈学习对用户反馈的学习（包含正例和负例）

实时用户画像更新

个性化学习

在线特征学习

新语音学习

新言语表达学习

新情绪学习

新图像学习

学习能力新知识学习

新任务学习

新逻辑学习

知识发现

知识更新

模型优化

算法优化模型融合

小样本学习

在应用智能助理智能能力等级评估时，应基于应用场景，根据不同的智能能力等级选择相应的子能

力域、能力项及其能力项要求（参见附录A）。

8用例与能力项的对照关系

智能助理的用例与能力项之间的对应关系，见表2。

表2智能助理用例与能力项对照表

主能子能用例

能力项

力域力域情感支持知识支持行动支持决策支持应变支持

语音输入◉◉◉◉◉

交互信息文本输入◉◉◉◉◉

能力收集图像输入◉◉◉◉

反馈信息输入◉◉◉◉◉

7

T/XXXXXXXX—XXXX

表2智能助理用例与能力项对照表（续）

主能子能用例

能力项

力域力域情感支持知识支持行动支持决策支持应变支持

外部事件源输入◉◉◉

视频输入◉◉

语音识别◉◉◉◉◉

情感识别◉◉◉◉

信息

知识抽取◉

识别

图像识别◉◉◉◉◉

动作识别◉◉

自然语言理解（不含

◉◉◉◉◉

上下文）

自然语言理解（含上

◉◉◉

下文）

信息情感理解◉◉◉

理解图像理解◉◉◉◉◉

动态主题漂移◉

视频理解◉◉◉◉◉

空间理解◉◉◉

时间理解

语音合成◉◉◉◉◉

信息自然语言生成◉◉◉◉◉

反馈摘要生成◉◉◉

图像生成◉◉

推荐个性化推荐◉◉◉

演绎推理◉◉

归纳推理◉

推理

决策案例推理◉◉

能力不确定性推理◉

任务序列规划◉◉◉

规划动态任务规划◉◉◉

异常应对规划◉◉◉◉◉

情感对话◉◉

个性化对话◉◉

启发式对话◉◉◉◉

对话任务型对话◉◉◉

事务

闲聊◉

能力

主动型对话◉◉◉◉

多模态对话◉◉

单句搜索◉

搜索

垂直搜索◉

8

T/XXXXXXXX—XXXX

表2智能助理用例与能力项对照表（续）

主能子能用例

能力项

力域力域情感支持知识支持行动支持决策支持应变支持

回复自动搜索◉

下钻式搜索◉

启发式搜索◉

图像搜索◉

单句指令控制◉

启发式控制◉◉

控制自主交互式控制◉◉

多模态控制◉

场景联动控制◉◉

限定域问答◉

开放域问答◉

知识图谱问答◉

问答上下文问答◉

信息摘要◉

阅读理解◉

任务对话式表单◉◉

表单

生物特征验证◉

提交

业务任务状态管理◉◉

监控任务异常通知◉◉

与处

任务异常处理◉◉

置

可用性◉◉◉◉◉

响应速度◉◉◉◉◉

性能事务流程高效性◉◉◉

主动性◉◉◉◉◉

可靠性◉◉◉◉

第三服务接入方式◉◉

方服

服务体系◉

务

反馈对用户反馈的学习

◉◉◉◉

学习（包含正例和负例）

个性实时用户画像更新◉◉◉

学习化学

在线特征学习◉

能力习

新知新语音学习◉◉◉

识学新言语表达学习◉◉◉

习新情感情绪学习◉

9

T/XXXXXXXX—XXXX

表2智能助理用例与能力项对照表（续）

主能子能用例

能力项

力域力域情感支持知识支持行动支持决策支持应变支持

新图像学习◉◉

新任务学习◉◉

新逻辑学习◉◉◉

知识发现◉

知识更新◉

模型优化◉◉◉◉◉

算法

模型融合◉◉◉

优化

小样本学习◉◉◉◉◉

9智能能力等级评估

9.1评估指标

智能助理智能能力等级评估指标根据智能助理的能力项设定。

9.2评估方法

智能助理能力框架上的能力项清单对被评估智能助理进行测试见表1。基于附录A的要求，逐项逐级

标出是否具有该能力项。

每个智能能力等级对能力项的要求包含前面所有等级对该能力项的所有要求。被评估智能助理的某

个能力项达到了特定等级的能力项要求，则该能力项也达到低等级的能力项要求。

智能助理用例与能力项对照见表2，统计出被评估智能助理在不同智能能力等级要求下的不同用例

中的能力项满足数量。

依照智能能力等级划分方法，得出该智能助理的智能能力等级。

9.3评估过程

9.3.1确定评估方案

根据评估目的需要，综合考虑智能助理智能能力等级的影响因素，制定与其需求相符合的评估方案。

可选择自行制定方案来实施评估，也可委托第三方制定评估方案。

9.3.2智能助理范围界定

评估前应识别、界定和描述被评估的智能助理产品及其特性，包括系统来源、用途和使用方式等。

9.3.3评估实施和等级划分

根据评估目的，结合被评估智能助理在五种用例中所需的能力项满足情况，对智能助理智能能力等

级进行评估，从而形成评估结论。

9.3.4评估报告

10

T/XXXXXXXX—XXXX

评估方应进行评估结果分析，并出具评估报告。评估报告内容宜包括：

a)智能助理产品的基本概况；

b)评估目的；

c)评估对象和范围；

d)智能助理智能能力等级划分和定义；

e)评估假设和限定条件；

f)评估依据；

g)评估方法；

h)评估程序实施过程和情况；

i)评估结论；

j)特别事项说明；

k)评估报告的使用限制说明；

l)评估报告日。

评估方应对评估报告建档存留并定期复审。

11

T/XXXXXXXX—XXXX

AA

附录A

（资料性附录）

智能助理智能能力等级对能力项的要求

表A.1描述了标准中智能助理智能能力等级对能力项的要求。

表A.1智能助理智能能力等级对能力项的要求

能力概述与智能能力等级

主能子能

能力项评级基本要所涉及的用例

力域力域1级2级3级4级5级6级

素

能够通过麦克风或在第2级要求的基

情感支持，知识在第1级要求的基在第4级要求的基

能够接收语麦克风阵列等具备础上，支持较复杂在第3级要求的基

支持，行动支础上，支持回声消础上，具备全双工

语音输入音形式的输语音采集能力的硬环境的语音输入功础上，具备多人语与第5级相同

持，决策支持，除，具备语音唤醒，环境下的语音输入

入件设备对语音进行能，具备远场语音音同时输入

应变支持语音打断等功能能力

采集输入能力

在第1级要求的基在第2级要求的基

情感支持，知识可读取用户输入的在第3级要求的基

交互信息能够接收文础上，可读取用户础上，可读取用户

支持，行动支文本，进行简单的础上，支持多种语

能力收集文本输入本形式的输输入的文本，并具输入的文本，并具与第4级相同与第4级相同

持，决策支持，错误分析、提示和言的混合输入、纠

入备单句垂直领域的备含上下文的垂直

应变支持修改建议错等功能

词语纠错。领域词语纠错。

在第2级要求的基在第3级要求的基

情感支持，知识支持常见格式图像

对图像数据础上，支持设备收础上，支持摄像并

图像输入支持，行动支（gif,jpg,与第1级相同与第4级相同与第4级相同

的收集集图片的功能（摄截取有用图片，且

持，决策支持png等）的输入。

像头拍照）有基本对焦功能。

12