YDT 4394.5-2023自然语言处理技术及产品评估方法 第5部分：智能客服系统

ICS35.240

CCSL67

YD

中华人民共和国通信行业标准

YD/T××××—××××

自然语言处理技术及产品评估方法

第5部分：智能客服系统

Naturallanguageprocessingtechnologyandproductevaluationmethod

—Part5:intelligentcustomerservicesystem

（报批稿）

××××-××-××发布××××-××-××实施

中华人民共和国工业和信息化部发布

YD/T××××—××××

前言

本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》

给出的规定起草。

本文件是《自然语言处理技术及产品评估方法》系列标准之一，该系列标准的结构和名

称如下：

——第1部分：基础服务平台；

——第2部分：对话系统；

——第3部分：智能翻译机；

——第4部分：机器同传系统；

——第5部分：智能客服系统；

——第6部分：客服质检系统。

请注意本文件的某些内容可能涉及专利，本文件的发布机构不承担识别这些专利的责任。

本文件由中国通信标准化协会提出并归口。

本文件起草单位：中国信息通信研究院、南京新一代人工智能研究院有限公司、深圳市

腾讯计算机系统有限公司、北京百度网讯科技有限公司、北京中科汇联科技股份有限公司、

北京声智科技有限公司、思必驰科技股份有限公司、中国联合网络通信集团有限公司、科大

讯飞股份有限公司、上海智臻智能网络科技股份有限公司、中国移动通信集团有限公司、中

国电信集团有限公司、北京理工大学。

本文件主要起草人：张学强、董晓飞、张丹、王浩、曹峰、陆铁文、胡嘉璇、王品、孙

叔琦、耿彪、吴华、李笑如、游世学、吴金妹、陈孝良、李良斌、龙梦竹、陈辉龙、缪庆亮、

包景全、李培、王建成、叶静、何永春、程鸣、陈喆、白翠琴、李强、张伟、杨阳、赵龙刚、

杨震、孙佩霞、屈少杰。

II

YD/T××××—××××

引言

0.1编制目的及标准结构

智能客服是指基于自然语言处理、语音识别、语音合成等人工智能核心技术，通过单轮

或多轮对话识别用户问题的语义，并依靠所维护的后台知识库及接口组件实现智能问答的客

户服务形式。过去近十年，移动互联、云计算、大数据和人工智能等技术的发展将传统呼叫

中心和客服行业带入了软件即服务和智能化时代。一方面，全新软件即服务模式使得企业搭

建客服中心的成本大大降低，产品功能更加丰富，应用场景也从服务延伸到了销售、营销、

售后等多个环节；另一方面，智能客服通过辅助人工以及回答简单的重复性问题，大大提高

了人工客服的工作效率。为引导智能客服产业健康发展，营造良好的市场环境，开展智能客

服系统评估标准的制定。

自然语言处理技术及产品评估方法系列标准由以下六个部分组成。

——第1部分：基础服务平台。目的在于提供词法分析、句法分析、语义分析等NLP基

础技术，可提供情感分析、机器翻译、对话系统等NLP应用技术的服务平台，从基

础技术、应用技术、服务能力等三个维度对NLP服务平台进行评估。

——第2部分：对话系统。目的在于集成了对话系统功能的产品或服务，从对话类型、

对话功能、对话性能、对话体验四个维度进行评估。

——第3部分：智能翻译机。目的在于可实现语音输入、自动翻译和语音输出的智能翻

译机，从基础功能、AI核心技术支持能力、安全性与可靠性和附加业务功能等四

个维度对智能翻译机进行评估。

——第4部分：机器同传系统。目的在于提供语音输入、自动分句、机器翻译、语音输

出或译文投屏的机器同传系统，从基础功能、AI核心技术支持能力、工程实现能

力、附加业务能力等四个维度对机器同传系统进行评估。

——第5部分：智能客服系统。目的在于提供语音客服机器人、文本客服机器人等多种

产品形态的智能客服系统，从基础功能、AI核心技术支持能力、企业服务能力和

系统成熟度等四个维度对智能客服进行评估。

——第6部分：客服质检系统。目的在提供人工客服和智能客服的质检系统，从智能语

音、自然语言理解、基础能力、质检能力四个维度进行评估。

本文件是“自然语言处理技术及产品评估方法”系列文件第5部分：智能客服系统，是

为智能客服系统的研发者和选型者提供评估参考规范。

0.2相关专利情况说明

本文件的发布机构提请注意，声明符合本文件时，可能涉及到5和6.3.2中如下2项和

智能客服系统相关的专利使用。专利名称如下：

CN201911010911.1，语音合成的评估方法、装置、电子设备及可读存储介质；

CN201810713093.0，用于跨类型对话的方法、装置、设备以及计算机可读存储介质。

本文件的发布机构对于该专利的真实性、有效性和范围无任何立场。

该专利持有人已向本文件的发布机构承诺，他愿意同任何申请人在合理且无歧视的条款

和条件下，就专利授权许可进行谈判。该专利持有人的声明已在本文件的发布机构备案，相

III

YD/T××××—××××

关信息可以通过以下联系方式获得：

专利持有人姓名：北京百度网讯科技有限公司

地址：北京市海淀区上地十街10号百度大厦2层

请注意除上述专利外，本文件的某些内容仍可能涉及专利。本文件的发布机构不承担识

别这些专利的责任。

IV

YD/T××××—××××

自然语言处理技术及产品评估方法

第5部分：智能客服系统

1范围

本文件规定了外呼、呼入、语音导航、在线咨询等智能客服的指标和评估方法，主要包

括基础功能、AI核心技术支持能力、企业服务能力、系统成熟度等四个维度。

本文件适用于指导第三方测评机构开展智能客服系统评估、验收等工作，同时适用于外

呼、呼入、语言导航、在线智能咨询系统等多种智能客服产品形态。

2规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本

适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T5271.28-2001信息技术词汇第28部分：人工智能基本概念与专家系统

GB/T21023-2007中文语音识别系统通用技术规范

GB/T21024-2007中文语音合成系统通用技术规范

GB/T36464.3-2018信息技术智能语音交互系统第3部分：智能客服

3术语和定义

下列术语和定义适用于本文件。

3.1

客服系统customerservicesystem

企业为用户提供客服服务的系统，传统上由人工完成客户服务的功能。

[来源：GB/T36464.3-2018，3.1]

3.2

智能客服系统intelligentcustomerservicesystem

由语音识别、语义理解、智能搜索、语音合成等部分或全部人工智能技术能力元素组

成的，具有智能能力的客户服务系统。

[来源：GB/T36464.3-2018，3.2]

3.3

自然语言理解naturallanguageunderstanding

通过对功能单元从已传入的功能单元中的自然语言形式的文本或语音中的提取信息，

并产生对给定文本或语音及其表示的描述。

[来源：GB/T5271.28-2001，28.01.18]

1

YD/T××××—××××

3.4

语音识别speechrecognition

将人类的声音信号转化为文字或者指令的技术。

[来源：GB/T21023-2007，3.1]

3.5

语音合成texttospeech

通过机械的、电子的方法合成人类语言的过程。

[来源：GB/T21024-2007，3.1]

3.6

应用编程接口applicationprogramminginterface

预先定义的函数，或指软件系统不同组成部分衔接的约定。

3.7

客户关系管理customerrelationshipmanagement

企业为提高核心竞争力，利用信息技术和互联网技术提升管理方式，向客户提供个性化

交互和服务的过程。

3.8

知识管理knowledgemanagement

对大量有价值的方案、策划、成果、经验等知识进行分类存储和管理，积累知识资产避

免流失，促进知识的学习、共享、培训、再利用和创新的技术。

4缩略语

下列缩略语适用于本文件：

CRM客户关系管理CustomerRelationshipManagement

KM知识管理KnowledgeManagement

NLG自然语言生成NaturalLangaugeGeneration

NLP自然语言处理NaturalLanguageProcessing

NLU自然语言理解NaturalLanguageUnderstanding

TTS语音合成TextToSpeech

5智能客服系统框架

智能客服系统与用户的交互流程见图1，包含下列步骤：

a)多渠道接入模块：用户通过网页、APP、小程序、公众号等多种渠道与智能客服产

2

YD/T××××—××××

品建立连接；

b)识别模块：用户通过文本、语音、图片、图像、表情、自定义消息等多媒体消息与

智能客服系统进行沟通，系统将其识别为文本、语义元组或意图；

c)中控模块：对文本、语义元组或意图进行分析，并送达搜索模块进行答案匹配，并

将处理结果反馈给用户；

d)智能对话管理及人工客服模块：在人机对话过程中综合应用NLU、NLG、TTS等人工

智能技术。如有系统无法回答问题或提出相关要求，将交由人工客服进行交互；

e)工单管理模块：无论用户问题是否得到解决，都将提交至工单管理模块，用于后续

问题追溯或质量检查；

f)CRM和KM模块：客服流程数据经过处理输入到CRM系统和KM系统，用于客户关系管理

与知识系统维护、升级和自学习；

g)系统运营分析模块：采集埋点数据以监控智能客服系统的运营情况，以达到控制运

营风险、管理运营对象、评估运营绩效、为智能客服系统管理者提供决策建议的目

的。

多渠道接入模块

识别模块

中控模块系

统

运

营

智能对话管理模块分

人工客服

析

模块

NLUNLGTTS语料知识模

库块

工单管理模块

CRM系统KM系统

图1智能客服产品工作原理

6指标及评估方法

6.1通则

本文件从基础功能、AI核心技术支持能力、企业服务能力和系统成熟度等四个维度对智

能客服系统进行评估，表1给出了评估指标。

3

YD/T××××—××××

表1智能客服系统评估指标

维度指标细分指标

多渠道管理-

富媒体消息互动-

智能会话-

身份识别-

基础功能知识库管理-

工单管理-

人机协作-

智能质检-

会话异常管理-

语音识别字错率、句错率

智能语音

语音合成MOS评分

单轮对话意图识别率、精准识别率

AI核心技术

自然语言处理多轮对话任务完成率、下文识别率

支持能力

多语言交互可理解度、BLEU分

OCR准确率

计算机视觉

图片内容推荐相关度

技术支撑-

企业服务能人员配备-

力定制化服务-

服务反馈-

报表功能-

接口开放程度-

部署方式-

易用性-

系统成熟度可靠性-

计量准确性-

安全性-

可维护性-

可审查性-

6.2基础功能

6.2.1全渠道管理

智能客服系统应支持电话、短信、桌面网站、移动网站、APP、小程序、公众号、邮件

等多种接入渠道，以保证用户可以获取及时有效的服务。

评估目的：本指标是为了评估智能客服系统支持接入渠道的丰富程度。

评估方法：

a)依次验证智能客服系统是否能够通过以下渠道接入：

1)电话；

2)短信；

3)桌面网站；

4

YD/T××××—××××

4)移动网站；

5)APP；

6)小程序；

7)公众号；，

8)邮件。

b)验证智能客服系统是否支持上述渠道以外的渠道。

6.2.2富媒体消息互动

智能客服系统应支持语音、文字、图片、视频、表情、自定义消息等多媒体消息类型，

以提升交互过程的友好性、趣味性、用户体验。

评估目的：本指标是为了评估智能客服系统支持交互消息类型的丰富程度。

评估方法：

a)依次验证智能客服系统是否支持以下消息类型：

1)语音；

2)文字；

3)图片；

4)视频；

5)表情，

6)自定义消息。

b)验证智能客服系统是否支持上述类型以外的消息类型。

6.2.3智能对话

当用户进入会话时，智能客服系统应具备问题推送、焦点问题自动排序等功能。

评估目的：本指标是为了评估智能客服系统与用户会话的智能程度。

评估方法：

a)用户初次进入会话界面，观察智能客服系统能否根据用户行为轨迹预测用户意图，

从而推送相关问题；

b)用户多次进入会话界面或与系统进行多次对话，观察智能客服系统能否依据历史

提问记录、热门提问等信息预测用户意图，从而推送相关问题；

c)用户在输入问题过程中，观察系统能否对已经输入的内容进行自动补全、提示或

校正。

6.2.4身份识别

智能客服系统在支付等特定场景下应具备识别用户身份的能力，以针对性的提供个性化

服务。

评估目的：本指标是为了评估智能客服系统是否支持识别用户身份的能力。

评估方法：

a)审查智能客服产品说明书、技术文档，判断智能客服是否支持身份识别功能；

b)登录智能客服系统后台，结合身份识别类话题交互，依次测试系统是否能通过以

下方式正确识别用户身份：

1)声纹识别；

2)人脸识别；

3)指纹识别；

4)短信验证码。

5

YD/T××××—××××

6.2.5知识库管理

智能客服系统应具备大规模知识库、问答库等相关语料库的管理能力，提供知识库的增、

删、改、查等能力。

评估目的：本指标是为了评估智能客服系统的知识库管理能力。

评估方法：

a)审查智能客服产品说明书和技术文档等材料，判断智能客服是否支持知识库管理

功能；

b)登录智能客服系统后台，验证系统是否支持对知识库进行增、删、改、查等常用操

作。

6.2.6工单管理

智能客服系统应具备工单管理的能力。当智能客服不能解决用户问题时，系统应及时创

建工单，并支持工单灵活配置、优先级排序、工单状态追踪等功能。

评估目的：本指标是为了评估智能客服是否具备工单管理的能力。

评估方法：

a)审查智能客服产品说明书和技术文档等材料，判断智能客服是否支持工单管理功

能；

b)登录智能客服系统后台，依次验证系统是否以下功能：

1)快速创建工单；

2)灵活配置工单；

3)一键转工单；

4)工单优先级排序；

5)工单状态追踪。

c)判断智能客服系统是否支持上述功能以外的工单管理功能。

6.2.7人机协作

客服系统应具备人机协作的能力，由智能客服和人工客服相互配合为用户提供及时有效

的服务。

评估目的：本指标是为了评估智能客服与人工客服协同解决用户问题的能力。

评估方法：

a)构建转人工话术、需人工介入话术，测试智能客服系统能否及时转接人工客服；

b)登录智能客服系统后台，向客服系统询问常见问题，观察是否由智能客服进行快

速应答；

c)登录智能客服系统后台，观察智能客服能否在交互过程中为人工客服提供流程记

录、问题推送等辅助。

6.2.8智能质检

客服系统应具备智能质检的能力，基于语音识别、语义理解等技术对人工客服或智能客

服的交互内容（包括文本、语音、图片等）进行智能化检测和监控。

评估目的：本指标是为了评估客服系统是否具备智能质检的能力。

评估方法：

a)审查客服产品说明书和技术文档等材料，判断客服系统是否具备智能质检功能；

6

YD/T××××—××××

b)登录客服系统后台或客服质检系统，审查系统的质检日志、报表，判断智能质检的

范围和强度。例如：质检范围是人工客服还是包括智能客服，质检内容是全检还是

抽检。

6.2.9会话异常管理

智能客服系统应具备会话异常管理的能力，以应对会话过程中出现断线、断网等异常情

况。智能客服系统应实时保存交互记录，并判断异常原因，尝试重连。当重新联系上用户，

应当能够接续出现异常前的话题。

评估目的：本指标是为了评估智能客服是否能检测到会话时长异常、连接状态异常等情

况，并实施相应的对策。

评估方法：

a)在会话过程中，中断提问或回复，验证智能客服系统能否检测出会话时长异常，对

用户进行提醒或询问（如“你还在吗？”“你的问题得到解决了吗？”）

b)在会话过程中，关闭网络连接，验证智能客服系统能否检测出会话网络异常、时长

异常，并尝试重新连接，如切换渠道；

c)验证智能客服系统在上述两种异常情况下，会话重新连接后能否接续断点记录。

6.3AI核心技术支持能力

6.3.1语音识别

外呼、呼入、语音导航等语音客服系统应具备语音识别的能力。通过分析和识别，把语

音信号转变为相应的文本或指令。

评估目的：本指标是为了测试智能客服系统语音识别的能力，主要通过技术测试得出识

别准确率。

评估方法：

a)构建语音测试数据集，通过接口批量获取语音识别的文本；

b)字错率：以字符为单位比对识别序列和标准序列，依据识别错误的字数和标准序

列中的总字数计算字错率。字错率计算方法可参见公式（1）：

R

Y=WER×100%…………………（1）

WERR

式中：

YWER——字错率；

RWER——错误识别的字数；

R——总字数。

c)句错率：比对识别序列和标准序列，两者相同则该句视为识别正确，否则视为识别

错误。依据识别错误的句子数和测试集总句数计算句错率，计算方法可参见公式

（2）：

Q

Y=SER×100%…………………（2）

SERQ

式中：

YSER——句错率；

QSER——错误识别的句子数；

Q——总句数。

6.3.2语音合成

7

YD/T××××—××××

外呼、呼入、语音导航等语音客服系统应当具备将文本转换成语音的能力。通过参评系

统分析与合成，把输入的文本数据转换为相应的语音信号。

评估目的：本指标是为了测试智能客服系统语音合成的效果，综合采用技术测试和主观

评分对该项指标进行评价。

评估方法：

a)构建文本测试数据集，通过接口批量获取语音合成的音频文件；

b)由3~5名测试人员采用MOS指标对语音自然度进行评分，MOS评分说明见表2；

c)评分过程应考虑，人工录音和语音合成拼接的整体流畅度；

d)评分过程应考虑，合成音色的可定制性和种类的多样性。

表2MOS评分说明

分值等级说明

5优流畅自然，可完全放松，不需要注意力

4良失真不明显，需要注意，但不需明显集中

3一般明显失真，需要中等程度的注意力

2差严重失真，需要集中注意力

1很差语音质量极差，即使努力去听，也很难听懂

6.3.3单轮对话

智能客服系统应当具备单论对话的能力。单轮对话是指一问一答的交互模式，即问答均

不依赖上下文语境。

评估目的：本指标是为了测试智能客服系统单轮对话的交互能力。

评估方法：

a)构建单轮对话测试数据集，通过接口批量获取意图识别结果和对话结果；

b)综合比对识别意图和对话内容，将识别情况分为：精准识别、模糊推荐正确、模糊

推荐错误、未识别。其中：

1)精准识别是指系统正确识别意图并提供了正确解答；

2)模糊推荐正确是指系统依据识别的意图推荐多个答案并且包含正确答案；

3)模糊推荐错误是指系统依据识别的意图推荐多个答案但不包含正确答案；

4)未识别是指系统错误识别意图并提供了错误解答。

c)计算意图识别率和精准识别率，计算公式分别参见公式（3）、（4）：

B

P=1×100%…………………（3）

B1B

式中：

PB1——意图识别率；

B1——精准识别或模糊推荐正确的数量；

B——测试总量；

B

P=2×100%…………………（4）

B2B

式中：

PB2——精准识别率；

B2——精准识别的数量；

8

YD/T××××—××××

B——测试总量。

6.3.4多轮对话

当用户需求复杂或提问不清时，智能客服需要通过多轮询问、澄清或确认来收集多维度

信息以为用户提供准确的结果。

评估目的：本指标为了评估智能客服系统多轮对话的能力。

评估方法：

a)构建多轮对话测试数据集，通过接口批量获取对话数据；

b)多轮对话所有轮次均正确解答视为任务完成，任务完成率的计算方法参见公式（5）：

C

P=1×100%…………………（5）

CC

式中：

PC——任务完成率；

C1——任务完成量；

C——测试总量；

c)多轮对话某个轮次正确则视为下文识别正确，下文识别率的计算方法参见公式（6）：

D

P=1×100%…………………（6）

DD

式中：

PD——下文识别率；

D1——正确识别的轮次量；

D——测试总轮次量。

6.3.5多语言交互

智能客服应具备多语言、多语种交互的能力，即可以通过机器翻译自动进行双语转换。

评估目的：本指标为了评估智能客服系统是否具备多语言交互的能力。

评估方法：

a)审查客服产品说明书和技术文档等材料，判断智能客服系统是否具备多语言交互的

能力；

b)构建多种方言、外语测试数据集，通过接口批量获取翻译结果；

c)分别对智能客服系统翻译译文进行主观评分和客观评分，主观指标为可理解度，客

观指标为BLEU分。

6.3.6OCR

智能客服系统应具备光学字符识别（OCR）能力，以辅助智能客服系统接收和处理图片

类消息类型。

评估目的：本指标为了评估智能客服系统是否具备图像文字识别的能力。

评估方法：

a)审查客服产品说明书和技术文档等材料，判断智能客服系统是否具备识别图片中文

字的能力；

b)构建图片测试数据集，通过接口批量获取识别结果；

c)根据正确识别的图片数量和总的图片数量计算OCR准确率，计算方法可参见公式（7）：

E

P=1×100%…………………（7）

EE

9

YD/T××××—××××

式中：

PE——OCR准确率；

E1——正确识别的图片数量；

E——总的图片数量。

6.3.7图片内容推荐

智能客服系统在电商等特定领域应具备识别图片内容并进行相同、相似物品推荐的能力。

评估目的：本指标为了评估智能客服系统是否具备图片相关内容推荐的能力。

评估方法：

a)审查客服产品说明书和技术文档等材料，判断智能客服系统是否具备图片相关内

容推荐的能力；

b)构建物品图片测试数据集，通过接口批量获取推荐结果；

c)由3~5名测试人员对推荐图片按照相关度进行五分制评分，计算平均分。

6.4企业服务能力

6.4.1技术支撑

技术支撑作为企业为用户提供售后服务的一种形式，能够帮助用户诊断并解决产品使用

过程中的技术故障。

评估目的：本指标为了评估企业对产品售后的技术支撑能力。

评估方法：

判断企业提供的服务中是否具有完善的技术支持机制，包括：

a)系统安装及监控培训；

b)主机参数设置和优化；

c)数据库安装配置、备份、优化；

d)运行环境搭建；

e)系统平台及工作原理；

f)系统操作培训；

g)版本及时升级更新。

6.4.2人员配备

企业应保证参与智能客服服务相关人员数量，配备的人员具有较好的服务能力，特定技

术岗位应持有相应的技术从业证书。

评估目的：本指标为了评估企业的人员配备及提供服务的合理性和科学性。

评估方法：

a)远程服务评估：审查企业能否提供7×24小时远程支持服务，能否通过电话、电子

邮件或者其他有效方式进行实时沟通，能否协助用户解决相关问题及系统故障；

b)现场服务评估：审查当远程服务无法解决问题时，企业能否派出专业技术人员到

用户现场解决问题，以保证系统的正常运行；

c)审查企业提供的定期现场维护服务内容的记录手册。

6.4.3定制化服务

企业应具备提供定制化服务的能力，根据用户需求对智能客服的服务场景、服务内容、

功能模块进行定制优化，以满足用户的个性化需求。

10

YD/T××××—××××

评估目的：本指标为了评估企业能否依据不同用户、不同场景、不同需求对智能客服系

统进行定制优化的能力。

评估方法：

a)对于外呼、呼入、语音导航等智能客服产品，测试其能否对交互话术、语音音色、

方言种类等方面进行定制服务；

b)对于文本在线智能客服产品，测试其能否集成特定知识库，实现特定领域场景的

问答。

6.4.4服务反馈

企业应设置多种接受用户服务反馈的渠道，以优化改进服务质量，提升用户体验。

评估目的：

本指标为了判断企业是否具有接收服务反馈的渠道，以及渠道的丰富程度。

评估方法：

a)验证企业是否具有以下可接收用户反馈的渠道：

1)电话，

2)短信，

3)邮件。

b)审查企业是否具备及时收集用户反馈、改进系统问题、定期进行回访等规章制度。

6.5系统成熟度

6.5.1报表功能

智能客服系统应具备自动对业务数据进行分析报表的功能，以帮助企业提高经营效率，

辅助管理者决策。

评估目的：本指标为了评估智能客服系统对业务数据的分析和可视化能力。

评估方法：

a)判断能客服系统是否可以实时针对业务数据生成可视化的报表；

b)判断能客服系统是否可以根据报表，自动生成分析结果和文档；

c)判断能客服系统是否可以导出业务数据、分析数据和文档报表。

6.5.2接口开放程度

智能客服系统应开放多种接口，供用户在生产、部署和经营过程中根据具体业务场景对

系统进行二次开发。

评估目的：本指标为了评估智能客服系统的接口开放程度。

评估方法：

a)审查客服产品说明书和技术文档等材料，枚举其提供的可二次开发的接口；

b)审查上述材料中是否提供接口开发用例，并判断能否依据用例编写代码实现二次

开发。

6.5.3部署方式

智能客服系统应支持公有云、私有云、混合云、本地等常见的部署方式。

评估目的：本指标为了评估智能客服支持部署方式的多样性。

评估方法：

依次判断智能客服系统是否支持以下部署方式：

a)公有云部署；

11

YD/T××××—××××

b)私有云部署；

c)混合云部署；

d)本地化部署。

6.5.4易用性

智能客服系统应遵守友好、易用原则。

评估目的：本指标为了评估智能客服系统是否易用。

评估方法：

a)审查应答消息能否在一定时间内完成，且有类似“客服回复中”“猜您想问”等提

示；

b)审查系统能否引导用户无障碍的使用业务流程；

c)检查界面设计是否充分考虑用户体验，是否友好清晰、操作简单、功能点显而易

见，主要功能是否处于突出的位置，常用的功能是否处于容易操作的位置。

6.5.5可靠性

智能客服系统应遵守稳定、可靠原则。

评估目的：本指标为了评估智能客服系统是否成熟可靠。

评估方法：

a)检查是否采用稳定可靠的成熟技术，能否保证系统长期安全运行；

b)检查系统中的硬、软件及信息资源是否满足可靠性设计要求；

c)检查系统是否具有容错能力，能否使管理和维护更加方便；

d)检查是否对网络的设计、选型、安装、调试等各环节进行统一规划和分析，系统是

否运行可靠；

e)检查系统是否具有提供多层次安全控制的手段，是否建立完善的安全管理体系，

能否确保数据的安全性、完整性并同时具有可靠的防病毒措施；

f)检查系统是否具有故障恢复功能；

g)检查系统是否具有日志管理功能；

h)检查系统是否具有容灾备份功能；

i)检查系统是否具有更新功能。

6.5.6计量准确性

智能客服系统应具有明确的计量方法，保证计量准确。

评估目的：本指标为了评估智能客服系统的计量准确性。

评估方法：

a)审查客服产品说明书和技术文档等材料，审查系统的计量方式；

b)根据计量方式，对智能客服系统进行测试，审查系统计量是否准确。

6.5.7安全性

智能客服产品在提供智能服务的同时，也应保证数据的安全性和交互的合规性。

评估目的：本指标为了评估智能客服系统的安全性。

评估方法：

a)检查用户程序安全，包括用户权限、密码管理、隐私保护等；

b)检查系统网络安全，包括攻击防护、漏洞检测、木马查杀等；

c)检查数据库安全，包括备份、数据加密等；

12

YD/T××××—××××

d)检查传输安全，包括数据加密传输等；

e)检查话术安全，包括禁用词过滤、图片过滤等；

f)检查部署安全，包括两网分离、出口防护墙防护等。

6.5.8可维护性

智能客服系统应具备一整套的自动化运维工具。

评估目的：本指标为了评估智能客服的可维护性。

评估方法：

a)审查客服产品说明书和技术文档等材料，检查是否具有自动化运维技术；

b)审查客服产品说明书和技术文档等材料，检查是否有运行监控，能否快速定位系

统运行问题。

6.5.9可审查性

智能客服系统运行数据应做到可审查、可溯源。

评估目的：本指标为了评估智能客服系统是否具有可审查性。

评估方法：

a)审查客服产品说明书和技术文档等材料，检查是否支持人员权限管理；

b)审查客服产品说明书和技术文档等材料，检查是否支持操作审计。

13

YD/T××××—××××

目次

前言.....................................................................II

引言....................................................................III

1范围......................................................................1

2规范性引用文件.............................................................1

3术语和定义.................................................................1

4缩略语.....................................................................2

5智能客服系统框架...........................................................2

6指标及评估方法.............................................................3

6.1通则.................................................................3

6.2基础功能.............................................................4

6.3AI核心技术支持能力..................................................7

6.4企业服务能力........................................................10

6.5系统成熟度..........................................................11

I

YD/T××××—××××

自然语言处理技术及产品评估方法

第5部分：智能客服系统

1范围

本文件规定了外呼、呼入、语音导航、在线咨询等智能客服的指标和评估方法，主要包

括基础功能、AI核心技术支持能力、企业服务能力、系统成熟度等四个维度。

本文件适用于指导第三方测评机构开展智能客服系统评估、验收等工作，同时适用于外

呼、呼入、语言导航、在线智能咨询系统等多种智能客服产品形态。

2规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本

适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T5271.28-2001信息技术词汇第28部分：人工智能基本概念与专家系统

GB/T21023-2007中文语音识别系统通用技术规范

GB/T21024-2007中文语音合成系统通用技术规范

GB/T36464.3-2018信息技术智能语音交互系统第3部分：智能客服

3术语和定义

下列术语和定义适用于本文件。

3.1

客服系统customerservicesystem

企业为用户提供客服服务的系统，传统上由人工完成客户服务的功能。

[来源：GB/T36464.3-2018，3.1]

3.2

智能客服系统intelligentcustomerservicesystem

由语音识别、语义理解、智能搜索、语音合成等部分或全部人工智能技术能力元素组

成的，具有智能能力的客户服务系统。

[来源：GB/T36464.3-2018，3.2]

3.3

自然语言理解naturallanguageunderstanding

通过对功能单元从已传入的功能单元中的自然语言形式的文本或语音中的提取信息，

并产生对给定文本或语音及其表示的描述。

[来源：GB/T5271.28-2001，28.01.18]

1

YD/T××××—××××

3.4

语音识别speechrecognition

将人类的声音信号转化为文字或者指令的技术。

[来源：GB/T21023-2007，3.1]

3.5

语音合成texttospeech

通过机械的、电子的方法合成人类语言的过程。

[来源：GB/T21024-2007，3.1]

3.6

应用编程接口applicationprogramminginterface

预先定义的函数，或指软件系统不同组成部分衔接的约定。

3.7

客户关系管理customerrelationshipmanagement

企业为提高核心竞争力，利用信息技术和互联网技术提升管理方式，向客户提供个性化

交互和服务的过程。

3.8

知识管理knowledgemanagement

对大量有价值的方案、策划、成果、经验等知识进行分类存储和管理，积累知识资产避

免流失，促进知识的学习、共享、培训、再利用和创新的技术。

4缩略语

下列缩略语适用于本文件：

CRM客户关系管理CustomerRelationshipManagement

KM知识管理KnowledgeManagement

NLG自然语言生成NaturalLangaugeGeneration

NLP自然语言处理NaturalLanguageProcessing

NLU自然语言理解NaturalLanguageUnderstanding

TTS语音合成TextToSpeech

5智能客服系统框架

智能客服系统与用户的交互流程见图1，包含下列步骤：

a)多渠道接入模块：用户通过网页、APP、小程序、公众号等多种渠道与智能客服产

2

YD/T××××—××××

品建立连接；

b)识别模块：用户通过文本、语音、图片、图像、表情、自定义消息等多媒体消息与

智能客服系统进行沟通，系统将其识别为文本、语义元组或意图；

c)中控模块：对文本、语义元组或意图进行分析，并送达搜索模块进行答案匹配，并

将处理结果反馈给用户；

d)智能对话管理及人工客服模块：在人机对话过程中综合应用NLU、NLG、TTS等人工

智能技术。如有系统无法回答问题或提出相关要求，将交由人工客服进行交互；

e)工单管理模块：无论用户问题是否得到解决，都将提交至工单管理模块，用于后续

问题追溯或质量检查；

f)CRM和KM模块：客服流程数据经过处理输入到CRM系统和KM系统，用于客户关系管理

与知识系统维护、升级和自学习；

g)系统运营分析模块：采集埋点数据以监控智能客服系统的运营情况，以达到控制运

营风险、管理运营对象、评估运营绩效、为智能客服系统管理者提供决策建议的目

的。

多渠道接入模块

识别模块

中控模块系

统

运

营

智能对话管理模块分

人工客服

析

模块

NLUNLGTTS语料知识模

库块

工单管理模块

CRM系统KM系统

图1智能客服产品工作原理

6指标及评估方法

6.1通则

本文件从基础功能、AI核心技术支持能力、企业服务能力和系统成熟度等四个维度对智

能客服系统进行评估，表1给出了评估指标。

3

YD/T××××—××××

表1智能客服系统评估指标

维度指标细分指标

多渠道管理