GB/T 41813.2-2022信息技术智能语音交互测试方法第2部分：语义理解

ICS3524001

CCSL.77.

中华人民共和国国家标准

GB/T418132—2022

.

信息技术智能语音交互测试方法

第2部分语义理解

:

Informationtechnology—Intelligentspeechinteractiontestingmethod—

Part2Semanticunderstandin

:g

2022-10-12发布2023-05-01实施

国家市场监督管理总局发布

国家标准化管理委员会

GB/T418132—2022

.

目次

前言

…………………………Ⅲ

引言

…………………………Ⅳ

范围

1………………………1

规范性引用文件

2…………………………1

术语和定义

3………………1

概述

4………………………1

测试准备和执行

5…………………………2

测试数据集

5.1…………………………2

测试工具

5.2……………3

测试环境

5.3……………3

测试执行

5.4……………3

结果判定

5.5……………3

功能测试方法

6……………3

意图理解

6.1……………3

命名实体识别

6.2………………………3

敏感信息辨别

6.3………………………4

语义拒识

6.4……………4

信息检索

6.5……………4

文本相似度计算

6.6……………………4

文本修改

6.7……………4

语义修正

6.8……………4

自然语言生成

6.9………………………5

逻辑推理

6.10……………5

对话引导

6.11……………5

上下文相关的多轮会话

6.12……………5

性能测试方法

7……………5

语义理解效果

7.1………………………5

语义理解效率

7.2………………………8

系统稳定性

7.3…………………………9

附录规范性主观体验测试

A()…………10

概述

A.1………………10

测试项

A.2……………10

测试方法

A.3…………………………10

参考文献

……………………12

Ⅰ

GB/T418132—2022

.

前言

本文件按照标准化工作导则第部分标准化文件的结构和起草规则的规定

GB/T1.1—2020《1:》

起草

。

本文件是信息技术智能语音交互测试方法的第部分已经发布

GB/T41813《》2。GB/T41813

了以下部分

:

第部分语音识别

———1:;

第部分语义理解

———2:。

请注意本文件的某些内容可能涉及专利本文件的发布机构不承担识别专利的责任

。。

本文件由全国信息技术标准化技术委员会提出并归口

(SAC/TC28)。

本文件起草单位中国电子技术标准化研究院科大讯飞股份有限公司小米通讯技术有限公司华

:、、、

为终端有限公司深圳市优必选科技股份有限公司中国电信集团有限公司思必驰科技股份有限公司

、、、、

中国科学院自动化研究所中国医学科学院生物医学工程研究所哈尔滨工业大学海信视像科技股份

、、、

有限公司马上消费金融股份有限公司腾讯科技北京有限公司沈阳新松机器人自动化股份有限公

、、()、

司深圳市人马互动科技有限公司平安科技深圳有限公司安徽咪鼠科技有限公司泾丰科技深圳

、、()、、()

有限公司北京捷通华声科技股份有限公司北京百度网讯科技有限公司深圳市北科瑞声科技股份有

、、、

限公司阿里云计算有限公司云从科技集团股份有限公司上海计算机软件技术开发中心网易杭州

、、、、()

网络有限公司南京云问网络技术有限公司联想北京有限公司福州数据技术研究院有限公司国家

、、()、、

网络软件产品质量监督检验中心济南华南理工大学山东省计算中心国家超级计算济南中心神

()、、()、

思电子技术股份有限公司郑州中业科技股份有限公司中汽数据天津有限公司中国电器科学研究

、、()、

院有限公司中汽研天津汽车工程研究院有限公司中科极限元杭州智能科技股份有限公司北京

、()、()、

爱数智慧科技有限公司

。

本文件主要起草人徐洋马万钟吴国纲朱亚军贾一君周立君宋文林袁杰杨震田定书

:、、、、、、、、、、

钱彦旻陶建华花云飞蒲江波李海峰王峰杨春勇苏丹张锋冯海洪刘国涛任军民陈楠

、、、、、、、、、、、、、

刑启洲李笑如黄石磊汪淼淼蔡立志李军胡光龙杨萌鹿飞方斌王岳井焜温正棋李介

、、、、、、、、、、、、、、

张莹徐向民孟宪明高永超张晴晴

、、、、。

Ⅲ

GB/T418132—2022

.

引言

智能语音交互在智能家居智能客服移动终端车载终端以及智慧教育智慧医疗智能办公服务

、、、、、、

机器人等诸多领域应用广泛已成为当前人机交互的重要方式之一随着智能语音交互的深入需要对

,。,

智能语音交互的系统参考框架基础技术要求互联网接口要求等进行统一规范在这方面国家已制定

、、,,

了支撑智能语音交互系统的基础性国家标准在此基础上也需要用统一的测试方法和评价标准来对

。,

智能语音交互系统的能力进行评测为智能语音交互相关的产品和服务提供评测的基础方法和依据

,。

信息技术智能语音交互测试方法为所有部分信息技术智能语

GB/T41813《》GB/T36464()《

音交互系统提供基础通用的测试方法智能语音交互包括语音识别语义理解和语音合成三个基本环

》。、

节各环节所涉及的测试对象测试项目测试环境和测试方法均有所不同信息技术

,、、。GB/T41813《

智能语音交互测试方法旨在确立和描述适用于智能语音交互各环节的通用测试项和通用测试方法拟

》,

由三个部分构成

。

第部分语音识别目的在于为智能语音交互应用中的语音识别环节提供通用测试项和通

———1:。

用测试方法

。

第部分语义理解目的在于为智能语音交互应用中的语义理解环节提供通用测试项和通

———2:。

用测试方法

。

第部分语音合成目的在于为智能语音交互应用中的语音合成环节提供通用测试项和通

———3:。

用测试方法

。

Ⅳ

GB/T418132—2022

.

信息技术智能语音交互测试方法

第2部分语义理解

:

1范围

本文件描述了智能语音交互测试中语义理解系统的通用测试项和通用测试方法

。

本文件适用于智能语音服务提供商用户和第三方检测机构对智能语音交互应用的语义理解系统

、

测试的设计和实施

。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款其中注日期的引用文

。,

件仅该日期对应的版本适用于本文件不注日期的引用文件其最新版本包括所有的修改单适用于

,;,()

本文件

。

所有部分信息技术智能语音交互系统

GB/T36464()

3术语和定义

所有部分界定的以及下列术语和定义适用于本文件

GB/T36464()。

31

.

语义理解semanticunderstanding

使功能单元理解人说话的意图

。

来源

[:GB/T36464.1—2020,3.11]

32

.

命名实体namedentity

具有特指或唯一含义的指称名字的实体

。

3