YDT 4394.3-2023自然语言处理技术及产品评估方法 第3部分：智能翻译机

ICS35.240

CCSL67

YD

中华人民共和国通信行业标准

YD/T××××—××××

自然语言处理技术及产品评估方法

第3部分：智能翻译机

Naturallanguageprocessingtechnologyandproductevaluationmethod

—Part3:intelligenttranslator

（报批稿）

××××-××-××发布××××-××-××实施

中华人民共和国工业和信息化部发布

YD/TXXXX—XXXX

前言

本文件按照GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》

给出的规定起草。

本文件是《自然语言处理技术及产品评估方法》系列标准之一，该系列标准的结构和名

称如下：

——第1部分：基础服务平台；

——第2部分：对话系统；

——第3部分：智能翻译机；

——第4部分：机器同传系统；

——第5部分：智能客服系统；

——第6部分：客服质检系统。

请注意本文件的某些内容可能涉及专利，本文件的发布机构不承担识别这些专利的责任。

本文件由中国通信标准化协会提出并归口。

本文件起草单位：中国信息通信研究院、南京新一代人工智能研究院有限公司、科大讯

飞股份有限公司、北京百度网讯科技有限公司、北京声智科技有限公司、北京理工大学。

本文件主要起草人：董晓飞、张学强、张丹、曹峰、王浩、陆铁文、刘俊华、何永春、

张睿卿、何中军、吴华、李笑如、陈孝良、李良斌、屈少杰。

II

YD/TXXXX—XXXX

引言

0.1编制目的及标准结构

智能翻译机是一种可自动实现由源语言向另目标语言转换的电子器件，因能消除不同文

字和语言的隔阂，近年来在旅游和教育等场景中获得了较好的应用。智能翻译机集成了语种

识别、机器翻译等自然语言处理技术，集成了语音识别、语音合成等语音处理技术，还集成

了OCR、人脸识别等图像处理技术，覆盖了人工智能算法层三大核心技术，属于多模态融合

应用的典型产品。为规范智能翻译机的技术效果和服务形式，引导智能翻译机产业健康发展，

开展相关标准的制定工作。

自然语言处理技术及产品评估方法系列标准由以下六个部分组成。

——第1部分：基础服务平台。目的在于提供词法分析、句法分析、语义分析等NLP基础

技术，可提供情感分析、机器翻译、对话系统等NLP应用技术的服务平台，从基础

技术、应用技术、服务能力等三个维度对NLP服务平台进行评估。

——第2部分：对话系统。目的在于集成了对话系统功能的产品或服务，从对话类型、

对话功能、对话性能、对话体验四个维度进行评估。

——第3部分：智能翻译机。目的在于可实现语音输入、自动翻译和语音输出的智能翻

译机，从基础功能、AI核心技术支持能力、安全性与可靠性和附加业务功能等四个

维度对智能翻译机进行评估。

——第4部分：机器同传系统。目的在于提供语音输入、自动分句、机器翻译、语音输

出或译文投屏的机器同传系统，从基础功能、AI核心技术支持能力、工程实现能

力、附加业务能力等四个维度对机器同传系统进行评估。

——第5部分：智能客服系统。目的在于提供语音客服机器人、文本客服机器人等多种

产品形态的智能客服系统，从基础功能、AI核心技术支持能力、企业服务能力和系

统成熟度等四个维度对智能客服进行评估。

——第6部分：客服质检系统。目的在提供人工客服和智能客服的质检系统，从智能语

音、自然语言理解、基础能力、质检能力四个维度进行评估。

本文件是“自然语言处理技术及产品评估方法”系列文件第3部分：智能翻译机，是为

智能翻译机的研发者和选型者提供评估参考规范。

0.2相关专利情况说明

本文件的发布机构提请注意，声明符合本文件时，可能涉及到5、7.3.1、7.3.3和7.3.5

中如下4项和智能翻译机技术相关的专利使用。专利名称如下：

CN201911010911.1，语音合成的评估方法、装置、电子设备及可读存储介质；

CN201110307878.6，获取语料的方法及装置、生成翻译模型的方法及系统、机器翻译的方法

及系统；CN201810712539.8，用于语音翻译的方法、装置、设备和计算机可读存储介质；

CN201310746678.X，翻译译文的提供方法、装置和系统。

本文件的发布机构对于该专利的真实性、有效性和范围无任何立场。

该专利持有人已向本文件的发布机构承诺，他愿意同任何申请人在合理且无歧视的条款

和条件下，就专利授权许可进行谈判。该专利持有人的声明已在本文件的发布机构备案，相

III

YD/TXXXX—XXXX

关信息可以通过以下联系方式获得：

专利持有人姓名：北京百度网讯科技有限公司

地址：北京市海淀区上地十街10号百度大厦2层

请注意除上述专利外，本文件的某些内容仍可能涉及专利。本文件的发布机构不承担识

别这些专利的责任。

IV

YD/TXXXX—XXXX

自然语言处理技术及产品评估方法

第3部分：智能翻译机

1范围

本文件规定了可实现语音输入、自动翻译和语音输出的智能翻译机的指标要求和评估方

法，主要包括智能翻译机基本框架、评估方法概述、指标项及评估方法，所述智能翻译机不

包括支持翻译的蓝牙耳机、电子词典和录音笔。

本文件适用于指导第三方测评机构对智能翻译机的评估、验收等工作。

2规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本

适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T19682-2005翻译服务译文质量要求

GB/T21023-2007中文语音识别系统通用技术规范

GB/T21024-2007中文语音合成系统通用技术规范

3术语和定义

下列术语和定义适用于本文件。

3.1

语音识别speechrecognition

将人类的声音信号转化为文字或者指令的技术。

[来源：GB/T21023-2007，3.1]

3.2

语音合成texttospeech

通过机械的、电子的方法合成人类语言的过程。

[来源：GB/T21024-2007，3.1]

3.3

机器翻译machinetranslation

将一种语言（源语言）自动转换为另一种语言（目标语言）的技术。

3.4

用户users

1

YD/TXXXX—XXXX

使用智能翻译机解决其业务问题的组织或个人。

4缩略语

下列缩略语适用于本文件：

AI人工智能ArtificialIntelligence

BLEU双语评估替补BilingualEvaluationUnderstudy

5智能翻译机基本框架

智能翻译机的工作原理为：

a)使用者通过自然语言对翻译机麦克风说出需要进行翻译的内容；

b)机体通过麦克风阵列采集用户声音；

c)智能翻译机通过使用语音识别、机器翻译等技术，结合服务端资源对用户请求进行

分析；

d)对翻译文本进行语音合成播报或通过翻译机终端显示屏进行展示。

其工作原理见图1。

图1智能翻译机工作原理

6评估方法概述

针对智能翻译机的评估方法包括检查和测试两类测评方法，具体为：

a)检查：检查是通过对测评对象进行观察、查验、分析以帮助测评人员理解、澄清或

取得证据的过程。检查主要有评审、核查、审查、观察、研究和分析等，检查对象

是文档等；

2

YD/TXXXX—XXXX

b)测试：测试是指使用预定的方法/工具使测评对象产生特定的结果，将运行结果与

预期的结果进行比对的过程，主要包括人工评测、工具测试等测试操作。

7指标项及评估方法

7.1智能翻译机指标体系

智能翻译机指标项的权重见表1。

表1智能翻译机指标体系

维度指标评价方法

语种和方向语言对数量

自动语种识别语种数量

基础功能支持篇章翻译支持与否

错误修复机制支持与否

私有资源定制支持与否

自然语言处理机器翻译主观评分

AI核心技术支持能语音识别字准确率

语音处理

力语音合成MOS评分

计算机视觉OCR准确率

个人信息保护支持与否

安全性与稳定性服务可靠性技术测试

服务计量准确性技术测试

方言识别与翻译方言数量

行业识别与翻译行业数量

附加业务功能

拍照识别与翻译支持与否

离线识别与翻译支持与否

7.2基础功能评估

7.2.1语种和方向

评估目的：评估智能翻译机支持翻译的语种和方向的丰富度。

评估内容：

a)语种：汉语、英语、日语、韩语、德语、西班牙语、意大利语等常见语种的识别和

翻译；

3

YD/TXXXX—XXXX

b)方向：中英、英中、中日、日中、中韩、韩中、中德、德中等常见语种的双向翻译。

评估方法：

a)构建多个语种、多个方向的音频模态的测试数据集；

b)基于技术验证的方式，依次输入测试数据集，将其识别为文本及对应翻译结果，判

定其是否支持待测语种和方向。

7.2.2自动语种识别

评估目的：评估智能翻译机自动识别语种的能力。

评估方法：

a)构建多个语种的音频模态的测试数据集；

b)基于技术验证的方式，依次输入测试数据集并将其识别为相应的语种，以判定翻

译机是否支持语种自动识别能力。

7.2.3支持篇章翻译

评估目的：评估智能翻译机支持带有上下文语义关联的篇章翻译的能力。

评估方法：

a)构建中文和英文两个语种的音频模态的篇章测试数据集；

b)基于技术验证的方式，依次输入篇章测试数据集，将其识别为文本及对应翻译结

果，判定其是否支持上下文语义关联。

7.2.4错误修复机制

评估目的：评估智能翻译机是否具备错误修复机制。

评估方法：

a)构建中文和英文两个语种的音频模态的测试数据集；

b)基于技术验证的方式，依次输入测试数据集，将测试数据集识别为文本及对应翻

译结果。通过观察原始输出和实际输出，判定其是否具备错误修复机制。

7.2.5私有资源定制

评估目的：评估智能翻译机在特殊对象和环境中识别语音的能力。

评估方法：结合材料审查和技术验证的方式。

a)材料审查：通过审查智能翻译机的产品说明书、技术文档等材料，评估其是否具备

私有资源定制能力。

b)技术验证：

1)构建通讯录、术语库、关键词、专有术语表、双语对照表等作为虚拟用户私

有资源；

2)将测试数据集识别为文本，并进行机器翻译，得到翻译结果；

3)导入虚拟用户私有资源，将测试数据集识别为文本及对应翻译结果；

4)对比导入虚拟用户私有资源前后的译文，判定其是否支持该项功能。

7.3AI核心技术支持能力评估

7.3.1机器翻译

评估目的：智能翻译机的机器翻译能力评估。

4

YD/TXXXX—XXXX

评估内容：该指标可选择两种评估方式。

a)单独评估智能翻译机翻译效果，即使用人工矫正后识别结果请求翻译，对翻译结

果进行BLEU值或可接受度评价。

b)不进行人工矫正，直接使用原始识别结果请求翻译能力，对翻译结果进行BLEU值

或可接受度评估计算。

评估方法：

由3名评测人员对翻译结果逐句进行可接受度评分，评分准则见表2，评分准则应遵循

GB/T19682-2005；

a)由3名评测人员对单句翻译结果评分的均分即为该句的译文接受度评分；

b)对于单句而言，译文接受度大于等于3分判定该句译文可接受，译文接受度小于3分

则判定该句译文不可接受。参评译文总句数应为译文可接受句子总数与译文不可接

受句子总数之和；

c)以译文可接受率作为度量翻译机的翻译效果，计算方法参见公式（1）：

C

P=1×100%……（1）

PREC

式中：

PPRE——译文可接受率；

C1——译文可接受句子总数；

C——译文句子总数。

表2机器翻译可接受度评分准则

译文评分评分准则

1分译文晦涩难懂，无法通过译文判断原文表达的内容。

译文不能反映原文语义，存在以下问题：

——译文包含原文主要成分，但因顺序问题、逻辑错误、严重语法错误等原因未能

2分构成流畅译文；

——译文基本流畅，但否定、双重否定等翻译错误、严重漏译、关键词错译、多翻

了原文本没有的内容。

译文能够反映原文语义，基本流畅[主谓宾等语法成分顺序正确]，但存在表达语义

3分

的关键词汇翻译不当、非关键词漏译或错译等。

译文基本反映原文语义，基本流畅[主谓宾等语法成分顺序正确]，只是存在少量词

4分

用词不当或搭配不地道等。

5分译文忠实反映语义，译文流畅。

7.3.2语音识别

评估目的：评估智能翻译机中语音识别能力。

评估方法：

a)构建语音测试数据集，通过接口批量获取语音识别的文本；

b)字错率：以字符为单位比对识别序列和标准序列，依据识别错误的字数和标准序列

中的总字数计算字错率，字错率计算方法参见公式（2）：

5

YD/TXXXX—XXXX

푅

Y=WER×100%…………………（2）

WERR

式中：

YWER——字错率；

RWER——错误识别的字数；

R——总字数；

c)句错率：比对识别序列和标准序列，两者相同则该句视为识别正确，否则视为识别

错误，依据识别错误的句子数和测试集总句数计算句错率，计算方法参见公式（3）：

Q

Y=SER×100%…………………（3）

SERQ

式中：

YSER——句错率；

QSER——错误识别的句子数；

Q——总句数。

7.3.3特定识别能力

评估目的：评估智能翻译机在特殊人群和距离中的识别能力。

评估内容：测试包括以下两个部分。

a)口音：不同地域的口音，比如广东口音、东北口音、四川口音、福建口音等。

b)距离：在远场距离环境下，分别分为1m、2m、3m条件来进行测试。

评估方法：

a)构建口音、距离等特定场景测试数据集；

b)依次将测试数据集识别为文本及对应翻译结果，分别统计字准确率。

7.3.4场景识别能力

评估目的：评估智能翻译机在不同应用场景和领域中的表现力。

评估内容：测试短文内容包含特定应用场景音频特质，音频10～20段，每段篇幅100～

200个字符，涉及场景包括：

a)家居环境，如临街环境和室内家电噪声环境；

b)建筑环境，如会议室、大厅等；

c)电话录音，如对话式录音。

评估方法：

a)构建家居、建筑等特定场景测试数据集；

b)依次将测试数据集识别为文本及对应翻译结果，分别统计字准确率。

7.3.5语音合成

7.3.5.1通则

本指标是为了评估智能翻译机的综合语音合成效果。本指标主要为音频合成质量评估，

可以细分为发音准确率、音节清晰度、语音自然度三部分。

7.3.5.2发音正确率

6

YD/TXXXX—XXXX

基于人工评测的方式。参评企业的语音合成服务系统依据评测方提供的测试数据集，每

个句子包含一个无歧义的测试点，依据参评系统产生的合成音频，检查是否正确合成，统计

得分，计算发音正确率。发音正确率的评测点见表3，发音正确率的计算方法参见公式（4）：

W

P=1×100%……（4）

WW

式中：

PW——发音正确率；

W1——正确合成声音的用例数；

W——总的用例数。

表3语音合成发音正确率评测准则

评测点描述权重

a)常见多音字：能依据上下文在输出的文本文件中对多音字给出正确的读

音；

多音字30

b)特殊姓氏：可根据上下文区别读音的特殊姓氏，例如“仇”作为姓时应

该读为[qiu2]。

a)进制单位：对测试材料中的数字字符，应按照中文以亿、万、千、百、

十为单位独出，例如“896,500”应展开为“八十九万六千五百”；

数字20

b)数据字符：能区分年代、电话号码、百分比、分数和小数的不同读法，

如“2017/10/27”“23:11”“5pm”等。

a)特殊符号和单位：对测试材料中的符号和单位，有中文法定计量单位的

应给出相应的拼音形式，并按照汉语普通话读音，读音应遵照《关于在

我国统一实行法定计量单位的命令》（1984年）的规定，如“：”“-”

符号20

“#”“*”等需要能根据上下文选择正确的发音；

b)数字符号有全角半角：前端系统应该能正确识别全角半角并发音；

c)中英文混读：常用外语缩略语，如“B超”“ATM机”“QQ”等。

声调发音一／不变调、上声变调、重叠式变调、轻音和儿化音变调等。30

7.3.5.3音节清晰度

评估目的：评估翻译机字和词的发音清晰效果。

评估方法：基于人工评测的方式。采用语义不可测句（SemanticUnpredictable

Sentence，SUS）测试单词清晰度，将测试集语句中字词打乱，语义的不可测可以避免听音

人的经验猜测，其中测试点都是单个字、词，参评企业的语音合成服务系统依据评测方提供

的测试数据集成为音频。语音顺序交叉打乱，听音评测者依据参评系统生成的音频文件和输

入的文本进行比照，判断字词的发音是否清晰，统计发音清晰得分，计算方法参见公式（5）：

X

P=1×100%……（5）

XX

式中：

PX——发音清晰度；

X1——清晰发音的测试点；

X——总的测试点。

7.3.5.4语音自然度

评估目的：评估翻译机语音合成音频的自然度。

7

YD/TXXXX—XXXX

评估方法：基于人工评测的方式。采用MOS(MeanOpinionScore)平均主观意见评分方

式，参评企业的语音合成服务系统依据评测方提供的测试数据集，将测试数据集合成为音频。

语音顺序交叉打乱，听音评测者依据参评系统生成的音频文件，从以下三个方面判断合成语

音的整体自然度，各维度满分100分，统计所有评测人员的打分，计算各维度的平均分。

a)情绪饱满度：按照文本语义和情绪，评估合成语音情绪表达是否到位。

b)流畅连贯度：评估合成语音韵律节奏、分词停顿和语速表达是否正常，是否流畅连

贯。

c)拟人舒适度：评估合成语音在人听觉上的感受是否舒适，是否更接近人类发音。

计算语音自然度得分，计算方法参见公式（6）：

Y+Y+Y

P=123……（6）

Y3

式中：

PY——语音自然度得分；

Y1——情绪饱满度得分；

Y2——流畅连贯度得分；

Y3——拟人舒适度得分。

7.3.6OCR

特定使用场景下，要求智能翻译机具备光学字符识别（OCR）等智能视觉能力，以辅助

翻译机接收、处理多模态信息。

评估目的：本指标为了评测智能翻译机是否具备图像文字识别的能力。

评估方法：

a)通过材料审查判断智能翻译机是否具备图像文字识别的能力；

b)通过技术测试的方法，构建图片测试数据集；

c)测试智能翻译机的OCR能力，准确率计算方法参见公式（7）：

Z

P=1×100%……（7）

ZZ

式中：

PZ——OCR准确率；

Z1——正确识别的图片数量；

Z——总的图片数量。

7.4安全性与稳定性评估

7.4.1个人信息保护

评估目的：智能翻译机的个人信息保护能力评估。

评估方法：基于材料检查的方式。

a)审查智能翻译机厂商的个人信息组织管理制度，包括：

1)审查企业是否建立个人信息管理责任、规范个人信息处理等规则制度；

2)审查企业是否建立完善的内部合规管理部门，并设立专门的人工信息保护管

理人员；

3)审查企业是否建立个人信息保护系统的安全审计能力（可选）；

8

YD/TXXXX—XXXX

4)审查企业是否建立数据安全能力，落实必要的管理和技术措施，防止个人信

息的泄漏、损毁、丢失。

b)审查智能翻译机的个人信息隐私保护措施，主要是验证智能翻译机的数据收集、

保存、使用、处理等行为中涉及到的个人信息隐私保护。

7.4.2服务稳定性

智能翻译机的服务稳定性应≥99.9%，并具备一定的服务可靠性的保障策略。

评估目的：智能翻译机的稳定性。

评估方法：基于材料检查的方式。

a)参评单位应提供自承诺的服务等级材料，并提供服务可靠性保障策略相关材料，

如平均故障间隔时间、用户无感的系统升级、服务状态监测和自动重启、冗余备灾

策略等，测试方检查是否符合稳定性要求；

b)判断智能翻译机SLA指标能否达到全链路2s以内请求占比≥99.9%、全链路1s以内

请求占比≥95.0%的指标。

7.4.3服务计量准确性

评估目的：评估智能翻译机整体服务的计量准确度。

评估方法：基于材料检查和技术测试的方式。

a)材料检查：检查参评单位提供的与承诺相符的服务计量的材料，包括：

1)检查计费单位、计费算法、计费周期；

2)检查计量日志。

b)技术测试：测试智能翻译机的计费准确度，抽取计量日志中若干计费条目，按参评

单位提供的计费方式审查是否与实际使用情况一致。

7.5附加业务功能

7.5.1方言识别与翻译

评估目的：智能翻译机对东北话、四川话、广东话等方言的识别与翻译。

评估方法：基于材料检查和技术测试的方式。

a)材料检查：检查参评单位提供的与承诺相符的方言的识别与翻译的相关材料。

b)技术验证，包括：

1)评估语音识别能力，如将东北话、四川话、广东话等方言识别为文本的能力；

2)评估机器翻译能力，如将东北话、四川话、广东话等方言翻译为目标语言文

本的能力。

7.5.2行业识别与翻译

评估目的：智能翻译机对教育、旅游、交通、餐饮等翻译机重点应用行业进行识别与翻

译。

评估方法：主要基于材料检查和技术测试的方式。

a)材料检查：检查参评单位提供的与承诺相符的行业的识别与翻译的相关材料。

b)技术验证，包括：

1)评估教育、旅游、交通、餐饮等行业的识别能力，判断能否正确地将行业中

的专业术语、特定表达的语音识别为文本；

9

YD/TXXXX—XXXX

2)评估教育、旅游、交通、餐饮等行业的翻译能力，判断能否正确地将行业中

的专业术语、特定表达的源语言翻译为目标语言。

7.5.3拍照识别与翻译

评估目的：智能翻译机具备拍照识别的能力，重点识别图片中的文字，并进行翻译。

评估方法：主要基于材料检查和技术测试的方式。

a)材料检查：检查参评单位提供的与承诺相符的拍照识别与翻译的相关材料。

b)技术验证，包括：

1)评估能否通过拍照快速识别的现实生活中的物体或文字；

2)评估能否对识别出的物体名称或文字翻译为目标语言。

7.5.4离线识别与翻译

评估目的：智能翻译机具备离线语音识别与机器翻译的能力。

评估方法：主要基于材料检查和技术测试的方式。

a)材料检查：检查参评单位提供的与承诺相符的离线识别与翻译的相关材料。

b)技术验证：在智能翻译机离线的情况下进行语音输入，验证翻译机能否准确识别

出文字并进行翻译。

10

YD/TXXXX—XXXX

目次

前言.....................................................................II

引言....................................................................III

1范围......................................................................1

2规范性引用文件.............................................................1

3术语和定义.................................................................1

4缩略语.....................................................................2

5智能翻译机基本框架.........................................................2

6评估方法概述...............................................................2

7指标项及评估方法...........................................................3

7.1智能翻译机指标体系...................................................3

7.2基础功能评估.........................................................3

7.3AI核心技术支持能力评估..............................................4

7.4安全性与稳定性评估...................................................8

7.5附加业务功能.........................................................9

I

YD/TXXXX—XXXX

自然语言处理技术及产品评估方法

第3部分：智能翻译机

1范围

本文件规定了可实现语音输入、自动翻译和语音输出的智能翻译机的指标要求和评估方

法，主要包括智能翻译机基本框架、评估方法概述、指标项及评估方法，所述智能翻译机不

包括支持翻译的蓝牙耳机、电子词典和录音笔。

本文件适用于指导第三方测评机构对智能翻译机的评估、验收等工作。

2规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本

适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T19682-2005翻译服务译文质量要求

GB/T21023-2007中文语音识别系统通用技术规范

GB/T21024-2007中文语音合成系统通用技术规范

3术语和定义

下列术语和定义适用于本文件。

3.1

语音识别speechrecognition

将人类的声音信号转化为文字或者指令的技术。

[来源：GB/T21023-2007，3.1]

3.2

语音合成texttospeech

通过机械的、电子的方法合成人类语言的过程。

[来源：GB/T21024-2007，3.1]

3.3

机器翻译machinetranslation

将一种语言（源语言）自动转换为另一种语言（目标语言）的技术。

3.4

用户users

1

YD/TXXXX—XXXX

使用智能翻译机解决其业务问题的组织或个人。

4缩略语

下列缩略语适用于本文件：

AI人工智能ArtificialIntelligence

BLEU双语评估替补BilingualEvaluationUnderstudy

5智能翻译机基本框架

智能翻译机的工作原理为：

a)使用者通过自然语言对翻译机麦克风说出需要进行翻译的内容；

b)机体通过麦克风阵列采集用户声音；

c)智能翻译机通过使用语音识别、机器翻译等技术，结合服务端资源对用户请求进行

分析；

d)对翻译文本进行语音合成播报或通过翻译机终端显示屏进行展示。

其工作原理见图1。

图1智能翻译机工作原理

6评估方法概述

针对智能翻译机的评估方法包括检查和测试两类测评方法，具体为：

a)检查：检查是通过对测评对象进行观察、查验、分析以帮助测评人员理解、澄清或

取得证据的过程。检查主要有评审、核查、审查、观察、研究和分析等，检查对象

是文档等；

2

YD/TXXXX—XXXX

b)测试：测试是指使用预定的方法/工具使测评对象产生特定的结果，将运行结果与

预期的结果进行比对的过程，主要包括人工评测、工具测试等测试操作。

7指标项及评估方法

7.1智能翻译机指标体系

智能翻译机指标项的权重见表1。

表1智能翻译机指标体系

维度指标评价方法

语种和方向语言对数量

自动语种识别语种数量

基础功能支持篇章翻译支持与否

错误修复机制支持与否

私有资源定制支持与否

自然语言处理机器翻译主观评分

AI核心技术支持能语音识别