《多模态人机交互技术要求》

ICS35.240.01

CCSL00

CI

团体标准

T/CI—2023

多模态人机交互技术要求

Multimodalhuman-computerinteractionrequirements

（征求意见稿）

XXXX-XX-XX发布XXXX-XX-XX实施

中国国际科技促进会  发布

T/CI—2023

多模态人机交互技术要求

1范围

本文件规定了多模态人机交互技术在环境中的术语、定义、测试方法，测试标准及技

术要求，确保交互系统的易用性、可靠性和互操作性，为用户提供更智能、便利和舒适的

出行环境。

本部分适用于在地铁、商场、银行、地下停车场等内的多模态人机交互场景。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日

期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包

括所有的修改单）适用于本文件。

GB/T36339-2018智能客服语义库技术要求

GB/T38124-2019服务机器人性能测试方法

GB/T38260-2019服务机器人功能安全评估

GB/T9394-2008人机工程学人机交互术语

GB/T26780-2011信息安全技术人机界面安全设计指南

GB/T26447-2010移动终端人机界面通用设计规范

ISO9241-110:2019人因工程学用户界面设计原则第110部分：多模态交互

GB/T34083一2017中文语音识别互联网服务接口规范

GB/T34145-2017中文语音合成互联网服务接口规范

3术语和定义

下列术语和定义适用于本文件。

3.1多模态人机交互（Multimodalhuman-computerinteraction）

指使用多种感知通道和交互方式进行人与机器之间的信息交流和操作，包括语音、触

摸、手势、视觉、虚拟现实等多种模态。

1

T/CI—2023

3.2服务机器人（servicerobot）

除工业自动化应用外，提供服务的智能设备，一般为非专业人士使用的机器人。服务

人类客户的服务机器人，应具有多模态人机交互能力，指引带路及信息互通，实现更智能、

高效的地铁运营。

3.3人机交互界面(Human-ComputerInteractionInterface)

用户与计算机或智能系统进行交互的界面，可以是语音界面、触摸屏界面、手势感应

界面等。

3.4语音识别(speechrecognition)

将人类的声音信号转化为文字或者指令的过程。

3.5触摸交互(TouchInteraction)

通过触摸屏或触摸设备实现用户与计算机或智能系统的交互。

3.6定位(localization)：

在环境地图上识别或分辨移动机器人的位姿

3.7导航(navigation)：

在环境地图上识别或分辨移动机器人的位姿

3.8人脸识别(Facerecognition)：

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术

3.9响应时延（responselatency)：

用户操作移动终端时,从输入触控指令到系统开始将输出信息反馈到触摸屏上的时间

3.10感知流畅性(perceivedfluency)：

用户与移动终端界面进行交互操作时对界面流畅性的感知体验

4其他

多模态人机交互应为用户提供更加智能、便捷和自然的交互方式，主要包括语音交互、

手势和触摸交互、视觉感知交互、增强现实（AR交互）、图像识别与文字识别交互；可支

持多种用户访问方式，不同用户群体都能方便使用系统。

2

T/CI—2023

5技术要求

5.1定位性能

(1)机器人自主定位应与机器人本身扫图建图后的地图显示位置一致；

(2)机器人在不同环境下的应满足定位误差要求；室内环境下，定位误差应控制在5cm

以内；

(3)机器人应具备定位误差补偿的能力，使用传感器数据进行误差校正。

5.2导航性能

5.2.1技术要求

(1)导航路程误差≤1000mm

(2)导航时间误差≤10s内

5.2.2测试要求

5.2.2.1导航路程误差

选择试验标准中的直线测试路径，指定起点A和目标点B，使机器人在自主导航模

式下从A到达B，测试设备记录机器人的行走路程Li，记L0为A-B最短路程，路程

差为Li-L0，重复N次，N≥6，计算得到均方根误差：

----------------------------------------------式（1）

及单位路程均方根误差：

----------------------------------------------式（2）

5.2.2.2导航时间误差

选择试验标准中的直线测试路径，指定起点A和目标点B，使机器人在自主导航模

式下从A到达B，记录行走时间ti。设机器人以额定速度走完A-B最短路径所需要的

时间为t0，重复N次，N≥6，计算得到均方根误差：

----------------------------------------------式（3）

3

T/CI—2023

及单位时间均方根误差：

----------------------------------------------式（4）

5.3语音唤醒

5.3.1技术要求

(1)唤醒词库支持：要求支持最少10个唤醒词，满足不同用户需求。

(2)唤醒成功率：按照5.6.1.3测试方法，在静音环境下，要求唤醒成功率达到99%以

上。

(3)在30分贝（dB）背景噪声下，要求唤醒成功率达到95%以上。

(4)唤醒词定制：要求用户可以自行定制唤醒词，并在系统中生效。

5.3.2测试要求

语音唤醒性能的测试步骤应该按照如下流程：在机器人正前方1m处，将提前录制好的

“大头”音频以恒定的间隔进行播放。唤醒词声源分布如图1所示，在下图每个位置处进

行100次唤醒。

图1

rL:测试环境长度

rW:测试环境宽度

5.4语音识别

5.4.1技术要求

(1)具备关键词语音识别能力，在低噪环境(噪声强度在50dB以下)中,关键词语音

识别的字正确率应在90%以上;在高噪环境(噪声强度在60dB~65dB)中,关键词语音识

4

T/CI—2023

别的字正确率宜在85%以上。字正确率的性能指标定义见GB/T21023-2007的仅能识

别关键词，并根据关键词提供具体服务。

(2)具备连续语音识别能力。在低噪环境(声强度在50dB以下)中连续语音识别的字

正确率宜在85%以上:在高噪环境(噪声强度在60dB~65dB)中,连续语音识别的字正确

率官在80%以上。字正确率的性能指标定义见GB/T21023-2007的仅能识别关键词，

并根据关键词提供具体服务。

(3)智能客服语音交互系统数字语音识别要求包括:应支持数字识别及服务,宜支持不

同数字表达方式的识别示例并且正确率应在99%以上。

5.5声源定位

5.5.1技术要求

(1)定位准确度：最大角度误差：定位结果与实际声源位置之间的最大角度误差不得

超过±5°。

(2)最大空间距离误差：定位结果与实际声源位置之间的最大空间距离误差不得超过

0.5米。

(3)动态响应：系统应在声源位置变化后的1000毫秒内，完成声源定位并输出结果。

(4)实时性：系统的声源定位响应延迟应不超过500毫秒。

5.5.2测试要求

(1)时间差法测试：使用多个微型麦克风阵列，同时记录声源信号到达每个麦克风的

时间，通过计算时间差来确定声源方向。

(2)幅度差法测试：使用多个微型麦克风阵列，同时记录声源信号到达每个麦克风的

幅度差，通过计算幅度差来确定声源方向。

(3)波束形成测试：使用波束形成算法和多个麦克风，测试算法对声源定位的准确性

和鲁棒性。

(4)声源跟踪测试：测试声源定位系统对运动声源的跟踪能力，包括声源的速度和加

速度变化等。

5.6人脸识别

5.6.1技术要求

(1)机器人人脸识别技术在标准测试数据集上的准确率90%以上。

(2)机器人识别人脸的响应时间，例如在3秒内完成人脸识别。

5

T/CI—2023

(3)机器人应在0.5米外、3米距离内，达到识别准确率标准。

(4)机器人应在不同角度和姿态下进行人脸识别，例如正面、侧面、倾斜等。

(5)机器人应具备同时识别多个人脸，并区分不同人员的能力。

(6)机器人在目标人脸上的拒识率不大于1%。

(7)机器人应保持较高的识别稳定性，例如在嘈杂环境或高温环境下的稳定性。

5.6.2测试要求

人脸识别的性能可分为人脸检测成功率、人脸识别成功率、人脸识别距离三项指标，

测试流程应该按照如下步骤:

(1)人脸检测测试步骤如下:

1仅1名测试人员站在机器人摄像头检测区城内,根据系统提示信息,检查机器人

是否能检测到测试人员的面部;

2所有测试人员重复步骤①3次,按照公式计算人脸检测成功率C，取最小值作

为测试结果;

×100%

n

式中:C=N

C--人脸检测成功率;

N--机器人检测到的人脸总数:

N--测试人员总数。

3多名测试人员站在机器人摄像头的检测区域内,根据系统提示信息，检查机器人

所能识别的最大人脸数目,记录连续测试成功检测3次的最小值，同时,记录每次实

际测试人员数

(2)人脸识别测试步骤如下:

1机器人采集测试人员的面部信息或者将包含测试人员面部信息的人脸测试集导

入机器人中,并完成测试人员的信息录入;

2仅1名测试人员站在机器人摄像头检测区域内,测试人员与机器人保持0.5m的

距离，测试人员的面部与机器人分别为0°和45°,根据系统提示信息，检查机器人

是否能检测与识别到测试人员的正脸和侧脸，记录测试结果;

3测试人员依次重复步骤②3次,按照公式分别计算0°正脸和45°侧脸识别

成功率G，其中识别错误或者人脸检测不成功均视为人脸识别失败。

6

T/CI—2023

×100%

�

式中�=�

G--人脸识别成功率;

U--机器人正确识别人脸总数；

U--测试人员总数。

注1:以上步骤,测试人员正脸面对机器人，即测试人员面部方向与机器人脸部方向夹

角为0”。

注2:根据测试需要,可调整室内背景色,但需要在测试报告中注明。

(3)人脸识别距离测试步骤如下:

固定机器人,仅1名测试人员站在机器人摄像头检测区域内,测试人员分别依次与机器

人保持0.5m、1.5m、2m、2.5m、3m的距离，不同距离保持同一角度;根据系统提示信息,

检查机器人是否能识别测试人员，记录机器人连续3次成功人脸识别情况下，最大距离中

的最小值。

5.7触摸响应

5.7.1技术要求

响应时延主要影响用户对触控交互及时性、操控性和愉悦性的体验。响应时延不应高

于用户可容忍的最长等待时间，宜避免用户感受到明显的延迟。在用户的延迟感觉闽限以

上，响应时延越短，流畅性体验越好:当响应时延接近或短于延迟感觉阙限,继续减小响应

时延对流畅性体验的改善不明显。响应时延感知流畅性指标要求见下表1。

表1

感知流畅性等级

指标项

一级二级三级

应用启动响应延时

t响应时延≤150ms＜t响应时延小t响应时延＞

点击响应时延页面切换响应时延

150ms于250ms250ms

控件出现响应时延

上下滑动响应时延

t响应时延≤100ms＜t响应时延小t响应时延＞

滑动响应时延

100ms于150ms150ms

左右滑动响应时延

7

T/CI—2023

5.8触控跟随

5.8.1技术要求

最大跟手距离反映的是用户对触控交互操控性的体验。最大跟手距离越小,操控性越好,

用户流畅性体验越好。

5.8.2测试方法

最大跟手距离测试采用匀速滑动的方式，即机械手触笔以固定的速度在触摸屏上滑动。

最大跟手距离宜采用300mm/s600mm/s和900mm/s三种滑动速度进行测试。触控跟随性

能的测试步骤应该按照如下：

(1)最大跟手距离测量起点:以机械手触笔点触界面目标的时间为起始点；

(2)最大跟手距离测量终点:以机械手触笔离开屏幕的时间为结束点；

(3)最大跟手距离为测量起点至测量终点时段内,机械手触笔位置和目标位置在滑动

方向上的最大间距。

5.9动态界面

5.9.1技术要求

动效时长反映的是新页面打开或控件出现过程的时间长短,主要影响用户对触控交互

及时性、连续性、自然性和愉悦性的体验。动效时长不宜过长也不宜过短，过长会给用户

带来拖沓的感觉，过短则易带来闪跳感。

表2动态界面感知流畅性指标要求

感知流畅性等级

指标项

一级二级三级

应用打开缩放时长

250ms＜t响应650ms＜t响应t响应时延＞

点击响应时延页面切换左右平移动效时长

时延小于650ms时延小于850ms850ms

页面切换上下平移动效时长

5.9.2测试要求

动态界面性能的测试步骤应该按照如下：

(1)动效时长测量起点:以响应时延测量终点为起始点。

8

T/CI—2023

(2)动效时长测量终点:以应用窗口或新页面窗口完成动效属性的变化为结束点,这种

变化包括但不限于以下情况:

1窗口或控件扩展到边界，界面静止;

2窗口或控件扩展到边界，界面有伸缩(适应),而后静止。

注：动效时长为测量起点至测量终点的时长。

5.10视觉交互

5.10.1技术要求

参考ISO19794-5:2011《信息技术.生物特征识别.面部图像数据》。

5.10.2测试要求

使用标准的面部表情和手势测试样本，测试摄像头的图像采集质量和人脸识别能力。

5.11智能搜索

5.11.1技术要求

在不能确定唯一答案时,系统应支持给出多个答案,宜支持推荐结果列表;列表的排序宜

具备按照问题的相关程度，或按照列表结果的时间顺序,或按照字到#笔画排序的能力。智

能搜索的准确率经过不同知识背景、不同年龄的多人、多轮次测试,客观测试准确率应达到

95%以上，主观测试准确率应达到85%以上,计算方法见式(2)。

×100%----------------------------------------------式（5）

𝑅�

𝑅�=�

5.11.2测试要求

采用机器及人工的方式输入数据,对智能搜索功能、搜索结果的相关度计算方法进行评

价。观察到系统返回结果的相关度结果的计算值;观察到选取不同相似度计算方法后,计