YDT 4515-2023移动智能终端智能化性能基准测评方法

ICS33.050

CCSM37

YD

中华人民共和国通信行业标准

YD/TXXXX—XXXX

移动智能终端智能化性能基准测评方法

Benchmarktestmethodsforintelligenceperformanceofmobilesmart

terminal

(报批稿)

XXXX-XX-XX发布XXXX-XX-XX实施

中华人民共和国工业和信息化部发布

YD/TXXXXX—XXXX

前  言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。

本文件由中国通信标准化协会提出并归口。

本文件起草单位：中国信息通信研究院、中国电信集团有限公司、OPPO广东移动通信有限公司、

高通无线通信技术(中国)有限公司、北京小米移动软件有限公司、中国—东盟信息港股份有限公司、

华为技术有限公司，北京三星通信技术研究有限公司，北京奇虎科技有限公司，维沃移动通信有限

公司，北京百度网讯科技有限公司。

本文件主要起草人：解谦、张睿、庞涛、贾利敏、杜志敏，刘欣、李小娟、卢炳全、高立发、

马艳军、洪明、朱亚军、朱政、雷震、吴春雨、姚一楠

III

YD/TXXXXX—XXXX

移动智能终端智能化性能基准测评方法

1范围

本文件规定了通过使用神经网络模型在移动智能终端侧进行推理计算的基准测试的方法，对终端基

于神经网络模型的计算性能进行评估。评测场景包括图像处理、视频处理等不同场景，针对不同场景测

试集，测试方法和评测指标提出要求。

本文件适用于具备智能操作系统的移动智能终端，包括数字移动电话机，平板电脑以及其他数字移

动通信终端设备。

2规范性引用文件

本文件没有规范性引用文件

3术语、定义和缩略语

3.1术语和定义

本文件没有需要界定的术语和定义。

3.2缩略语

下列缩略语适用于本文件。

AI人工智能ArtificialIntelligence

CPU中央处理器CentralProcessingUnit

DSP数字信号处理DigitalSignalProcessing

FAR错误接受率FalseAcceptanceRate

FN错误的负样本FalseNegative

GPU图形处理器GraphicsProcessingUnit

IoU交并比IntersectionoverUnion

mAP平均准度均值meanAveragePrecision

NPU神经网络处理器NeuralNetworkProcessingUnit

PR正确通过率PassRate

TP真正的正样本TruePositive

TP90尾部延迟90分位Taillatencyat90thpercentiles

4测试概述

4.1移动智能终端智能化测试构架

1

YD/TXXXXX—XXXX

人工智能终端的基准测试指通过运行一段（一组）程序或者操作，来评测终端相关性能的活动。

移动智能终端人工智能性能基准测试包括图像处理、视频处理测试。在移动智能终端上通过神经网络模

型对基准推理集进行推理测试，评测移动智能终端整机的人工智能处理性能。具体测试框架如下，见图

1：

图1移动智能终端智能化测试构架

4.1.1神经网络模型

用于人工智能计算，神经网络模型应为经过训练且达到一定准确率的模型，包括模型结构和变量参

数。

4.1.2推理集

作为人工智能推理计算的输入数据集，可以为图片，视频等格式的数据或文件。

4.1.3移动终端人工智能推理框架

4.1.3.1总体要求

移动终端人工智能推理框架部署在移动智能终端上，通常由模型转换工具和推理框架编译器组成。

移动终端人工智能推理框架可以分为通用框架和专用框架，通用框架指能跨平台运行，能在多种芯片平

台上运行的人工智能计算平台，如TensorFlowLite，PaddleLite等。专用框架指仅能在指定的部分芯

片平台上运行的人工智能计算平台，如SNPE，HiAI等。在测试过程中需要指明使用的移动终端人工智能

推理框架。

4.1.3.2转换工具

转换工具能将输入的推理算法，根据移动终端特点进行剪裁压缩和优化，具有减小模型体积、优化

算法操作和参数精度等功能。

4.1.3.3基准测试例

2

YD/TXXXXX—XXXX

基准测试例为指定测试场景下，使用神经网络模型推理算法对推理测试集进行推理测试的测试例。

4.1.3.4移动终端人工智能推理框架编译器

推理框架编译器主要通过加载神经网络模型并执行推断计算，向上能支持转换工具优化过的神经网

络模型，向下能提供调度和使用包括CPU、GPU、DSP、NPU等人工智能计算所需的硬件资源。

4.1.4终端硬件层

参与人工智能处理的硬件，包括CPU、GPU、AI硬件加速单元,内存、电池等。

4.2通用测试方法

通用测试方法如下：

a)移动智能终端初始化，包括屏蔽测试无关的其他应用、后台功能、调整屏幕亮度、记录初始电

量等,使得每次测试前终端的运行状态保持一致；

b)使用模型优化工具将预训练的模型文件离线转换为移动智能终端上可以直接运行的模型文件，

并进行优化；

c)将测试例推理集的图像或视频资源进行缩放、通道转换等预处理工作；

d)将预处理的测试图像或视频资源输入优化后的模型进行推理测试；

e)测试过程中通过软件方式或其他方式记录处理结果，处理时间和硬件性能指标；

f)计算最终评测结果。

4.3性能指标监测

性能指标包括检测人工智能推断计算性能的模型性能指标和硬件性能指标。

模型性能指标参见第5章内容。

硬件性能指标为通用测试指标包括功耗，内存等，具体为：

a)功耗测试应计算每毫焦耳能量消耗下最大能处理的图片张数（帧数）；

b)内存测试为测试过程中占用的内存的平均值；

5图像处理测试方法

5.1图像分类

5.1.1推理测试

根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。

5.1.2推理集要求

推理集应由公开渠道可自由获取的非商业用途图片数据构成，可选的公开数据集包括如下图片集：

a)CIFAR-100；

b)Caltech_256；

c)ImageNet。

进行基准测试时，应从公开数据集的测试集中随机抽取10000张图片。

3

YD/TXXXXX—XXXX

5.1.3评测模型

评测模型可包括下表所列一个或多个深度学习模型：

a)Inceptionv3；

b)ResNet50；

c)MobileNetV2。

5.1.4测试方法

图像分类测试方法如下：

a)加载数据集中的图片到终端内存，并完成图像缩放、通道转换等预处理工作；

b)评测软件记录本次图片推理前的时间戳；

c)将内存中预处理后的数据输入推理模型；

d)记录模型输出结果和该时刻的时间戳；

e)重复步骤a)-d，直到数据集所有图片完成测试，输出记录，计算指标；

f)测试需要使用浮点型精度或整型精度的模型分别进行测试。

5.1.5测试指标

图像分类测试指标如下：

a)TOP1准确率（VTop1，单位：%）：在一次推理结果分类排序中，只有当概率最高的结果为正

确分类，本次推理结果才能判定为正确，统计所有图片的推理结果，用正确推理图片数量除以

图片总数，得到TOP1准确率。

TP1

VTop1=×100%（1）

TP1+FN1

式中：

TP1——推理结果中，Top1分类正确的图片数量；

FN1——推理结果中，Top1分类不正确的图片数量。

b)TOP5准确率（VTop5，单位：%）,在一次推理结果分类排序中，概率排名前五的结果中包含

正确的分类，本次推理结果判定为正确，统计所有图片的推理结果，用正确推理图片数量除以

图片总数，得到TOP5准确率。

VTop5=TP5×100%（2）

TP5+FN5

式中：

TP5——推理结果中，Top5分类正确的图片数量；

FN5——推理结果中，Top5分类不正确的图片数量。

c)单张图片推理时间（InferenceTime，单位：毫秒）：记录一组图片推理总耗时，计算出单张

图片平均推理时间：

TN

InferenceTime=（3）

N

式中：

TN——一组图片推理总耗时；

N——该组图片数量。

4

YD/TXXXXX—XXXX

d)可选测试尾部延迟90分位耗时（TP90,Taillatencyat90thpercentiles，单位：毫秒）：

记录一组图片（即数据集随机抽取的10000张图片）每次推理的耗时，按照耗时从小到大排序，

取第90%处的耗时作为尾部延迟90分位耗时。

1)将N次采集的延迟数据按照升序排序，得到如下序列：T1,T2,T3,…TN

2)计算P=90分位在序列中的前、后位置m和m+1，其中m的计算如下：

=−1∗+1（4）

100

=（5）

3)计算TP90，即90分位尾延时：

90=+(+1−)∗(−)（6）

5.2人脸识别

5.2.1推理集要求

本文件人脸照片进行特征提取和比对，并根据终端的平均处理时长，量化移动终端的性能。

推理集应由公开渠道可自由获取的非商业用途图片数据构成，可选的公开数据集包括如下图片集：

a)LabeledFacesintheWildHome(LFW)

b)MegaFace

c)PubFig:PublicFiguresFaceDatabase

d)Colorferet

进行基准测试时，应从公开数据集的测试集中随机抽取10000组，选取对象按照不同年龄段和不同

性别两个维度选取，至少包括男性儿童，女性儿童，男性成人，女性成人，男性老人，女性老人。

5.2.2评测模型

评测模型包括facenet深度学习模型。

5.2.3测试方法

人脸识别测试方法如下：

a)选取符合5.2.1.1中要求的推理集作为测试样例，建立对应的文件列表；

b)将文件列表送入对比识别算法程序，开始执行程序；

c)从推理算法程序读取文件列表时开始计时，记录200组图片对比完成所需要的时间和对

比结果；

d)与数据库中的图像关系对比，计算测试样例的正确通过率，错误接受率。统计错误率，

错误接受率为百万分之一，千分之一，万分之一处的正确通过率；

e)测试需要使用浮点型精度或整型精度的模型分别进行测试。

5.2.4测试指标

人脸识别测试指标如下:

a)正确通过率(PassRate，PR，单位：%)在真实的验证过程中（正确人脸特征）同一个人的样本

被判断为同一个人的比对次数占总比对次数的比例：

TP

PR=×100%（7）

TP+FN

5

YD/TXXXXX—XXXX

式中：

TP——同一个人的样本对被判断为同一个人的比对次数；

FN——同一个人的样本对被判为不同人的比对次数。

b)错误接受率(FalseAcceptanceRate，FAR，单位：%)在冒充攻击尝试（错误人脸特征）中被

错误接受的比例：

FP

FAR=100%

TN+FP（8）

式中：

FP——不同人的样本对被判为同一个人的比对次数；

TN——不同人的样本对被判为不同人的比对次数。

c)单张图片推理时间（InferenceTime，单位：毫秒）：记录200组图片推理总耗时，计算出单

张图片平均推理时间：

TN

InferenceTime=（9）

N

式中：

TN——一组图片推理总耗时；

N——该组图片数量。

d)可选测试尾部延迟90分位耗时（TP90,Taillatencyat90thpercentiles，单位：毫秒）：

记录一组图片（即数据集随机抽取的10000张图片）每次推理的耗时，按照耗时从小到大排序，

取第90%处的耗时作为尾部延迟90分位耗时。

1)将N次采集的延迟数据按照升序排序，得到如下序列：T1,T2,T3,…TN

2)计算P=90分位在序列中的前、后位置m和m+1，其中m的计算如下：

=−1∗+1（10）

100

=（11）

3)计算TP90，即90分位尾延时：

90=+(+1−)∗(−)（12）

5.3目标语义分割

5.3.1推理测试

图像语义分割（ImageSemanticSegmentation）融合了传统的图像分割和目标识别两个任务，将

图像分割成一组具有一定语义含义的块，并识别出每个分割块的类别，最终得到一幅具有逐像素语义标

注的图像。

5.3.2推理集要求

推理集应由公开渠道可自由获取的非商业用途图片数据构成，可选的公开数据集包括图集：PSCAL

VOC2012。

进行基准测试时，应从公开数据集的测试集中随机抽取1000张，至少包括如表1所示：

表1语义分割类别

6

YD/TXXXXX—XXXX

序号父类子类

1人（Person）人（person）

2动物(Animal)鸟（bird）

3动物(Animal)猫（cat）

4动物(Animal)牛（cow）

5动物(Animal)狗（dog）

6动物(Animal)马（horse）

7动物(Animal)羊（Sheep）

8交通工具(Vehicle)飞机（aeroplane）

9交通工具(Vehicle)自行车（bicycle）

10交通工具(Vehicle)船（boat）

11交通工具(Vehicle)巴士（bus）

12交通工具(Vehicle)车（car）

13交通工具(Vehicle)摩托车（motorbike）

14交通工具(Vehicle)火车（train）

15室内家具(Indoor)瓶子（bottle）

16室内家具(Indoor)椅子（chair）

17室内家具(Indoor)餐桌（diningtable）

18室内家具(Indoor)盆栽（pottedplant）

19室内家具(Indoor)沙发（sofa）

20室内家具(Indoor)电视/监视器（tv/monitor）

5.3.3评测模型

评测模型可包括下表所列一个或多个深度学习模型：

a)unet；

b)deeplabv3。

5.3.4测试方法

使用训练好的神经网络算法对推理集图片进行语义分割：

a)测试过程记录每个数据的推导时间（入口和出口时间差）；

b)交并比IoU（IntersectionoverUnion）计算方法：

1)分别加载标注图和结果图；

2)根据标注的对象颜色和结果图中对象颜色，统计颜色吻合的像素点；

3)根据标注对象颜色和结果图对象颜色，统计色块像素；

4)根据统计结果计算IoU；

5)其他分类范围也用相同的方式分别计算IoU；

c)测试需要使用浮点型精度或整型精度的模型分别进行测试。

5.3.5测试指标

目标语义分割测试指标如下：

a)分割类别：支持分割的对象类别，记录识别出超出推理集要求的种类个数和少于推理集要求的

种类个数之和。

7

YD/TXXXXX—XXXX

b)测试集的平均IoU（IntersectionoverUnion）：记录一组图片推理结果的平均交并比，交并

比IoU为测试图片存在的对象的预测区域和实际区域之间的相似性。

 = 1∑()（13）

=1

式中：

IoU——交集/并集

c)单张图片推理时间（InferenceTime，单位：毫秒）：记录一组图片推理总耗时，计算出单张

图片平均推理时间：

TN

InferenceTime=（14）

N

式中：

TN——一组图片推理总耗时

N——该组图片数量

d)可选测试尾部延迟90分位耗时（TP90,Taillatencyat90thpercentiles，单位：毫秒）：

记录一组图片（即数据集随机抽取的1000张图片）每次推理的耗时，按照耗时从小到大排序，

取第90%处的耗时作为尾部延迟90分位耗时。

1)将N次采集的延迟数据按照升序排序，得到如下序列：T1,T2,T3,…TN

2)计算P=90分位在序列中的前、后位置m和m+1，其中m的计算如下：

=−1∗+1（15）

100

=（16）

3)计算TP90，即90分位尾延时：

90=+(+1−)∗(−)（17）

5.4图片超分辨率

5.4.1推理集要求

本文件中图片超分辨率指由一幅低分辨率图像或图像序列恢复出高分辨率图像。

推理集应由公开渠道可自由获取的非商业用途图片数据构成，可选的公开数据集包括如下图片集，

如表2所示：

表2图片超分辨率推理集要求

序号推理集名称种类

1BSDS300动物，建筑，食物，风景，人物，植物等

2BSD500动物，建筑，食物，风景，人物，植物等

3DIV2K环境，植物，动物，手工制品，人物，风景等

4General-100动物，日用品，食物，人物，植物，地质等

5L20动物，建筑，风景，人物，植物等

6Manga109漫画

7OutdoorScene动物，建筑，草，山，植物，天空，水

8PIRM环境，植物，自然风景，人物等

8

YD/TXXXXX—XXXX

9Set5小孩，鸟，蝴蝶，头，女人

10Set14人类，动物，昆虫，花，蔬菜，漫画等

11T91车，花，水果，人脸等

12Urban100建筑，城市，结构等

进行基准测试时，应从公开数据集的测试集中随机抽取10000张图片。

5.4.2测试模型

评测模型可包括下表所列一个或多个深度学习模型：

a)SRCNN

b)vdsr

5.4.3测试方法

图片超分辨率测试方法如下：

a)依据具体的使用场景先将推断集图片压缩，然后使用训练好的神经网络算法对压缩图片进行超

分放大。

b)测试过程记录每个数据的推导时间（入口和出口时间差）；

c)使用超分放大图片和原始图片质量计算评测指标；

d)测试需要使用浮点型精度或整型精度的模型分别进行测试。

5.4.4测试指标

图片超分辨率测试指标如下：

a)PSNR（峰值信噪比）值

1N

MSE(x(i)y(i))2（18）

Ni1

L2

PSNR10*log()（19）

10MSE

式中：

x(i),y(i)——图像x,y像素值;

L——像素值的动态范围，一般取255;

N——图像x,y的像素数（x,y分辨率相同）。

b)SSIM（结构相似度）值

(2+C)(2+C)

xy1xy2（）

SSIM(x,y)222220

(x+y+C1)(x+y+C2)

式中：

x,y——图像x,y的均值；

22

x,y——图像x,y的方差；

9

YD/TXXXXX—XXXX

xy——图像x,y的协方差；

22

c1(k1L)，c2(k2L)——用来维持稳定的常数，L是像素值的动态范围，一般取255，

k10.01,k20.03。

c)单张图片推理时间（InferenceTime，单位：毫秒）：记录一组图片推理总耗时，计算出单

张图片平均推理时间：

TN

InferenceTime=（21）

N

式中：

TN——一组图片推理总耗时

N——该组图片数量

d)可选测试尾部延迟90分位耗时（TP90,Taillatencyat90thpercentiles，单位：毫秒）：

记录一组图片（即数据集随机抽取的10000张图片）每次推理的耗时，按照耗时从小到大排

序，取第90%处的耗时作为尾部延迟90分位耗时。

1)将N次采集的延迟数据按照升序排序，得到如下序列：T1,T2,T3,…TN

2)计算P=90分位在序列中的前、后位置m和m+1，其中m的计算如下：

=−1∗+1（22）

100

=（23）

3)计算TP90，即90分位尾延时：

90=+(+1−)∗(−)（24）

5.5目标检测

目标检测，也称为目标提取，是一种基于目标几何和统计特征的图像分割技术。其综合了图像分割

和识别，能够提取图片中的对象类别以及具体位置信息。

5.5.1推理集要求

集应由公开渠道可自由获取的非商业用途图片数据构成，可选的公开数据集COCO-2017，包括如下

表3所示：

表3目标检测推理集类别要求

序号COCO类别编号目标类别父类

11人person人Person

22自行车bicycle交通工具Vehicle

33汽车car交通工具Vehicle

45飞机airplane交通工具vehicle

57火车train交通工具vehicle

69船boat交通工具vehicle

10

YD/TXXXXX—XXXX

710交通信号灯trafficlight室外outdoor

811消防栓firehydrant室外outdoor

912路标streetsign室外outdoor

1013停止标识stopsign室外outdoor

1116鸟bird动物animal

1217猫cat动物animal

1318狗dog动物animal

1419马horse动物animal

1520羊sheep动物animal

1626帽子hat动物accessory

1727登山包backpack配件accessory

1828雨伞umbrella配件accessory

1929鞋子shoe配件accessory

2030眼镜eyeglasses配件accessory

2131手包handbag配件accessory

2235滑雪skis运动sports

2337运动球sportsball运动sports

2438风筝kite运动sports

2544瓶子bottle厨房kitchen

2645盘子plate厨房kitchen

2747杯子cup厨房kitchen

2850勺子spoon厨房kitchen

2951碗bowl厨房kitchen

3052香蕉banana食物food

3153苹果apple食物food

3259披萨pizza食物food

3361蛋糕cake食物food

3462椅子chair家具furniture

3563长椅couch家具furniture

3664盆栽pottedplant家具furniture

3765床bed家具furniture

3866镜子mirror家具furniture

3968窗户window家具furniture

4069桌子Desk家具furniture

4171门Door家具furniture

4272电视Tv电子产品electronic

4373笔记本电laptop电子产品electronic

4474鼠标mouse电子产品electronic

4576键盘keyboard电子产品electronic

4677移动电话cellphone电子产品electronic

11

YD/TXXXXX—XXXX

4782冰箱refrigerator加电appliance

4884书book室内indoor

4985闹钟clock室内indoor

5089吹风机hairdrier室内indoor

进行基准测试时，应从公开数据集的测试集中随机抽取1000张图片，其中选取类别如表3，每类随

机选取20张样本图片。

5.5.2评测模型

评测模型包括度学习模型：MobileNetV2-SSD。

5.5.3测试方法

目标检测测试方法如下：

a)加载数据集中的图片到终端内存，并完成图像缩放、通道转换等预处理工作；

b)评测软件记录本批次图片推理前的时间戳；

c)将内存中预处理后的数据输入推理模型；

d)记录模型输出结果和该时刻的时间戳；

e)重复步骤a)-d，直到数据集所有图片完成测试，输出记录，计算指标；

f)测试需要使用浮点型精度或整型精度的模型分别进行测试。

5.5.4测试指标

目标检测测试指标如下：

a)单张图片推理时间（InferenceTime，单位：毫秒）：记录一组图片推理总耗时，计算出单

张图片平均推理时间：

TN

InferenceTime=（25）

N

式中：

TN——一组图片推理总耗时；

N——该组图片数量。

b)准确度mAP@0.5：在IoU阈值为0.5的前提下，在所有类别上的mAP值。

IoU=交集/并集（26）

c)可选测试尾部延迟90分位耗时（TP90,Taillatencyat90thpercentiles，单位：毫秒）：

记录一组图片（即数据集随机抽取的1000张图片）每次推理的耗时，按照耗时从小到大排序，

取第90%处的耗时作为尾部延迟90分位耗时。

1)将N次采集的延迟数据按照升序排序，得到如下序列：T1,T2,T3,…TN

2)计算P=90分位在序列中的前、后位置m和m+1，其中m的计算如下：

=−1∗+1（27）

100

=（28）

3)计算TP90，即90分位尾延时：

12

YD/TXXXXX—XXXX

90=+(+1−)∗(−)（29）

6视频处理测试方法

6.1推理集要求

拍摄一段有代表性的3分钟街景视频，确保内容明确、目标丰富。将视频帧进行人工切割和目标标

注，以此形成最终视频输入样本。至少包括建筑，汽车，行人，交通指示牌。

6.2测试模型

见5.5.2。

6.3测试方法

视频目标检测测试方法如下：

a)按每帧将视频中的图像取出进行处理；

b)其余测试方法参考5.5.3。

6.4测试指标

视频目标检测测试指标如下：

a)每帧处理速度：测试视频中平均每帧的处理时间。

b)准确度mAP@0.5：在IoU阈值为0.5的前提下，在所有类别上的mAP值。

IoU=交集/并集（30）

_________________________________

13

YD/TXXXXX—XXXX

目次

前  言............................................................................III

1范围................................................................................1

2规范性引用文件......................................................................1

3术语、定义和缩略语..................................................................1

3.1术语和定义......................................................................1

3.2缩略语..........................................................................1

4测试概述............................................................................1

4.1移动智能终端智能化测试构架......................................................1

4.1.1神经网络模型................................................................2

4.1.2推理集......................................................................2

4.1.3移动终端人工智能推理框架....................................................2

4.1.4终端硬件层..................................................................3

4.2通用测试方法....................................................................3

4.3性能指标监测....................................................................3

5图像处理测试方法....................................................................3

5.1图像分类........................................................................3

5.1.1推理测试....................................................................3

5.1.2推理集要求..................................................................3

5.1.3评测模型....................................................................4

5.1.4测试方法....................................................................4

5.1.5测试指标....................................................................4

5.2人脸识别........................................................................5

5.2.1推理集要求..................................................................5

5.2.2评测模型....................................................................5

5.2.3测试方法....................................................................5

5.2.4测试指标....................................................................5

5.3目标语义分割....................................................................6

5.3.1推理测试....................................................................6

5.3.2推理集要求..................................................................6

5.3.3评测模型....................................................................7

5.3.4测试方法....................................................................7

5.3.5测试指标....................................................................7

5.4图片超分辨率....................................................................8

5.4.1推理集要求..................................................................8

5.4.2测试模型....................................................................9

I

YD/TXXXXX—XXXX

5.4.3测试方法....................................................................9

5.4.4测试指标....................................................................9

5.5目标检测.......................................................................10

5.5.1推理集要求.................................................................10

5.5.2评测模型...................................................................12

5.5.3测试方法...............