信息技术 人工智能 小样本机器学习样本量和算法要求

ICS35.240在提交反馈意见时，请将您知道的相关专利连同

L70支持性文件一并附上

团体标准

T/CESAXXXX—XXXX

信息技术人工智能小样本机器学习样本

量和算法要求

Informationtechnology-Artificialintelligence-Samplesizeandalgorithm

requirementsforfew-shotlearning

（征求意见稿）

XXXX-XX-XX发布XXXX-XX-XX实施

中国电子工业标准化技术协会发布

T/XXXXXXXX—XXXX

前  言

本标准按照GB/T1.1-2009给出的规则起草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。

本标准由中国电子技术标准化研究院提出并归口。

本标准起草单位：

本标准主要起草人：

II

T/XXXXXXXX—XXXX

信息技术人工智能小样本机器学习样本量和算法要求

1范围

本标准规定了小样本机器学习算法在不同场景情况下的样本量及算法的要求。

本标准适用于小样本量机器学习相关产品。

2规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文

件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

ISO3534-1:2006统计学词汇及符号第1部分：一般统计术语与用于概率的术语（Statistics--

Vocabularyandsymbols--Part1:Generalstatisticaltermsandtermsusedinprobability）

3术语和定义

下列术语和定义适用于本文件。

3.1

样本量samplesize

样本中包含的个体（或抽样单元）的数目。

[ISO3534-1:2006,定义3.7]

3.2

小样本smallsample

数量较少或不足的样本量。

3.3

小样本机器学习few-shotlearning

样本数据量较少或不足情况下的机器学习。

4缩略语

以下缩略语适用于本文件。

AP：平均精确率（AveragePrecision）

AUC：ROC曲线覆盖区域面积（AreaUnderCurveROC）

mAP：平均精确率均值（MeanAveragePrecision）

MOS：平均主观意见得分（MeanOpinionScore）

ROC曲线：接受者操作特性曲线（ReceiverOperatingCharacteristicCurve）

1

T/XXXXXXXX—XXXX

5小样本机器学习样本量和算法要求

5.1算法要求描述项

算法要求包含评价要素、指标属性、量化方法和量化范围四个部分，含义分别为：

a)评价要素：每个评价指标项的具体评价内容和要求；

b)指标属性：每个评价指标的属性为“定性指标”和“定量指标”之一；

c)量化方法：每个评价指标的量化方法；

d)量化范围：每个评价指标的取值范围。

5.2算法要求量化方法

5.2.1精确率/查准率

精确率是被模型预测为正的正样本（真正例）占预测为正的样本的比例。精确率见式（1）。

TP

P...............................................................................(1)

TPFP

式中：

P——精确率/查准率；

TP——被判定为正样例，实际为正样例数目；

FP——被判定为正样例，实际为负样例数目。

5.2.2交叉精确率

交叉精确率是多次交叉抽样计算的精确率的平均值。交叉精确率见式（2）。

kP

crossPseti............................................................................(2)

ik

式中：

crossP——交叉精确率；

P——第i次测试样本随机抽样子集合的精确率；

seti

k——抽样次数。

5.2.3召回率/查全率

召回率是被模型预测为正的正样本（真正例）占实际正样本的比例。召回率见式（3）。

TP

R...............................................................................(3)

TPFN

式中：

R——召回率/查全率；

TP——被判定为正样例，实际为正样例数目；

FN——被判定为负样例，实际为正样例数目。

5.2.4交叉召回率

交叉召回率是多次交叉抽样得到的召回率的平均值。交叉召回率见式（4）。

kR

crossRseti...........................................................................(4)

ik

式中：

2

T/XXXXXXXX—XXXX

crossR——交叉召回率；

R——第i次测试样本随机抽样子集合的召回率；

seti

k——抽样次数。

5.2.5准确率/正确率

准确率是模型预测正确的结果占所有分类结果的比例。准确率/正确率见式（5）。

TPTN

A.....................................................................(5)

TPTNFPFN

式中：

A——准确率/正确率；

TP——被判定为正样例，实际为正样例数目；

TN——被判定为负样例，实际为负样例数目；

FP——被判定为正样例，实际为负样例数目；

FN——被判定为负样例，实际为正样例数目。

5.2.6交叉准确率

交叉准确率是多次交叉抽样得到的准确率的平均值。交叉准确率见式（6）。

kA

crossAseti............................................................................(6)

ik

式中：

crossA——交叉准确率；

A——第i次测试样本随机抽样子集合的准确率；

seti

k——抽样次数。

5.2.7F值

F值是精确率和召回率的加权调和平均值，表达对精确率/召回率的不同偏好。F值见式（7）。

21PR

F.........................................................................(7)

2PR

式中：

——调和因子；

P——精确率；

R——召回率。

5.2.8交叉F值

交叉F值是多次交叉抽样得到的F值的平均值。交叉F值见式（8）。

kF

crossFseti...........................................................................(8)

ik

式中：

crossF——交叉F值；

F——第i次测试样本随机抽样子集合的F值；

seti

k——抽样次数。

3

T/XXXXXXXX—XXXX

5.2.9接受者操作特性曲线

接受者操作特性曲线是根据预测结果对样例进行排序，按顺序逐个把样例作为正例进行预测，每次

计算出假正率和真正率，分别以它们为横纵坐标作ROC曲线图。横纵坐标见式（9）、式（10）。

FP

FPR............................................................................(9)

TNFP

TP

TPR..........................................................................(10)

TPFN

式中：

FPR——假正率；

TPR——真正率；

FP——被判定为正样例，实际为负样例数目；

TN——被判定为负样例，实际为负样例数目；

TP——被判定为正样例，实际为正样例数目；

FN——被判定为负样例，实际为正样例数目。

5.2.10ROC曲线覆盖区域面积

AUC通过对ROC曲线下各部分求和得到，比较AUC大小是判断模型优劣的标准之一。

5.2.11平均精确率

根据预测结果对样例进行排序，按顺序逐个将样例作为正例进行预测，每次计算当前的精确率和召

回率，最终计算精确率的平均值。以召回率为横轴，精确率为纵轴作曲线。平均精确率就是精确率-召

回率曲线下的面积。

5.2.12交叉平均精确率

测试样本中多次交叉抽样子集合的平均精确率的均值。交叉平均精确率见式（11）。

kAP

crossAPseti.......................................................................(11)

ik

式中：

crossAP——交叉平均精确率；

AP——第i次测试样本随机抽样子集合的AP值；

seti

k——抽样次数。

5.2.13平均精确率均值

各类别平均精确率的均值。平均精确率均值见式（12）。

n

APi

mAPi1..........................................................................(12)

n

式中：

mAP——平均精确率均值；

第类样本的平均精确率；

APi——i

n——样本的总类别数。

5.2.14交叉平均精确率均值

测试样本中多次交叉抽样子集合的mAP的均值。交叉平均精确率均值见式（13）。

4

T/XXXXXXXX—XXXX

kmAP

crossmAPseti....................................................................(13)

ik

式中：

crossmAP——交叉平均精确率均值；

mAP——第i次测试样本随机抽样子集合的mAP值；

seti

k——抽样次数。

5.2.15目标身份匹配错次数

同一个目标在上一帧和当前帧匹配的身份号不一致，视为身份号匹配错一次。

5.2.16目标身份重复次数

跟踪过程中，一个目标匹配出的身份总数量。

5.2.17跟踪稳定率

衡量目标跟踪准确程度，结合误检数量,漏检数量,匹配错次数,给出整体跟踪性能的度量。跟踪稳

定率见式（14）。

i

dt

TPi,t.............................................................................(14)

c

tt

式中：

TP——跟踪稳定率；

t——帧图像序列号；

i——跟踪算法输出的单目标框；

i时刻算法输出的第个目标框与目标框标签的误差；

dt——ti

时刻算法输出结果和标签匹配上的目标框数量。

ct——t

5.2.18跟踪准确率

衡量目标跟踪稳定程度，描述了目标被精确跟踪的程度，并通过边界框重叠和边界框间的距离度量。

跟踪准确率见式（15）。

mtfptmmet

TA1t.............................................................(15)

g

tt

式中：

TA——跟踪准确率；

t——帧图像序列号；

时刻标签中未被匹配的目标个数；

mt——t

时刻误检数量；

fpt——t

时刻匹配错次数；

mmet——t

时刻目标框标签的数量。

gt——t

5

T/XXXXXXXX—XXXX

5.2.19交并比

目标检测中，产生的候选框与原标记框的交叠率。交并比见式（16）。

areaCareaG

IOU...............................................................(16)

areaCareaG

式中：

IOU——交并比；

areaC——候选框区域面积；

areaG——原标记框区域面积。

5.2.20交叉熵

用于度量两个概率分布间的差异性信息。交叉熵见式（17）。

n

Hp,qpxlogqx...........................................................(17)

i1ii

式中：

Hp,q——交叉熵；

的真实概率分布；

pxi——xi

的预测概率分布；

qxi——xi

n——测试集的大小。

5.2.21均方误差

观测值与真值之差的平方的期望值。均方误差见式（18）。

2

n

Xbos,iXmodel,i

MSEi1.............................................................(18)

n

式中：

MSE——均方误差；

第次的观测值；

Xbos,i——

第次的真值；

Xmodel,i——

n——观测次数。

5.2.22归一化均方误差

归一化的观测值与真值之差的平方的期望值。归一化均方误差见式（19）。

2

n

Xbos,iXmodel,i

NMSEi1...........................................................(19)

nd

式中：

NMSE——归一化均方误差；

6

T/XXXXXXXX—XXXX

第次的观测值；

Xbos,i——

第次的真值；

Xmodel,i——

n——观测次数；

d——目标宽度。

5.2.23均方根误差

均方误差的算术平方根。均方根误差见式（20）。

2

n

Xbos,iXmodel,i

RMSEi1.........................................................(20)

n

式中：

RMSE——均方根误差；

第次的观测值；

Xbos,i——

第次的真值；

Xmodel,i——

n——观测次数。

5.2.24绝对误差

观测值与真值偏差的绝对值。绝对误差见式（21）。

(21)

AEXbos,iXmodel,i.....................................................................

式中：

AE——平均绝对误差；

第次的观测值；

Xbos——

第次的真值。

Xmodel——

5.2.25平均绝对误差

绝对误差的平均值。平均绝对误差见式（22）。

n

Xbos,iXmodel,i

MADi1..............................................................(22)

n

式中：

MAD——平均绝对误差；

第次的观测值；

Xbos,i——

第次的真值；

Xmodel,i——

n——观测次数。

5.2.26前N条结果精确率

算法返回的正确文档集合与算法返回的前N个文档集合的比值。前N条结果精确率见式（23）。

7

T/XXXXXXXX—XXXX

CR

P@N.........................................................................(23)

R

式中：

P@N——前N条结果精确率；

C——手工标注的正确的文档集合；

R——算法返回的前N个文档集合。

5.2.27平均排序倒数

多个查询检索返回结果的排名倒数的均值。平均排序倒数见式（24）。

1k1

MRR.......................................................................(24)

ki1ranki

式中：

MRR——平均排序倒数；

在第次查询中，第一次出现正确答案的排序位置；

ranki——i

k——查询次数。

5.2.28折扣增益值

综合位置信息得到的算法返回结果与查询的相关度。折扣增益值见式（25）。

k2relaevancei1

DCG....................................................................(25)

i1log2i1

式中：

DCG——折扣增益值；

第个结果和查询的匹配相关度；

relevancei——i

k——算法返回的结果数量。

5.2.29双语评价值

代表n元词精确度的加权平均值，一般指候选翻译结果中n元词正确匹配次数除以所有n元词出现次

数。

5.2.30ROUGE值

摘要中n元词的共现信息，为系统生成摘要与标准摘要相匹配的n元词个数占标准摘要中所有的n元

词个数的比例。

5.2.31句识别正确率

识别正确的语音条数占测试语音总条数的比例。句识别正确率见式（26）。

H

SentCorrectsent100%...............................................................(26)

Nsent

式中：

SentCorrect——句识别正确率；

识别正确的语音数；

Hsent——

8

T/XXXXXXXX—XXXX

测试集语音总条数。

Nsent——

5.2.32平均主观意见得分

将原始标准语音和经过无线网传播后的衰退声音进行对比，评出MOS分值，其量化标准见表1。

表1主观MOS量化标准

评分主观测听效果

5优秀，察觉不到任何不自然，音色接近播音员。

4较好，仅能察觉若干不自然。

3尚可，能察觉到不自然但可以接受，评分分界线。

2较差，明显察觉不自然并不愿意接受

1极差，无法接受

5.2.33浮点运算次数

计算机在执行一个固定任务时，所执行的浮点运算次数，包括了所有涉及浮点数的运算。它最初被

用于估算电脑性能，目前被广泛应用于衡量人工智能模型的规模与计算量。

5.2.34转化率

推荐系统的所有投放中，促成交易数占总投放数的比例。

5.3样本量和算法要求

基于不同场景下的小样本机器学习算法的样本量和算法要求见图1。包括对计算机视觉样本量和算

法的要求、智能语音样本量和算法要求、语义理解样本量和算法要求和智能表数据分析样本量和算法的

要求。

图1基于不同场景下的小样本机器学习算法的样本量和算法要求

5.3.1计算机视觉

图像分类

a)数量要求

单类别样本数量不超过50张,图像总数量不超过300张。

b)评价指标

1)评价要素：衡量图像分类算法的性能；

2)指标属性：定量指标；

9

T/XXXXXXXX—XXXX

3)量化方法：准确率，交叉准确率，精确率，交叉精确率，平均精确率，交叉平均精确率，

平均精确率均值，交叉平均精确率均值，召回率，交叉召回率，F值，交叉F值，ROC曲

线覆盖区域面积；

4)量化范围：[0,1]。

物体定位

a)数量要求

图像数量不超过300张。

b)评价指标

1)评价要素：衡量物体定位算法的性能；

2)指标属性：定量指标；

3)量化方法：交并比；

4)量化范围：[0,1]。

物体检测

a)数量要求

单类别样本数量不超过50张,图像总数量不超过300张。

b)评价指标

1)评价要素：衡量物体检测算法的性能；

2)指标属性：定量指标；

3)量化方法：准确率，交叉准确率，精确率，交叉精确率，平均精确率，交叉平均精确率，

平均精确率均值，交叉平均精确率均值，召回率，交叉召回率，F值，交叉F值，ROC曲

线覆盖区域面积，交并比；

4)量化范围：[0,1]。

物体跟踪

a)数量要求

图像数量不超过300张。

b)评价指标

1)评价要素：衡量物体跟踪算法的性能；

2)指标属性：定量指标；

3)量化方法：目标身份重复次数，目标身份匹配错次数，跟踪准确率，跟踪稳定率；

4)量化范围：[0,1]。

人脸识别/比对

a)数量要求

单人样本不超过5张，图像总数量不超过300张。

b)评价指标

1)评价要素：衡量人脸识别和人脸比对算法的性能；

2)指标属性：定量指标；

3)量化方法：准确率，交叉准确率，精确率，交叉精确率，平均精确率，交叉平均精确率，

平均精确率均值，交叉平均精确率均值，召回率，交叉召回率，ROC曲线覆盖区域面积；

4)量化范围：[0,1]。

光学字符识别

a)数量要求

图像数量不超过300张。

b)评价指标

10

T/XXXXXXXX—XXXX

1)评价要素：衡量光学字符识别算法的性能；

2)指标属性：定量指标；

3)量化方法：平均精确率；

4)量化范围：[0,1]。

图像分割

a)数量要求

图像数量不超过300张。

b)评价指标

1)评价要素：衡量图像分割算法的分割精度；

2)指标属性：定量指标；

3)量化方法：交并比，精确率，交叉精确率，平均精确率均值，交叉平均精确率均值，F值，

交叉F值；

4)量化范围：[0,1]。

关键点检测

a)数量要求

图像数量不超过300张。

b)评价指标

1)评价要素：衡量关键点检测算法的性能；

2)指标属性：定量指标；

3)量化方法：均方误差，归一化均方误差；

4)量化范围：[0,1]。

指静脉识别

a)数量要求

图像数量不超过300张。

b)评价指标

1)评价要素：衡量指静脉识别算法的性能；

2)指标属性：定量指标；

3)量化方法：准确率，交叉准确率，精确率，交叉精确率，平均精确率，交叉平均精确率，

平均精确率均值，交叉平均精确率均值，召回率，交叉召回率，ROC曲线覆盖区域面积；

4)量化范围：[0,1]。

5.3.2智能语音

语音识别

a)数量要求

音频总时长不超过6小时。

b)评价指标

1)评价要素：衡量语音识别算法的性能；

2)指标属性：定量指标；

3)量化方法：句识别正确率；

4)量化范围：[0,1]。

声纹识别

a)数量要求

单独说话人音频总时长不超过2分钟。

b)评价指标

11

T/XXXXXXXX—XXXX

1)评价要素：衡量声纹确认与辨认算法的性能；

2)指标属性：定量指标；

3)量化方法：ROC曲线覆盖区域面积；

4)量化范围：[0,1]。

语音合成

a)数量要求

音频数量不超过15句话。

b)评价指标

1)评价要素：衡量语音合成算法的性能；

2)指标属性：定量指标；

3)量化方法：平均主观意见得分；

4)量化范围：[1,5]。

语音情绪识别

a)数量要求

单独说话人音频时长不超过10分钟，音频总时长不超过1小时。

b)评价指标

1)评价要素：衡量语音情绪识别算法的性能；

2)指标属性：定量指标；

3)量化方法：ROC曲线覆盖区域面积；

4)量化范围：[0,1]。

5.3.3语义理解

文本分类

a)数量要求

1)文章分类（100单词以上）：每个类别不超过500个文本条目；

2)句子分类（1-100单词）：每个类别不超过200个文本条目。

b)评价指标

1)评价要素：衡量文本分类算法的性能；

2)指标属性：定量指标；

3)量化方法：交叉熵，准确率，交叉准确率，精确率，交叉精确率，平均精确率，交叉平均

精确率，平均精确率均值，交叉平均精确率均值，召回率，交叉召回率，F值，交叉F值，

ROC曲线覆盖区域面积；

4)量化范围：[0,+]（交叉熵），[0,1]。

序列标注

a)数量要求

1)文章序列标注（100单词以上）：每个词槽不超过500个文本条目；

2)句子序列标注（1-100单词）：每个词槽不超过200个文本条目。

b)评价指标

1)评价要素：衡量序列标注算法中单词与词槽（可能包含多个单词）两个层次的标注性能；

2)指标属性：定量指标；

3)量化方法：准确率，交叉准确率，精确率，交叉精确率，平均精确率，交叉平均精确率，

平均精确率均值，交叉平均精确率均值，召回率，交叉召回率，F值，交叉F值，ROC曲

线覆盖区域面积；

4)量化范围：[0,1]。

12

T/XXXXXXXX—XXXX

自动分词

a)数量要求

文本条目数量不超过1000条，单条文本不超过1000个字符。

b)评价指标

1)评价要素：衡量分词算法的性能；

2)指标属性：定量指标；

3)量化方法：准确率，交叉准确率，精确率，交叉精确率，平均精确率，交叉平均精确率，

平均精确率均值，交叉平均精确率均值，召回率，交叉召回率，F值，交叉F值；

4)量化范围：[0,1]。

句法分析

a)数量要求

文本条目数量不超过1000条，单条文本不超过1000个字符。

b)评价指标

1)评价要素：衡量句法分析算法的性能；

2)指标属性：定量指标；

3)量化方法：准确率，交叉准确率，精确率，交叉精确率，平均精确率，交叉平均精确率，

平均精确率均值，交叉平均精确率均值，召回率，交叉召回率，F值，交叉F值；

4)量化范围：[0,1]。

上下文语境分析

a)数量要求

单独说话人的文本条目不超过30条，文本条目数量不超过300条。

b)评价指标

1)评价要素：衡量语义语境分析算法对会话上下文识别的性能；

2)指标属性：定量指标；

3)量化方法：准确率，交叉准确率，精确率，交叉精确率，平均精确率，交叉平均精确率，

平均精确率均值，交叉平均精确率均值，召回率，交叉召回率；

4)量化范围：[0,1]。

信息检索

a)数量要求

候选文档数量不超过1000个。

b)评价指标

1)评价要素：衡量信息检索算法的性能；

2)指标属性：定量指标；

3)量化方法：前N条结果精确率，平均排序倒数，折扣增益值；

4)量化范围：[0,1]。

机器翻译

a)数量要求

双语翻译文本不超过1000条，单条文本不超过1000个字符。

b)评价指标

1)评价要素：衡量机器翻译算法的性能；

2)指标属性：定量指标；

3)量化方法：双语评价值；

4)量化范围：[0,1]。

13

T/XXXXXXXX—XXXX

自动文摘

a)数量要求

原文摘要对不超过1000条，单条文本不超过1000个字符。

b)评价指标

1)评价要素：衡量自动文摘算法的性能；

2)指标属性：定量指标；

3)量化方法：ROUGE值；

4)量化范围：[0,1]。

自动回答

a)数量要求

问题答案匹配对不超过1000对。

b)评价指标

1)评价要素：衡量自动回答算法的性能；

2)指标属性：定量指标；

3)量化方法：前N条结果精确率，精确率，召回率，F值；

4)量化范围：[0,1]。

0命名实体识别

a)数量要求

每个类别实体总数不超过500个。

b)评价指标

1)评价要素：衡量命名实体识别算法的性能；

2)指标属性：定量指标；

3)量化方法：准确率，交叉准确率，精确率，交叉精确率，平均精确率，交叉平均精确率，

平均精确率均值，交叉平均精确率均值，召回率，交叉召回率；

4)量化范围：[0,1]。

1实体关系抽取

a)数量要求

每个类别的关系总数不超过500个。

b)评价指标

1)评价要素：衡量实体关系抽取算法的性能；

2)指标属性：定量指标；

3)量化方法：准确率，交叉准确率，精确率，交叉精确率，平均精确率，交叉平均精确率，

平均精确率均值，交叉平均精确率均值，召回率，交叉召回率；

4)量化范围：[0,1]。

2事件抽取

a)数量要求

句子总数不超过1000个。

b)评价指标

1)评价要素：衡量事件触发词与事件元素抽取算法的性能；

2)指标属性：定量指标；

3)量化方法：准确率，交叉准确率，精确率，交叉精确率，平均精确率，交叉平均精确率，

平均精确率均值，交叉平均精确率均值，召回率，交叉召回率；

4)量化范围：[0,1]。

14

T/XXXXXXXX—XXXX

3关系分类

a)数量要求

三元组不超过1000条。

b)评价指标

1)评价要素：衡量关系分类算法的准确度；

2)指标属性：定量指标；

3)量化方法：交叉熵，交叉平均精确率均值；

4)量化范围：[0,+]，[0,1]。

5.3.4智能表数据分析

智能分类决策

a)数量要求

主表记录不超过1000条。

b)评价指标

1)评价要素：衡量智能分类决策算法的性能；

2)指标属性：定量指标；

3)量化方法：交叉熵，ROC曲线覆盖区域面积；

4)量化范围：[0,+]，[0,1]。

智能回归决策

a)数量要求

主表记录不超过1000条。

b)评价指标

1)评价要素：衡量智能回归决策算法的性能；

2)指标属性：定量指标；

3)量化方法：均方根误差，平均绝对误差；

4)量化范围：[0,+]。

智能推荐

a)数量要求

主表记录不超过1000条。

b)评价指标

1)评价要素：衡量智能推荐算法的性能；

2)指标属性：定量指标；

3)量化方法：转化率；

4)量化范围：[0,1]。

_________________________________

15

T/XXXXXXXX—XXXX

中国电子工业标准化技术协会（CESA）是全国电子信息产业标准化组织和标准化工作者自愿组成的

社会团体。广泛联系全国电子信息产业标准化机构和标准化工作者，协助政府部门搞好电子信息产业标

准化工作，开拓信息技术领域的标准化工作是中国电子工业标准化技术协会的主要工作内容之一。中国

境内从事科研开发、制造、营销和服务的企事业单位、高等院校、社会组织和个人均可随时向中国电子

工业标准化技术协会团体标准工作部提出团体标准项目建议。

中国电子工业标准化技术协会标准按照《电子工业标准化技术协会协会团体标准管理办法》进行制

定和管理。

在本标准实施过程中，如发现需要修改或补充之处，请将意见和有关资料寄至中国电子工业标准化

技术协会，以便修订时参考。

本标准版权归中国电子工业标准化技术协会所有。

中国电子工业标准化技术协会地址：北京市海淀区万寿路27号

电话子邮箱：standards@

网址：

16

T/XXXXXXXX—XXXX

目  次

前  言.................................................................................................................................................................II

1范围...................................................................................................................................................................1

2规范性引用文件...............................................................................................................................................1

3术语和定义.......................................................................................................................................................1

4缩略语...............................................................................................................................................................1

5小样本机器学习样本量和算法要求...............................................................................................................2

5.1算法要求描述项.......................................................................................................................................2

5.2算法要求量化方法...................................................................................................................................2

5.3样本量和算法要求...................................................................................................................................9

I

T/XXXXXXXX—XXXX

信息技术人工智能小样本机器学习样本量和算法要求

1范围

本标准规定了小样本机器学习算法在不同场景情况下的样本量及算法的要求。

本标准适用于小样本量机器学习相关产品。

2规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文

件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

ISO3534-1:2006统计学词汇及符号第1部分：一般统计术语与用于概率的术语（Statistics--

Vocabularyandsymbols--Part1:Generalstatisticaltermsandtermsusedinprobability）

3术语和定义

下列术语和定义适用于本文件。

3.1

样本量samplesize

样本中包含的个体（或抽样单元）的数目。

[ISO3534-1:2006,定义3.7]

3.2

小样本smallsample

数量较少或不足的样本量。

3.3

小样本机器学习few-shotlearning

样本数据量较少或不足情况下的机器学习。

4缩略语

以下缩略语适用于本文件。

AP：平均精确率（AveragePrecision）

AUC：ROC曲线覆盖区域面积（AreaUnderCurveROC）

mAP：平均精确率均值（MeanAveragePrecision）

MOS：平均主观意见得分（MeanOpinionScore）

ROC曲线：接受者操作特性曲线（ReceiverOperatingCharacteristicCurve）

1

T/XXXXXXXX—XXXX

5小样本机器学习样本量和算法要求

5.1算法要求描述项

算法要求包含评价要素、指标属性、量化方法和量化范围四个部分，含义分别为：

a)评价要素：每个评价指标项的具体评价内容和要求；

b)指标属性：每个评价指标的属性为“定性指标”和“定量指标”之一；

c)量化方法：每个评价指标的量化方法；

d)量化范围：每个评价指标的取值范围。

5.2算法要求量化方法

5.2.1精确率/查准率

精确率是被模型预测为正的正样本（真正例）占预测为正的样本的比例。精确率见式（1）。

TP

P...............................................................................(1)

TPFP

式中：

P——精确率/查准率；

TP——被判定为正样例，实际为正样例数目；

FP——被判定为正样例，实际为负样例数目。

5.2.2交叉精确率

交叉精确率是多次交叉抽样计算的精确率的平均值。交叉精确率见式（2）。

kP

crossPseti.....................................................................