《遥感产品算法测评 第2部分 指标体系与指标测算方法》

T/CARSAXXXXX—202X

ICS37.040

V00/09

团体标准

T/CARSAXXXXX—202X

遥感产品算法测评

第2部分：指标体系与指标测算方法

AlgorithmTestofRemoteSensingProducts

Part2:IndicatorsSystemandIndicatorEvaluationMethods

（征求意见稿）

（本稿完成时间：2023年4月3日）

XXXX-XX-XX发布XXXX-XX-XX实施

中国遥感应用协会发布

T/CARSAXXXXX—202X

遥感产品算法测评第2部分：指标体系与指标测算方法

1范围

本文件规定了遥感产品算法测评的指标体系和指标的测算方法。

本文件适用于遥感产品算法的测评，包括但不限于几何产品、辐射基础产品、土地覆盖/土地利用

产品、能量平衡参量产品、植被参量产品、水分参量产品等产品生产算法。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T3358.1-2009统计学词汇及符号第1部分：一般统计术语与用于概率的术语

GB/T3358.2-2009统计学词汇及符号第2部分：应用统计

GB/T32453-2015卫星对地观测数据产品分类分级规则

GB/T36296-2018遥感产品真实性检验导则

JJF1059.1-2012测量不确定度评定与表示

3术语和定义

GB/T3358.1-2009、GB/T3358.2-2009、GB/T32453-2015、GB/T36296-2018、JJF1059.1-2012界定

的以及下列术语和定义适用于本标准。

3.1

遥感产品remotesensingproduct

通过遥感方式获取并被生产出来以满足特定需求的数据产品，包括遥感传感器获取的数据、模型反

演得到的参量数据，以及经更高层级处理后满足行业应用需求的相应结果。

注：根据产品值的物理意义，可将遥感产品分为数值类产品、几何类产品和类别型产品。

3.2

遥感产品算法algorithmofremotesensingproduct

面向遥感产品生产的，将原始遥感数据或遥感共性产品转化为其它遥感产品的算法。

3.3

算法测评algorithmtest

利用一套指标体系、标准输入数据和测评技术，独立地对算法开展精度/不确定性、适用性、效率、

鲁棒性等方面的综合评价，定量化评价算法的性能。

3.4

算法精度algorithmaccuracy

算法精度指由算法生产的遥感产品的测试值与参考值之间的接近程度。

1

T/CARSAXXXXX—202X

3.5

算法适用性algorithmapplicability

算法在不同运行环境和输入条件下满足遥感产品生产需求的能力。

3.6

算法效率algorithmefficiency

算法在特定的运行环境下，生产出特定的遥感产品所需的时间和计算资源。

3.7

算法鲁棒性algorithmrobustness

算法在不同运行环境和输入条件下保持生产精度和效率稳定的能力。

4算法测评指标体系

遥感产品算法测评应基于一系列相互独立的测评指标，从算法精度、算法适用性、算法效率、算法

鲁棒性四个方面对算法性能进行综合评价，上述四个方面构成的算法测评指标体系的一级指标，一级指

标又进一步划分为可定量测算的二级指标。以下规定了遥感产品算法测评一级、二级指标构成的指标体

系。

a）算法精度

根据遥感产品的属性，对数值型产品算法的精度指标采用算法的几何精度和数值精度两项二级指

标，对类别型产品算法的精度指标采用类别精度一项二级指标。

b）算法适用性

包括算法的地表类型适用性、地形特征适用性、空间尺度适用性、时间尺度适用性、数据源类型适

用性、以及辅助数据依赖性等六项二级指标，综合构成算法适用性指标体系。

c）算法效率

包括算法的运算时间效率和运算空间效率两项二级指标，综合构成算法效率指标体系。

d）算法鲁棒性

包括算法的容错性、效率稳定性两项二级指标，综合构成算法鲁棒性指标体系。

建立的算法测评指标体系如表4.1。

表4.1算法测评指标体系

一级指标二级指标说明

对于数值型产品，基于标准输入数据，算法输出结果与相对真值

数值精度

之间的接近程度；

算法精度对于数值型产品，标准输入数据中的同名点在算法输出结果中的

几何精度

相应位置与真实位置之间的几何偏差；

类别精度对于类别型产品，算法输出结果与真实类别的偏差；

地表类型适用性算法在不同地表类型下生产出满足要求的遥感产品的能力；

算法地形特征适用性算法在不同地形特征下生产出满足要求的遥感产品的能力；

适用性空间尺度适用性算法在不同空间分辨率下生产出满足要求的遥感产品的能力；

时间尺度适用性算法在不同时间范围内生产出满足要求的遥感产品的能力；

2

T/CARSAXXXXX—202X

算法基于对地观测数据产品大类、中类数据（按GB/T32453-2015

数据源类型适用性《卫星对地观测数据产品分类分级规则》的规定）生产出满足要

求的遥感产品的能力；

辅助数据依赖性算法对辅助数据或先验知识输入的依赖程度；

运算时间效率算法生产单位数据量的遥感产品所用的运算时间；

算法效率算法生产单位数据量的遥感产品所占用的存储空间资源（内存、

运算空间效率

硬盘空间）；

算法基于包含一定错误的输入数据仍可生产出满足要求的遥感

算法容错性

算法产品的能力；

鲁棒性算法生产单位数据量的遥感产品所用的运算时间与输入数据量

效率稳定性

大小之间的相关性。

5算法测评指标测算方法

遥感产品算法测评的指标应是按照遥感产品算法测评流程可测算、可量化的指标，各指标应有明确

的测算方法。以下规定了遥感产品算法精度、算法适用性、算法效率、算法鲁棒性四个一级指标所包含

的各项二级指标测算方法。

5.1算法精度指标测算

a）数值精度测算

按《陆地定量遥感产品真实性检验通用方法》（GB/T39468-20204.3）的规定，对算法输出的遥感

产品和相应的参考数据进行空间抽样，对抽样数据按《遥感产品真实性检验导则》（GB/T36296-2018

6.1）6.2的规定，以及对数值类产品或反演结果验证精度指标，数值类产品的常用精度评价指标包括平

均误差、平均绝对误差、相对误差、平均相对误差、平均绝对相对误差、均方根误差和相关系数等。数

值类产品与精度指标的对应关系见附录A.1。可根据当前最优的遥感产品的数值精度测算结果，设定满

足数值型遥感产品生产的数值精度要求。

b）几何精度测算

需测算几何精度的遥感产品主要包括DEM/DSM和DOM。按《陆地定量遥感产品真实性检验通用方

法》（GB/T39468-20204.3）的规定，对算法输出的遥感产品和相应的参考对象数据中的同名点进行空

间抽样，对抽样同名点数据常用的几何精度测评指标有高程中误差（DEM/DSM）、高程平均误差和平

面位置中误差（DOM），另外还有无效值检查、剖面分析法等方法。几何类产品与精度指标的对应关系

见附录A.2。可根据当前最优的遥感产品的几何精度测算结果，设定满足数值型遥感产品生产的几何精

度要求。

c）类别精度测算

类别型遥感产品主要包括遥感分类产品（土地覆盖、土地利用）和遥感识别产品（云掩膜、积雪覆

盖、冰川覆盖、水体面积）。该类产品精度的检验主要有定性评价和定量指标评价两种方式。定性评价，

即目视对比原始影像与提取出的类别信息来进行精度评估。定量评价，即采用一些定量指标组合来对提

取出来的类别信息进行精度评估。按《遥感产品真实性检验导则》（GB/T36296-20186.1）的规定，类

别型产品精度评价的定量指标主要有误差矩阵（errormatrix）、总体分类精度（overallaccuracy，OA）、

Kappa系数（Kappacoefficient）、漏检率（漏分误差，omissionerror）、误检率（错分误差，commission

error）等，类别型产品与精度指标的对应关系见附录A.3。可根据当前最优的遥感产品的类别精度测算

结果，设定满足类别型遥感产品生产的类别精度要求。

3

T/CARSAXXXXX—202X

5.2算法适用性指标测算

a）地表类型适用性测算

令算法基于代表某一种地表类型的标准输入数据进行产品生产，以输出的产品满足遥感产品精度

要求，作为算法适用于当前地表类型的判断标准。对标准输入数据所包含的多种地表类型数据进行测评，

可根据算法适用的地表类型数量表征算法的地表类型适用性，方法见附录A.4。

b）地形特征适用性测算

令算法基于代表某一种地形特征的标准输入数据进行产品生产，以输出的产品满足遥感产品精度

要求，作为算法适用于当前地形特征的判断标准。对标准输入数据所包含的多种地形特征数据进行测评，

可根据算法适用的地形特征数量表征算法的地形特征适用性，方法见附录A.5。

c）空间尺度适用性测算

令算法基于代表某一空间尺度下的标准输入数据进行产品生产，以输出的产品满足遥感产品精度

要求，作为算法适用于当前空间尺度的判断标准。对标准输入数据所包含的多种空间尺度数据进行测评，

可根据算法适用的空间尺度量级表征算法的空间尺度适用性，方法见附录A.6。

d）时间尺度适用性测算

令算法基于代表某一时间尺度的标准输入数据进行产品生产，以输出的产品满足遥感产品精度要

求，作为算法适用于当前时间尺度的判断标准。对标准输入数据所包含的多种时间尺度数据（不同时间

分辨率、不同年份、季节或月份）进行测评，可根据算法适用的时间尺度量级表征算法的时间尺度适用

性，方法见附录A.7。

e）数据源类型适用性测算

令算法基于某一类型遥感数据的标准输入数据进行产品生产，以输出的产品满足遥感产品精度要

求，作为表明算法适用于当前类型遥感数据源的判断标准。对标准输入数据所包含的多种类型的遥感数

据源（不同卫星、不同传感器、不同数据属性，按《卫星对地观测数据产品分类分级规则》（GB/T32453-

2015）的规定进行测评，可根据算法适用的数据源种类表征算法的数据源类型适用性，方法见附录A.8。

针对特定数据源开发的产品算法，数据源类型适用性可根据算法说明直接确定。

f）辅助数据依赖性测算

以算法输入的辅助数据及先验知识信息的种类和必要性表征算法的辅助数据依赖性，方法见附录

A.9。针对必须依赖某类辅助数据的产品算法，辅助数据依赖性可根据算法说明直接确定。

5.3算法效率指标测算

a）时间效率测算

算法执行时启动系统计时，运行结束后统计算法生产单位数据量的遥感产品所用的运算时间，方法

见附录A.10；

b）空间效率测算

算法执行时启动系统监控，运行结束后统计算法生产单位数据量的遥感产品过程中所占用的最大

存储空间资源（内存、硬盘空间），方法见附录A.11。

5.4算法鲁棒性指标测算

a）容错性测算

以包含一定量噪声的标准输入数据作为算法输入，以输出的产品满足遥感产品精度要求，作为算法

对当前输入数据噪声具有容错性的判断标准。对添加不同量级噪声的标准输入数据进行测评，可根据算

法适用的输入数据噪声量级表征算法的容错性，方法见附录A.12。

b）效率稳定性测算

4

T/CARSAXXXXX—202X

在给定的运算环境下，每次以不同数据量的标准输入数据作为算法输入，可根据每次输出单位数据

量的、满足遥感产品精度要求的产品所用时间的差异表征算法的效率稳定性，方法见附录A.13。

5

T/CARSAXXXXX—202X

附录A

（资料性）

算法测评指标的测算方法

A.1数值精度测评公式：

a）平均误差meanerror

误差的平均值푀푒：

1

푀=∑푛푒（1）

푒푛푖=1푖

其中，n为样本量；푒푖为误差值。

b）平均绝对误差meanabsoluteerror

误差绝对值的平均푀퐴푒：

1

푀퐴=∑푛|푒|（2）

푒푛푖=1푖

c）相对误差relativeerror

误差与相对真值或参考对象值（X'）之比的百分数RE：

푒

푅퐸=푖×100%（3）

푖푋′

d)平均相对误差meanrelativeerror

相对误差的平均值푀푅푒：

1

푀푅=∑푛푅퐸（4）

푒푛푖=1푖

e）平均绝对相对误差meanabsoluterelativeerror

相对误差绝对值的平均푀퐴푅푒：

1

푀퐴푅=∑푛|푅퐸|（5）

푒푛푖=1푖

f）均方根误差rootmeansquareerror

误差平方和的均值的平方根푅푀푆푒:

1

푅푀푆=√∑푛푒2（6）

푒푛푖=1푖

g）相关系数correlationcoefficient

两个随机变量之间相互依赖性的度量，等于两个变量间的协方差除以各自方差之积的平方根

r(푥1,푥2)：

푛

∑푖=1(푥1,푖−푥̅̅1̅)(푥2,푖−푥̅̅2̅)

r(푥1,푥2)=

푛2푛2

√∑푖=1(푥1,푖−푥̅̅1̅)∑푖=1(푥2,푖−푥̅̅2̅)

（7）

其中，푥1,푖为变量푥1第i次算法输出结果,푥2,푖为变量푥2第i次真实测量结果，푥̅为变量的算术平均值。

A.2几何精度测评公式：

a）高程中误差公式为：

6

T/CARSAXXXXX—202X

1

휎=√∑푛(푍−푧)2（8）

푛푘=1푘푘

其中푍푘为检验点高程，푧푘为DEM/DSM产品同名点高程，푛为同名点数量。

b）高程平均误差公式为：

1

퐵=∑푛(퐻−ℎ)（9）

푑푛푖=1푖푖

其中퐻푖为检验点高程，ℎ푖为DEM产品中同名点高程，n为同名点数量。

c）平面位置中误差公式为：

1

푀=√∑푛(∆푥2+∆푦2)（10）

푛−1푖=1푖푖

其中∆푥푖，∆푦푖分别为同名点在平面上x，y方向的误差，n为同名点数量。

A.3类别精度测评公式：

a）误差矩阵（errormatrix）

分类精度评价的一种标准形式，是一个用于表示像元分类结果为某一类别与其真实类别的统计比

较矩阵，如下表所示：

表A.3.1误差矩阵表

实测数据分类结果类别

实测总和

类别12…i…k

1푛11푛21…푛푖1…푛푘1푃+1

2푛12푛22…푛푖2…푛푘2푃+2

……

j푛1푗푛2푗…푛푖푗…푛푘푗푃+푗

……

k푛1푘푛2푘…푛푖푘…푛푘푘푃+푘

分类总和푃1+푃2+…푃푖+…푃푘+푃

k代表类别的数量，푃为样本总数，푛푖푗表示分类结果为第i类而实际类别（参考类别）为第j类

的样本数目，푃푖+为分类结果为第i类的样本数，푃+푗为实际类别为第j类的样本数。

b）总体分类精度（overallaccuracy，OA）

表示对每一个随机样本，所分类的结果与真实类别相一致的概率，公式如下：

1

푝=∑푘푛（11）

푒푃푖=1푖푖

c）Kappa系数（Kappacoefficient）

测定两结果之间的吻合度与精度的指标，符号为퐾ℎ푎푡，公式如下：

푘푘

푃∑푛𝑖𝑖−∑(푃𝑖+푃+𝑖)

퐾=𝑖=1𝑖=1

ℎ푎푡2푘

푃−∑𝑖=1(푃𝑖+푃+𝑖)

（12）

7

T/CARSAXXXXX—202X

d）漏检率（漏分误差，omissionerror）

测定真实类别为i而分为其它类别的概率，第i类的漏检率用OE푖表示，公式如下：

푃+𝑖−푛𝑖𝑖

OE푖=

푃+𝑖

（13）

e）误检率（错分误差，commissionerror）

测定分类结果为第j类，而真实类别为其它类的概率，第j类的误检率用CE푗表示，公式如下：

푃푗+−푛푗푗

CE푗=（14）

푃푗+

A.4地表类型适用性测算公式：

1

A=∑푁푎（15）

푐푁푖=1푖

其中，A푐为算法的地表类型适用性值，值越大表明算法地表类型适用性越强。푁为测评的地表类型

总数，地表类型划分标准按《地图学术语》（GB/T16820-2009）的规定，푎푖表示算法对第i种地表类型

的适用性判断，如下表所示：

地表类型林地草地水体…山地合计

适用性푎1푎2푎3푎푖푎푁푁

푎푖的取值方法如下：

1算法适用当前地表类型

푎푖={

0算法不适用当前地表类型

算法适用是指在给定的测评条件下，算法可在规定时间内生产出满足要求的遥感产品；反之，算法

不适用是指在给定的测评条件下，算法无法在规定时间内生产出满足要求的遥感产品。满足要求的遥感

产品是指参照不同遥感产品确定的精度标准，达到该精度标准即为满足要求。

A.5地形特征适用性测算公式：

1

A=∑푁푎（16）

푡푁푖=1푖

其中，A푡为算法的地形特征适用性值，值越大表明算法地形特征适用性越强。푁为测评的地形特征

总类别数，地形特征划分标准按《地图学术语》（GB/T16820-2009）的规定，푎푖表示算法对第i种地形

特征的适用性判断，如下表所示：

地形特征

平原丘陵山地盆地…高原合计

类型

适用性푎1푎2푎3푎4푎푖푎푁푁

푎푖的取值方法如下：

1算法适用当前地形特征

푎푖={

0算法不适用当前地形特征

A.6空间尺度适用性测算公式：

1

A=∑푁푎（17）

푠푐푎푙푒푁푖=1푖

8

T/CARSAXXXXX—202X

其中，A푠푐푎푙푒为算法的空间尺度适用性值，值越大表明算法空间尺度适用性越强。푁为测评的空间

尺度级别数，푎푖表示算法对第i级空间尺度的适用性判断，如下表所示：

空间尺

>1km250m~1km100m~250m30m~100m10m~30m2m~10m0.5m~1m<0.5m合计

度

适用性푎1푎2푎3푎4푎5푎6푎7푎8푁

푎푖的取值方法如下：

1算法适用当前空间尺度

푎푖={

0算法不适用当前空间尺度

A.7时间尺度适用性测算公式：

1

A=∑푁푎（18）

푡푒푚푝표푟푎푙푁푖=1푖

其中，A푡푒푚푝표푟푎푙为算法的时间尺度适用性值，值越大表明算法时间尺度适用性越强。푁为测评的时

间尺度标准数，푎푖表示算法对第i级时间尺度的适用性判断，如下表所示：

空间尺度10年1年季月16天旬7~8天3天1天1小时30分钟1分钟

适用性푎1푎2푎3푎4푎5푎6푎7푎8푎9푎10푎11푎12

22:00~

6:00~14:00~

空间尺度上半年下半年春季夏季秋季冬季次日6：白天夜晚合计

14:0022:00

00

适用性푎13푎14푎15푎16푎17푎18푎19푎20푎21푎22푎23푁

푎푖的取值方法如下：

1算法适用当前时间尺度

푎푖={

0算法不适用当前时间尺度

A.8数据源类型适用性测算公式：

1

A=∑푁푎（19）

푑푎푡푎푁푖=1푖

其中，A푑푎푡푎为算法的数据源类型适用性值，值越大表明算法数据源类型适用性越强。푁为测评的数

据源类型总数，푎푖表示算法对第i类数据源的适用性判断，如下表所示：

大类光学数据产品微波数据产品其他

合计

中类全色多光谱高光谱紫外热红外激光雷达主动微波被动微波其他

适用性푎1푎2푎3푎4푎5푎6푎7푎8푎9푁

푎푖的取值方法如下：

1算法适用当前数据源类型

푎푖={

0算法不适用当前数据源类型

A.9辅助数据依赖性测算公式：

1

A=∑푁푎.푐（20）

푎푢푥푖푙푖푎푟푦2푁푖=1푖푖

9

T/CARSAXXXXX—202X

其中，A푎푢푥푖푙푖푎푟푦为算法的辅助数据依赖性值，值越大表明算法对辅助数据依赖度越高。푁为测评的

辅助数据和先验知识信息类型总数，푎푖表示算法对第i类辅助数据或先验信息的必要性判断，푐푖表示相应

数据或信息的权重，如下表所示：

辅助数据辅助数据1辅助数据2…辅助数据i

必要性指标푎1푎2…푎푖

权重푐1푐2…푐푖

先验信息先验信息i+1先验信息i+2…先验信息N

必要性指标푎푖+1푎푖+2…푎푁

权重푐푖+1푐푖+2…푐푁

푎푖的取值方法如下：

2算法必要辅助数据或先验信息

푎푖={

1算法次要辅助数据或先验信息

푐푖可根据经验确定，也可用第i类辅助数据或先验信息的获取成本或数据量（单位：kb）作为权重。

A.10时间效率测算公式：

퐶

퐸=표푢푡푝푢푡（21）

푡푖푚푒푇

其中，퐸푡푖푚푒为算法的时间效率值，值越大表明算法的时间效率越高。퐶표푢푡푝푢푡为输出产品的总数据

量，푇为从算法运行到输出产品所需总时间。

A.11空间效率测算公式：

퐶표푢푡푝푢푡

퐸푠푡표푟푎푔푒=（22）

푎1·퐶푅퐴푀+푎2·퐶퐷푖푠푘

其中，퐸푠푡표푟푎푔푒为算法的空间效率值，值越大表明算法的空间效率越高。퐶표푢푡푝푢푡为输出产品的总数

据量，퐶푅퐴푀和퐶퐷푖푠푘分别表示算法得到输出产品的过程中所占用的最大内存资源和磁盘存储资源，푎1、

푎2分别表示内存和磁盘资源的成本权重，可用单位容量的硬件成本作为权重。

A.12容错性测算方法及公式

以添加不同方差等级的正态分布噪声的标准输入数据作为输入，以输出的产品满足遥感产品精度

要求，作为算法对当前输入数据噪声具有容错性的判断标准。以算法满足上述标准所能容纳的最大噪声

等级表征算法的容错性。

假定算法的标准输入数据为푋，令휇，δ分别表示푋的均值和标准差，加入符合标准正态分布的随机

噪声ε(0,∆2)，即随机噪声ε的均值为0，标准差为∆，得到的输入标准数据为푋′=푋+ε(0,∆2)；同理，加

2′

入均值为0，标准差为푚푖∆的标准正态分布的随机噪声ε(0,(푚푖∆))，得到的输入标准数据为푋=푋+

22

ε(0,푚푖∆)，其中，푚푖的理论取值范围可以为[0,+∞)。

容错性测算公式如下：

A푒푟푟표푟=max{푎푖∗푚푖}（23）

其中，A푒푟푟표푟为算法的容错性指标值，值越大表明算法容错性越强。max{}为最大值运算符,푚푖表示

算法的噪声系数，푎푖表示算法的容错性判断指标。令푁为测试的噪声水平，例如，取푁=8时，如下表所

示：

10

T/CARSAXXXXX—202X

噪声水平1234i푁=8合计

噪声标准差푚1∆푚2∆