《遥感产品算法测评 第1部分 测评方法与流程导则》

T/CARSAXXXXX—202X

ICS37.040

V00/09

团体标准

T/CARSAXXXXX—202X

遥感产品算法测评

第1部分：测评方法与流程导则

AlgorithmTestofRemoteSensingProducts

Part1:GuideoftheTestMethodsandProcess

（征求意见稿）

（本稿完成时间：2023年4月3日）

XXXX-XX-XX发布XXXX-XX-XX实施

中国遥感应用协会发布

T/CARSAXXXXX—202X

遥感产品算法测评第1部分：测评方法与流程导则

1范围

本文件规定了遥感产品算法的通用测评方法与流程。

本文件适用于遥感产品算法的测评，包括但不限于几何产品、辐射基础产品、土地覆盖/土地利用

产品、能量平衡参量产品、植被参量产品、水分参量产品等产品生产算法的测评。

2规范性引用文件

下列文件中的条款通过本标准的引用而构成本标准的条款。凡是注日期的引用文件，其随后所有的

修改单（不包括勘误的内容）或修订版均不适用于本标准，然而，鼓励根据本标准达成协议的各方研究

是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本标准。

GB/T32453-2015卫星对地观测数据产品分类分级规则

GB/T36296-2018遥感产品真实性检验导则

GB/T36299-2018光学遥感辐射传输基本术语

GB/T39468-2020陆地定量遥感产品真实性检验通用方法

3术语和定义

GB/T32453-2015、GB/T36296-2018、GB/T36299-2018、GB/T39468-2020界定的以及下列术语和

定义适用于本文件。

3.1

遥感产品remotesensingproduct

通过遥感方式获取并被生产出来以满足特定需求的数据产品，包括遥感传感器获取的数据、模型反

演得到的参量数据，以及经更高层级处理后满足行业应用需求的相应结果。

注：根据产品值的物理意义，可将遥感产品分为数值型产品、几何型产品和类别型产品。

3.2

遥感共性产品remotesensingcommonproduct

通过遥感方式获取可作为至少两个行业专题产品生产所需要的输入，且可利用同步实测数据进行

真实性检验的遥感产品。

注：根据应用需求，可将遥感共性产品分为几何产品、辐射基础产品、土地覆盖/土地利用产品、能

量平衡参量产品、植被参量产品和水分参量产品。

3.3

算法测评algorithmtest

利用一套指标体系、标准输入数据和测评技术，独立地对算法开展精度/不确定性、适用性、效率、

鲁棒性等方面的综合评价，定量化评价算法的性能。

3.4

1

T/CARSAXXXXX—202X

指标体系indicatorssystem

由一系列反映被评价算法多方面特性的、相互联系的指标构成的量化评价体系，反映了被评价算法

在实际需求场景下的多方面表现，是算法测评工作的核心和依据。

3.5

真实性检验validation

采用独立的方法评价卫星对地观测数据产品的真实性和准确性。

[GB/T32453-2015,3.27]

3.6

标准输入数据standardinputdata

具备标准化的数据组织形式，统一的时空尺度、数据质量、地表类型和地形特征，用于遥感产品算

法测评的多源输入数据。

3.7

参考数据referencedata

遥感产品真实性检验接受的参考值，用于检验产品精度的近似真值。包括：测量数据、已检遥感产

品、已检模型、时空分布趋势和特征及相互关系等。

[GB/T36296-2018,5]

4基本要求

遥感产品算法测评应符合以下基本要求：

a）遥感产品算法测评指标应涵盖算法精度、算法适用性、算法效率、算法鲁棒性等一级指标；

b）算法测评数据集应包括标准输入数据集和参考数据集，数据集应具有时间、空间代表性，满足

算法测评指标计算要求；

c）算法的精度指标计算应符合GB/T36296—2018第7章的规定；

d）待测评算法的输入和输出数据应符合算法测评数据集对数据组织方式的要求。

5算法测评操作流程

算法测评的操作流程见图5.1.

2

T/CARSAXXXXX—202X

开始

待测评算法

1.指标体系构建3.算法接口规范化2.算法测评数据制备

算法测评指标集4.算法执行与监控算法测评数据集

遥感产品生产范围确定（时间/空间）

指标选择

算法执行参数监控数据查询

权重确定

算法监控参数数据制备

体系构建

输出共性产品标准输入数据集

测评指标体系

参考数据集

算法测评指标

5.指标归一化

6.测评指标综合

7.测评报告生成

结束

图5.1.算法测评流程

具体操作流程如下：

a）确定待测评的算法；

b）构建算法测评的指标体系：

1)选择测评指标：根据算法测评目标，可依据6.2规定的方法选取评价指标；

2)确定指标权重：可按照6.3规定的方法确定各指标权重；

3)建立评价指标体系：根据已选择的指标和指标权重构成一、二级评价指标体系。

c）制备算法测评数据集：根据b）选择的测评指标，可依据算法测评的指标体系与指标测算方法确

定需要制备的算法测评数据集。

1)定范围：确定算法测评数据集包含的时间和空间范围；

2)查数据：查找包含相应时间和空间范围的遥感数据和地面观测数据；

3)备数据：根据各项算法测评指标的测算方法，对遥感数据和地面观测数据进行时空尺度转换

和数据质量控制，得到满足算法测评指标所需类型和质量要求的标准输入数据集，以及与算

法输出结果相对应的参考数据集作为相对真值；

3

T/CARSAXXXXX—202X

d）确定算法接口规范：根据遥感产品算法接口规范的要求集成算法、标准输入数据集和辅助数据

（若需要）；

e）算法执行与监控：在统一的硬件配置和操作系统配置下，基于标准输入数据集和辅助数据集执

行算法，得到算法的输出结果。

1)在算法执行过程中，根据选择的测评指标对算法执行过程中的系统参数进行监控；

2)在算法执行完成后，根据选择的测评指标对算法输出结果与参考数据集进行对比和结果评

价，结果评价方法可参考真实性检验及相关指标计算方法规范：GB/T36296-20188进行精

度指标测算；

f）测评指标数据归一化：将测评指标量转换为0-1之间的相对值；

g）测评指标综合：将归一化后的测评指标数据与评价指标体系权重相乘并求和，得到算法的一级

指标评分和综合评分；

h）生成算法测评报告：可依据12.1的规定生成算法测评报告。

6指标体系构建

6.1指标体系构建要求

算法测评指标集应包括：算法精度、算法适用性、算法效率和算法鲁棒性共四个一级指标，以及相

应的二级指标，测评指标应反映待评价算法特性且相互独立。算法精度的二级指标包括：数值精度、几

何精度、类别精度；算法适用性的二级指标包括：地表类型适用性、地形特征适用性、空间尺度适用性、

时间尺度适用性、数据源类型适用性、辅助数据依赖性；算法效率的二级指标包括：运算时间效率、运

算空间效率；算法鲁棒性的二级指标包括：算法容错性、效率稳定性、运行环境稳定性、易维护性。算

法测评的指标体系构建方法包括：选指标、定权重、建体系三步。

6.2指标选择

根据待测评算法的类型和适用条件选择测评指标。若算法输出数据为数值型产品，则算法精度一级

指标下的二级指标应选择数值精度和几何精度；若算法输出数据为类别型产品，则算法精度一级指标下

的二级指标应选择类别精度；若算法运行条件无特殊要求，则选择算法精度、算法适用性、算法效率和

算法鲁棒性四个一级指标下的各项二级指标对算法进行测评；

6.3权重确定

依据专家经验打分并确定各指标两两之间的相对重要性，并根据附录A的方法计算算法测评一级指

标和二级指标的权重；

6.4体系构建

已选择的指标和指标权重共同构成算法测评的一、二级测评指标体系，相应的指标体系适用于与待

测评算法同类型的算法评估和比较。

7算法测评数据制备

7.1数据集制备要求

根据算法测评指标，算法测评数据集应满足如下要求：

a）参考数据的制备应符合GB/T36296—2018第7章的规定；

b）标准输入数据集与参考数据集的时空尺度应匹配；

4

T/CARSAXXXXX—202X

c）标准输入数据集应尽量保证包含的地表覆盖类型、地形类型、数据源类型、时间范围、数据时

空分辨率的多样性，应能在不同时间和空间尺度上支持算法测评；

d）同类算法的标准输入数据集应采用相同的预处理方法和精度检验流程。

7.2范围确定

确定用于算法测评的数据时间和空间范围。

7.3数据查询

查询满足算法测评数据集制备要求的遥感数据和地面观测数据。

7.4数据制备

7.4.1标准输入数据集制备

根据算法测评需求制备标准输入数据集。

a）数据筛选

筛选时间和空间范围相匹配的遥感数据和地面观测数据。

b）数据预处理

对筛选后的遥感数据进行处理，得到包含多种地表覆盖类型、地形类型、数据源类型、时间范围、

以及数据时空分辨率的标准输入遥感数据集，使其符合GB/T32453-2015第7章的规定，具体方法见附录

B。

c）数据精度检验

对标准输入数据集进行精度检验，对于不满足精度要求的数据进行重新筛选和预处理。

7.4.2参考数据集制备

根据算法测评需求制备参考数据集。

a）数据筛选

筛选与遥感数据的时间和空间范围相匹配的地面观测数据或交叉验证数据。

b）数据质量控制

对地面观测数据按照统一的质量控制流程进行处理（如图7.1），评估参考对象数据的规范性、完整

性、准确性和代表性，保留质量合格的参考数据代表地面目标的相对真值。形成算法测评参考数据集并

加入数据库。

参考数据的质量控制流程应包括：

1)观测数据采集：利用人工或自动化的方式，采集地面观测数据，在采集过程中应严格遵循相

应参数的观测规范，减少观测过程带来的误差；

2)数据常规检查：对观测数据的格式规范性和内容完整性进行检查。格式规范性检查指检查数

据格式是否符合已有规范（如《地面观测规范QX/T66-2007》《气象数据归档格式QX/T93-

2008》等）的要求，内容完整性检查指检查观测文件、周期以及变量是否完整。对检查不合

格的数据，应进行格式规范化和空缺数据补全；

3)数据准确性判定：对观测数据进行物理可能值检查、极端值检查及数据一致性检查，以评价

观测数据的准确性。物理可能值检查指判定观测数据是否位于观测参数的物理定义所限定

的值域范围，极端值检查指判断观测数据是否位于已有的先验知识限定的值域范围，数据一

致性检查指判断观测数据在物理、时间、空间上的变化是否符合客观规律。对于准确性判定

中出现的各类异常值，判定其异常原因以决定数据删除或保留；

5

T/CARSAXXXXX—202X

4)空间代表性评价：引入高分辨率影像数据，对观测数据所在站点的空间代表性进行评价，判

断该站点能够代表周边多大范围的区域，在何种空间尺度上是均匀的，是否满足算法测评的

需求。对于不满足需求的站点，则更换其他观测站点，重复（1）-（4）的质量控制过程；

c）参考数据入库

对于经过上述质量控制过程的地面观测数据，可将其视为质量合格的参考数据，将参考数据统一整

理入库，形成算法测评参考数据集，用于后续算法测评的指标评价工作。

图7.1参考数据质量控制流程

8算法接口规范化

完成算法测评数据制备后，应根据算法的输入与输出规定对算法接口进行规范化，使算法测评过程

中算法所需的输入数据和辅助数据可正确调用，并且确保算法输出的遥感产品满足算法精度评估的数

据标准规范（参考《GB/T36296-2018遥感产品真实性检验导则》），还应提供接口保证算法测评平台

对算法执行过程及结果的准确监控。

6

T/CARSAXXXXX—202X

9算法执行与监控

9.1遥感产品生产

算法测评过程基于不同的标准输入数据和参考数据多次执行算法，输出相应的遥感产品，以评估算

法精度、算法适用性、算法效率和算法鲁棒性等指标。

9.2算法执行的参数监控

在算法执行过程中，不仅要记录每一次算法执行的结果，还应监控算法执行过程中对CPU、GPU、

内存和磁盘存储空间的占用情况等参数并逐一记录。

10指标归一化

依据6.2确定的算法测评指标，将算法执行与监控过程获取的遥感产品和监控参数转化为算法测评

指标量并归一化。

11测评指标综合

依据6.4建立的算法测评一、二级测评指标和指标权重，采用加权方法进行测评指标综合，计算算

法综合测评结果。方法见附录C。

12测评报告生成

12.1测评报告

得到算法测评综合评价结果后，即可生成算法测评报告，报告信息应包括：

a）测评算法简介；

b）测评人员与时间；

c）测评使用数据；

d）测评指标体系及方法流程；

e）测评结果与分析。

12.2数据储存格式

遥感数据应以图像格式储存，参考数据应根据实际情况以文本或其他格式储存，应建立统一的数据

储存格式，以便于数据管理与调用。

12.3附加信息

对测评过程中的非常规问题进行说明与描述。

7

T/CARSAXXXXX—202X

附录A

（资料性）

基于AHP层次分析的指标权重确定方法

采用层次分析法，对算法测评体系的评价指标权重进行确定。层次分析法的运用可以将复杂的权重

确定问题模型化、数量化，以获取各层指标在整体中所占的权重。利用层次分析法进行权重的计算，具

体可分为以下四个步骤：

1)构建层次结构模型

层次分析法的思维逻辑是先分解后综合。首先要确定评价影响因子，并把影响因子按照对目标影响

的重要程度划分成若干个层次，即确定层次结构。一般来讲，这种层次结构主要包括目标层、准则层和

措施层三个层次。

2)构建比较判断矩阵

层次结构模型是构建判断矩阵的前提，判断矩阵是反映下层影响因子对于上层影响因子（如空间均

匀性对于地理特征）的相对重要性。如果把퐵作为准则层元素，然后再把它支配的下层元素称为

퐵,퐵,퐵,…,퐵，在评价准则퐵时，首先就要判断元素푈与푈的相对重要性，假设判断矩阵为퐵=(푈),

123푛푖푗푖푗푛×푛

1

那么判断矩阵퐵必需满足三个条件푈푖푗>0;푈푖푗=;푈푖푗=1。

푈푗푖

根据建立的层次结构模型进行专家打分，采用的方法为分别对同一层次的指标进行两两比较，确定

它们的相对重要性，结合“1-9标度法”，依次构造出比较判断矩阵模型，“1-9标度法”含义如表3.2：

表B.1“1-9标度法”含义

标度含义

1퐴푖和퐴푗同等重要

3퐴푖比퐴푗重要一点

5퐴푖比퐴푗更重要

7퐴푖比퐴푗重要得多

9퐴푖比퐴푗极端重要

2，4，6，8，10当5个等级不够用时可作为补充

3)针对某一个标准，计算各备选元素的权重。

求判断矩阵的最大特征根휆푚푎푥，然后利用퐵휔=휆푚푎푥得出其对应的特征向量휔，并进行归一化处理。

具体的计算步骤如下：

首先，计算判断矩阵B中每个元素的积。

n

Mi==aij(i1,2,...n)

j=1..........................................................................

第二步，计算每行푀푖的n次方根

=nM

ii......................................................................................

푇

第三步，将向量휔=(휔1,휔2,...,휔푛)进行归一化处理，计算出权重系数。

n

=/

iii=0k...............................................................................

4)进行一致性检查

8

T/CARSAXXXXX—202X

为了检验判断矩阵是否具有合格的一致性，需要在求得判断矩阵퐵=(푈)中各指标的权重后，

푖푗푛×푛

对它进行一致性检验，即指对퐵确定不一致的允许范围，使用퐶퐼来衡量퐵的不一致程度。

首先计算一致性评价指标퐶퐼。퐶퐼值越大，一致性越差。

1n()Bwn−

==i,CImax

maxnwn−1

i=1i..................................................................

其中푛为判断矩阵阶数。

其次，根据判断矩阵的矩阵阶数푛查阅它所对应的平均随机一致性指标푅퐼(RandomIndex)的值，得

到矩阵阶数푛对应的平均随机一致性值。

最后，我们要计算出一致性比例퐶푅(ConsistencyRatio)值，通过퐶푅的值来确定判断矩阵一致性。퐶푅

的表达式为：퐶푅=CI/RI。确定判断矩阵一致性是否满足的标准为：若퐶푅<0.1，则满足；若퐶푅≥0.1，

则不满足，则需要进一步调整判断矩阵，直到퐶푅<0.1为止。其中随机一致性指标RI的标准值如下表3.3

所示：

表B.2随机一致性指标RI的标准值

n12345678910

RI000.520.91.121.241.321.411.451.49

根据算法测评指标因子的层次结构图，得到不同层级的判断矩阵。计算判断矩阵与次级判断矩阵的

特征值及特征向量W，再把特征向量归一化，最终得到各指标的权重系数。

9

T/CARSAXXXXX—202X

附录B

（资料性）

算法测评数据预处理方法

针对不同的遥感产品算法测评，应对标准输入数据采用统一的预处理方法，主要包括对标准输入遥

感数据的辐射定标、几何校正和大气校正。

1)辐射定标

使用绝对定标系数将遥感影像DN值转换为辐亮度数据，使用公式为：

LGainDNOffset=+

ee()

其中，辐射定标公式与系数均从各卫星影像官方发布网站获取。利用上述公式将未进行辐射定标的

遥感影像DN值转化为辐亮度数据。

2)几何校正

a）利用影像数据内部镶嵌的RPC数据，对卫星影像数据进行几何粗校正；

b）寻找影像和地面的同名点，建立影像和实际位置的匹配关系，对粗校正后的影像进行几何精校

正;

c）验证几何校正精度后，按参考数据时空间信息，根据测评需求对影像进行裁剪。

3)大气校正

对需要地表反射率信息作为输入的算法，在几何校正后需要进行大气校正以获取地表反射率数据，

并以地表观测得到的反射率数据对卫星数据进行质量检验。