遥感产品算法测评-第2部分-指标体系与指标测算方法 编制说明

1《遥感产品算法测评第2部分：指标编制说明科学院空天信息创新研究院牵头完成本规范的制定任务。该标准由中国遥感应用协会1中国科学院空天信2中国科学院空天信与标准文本及编制说明的起草、撰23中国科学院空天信4中国科学院空天信56中国科学院空天信7中国科学院空天信8中国科学院空天信9中国科学院空天信中国科学院空天信参与标准文本及编制说明的起草、中国科学院地理科中国科学院空天信集、整理和归纳相关的意见和建议以及行业内征求意见和标准送审；3成基础内容框架，拟重点解决的科学问题与标准化关键技术为遥感产品算法测评方法4本标准的编制以遥感产品算法测评的科学实践为目标，以规范性和可操作性为第从中凝练遥感产品算法测评指标体系的概念和问题，并流程标准化和规范化遥感产品性，使用户在应用遥感产品算法生产所需的数据产品前可以准确地了解算法的各项性5对遥感产品算法测评进行标准化，需要在规定测评方法与流程的基础上构建测评种遥感产品算法测评时有据可依，从而提高测评的质量和效率，促进遥感产品算法发本文件规定了遥感产品算法的通用指标体系和指标的测算方法，适用于遥感产品算法的测评，包括但不限于几何产品、辐射基础产品、土地覆盖/土地利用产品、能量一级指标二级指标说明算法精度数值精度对于数值型产品，基于标准输入数据，算法输出结果与相对真值之间的接近程度；几何精度对于数值型产品，标准输入数据中的同名点在算法输出结果中的相应位置与真实位置之间的几何偏差；类别精度对于类别型产品，算法输出结果与真实类别的偏差；算法适用性地表类型适用性算法在不同地表类型下生产出满足要求的遥感产品的能力；地形特征适用性算法在不同地形特征下生产出满足要求的遥感产品的能力；空间尺度适用性算法在不同空间分辨率下生产出满足要求的遥感产品的能力；时间尺度适用性算法在不同时间范围内生产出满足要求的遥感产品的能力；数据源类型适用性算法基于对地观测数据产品大类、中类数据（按GB/T32453-2015《卫星对地观测数据产品分类分级规则》的规定）生产出满足要求的遥感产品的能力；辅助数据依赖性算法对辅助数据或先验知识输入的依赖程度；6算法效率运算时间效率算法生产单位数据量的遥感产品所用的运算时间；运算空间效率算法生产单位数据量的遥感产品所占用的存储空间资源（内存、硬盘空间算法鲁棒性算法容错性算法基于包含一定错误的输入数据仍可生产出满足要求的遥感产品的能力；效率稳定性算法生产单位数据量的遥感产品所用的运算时间与输入数据量大小之间的相关性。b）平均绝对误差meanabsol误差绝对值的平均MAe：d)平均相对误差meanrelat相对误差的平均值MRe：7MRe=Σ1REie）平均绝对相对误差meanabsoluterel n1Σ1lREi n1Σ1lREilMARe=误差平方和的均值的平方根RMse:RMse=Σ1ei2g）相关系数correlation两个随机变量之间相互依赖性的度量，等于两个变量间的协方差除以各自方差之积的平方根r(x1,x2)：Σn(x)(x)Σn(x)(x)1(x1,i)2Σ1(x2,i)2参考对象数据中的同名点进行空间抽样，对抽样同名点数据常用的几何精度测评指标值检查、剖面分析法等方法。几何类产品与精度σ=Σ=1(Zk—zk)28M=∑1(∆xi2+∆yi2)类别型遥感产品主要包括遥感分类产品（土地覆盖、土地利用）和遥感识别产品分类精度评价的一种标准形式，是一个用于表示像元分类结果为某一类别与其真实测数据类别分类结果类别实测总和12…i…k1n11n21…ni1…nk1P+12n12n22…ni2…nk2P+2……jn1jn2j…nij…nkjP+j……kn1kn2k…nik…nkkP+k分类总和P2+…Pi+…Pk+Pk代表类别的数量，P为样本总数，nij表示分类结果为第i类而实际类别（参考类别）为第j类的样本数目，Pi+为分类结果为第i类的样本数，P+j为实际类别为第j类的样本数。9pe=∑1nii（11）测定两结果之间的吻合度与精度的指标，符号为Kℎat，公式如下：Kℎat=（12）p+i−niip+ipj+−njjpj+令算法基于代表某一种地表类型的标准输入数据进行产品生产，以输出的产品满含的多种地表类型数据进行测评，可根据算法适用的地表类型数量表征算法的地表类地表类型林地草地水体…合计适用性a1a2a3aiaNNai={算法适用是指在给定的测评条件下，算法可在规定时间内生产出满足要求的遥感令算法基于代表某一种地形特征的标准输入数据进行产品生产，以输出的产品满含的多种地形特征数据进行测评，可根据算法适用的地形特征数量表征算法的地形特At=t地形特征类型平原丘陵盆地…高原合计适用性a1a2a3a4aiaNNai={令算法基于代表某一空间尺度下的标准输入数据进行产品生产，以输出的产品满含的多种空间尺度数据进行测评，可根据算法适用的空间尺度量级表征算法的空间尺Ascale=其中，Ascale为算法的空间尺度适用性值，值越大表明算法空间尺度适用性越强。空间尺度>1km250m~1km100m~250m30m~100m10m~30m2m~10m0.5m~1m<0.5m合计适用性a1a2a3a4a5a6a7a8Nai={令算法基于代表某一时间尺度的标准输入数据进行产品生产，以输出的产品满足Atemporal=空间尺度10年1年季月16天旬7~8天3天1天1小时30分钟1分钟适用性a1a2a3a4a5a6a7a8a9a10a11a12空间尺度上半年下半年春季夏季秋季冬季6:00~14:0014:00~22:0022:00~次日6：00夜晚合计适用性a13a14a15a16a17a18a19a20a21a22a23Nai={令算法基于某一类型遥感数据的标准输入数据进行产品生产，以输出的产品满足Adata=强。N为测评的数据源类型总数，ai表示算法对第i类数据源的适用性大类光学数据产品微波数据产品其他合计全色多光谱高光谱紫外热红外激光雷达主动微波被动微波其他适用性a1a2a3a4a5a6a7a8a9Nai={以算法输入的辅助数据及先验知识信息的种类和必要性表征算法的辅助数据依赖AauxiliaTY=高。N为测评的辅助数据和先验知识信息类型总数，ai表示算法对第i辅助数据辅助数据1辅助数据2…辅助数据i必要性指标a1a2…ai权重c2…ci先验信息先验信息i+1先验信息i+2…先验信息N必要性指标ai+1ai+2…aN权重ci+1ci+2…cNai={包括算法的运算时间效率和运算空间效率两项二级指标，综合构成算法效率指标算法执行时启动系统计时，运行结束后统计算法生产单位数据量的遥感产品所用Etime=（21）算法执行时启动系统监控，运行结束后统计算法生产单位数据量的遥感产品过程Estorage=a1·CRtCDisk（22）以包含一定量噪声的标准输入数据作为算法输入，以输出的产品满足遥感产品精标准输入数据进行测评，可根据算法适用的输入数据噪以添加不同方差等级的正态分布噪声的标准输入数据作为输入，以输出的产品满Aerror=max{ai∗mi}（23）噪声水平1234iN=8合计噪声标准差m1∆m2∆m3∆m4∆…mi∆…mN∆ mi值2−32−21…2i−4…24 容错性a1a2a3a4…ai…aNNai={次输出单位数据量的、满足遥感产品精度要求的产品所用时间的差异表征算法的效率在相同的运算环境下，以数据量为mi的标准输入数据作为输入，统计使用算法生产出满足要求的遥感产品所需的时间ti，则单位数据量的处理时间为ci=ti/mi。以不ai=(ci+1−ci)/(mi+1−mi)（2输入数据量mim1m2m3m4…mi…mN所需时间tit1t2t3t4…ti…tNci=ti/mic2c3c4…ci…cN处理速率变化量aia1a2a3a4…ai… Aefficiency=∑1ai入数据量增加，算法对单位数据量的处理效率提高；若Aefficiency=0，则表明算法对单位数据量的处理效率不变，即数据处理所需时间与数据量成正比关系；若Aefficiency>0，则表明随着输入数据量增加，算法对单位数据量的处理效率降低。通过文献调研和已有的研究成果，对指标体系中的各级指标进行了初步的挑选与对算法在遥感产品生产过程中的表现，算法效率评判某种算法是否可以高效地产出遥率的二级指标既要考虑算法在生产一定量产品时所需时间多少及占用运行空间的大小，也要考虑到该算法在生产过程中是否需要额外的辅助数据；算法鲁棒性需要评价算法产品类别与级别序号共性产品精度指标几何产品1DOM平面位置中误差、平均偏差2DSM/DEM高程中误差辐射基础产品3地表反射率平均误差Me、均方根误差RMSE和相关系数r4归一化离水辐射率均方根误差RMSE5雷达后向散射系数平均误差Me、均方根误差RMSE和相关系数r6地表发射率均方根误差RMSE和平均绝对误差MAE7云掩膜像元精度Pa和总体分类精度Pt组合、正确率、错误率、误检率和漏检率组合8气溶胶光学厚度绝对误差Bias、均方根误差RMSE和相关系数r9大气水汽含量均方根误差RMSE和相关系数r土地覆盖/土地利用产品土地覆盖总体精度OA、制图精度PA、用户精度UA和Kappa系数土地利用总体精度OA、制图精度PA、用户精度UA和Kappa系数能量平衡参量产品地表反照率平均误差Me、均方根误差RMSE和相关系数r地表温度均方根误差RMSE、相关系数r、绝对误差Bias和标准差STD海表温度均方根误差RMSE、相关系数r、绝对误差Bias和标准差STD土壤热通量均方根误差RMSE、相关系数r和平均绝对误差MAE光合有效辐射均方根误差RMSE、相关系数r和平均偏差ME下行短波辐射均方根误差RMSE、相关系数r和平均偏差ME下行长波辐射绝对误差Bias、均方根误差RMSE和相关系数r地表净辐射均方根误差RMSE、相关系数r、绝对误差Bias和标准差STD植被参量产品20植被指数平均误差Me、均方根误差RMSE和相关系数r21叶面积指数绝对误差Bias、均方根误差RMSE和相关系数r22植被覆盖度均方根误差RMSE和相关系数r23光合有效辐射吸收比例均方根误差RMSE和相关系数r24植被净初级生产力均方根误差RMSE和相关系数r25植被物候均方根误差RMSE、相关系数r、相对误差RE和平均绝对误差MAE26植被叶绿素含量均方根误差RMSE和相关系数r27叶绿素荧光均方根误差RMSE和相关系数r28森林地上生物量均方根误差RMSE和相关系数r29森林树高均方根误差RMSE、相关系数r和标准差SD水分参量产品土壤水分均方根误差RMSE、相关系数r和平均绝对误差MAE蒸散发相关系数r和平均绝对误差MAE干旱指数相关系数r水体面积总体分类精度OA、Kappa系数、错分误差、漏分误差和噪声统计冰川覆盖误差指标IU和IO、总体精度指标Qc和Qa积雪覆盖误差指标IU和IO、总体精度指标Qc和Qa雪被指数相关系数r和平均绝对误差MAE水体悬浮物浓度均方根误差RMSE、相关系数r和相对误差RE水体叶绿素浓度均方根误差RMSE、相关系数r和相对误差RE水体透明度均方根误差RMSE、相关系数r和相对误差RE2）几何类产品精度指标评价高程值与地表真实值得接近程度，即高程精度。②数字表面模型DSM(DigitalSurfaceModel)，是一种包含了地表建筑物、桥梁和树木等高度的表面误差和平面位置中误差（DOM）等，另外还有无3）类别类产品精度指标4）算法适用性指标16820-2009）的规定；算法的空间尺度适用性是指算法对不同分辨率如大于1km、s）算法效率指标算法效率指标包括算法的运算时间效率和运算空间效率两项二级指标。评价算法效率的先决条件是算法能“生产出满足要求的遥感产品”，即在足量但有限的时间和计‘)算法鲁棒性指标以带有一定噪声的数据作为输入，算法输出的产品精度不低于该遥感产品的达标要求算法输出的产品在某些时间或空间范围内缺失有效数据而导致结果时空不完整通常是测评指标体系标准输入数据集测评指标体系标准输入数据集算法监控参数算法监控参数输出共性产品输出共性产品算法测评指标算法测评指标c)制备算法测评数据集：依据算法测评的指标体系与指标测算方法确定需要制备d)确定算法接口规范：根据遥感产品算法接口规范的要求集成算法在算法执行完成后，根据选择的测评指标对算法输出结果与参考数据集进行对比观测样点同时段的GF-1WFV16米和MODIS500米地表反射率数据并统一裁切成法的输入数据经过统一的时空尺度转换和质量控制，输出结果可作为相对真值进行直最大-最小值归一化方法，测评指标综合直接用各项二级指标权重与指标归一化结果乘待测评的联合高空间分辨率数据与低分辨率数据的地表反照率反演算法精度评价地表类型林地草地耕地水体冰雪建筑用地未利用地合计适用性11110017地形特征类型平原丘陵盆地高原合计适用性111115空间尺度>1km250m~1km100m~250m30m~100m10m~30m2m~10m0.5m~1m<0.5m合计适用性111110008d)时间尺度适用性：AtempoTal=4/7=0.5714；时间尺度1年1月16天3天1天1小时瞬时合计适用性00011117e)数据源类型适用性：Adata=2/9=0.2222；大类光学数据产品微波数据产品其他合计全色多光谱高光谱紫外热红外激光雷达主动微波被动微波其他适用性0110000009f)辅助数据依赖性：Aauxiliary=根据待测评算法的描述，算法依赖的辅助数据包括高分辨率的地表覆盖分类数据（high-resolutionclassificationmap以及相应的各类地表覆盖下的地表辅助数据/先验信息辅助数据1先验信息2类别高分辨率的地表覆盖分类数据各类地表覆盖下的地表二向反射先验知识必要性指标ai22权重ci0.40.6a)时间效率Etime=0.0112；分别输入3景数据，得到算法输出结果并监控运行时间。最后根据公式(21)计算算输出数据量coutput（GB）0.750.780.76平均效率（GB/s）处理时间T（s）67.366.571.3时间效率coutput/T（GB/s）0.01110.01170.01070.0112b)空间效率Estorage=1.2239；量的遥感产品过程中所占用的最大存储空间资源（内存、硬盘空间设定a1=0.5、输出数据量Coutput（GB）0.750.780.76平均效率（GB/GB）内存占用CRAM（GB）1.231.381.15硬盘占用CDisk（GB）000空间效率Estorage1.21951.13041.32171.2239a)算法容错性Aerror=2；的平均均方根误差在0.03~0.1之间，本次试验中取RMse=0.05为阈值，超过该阈值认∆=δ=0.0122，假定算法的标准输入数据为X，则测试时输入的标准数据为X′=X+得到的输入标准数据为X′=X+ε(0,mi2∆2)，本测试中mi的取值为2−3~23，每个取值递增2倍。根据公式(23)可计算得Aerror=2。Aerror值越大表明算法容错性越强。算法噪声水平1234567噪声标准差m1∆m2∆m3∆m4∆m5∆m6∆m7∆mi值2−32−2122223RMse0.02830.02800.03010.03150.04790.07550.5708容错性ai1111100b)效率稳定性Aefficiency=2.5487；Aefficiency=2.5487>0。算法的效率稳定性测评结果如下：输入景数(景)1246输出数据量mi(GB)0.753.114.62所需时间ti(s)67.3142.5289.8453.2ci=ti/mi89.733393.137393.183398.0952处理速率变化量ai4.36400.02913.2530 0.24，算法效率0.1，算法鲁棒性0.1。考虑指标属性，可分为数值越大（算法性能）越71.39，算法适用性得分60.55，算法效率得分68.32，算法鲁棒一级指标二级指标二级指标测评结果二级指标权重归一化后加权得分算法精度(数值精度)平均误差Me0.02320.086.144平均绝对误差MAe0.08110.084.756相对误差REi3.3705%0.086.518平均相对误差MRe0.00370.085.2平均绝对相对误差MARe0.00590.084.4均方根误差RMse0.03150.087.4相关系数corr0.6610