遥感数据产品的处理与分析(3遥感反演及遥感数据产品的生产过程)_2014

1、遥感数据产品的处理与分析第三讲：遥感反演及遥感数据产品的生产过程1第三讲：遥感反演及遥感数据产品的生产过程这节课授课目标：了解“蛋糕是怎么做的”，吃蛋糕才不会噎着目前的遥感数据产品多数还不完善，解决使用中遇到的问题还需要专业知识了解遥感数据处理的原理理解遥感数据产品还存在问题的原因2遥感数据源遥感参数产品生产在不同领域中的应用第三讲：遥感反演及遥感数据产品的生产过程1. 遥感反演概述2. 遥感数据产品生产的流程2.1 遥感产品生产线结构2.2 遥感数据的预处理2.3 遥感反演2.4 遥感产品的完善和发布3. 例子：GLASS叶面积指数产品生产线3.1 数据源3.2 预处理3.3 反演算法3.4

2、 质量控制和质量标志31. 遥感反演概述41.1 什么是遥感反演物理参数遥感信号正演反演1. 遥感反演概述51.2 遥感反演问题的本质和科学问题遥感的本质是反演，而从反演的数学来源讲，反演研究所针对的首先是数学模型。，首先要解决的问题是对地表遥感像元信息的地学描述。但陆地遥感反演的根本问题在于定量遥感往往需要用少量观测数据估计非常复杂的地表系统的当前状态，本质上是一个病态反演问题。解决病态反演问题的办法，一是扩充信息源，比如综合使用多源遥感数据或地面观测资料，引入先验知识；二是控制信息分配，让有限的观测信息尽量分配到目标参数，抑制反演过程中的误差传播。1. 遥感反演概述61.3 常见的几种遥感

3、反演方法经验回归例如逐步多元回归、神经元 公式推导及线性反演 简化、线性化 ；例如大气校正公式、分裂窗 迭代优化 Newton 迭代、遗传算法 查找表 多数情况下只是作为一种简化工具 1. 遥感反演概述71.4 遥感反演的注意事项信息量问题数据信息已知参数先验约束模型的可反演性合适的参数化方法反演算法的稳定程度对噪声的抵抗能力反演算法中使用约束条件正则化方法、贝叶斯反演、物理边界优化反演算法以提高计算效率优化代价函数、选择合适的迭代算法、建立查找表1.5 MODIS数据参数反演系统气溶胶产品经验公式、查找表大气水汽含量经验公式、查找表大气校正公式推导BRDF及反照率产品公式推导（线性方程求解）

4、地表温度公式推导、迭代优化叶面积指数经验回归、公式查找表1. 遥感反演概述气溶胶产品查找表1.选择暗目标：2100纳米反射率和440纳米反射率之间有经验关系，假设纳米处无大气影响，可得440纳米处的地表反射率。2.建立440纳米处地表反射率、气溶胶类型、气溶胶光学厚度、太阳角度、观测角度等自变量与TOA反射率的查找表。3.根据各种已知条件（即上面用下划线表示的量）就可从查找表中得到气溶胶光学厚度。1. 遥感反演概述大气水汽含量经验公式、查找表先在地表反射率为常数或呈线性变化的假设下求取某波段的大气透过率然后通过使用该波段透过率与水汽含量的查找表求取水汽含量1. 遥感反演概述大气校正公式推导大气

5、辐射传输方程简化为如下公式就可直接求出逆向公式1. 遥感反演概述sELLvistoa1)cos(00vistoatoaEsLLLL)cos()(000BRDF及反照率产品 线性方程求解线性核驱动模型因为非线性因素都体现到核函数中，而核函数是估定的、不包含位置参数的函数，因此反演该模型就可以用最小二乘法解线性方程实现。获得核驱动模型参数后，相应波段的半球反照率可由核驱动模型积分得出。总的反照率则是各波段反照率的加权和。1. 遥感反演概述),(),(),(vivolvolvigeogeoisovikfkffR地表温度 公式推导（分裂窗）假设： a)地表比辐射率已知；b)大气窗口的水汽吸收系数可以看

6、作常数；c)大气温度与下垫面温度相差不大，黑体辐射公式可以采用线形近似。公式推导（略）最终公式系数获取方法（拟合MODTRAN模拟的数据）1. 遥感反演概述CTTBBBTTAAATs)(1(2)1(3231232132312321地表温度迭代优化（Z Wan - 1997 ）MODIS个波段昼夜两次观测，大气地表参数同时反演未知数：个通道的发射率、昼夜两个地表温度、昼夜两套大气等效辐射温度和水汽含量迭代算法：Quasi-Newton法、最小二乘拟合法优化：对大气辐射传输过程建立查找表、用一个经验回归公式获取解的初始值大量的误差分析和验证工作1. 遥感反演概述叶面积指数经验回归获取与卫星图像同步

7、的地面测量叶面积指数从卫星图像计算植被指数建立测量点上NDVI或SAVI与叶面积指数的经验关系将此经验关系应用到整个图像1. 遥感反演概述叶面积指数与fPar 公式查找表（R Myneni-2002）辐射传输方程，包含很多参数将辐射传输方程的求解过程分解，分解后的每一模块只包含少量参数对每个模块建立查找表将观测的多波段（或多角度）数据与查找表对照，就得到叶面积指数与fPar1. 遥感反演概述第三讲：遥感反演及遥感数据产品的生产过程1. 遥感反演概述2. 遥感数据产品生产的流程2.1 遥感产品生产线结构2.2 遥感数据的预处理2.3 遥感反演2.4 遥感产品的完善和发布3. 例子：GLASS叶面

8、积指数产品生产线3.1 数据源3.2 预处理3.3 反演算法3.4 质量控制和质量标志172. 遥感数据产品生产的流程18遥感数据产品生产在遥感信息流中的位置遥感数据产品生产2. 遥感数据产品生产的流程192.1 遥感产品生产线结构后处理质量控制产品完善格式规范发布参数反演模型多源数据引入反演算法预处理辐射定标几何校正大气校正遥感数据源参数产品的应用2. 遥感数据产品生产的流程202.2 遥感数据预处理辐射畸变校正辐射定标几何校正（包括空间尺度转换）大气校正（包括云检测）2. 遥感数据产品生产的流程212.2 遥感数据预处理广义的辐射畸变包括：传感器缺陷、地形和光照条件的变化、大气的吸收和散射

9、这里讨论的是狭义的辐射畸变，即传感器自身特点引起的图像缺陷因为传感器辐射畸变是与观测目标无关的伪信号，所以必须进行校正为什么要进行辐射畸变校正2. 遥感数据产品生产的流程222.2 遥感数据预处理坏像元探测器损坏或者数据传输过程中丢失点缺失、行缺失或者列缺失探测器之间的差异面阵探测器，线阵探测器低信噪比波段和红外探测器容易受到探测器差异的影响光学系统透过率的非均匀透镜系统都会有靠近光轴部分透过率高于远离光轴透过率的现象传感器辐射畸变类型机载WiDAS传感器近红外图像辐射畸变校正前后2. 遥感数据产品生产的流程232.2 遥感数据预处理辐射定标的目的：把遥感原始数据的DN值与遥感传感器接收到的辐

10、射能量联系起来遥感数据辐射定标的注意事项同一传感器的不同个体之间定标系数会有差异传感器定标系数会随时间漂移复杂的辐射定标方法，如热红外定标需要逐扫描线对比黑体观测给出动态的定标系数遥感数据的辐射定标LDNab2. 遥感数据产品生产的流程242.2 遥感数据预处理几何校正的目的：把遥感图像的图像坐标与真实目标的地理坐标联系起来遥感几何校正的注意事项几何校正具有误差，特别是对于批量生产的产品，目前自动校正的几何误差可能有数百米到数公里校正后数据的投影有很多种，并且有很多参数，投影转化的不准确也造成人为的几何误差几何校正中的升降尺度变换（即重采样）会带来误差地形造成几何校正的困难遥感数据的几何校正2

11、. 遥感数据产品生产的流程252.2 遥感数据预处理根据成像模型和卫星轨道参数自动推算人工选择控制点校正自动匹配选择控制点校正校正方式多项式校正、样条校正、三角网格校正正射校正几何校正的常用方法2. 遥感数据产品生产的流程262.2 遥感数据预处理大气校正的目的：消除大气辐射的影响，恢复大气下界的地面反射率或者地面辐射亮度大气影响的表现方式大气吸收，大气层辐射，相邻像元的影响大气校正的难度大气参数的获取遥感反演气溶胶参数（暗目标方法）遥感反演大气温湿度廓线（红外高光谱）遥感数据的大气校正2. 遥感数据产品生产的流程272.2 遥感数据预处理正确的云、雪检测对于遥感产品生产的重要性：多数遥感产品

12、云、雪检测效果不理想薄云、高云阈值的确定亚像元的云分布云与雪的光谱特征的相似与差异遥感数据的云、雪检测2. 遥感数据产品生产的流程282.2 遥感数据预处理思考：遥感数据预处理中的哪些误差 会传递到最终的数据产品？ 传感器的缺陷，不准确的定标，不准确的几何位置，重采样误差，大气校正误差，薄云等2. 遥感数据产品生产的流程292.3 遥感反演遥感反演的三要素 模型信息源反演算法2. 遥感数据产品生产的流程302.3 遥感反演物理模型经验模型（统计模型）半经验模型（物理模型简化）计算机仿真模型遥感模型2. 遥感数据产品生产的流程312.3 遥感反演辐射传输（RT）模型广泛用于大气、地表、叶片几何光

13、学（GO）模型景合成的思想，即像元光谱是组分光谱的面积比例加权平均GO-RT混合模型遥感物理模型2. 遥感数据产品生产的流程322.3 遥感反演优点原理比较清晰，可以分析原理改进模型不足非线性，计算量大，不容易反演模型依赖于对目标的一些假设，不满足假设的目标不适用即使最严格物理模型，仍然是对复杂自然现象的近似，因此仍然有误差遥感物理模型的优点与局限2. 遥感数据产品生产的流程332.3 遥感反演线性回归模型多项式回归模型指数函数模型多变量回归模型优点：一般比较简单，计算量小，易反演局限：受限于提取模型用的训练数据，如果时间、地点、目标改变了，模型就不再适用遥感经验模型（统计模型）经验模型的优点

14、与局限2. 遥感数据产品生产的流程342.3 遥感反演非线性模型线性化，非敏感参数用常数值代替优点：既简单又有一定物理意义局限：作为物理模型的简化，也有一定适用范围蒙特卡洛仿真真实景观+三维辐射传输优点：逼真局限：计算量非常大半经验模型（物理模型简化）计算机仿真模型2. 遥感数据产品生产的流程352.3 遥感反演第三公设:Verstraete 等 (1996) 提出的反演10个公设的第 3 条“定量遥感反演的必要条件是独立观测的个数大于未知数的个数”遥感反演信息量缺乏问题的解决方法引入多源数据使用先验知识遥感反演的信息源2. 遥感数据产品生产的流程362.3 遥感反演多种遥感数据的联合反演相似

15、特征的多个传感器数量联合，时间空间分辨率显著不同的数据互补，光学和微波遥感数据协同地面观测数据支持遥感反演地面观测可以提供一些模型需要而又难以从遥感数据反演的参数，如气温地面观测点较多的条件下（比如用无线传感器网络获取很多数据），可用地面观测值订正遥感反演结果统计知识（先验知识）支持遥感反演通过地面观测或者较高质量的遥感产品获得统计知识增加信息源的方式2. 遥感数据产品生产的流程372.3 遥感反演多源数据联合反演，是增加了信息，还是增加了误差?误差源的复杂化，误差传播过程的复杂化原理上说，增加数据源应该有利于参数反演，但是前提条件是使用了正确的反演方法。多源遥感反演的误差2. 遥感数据产品生

16、产的流程382.3 遥感反演常见的遥感反演算法推导反演模型的解析表达式（速度最快）线性最小二乘法（线性问题）人工神经网络（能处理非线性问题，但是效果不稳定）查找表（未知参数不能太多）迭代优化（较慢，容易陷入局部极值）遗传算法（更慢）反演算法不能用于业务化生产2. 遥感数据产品生产的流程392.3 遥感反演什么叫反演算法的不稳定？出现没有物理意义的反演结果，如极高或极低的地表温度反演结果对数据噪声敏感，稍微改变数据中的噪声，反演结果就会偏离很远反演结果对初值或其他反演控制参数敏感反演不稳定的原因信息量缺乏、模型参数自相关、不恰当的反演算法反演不稳定的对策用先验知识做约束条件、精心选择反演算法和反

17、演策略反演算法的不稳定性及对策2. 遥感数据产品生产的流程402.3 遥感反演思考：遥感反演过程中哪些因素会影响数据产品的质量？有什么注意事项？模型有误差，但更重要的是不要选错误的模型；各种数据源都有误差，要尽量选择包含丰富信息而又噪声小的数据，但更重要的是设计反演算法一定要注意控制误差的传播反演算法会不稳定，一个好的反演算法要尽量减少不稳定，另一方面，用户不要简单认为反演结果都是好结果2. 遥感数据产品生产的流程412.4 遥感产品的后处理因为遥感产品中存在误差以及诸多其他问题。为什么要强调遥感产品的后处理？质量控制产品完善格式规范产品发布完备的说明文档及元数据2. 遥感数据产品生产的流程4

18、22.4 遥感产品的后处理质量标志现在比较通用的做法是给出逐像元的质量标志位质量分级现在使用这种方式比较少，但总的说仍然是质量好的数据才能提供给用户人工抽查需要投入大量具有专业知识的人员精度验证自我验证、第三方验证遥感产品的质量控制措施2. 遥感数据产品生产的流程43典型的质量标志位说明Bits are listed from the MSB (bit 31) to the LSB (bit 0):Bit Description14-17 band 4 data quality four bit range; SAME AS ABOVE10-13 band 3 data quality fou

19、r bit range; SAME AS ABOVE6-9 band 2 data quality four bit range; SAME AS ABOVE2-5 band 1 data quality four bit range; SAME AS ABOVE0-1 MODLAND QA bits; corrected product produced at 00 - ideal quality all bands 01 - less than ideal quality some or all bands corrected product not produced due to 10

20、- cloud effects all bands 11 - other reasons some or all bands may be fill value Note that a value of (11) overrides a value of (01).MYD09A1数据产品(7个波段的地表反射率)质量标志位的定义2. 遥感数据产品生产的流程442.4 遥感产品的后处理不同时间、空间分辨率的产品的生成根据一定合成策略，生成升尺度（低分辨率）的遥感产品通过合成，也可以一定程度减少缺失数据多种产品的融合把不同数据源的产品进行融合，可进一步提高精度和减少缺失缺失填补根据先验知识填补缺省值

21、根据参数分布的自相关性进行时空滤波填补人工编辑例如分类后处理，通过聚类、剔除等操作去除小的碎屑多边形遥感产品的完善2. 遥感数据产品生产的流程452.4 遥感产品的后处理文件名规范一般反映数据源、获取时间、地理位置、参数类型等数据文件格式最常见的是GeoTiff和HDF格式压缩包很多产品压缩存储以节省占用空间和网络传输时间遥感产品的格式规范2. 遥感数据产品生产的流程462.4 遥感产品的后处理算法手册详细介绍数据源特性，反演算法原理以及预期的精度用户手册介绍数据文件的格式和质量标志等信息产权及引用信息数据的使用者对于数据提供者应该给予的支持产品元数据每一个数据产品文件还会有一个描述文件，记录

22、很多相关信息，称为元数据完备的说明文档和元数据2. 遥感数据产品生产的流程472.4 遥感产品的后处理产品介绍网站产品下载网站其他产品提供方式产品宣传册宣传推广产品发布第三讲：遥感反演及遥感数据产品的生产过程1. 遥感反演概述2. 遥感数据产品生产的流程2.1 遥感产品生产线结构2.2 遥感数据的预处理2.3 遥感反演2.4 遥感产品的完善和发布3. 例子：GLASS叶面积指数产品生产线3.1 数据源3.2 预处理3.3 反演算法3.4 质量控制和质量标志48MODIS LAI (Collection 4) over Bondville in 20010.02.04.06.08.0LAI (m

23、2/m2)125497397121145169193217241265289313337361D OY /2002MODIS LAI over the Counami Site (Broadleaf forest ) 3. 例子：GLASS叶面积指数产品生产线背景：现有背景：现有LAILAI指数全球产品的不足指数全球产品的不足3. 例子：GLASS叶面积指数产品生产线503.1 数据源主要输入数据MODIS地表反射率产品（2000年后）AVHRR地表反射率产品（2000年前）训练数据NASA发布的MODIS叶面积指数（LAI）产品欧洲CYCLOPES项目发布的叶面积指数（LAI）产品地面站点观

24、测3. 例子：GLASS叶面积指数产品生产线513.2 预处理MODIS地表反射率的预处理辐射定标几何校正云检测大气校正时间序列平滑直接使用了NASA发布的MOD09A1产品（已经过预处理）GLASS系统中的预处理3. 例子：GLASS叶面积指数产品生产线523.2 预处理为什么要时间序列平滑？0.00.20.40.60.81.0reflectance (band2)125497397121145169193217241265289313337361DOY/20010.00.20.40.60.81.0reflectance (band1)MOD IS reflMOD IS refl_sm去除残

25、余的云干扰，填补缺失数据3. 例子：GLASS叶面积指数产品生产线533.3 反演算法General Regression Neural Networks Input layer x1 x2 xj xn y1 yk ym Pattern layer Summation layer Output layer A GRNN with a multi-inputmulti-output architecture3. 例子：GLASS叶面积指数产品生产线543.3 反演算法采用GRNN人工神经网络（计算效率高）输入1年的反射率时间序列，输入1年的LAI时间序列（多对多的映射关系，输出的LAI时间序列是

26、平滑的）训练数据采用全球不同类别的若干站点的反射率和LAI时间序列（训练数据的代表性和精度决定产品精度）反演算法特点3. 例子：GLASS叶面积指数产品生产线55叶面积指数（LAI）反演算法流程图 LAI 产品融合产品融合 反射率数据反射率数据 预处理预处理 LAI 产品产品 （MOD15、CYCLOPES） MODIS 地表反射率地表反射率 （MOD09） 融合后的融合后的 LAI （20002003） 预处理的地表预处理的地表 反射率（反射率（20002010） 选择样本选择样本 训练训练 NN 产品后处理产品后处理 (19852010) LAI 地面地面测测量数据量数据集集 LAI 产品

27、 不确定性 LAI 全球产品生产全球产品生产 AVHRR 地表反射率地表反射率 (经过预处理经过预处理) 选择样本选择样本 训练训练 NN 聚合到聚合到 5km 的的 LAI 预处理预处理算法算法3. 例子：GLASS叶面积指数产品生产线563.3 反演算法GLASS产品生产线硬件设计根据863项目总体建设原则，已经建成了具有“先进性、可靠性、可维护性、开放性和安全性”等特点的全球陆表特征参量生产系统。3. 例子：GLASS叶面积指数产品生产线573.3 反演算法GLASS产品生产线硬件实物高性能计算中心硬件设备概要序号名称数量设备主要参数1存储1套InfiniBand网络存储，一级SAS存储

28、200TB,二级SATA存储500TB,三级SATA存储500TB；高性能读写HCA卡的I/O双向传输速率80Gb/s；IOPS高于65万。2计算节点1套144个双CPU4核刀片服务器，集成千兆/万兆以太网交换机，集成Infiniband交换机。3. 例子：GLASS叶面积指数产品生产线583.3 反演算法GLASS产品生产管理系统软件设计方案 生产管理系统是采用Linux计算机集群构建的生产环境，在多个计算节点上完成生产部署，作业分发，生产状态采集。它的构架采用三层结构设计，由外层（用户交互界面层）、核心层（业务逻辑层）以及内层（应用数据访问层）构成。3. 例子：GLASS叶面积指数产品生产

29、线593.3 反演算法GLASS产品生产管理系统软件设计方案模块单元任务单管理模块计算任务监控与管理模块计算资源监控模块消息传递模块任务调度模块预处理模块ALBEDO反照率产品算法模块EMIS发射率产品算法模块RAD辐射产品算法模块LAI 叶面积指数产品算法模块监控日志模块XML 生产模块3. 例子：GLASS叶面积指数产品生产线603.3 反演算法GLASS数据产品生产流程3. 例子：GLASS叶面积指数产品生产线613.4 质量控制和质量标志GLASS三级产品三级产品HDF文件命名、格式文件命名、格式组织及元数据组织及元数据(XML)设计规范设计规范GLASS01NYY.VXX.AYYYY

30、DDD.HRRVPP.YYYYDDD.hdfGLASS：产品前缀01：LAI产品N：产品空间分辨率YY ：产品生产所用算法或所用数据的标识符01-使用MODIS Terra数据,8天，SIN投影；02-使用MODIS Aqua数据,8天，SIN投影；03-使用AVHRR数据，正弦投影；04-使用AVHRR数据，SIN投影VXX：产品版本号，自V01起算AYYYYDDD：生产产品所用数据的获取时间YYYY-年份 DDD-儒略日HRRVPP：产品景号信息(即产品所在的SIN投影格网的行列号)HRR-行号 VPP-列号YYYYDD：产品生产的时间YYYY-年份 DDD-儒略日GLASS01A01.V

31、01.A2003033.h01v07.2011148.hdf3. 例子：GLASS叶面积指数产品生产线623.4 质量控制和质量标志3. 例子：GLASS叶面积指数产品生产线633.4 质量控制和质量标志3. 例子：GLASS叶面积指数产品生产线643.4 质量控制和质量标志叶面积指数产品质量标志位处理结果处理结果v时间分辨率：8天v空间分辨率：15kmv时间跨度：1981-2010GLASS LAI产品0.01.02.03.04.05.06.0LAI (m2/m2)2001200220032004200520062007200820092010Year012345678910B0.01.02

32、.03.04.0LAI (m2/m2)2001200220032004200520062007200820092010Year012345678910C0.01.02.03.04.0LAI (m2/m2)2001200220032004200520062007200820092010Year012345678910D0.01.02.03.04.05.06.0LAI (m2/m2)2001200220032004200520062007200820092010Year012345678910E0.01.02.03.04.05.0LAI (m2/m2)20012002200320042005200

33、62007200820092010Year012345678910G0.01.02.03.0LAI (m2/m2)2001200220032004200520062007200820092010Year012345678910F0.01.02.03.0LAI (m2/m2)2001200220032004200520062007200820092010Year012345678910AGLASS LAI产品3. 例子：GLASS叶面积指数产品生产线673.4 质量控制和质量标志人工抽查的质量检查方法3. 例子：GLASS叶面积指数产品生产线683.4 质量控制和质量标志人工抽查的质量检查方法l典型区域选择： 北美洲森林、格陵兰岛冰雪覆盖区、沙哈拉大沙漠，中纬度农地覆盖区和热带雨林区等l抽取数据数量 原则上抽取陆地范围不小于全球陆地面积的20%。l选择典型季节 每个tile每个季度选2天，不同tile选择不同的时间段。MOD09A1抽查的34个tile如下:原始数据、预处理数据、产品对比LAI 预处理数据 原