基于bp神经网络的卫星云检测技术

基于bp神经网络的卫星云检测技术

云检测是卫星数据反演的重要内容。检测结果直接影响全球和地表各种参数的反演质量。一般来说,云比下垫面有较高的反射率和较低的温度,所以可以通过采用可见光波段和红外窗区的阈值法来进行检测。随着MODIS等高光谱分辨率探测器的相继出现,国内外学者研究了各种多光谱综合的方法,使判别云与晴空的阈值更加精确,误差大大减小。然而,阈值的确定具有一定的主观性,而且也有时间和区域上的局限性,即由于不同时相、不同地区的光谱性质的差异,其云检测阈值也不可能相同。并且由于设置多组阈值判别,使检测速度较慢。目前,虽然有许多学者在多通道阈值基础上研究了更加精确的检测方法,如同态滤波法、空间相关检测法、统计分析法、聚类法等,但这些方法对高光谱分辨率卫星观测数据的光谱利用率低,且算法复杂,检测速度慢。因此,美国MODIS技术开发小组仍主要采用多光谱阈值法作为业务应用方法。本文运用人工神经网络自动云检测算法对MODIS数据进行了云与晴空的分离实验。结果表明,与阈值法相比,效果较好,且具有时间和空间上的灵活性,使用经过训练后的网络进行云检测的过程简单易行,可使检测速度比阈值算法有所提高,具有一定的实用意义。1bp算法原理人工神经网络模型及学习算法目前已有几十种,根据本文的实际问题,并考虑算法的实用性,选择了结构规范且易于实现的多层前馈网络MFNN(multilayerfeedforwardneuralnetworks)的反向传播BP(backpropagation)学习算法,简称BP算法。BP学习算法由正向传播和反向传播组成。正向传播中,输入信号从输入层经隐含层到输出层,若输出层得到了期望的值,学习算法结束;否则,进行反向传播。反向传播是将误差信号(即期望输出与实际输出的误差)按原连接通路反向计算,由梯度下降法调整各层神经元的权值和阈值,使误差信号减小。前层结点至后层节点通过权和作用函数连接,本文选择对称型Sigmoid函数为作用函数,算法学习步骤如下:(1)设置各初始权值和阈值的初始值:wji(0)、θji(0)为小的随机数,i为前层结点,j为后层结点;(2)提供训练样本:输入特征矢量Xk,k=1,2,…,p;期望输出dk,k=1,2,…,p;对每个输入样本进行迭代。(3)计算网络隐层单元的状态,实际输出及指标函数:oki=fi(∑i∑iwjioki+θj);k为输出层时,实际输出yk=oki,指标函数e=12e=12∑Ρ∑P(dk-yk)2,若e满足精度要求,结束迭代,否则继续。本文f(x)=a×1-exp(-bx)1+exp(-bv)f(x)=a×1−exp(−bx)1+exp(−bv),其中:a=1.716;b=2/3。(4)计算局部梯度δkj:当k为输出层时,δkj=fj′(dk-yk);当k为隐含层时,δkj=fj′∑δkmwmj。(5)修正权值和阈值:wji(t+1)=wji(t)+ηδjokj+α[wji(t)-wji(t-1)]‚θj(t+1)=θj(t)+ηδj+α[θj(t)-θj(t-1)]。wji(t+1)=wji(t)+ηδjokj+α[wji(t)−wji(t−1)]‚θj(t+1)=θj(t)+ηδj+α[θj(t)−θj(t−1)]。其中:η为学习步长;α为动量因子。BP算法是多层神经网络的一个非常有效的算法,它完成了一个从输入n维到输出m维的非线形映射。用这种算法解决云与晴空的判识问题,只要提取云与晴空的差异明显的n维特征,不管这些特征统计分布是怎样的,也无须由分布特征寻求判别阈值。只要将其输入神经网络,则网络通过充分恰当的学习便能够自动将其判识为云或晴空。2云检测的方法及应用本文云检测实验的卫星云图数据为中分辨率成像光谱仪(MODIS)1km分辨率观测数据。MODIS在0.412～14.24μm内有36个波段(其中:可见光～近红外波段20个,热红外波段16个),为云检测提供了针对性强的波段数据,其多光谱特性大大提高了云晴空分离的准确性。根据以往国内外学者对针对云检测波段数据的研究成果,并结合MODIS波段数据特点反复实验观察后,选取以下特征。(1)可见光波段0.66μm及0.87μm反照率R0.66和R0.87单一通道反射率云检测在检测黑暗背景亮云时很有效,并且0.66μm云和植被的反照率有很大差异,而0.87μm两者反射特征相似。利用R0.66/R0.87及归一化植被指数ΙΝDV(R0.87-R0.66R0.87+R0.66)INDV(R0.87−R0.66R0.87+R0.66)进行云检测的方法也得到广泛使用。(2)近红外1.38μm反照率R1.381.38μm位于水汽吸收带,由于在该波段有水汽的强烈吸收,因此地面的辐射很难达到传感器。利用这一点可进行高云检测,并且1.38μm对薄卷云有很好的敏感性。(3)归一化雪盖指数ΙΝDS(R0.55-R1.6R0.55+R1.6)较低的薄云与冰雪下垫面的分离是云检测的一大难点,可见光0.55μm与近红外1.6μm对冰雪下垫面的反射特征差异较大。实验表明将INDS与检测低云的红外波段亮温相结合,可以较好的检测冰雪下垫面的低云薄云。(4)红外波段11μm与12μm亮温差DTB(11,12),11μm与8.6μm亮温差DTB(11,8.6),11μm与3.7μm亮温差DTB(11,3.7),6.7μm亮温TB6.7。在红外光谱区,同一下垫面在8.6、11和12μm3个波段上的发射辐射相差不大,但这3个波段对大气的水汽吸收不同,因此可以利用11μm与8.6、12μm的亮温差检测水汽含量较高的厚云。3.7μm波段透明度高,该波段的亮温受水汽的影响较11μm要弱得多,通常3.7μm波段的亮温比11μm的高。但是,层状低云的云顶亮温TB3.7却低于TB11,利用这一特点可进行层状低云的检测。TB6.7与大气层的温度和湿度相关,地面和低云的辐射不会被观测到,因此可用来检测高云。综上所述,本文共选取了R0.66、R0.87、R1.38、INDS、DTB(11,3.7)、DTB(11,12)、DTB(11,8.6)、TB6.7等8个特征量利用MODIS的高光谱特性,充分包含了进行云检测的有效信息数据,且各个特征量间相关性较小。3神经网络的设计和研究3.1隐层控制个数神经网络的输入和输出结点数一般根据具体问题的要求,分别由输入特征向量的维数和要区分的类别数目决定。本文以8个特征量为网络的输入特征向量,输入结点个数与特征量个数一致;将分类结果,即云或晴空分别以-1和+1来代表作为网络的输出目标值,输出结点个数为1。隐层结点个数的确定是网络结构设计的一大难点,目前还没有理论上的指导。隐层结点个数并不简单地与分类问题的外在特性相关,但它决定了网络的表达能力,从而决定了判别边界的复杂度。如果模式较易分开或线形可分,隐层结点个数可以较少;反之,需要更多的隐层结点数。在没有更多信息的情况下,没有简单方法可以在训练之前设置隐层结点数的。理论上,单隐层网络能完成任何复杂的N维映射,但多隐层可使收敛加快,如何选择也缺乏理论指导。基于以上问题,本文通过反复学习训练来确定隐层结点及隐层个数。图1为部分网络结构测试的误差曲线图。实验表明,单隐层8个结点的网络收敛性较好,与单隐层的8-10-1结构相比,在更加简单的结构下达到相近的收敛误差;而多隐层结构尽管误差曲线较陡,收敛较快,但其误差过高。因此,本文选择8-8-1网络结构。3.2基于网络泛化能力的学习过程进行神经网络学习之前,首先要通过人工判识的方法采集大量样本数据,从而获得监督样本对集合S={(Xi,Wi)}。其中:Wi表示样本种类,即网络的期望输出,Wi∈{+1,-1};Xi为输入特征向量,向量长度为8,即Xi=(R0.66R0.87R1.38ΙΝDSDΤB(11‚3.7)DΤB(11‚12)DΤB(11‚8.6)ΤB6.7)。神经网络的学习过程就是依据监督样本对网络权值进行调整的过程,因此为使网络能通过较少的样本训练而能对未经训练的输入给出一定误差范围的输出,即使网络能有较强的泛化能力,采集的样本要具有代表性,并尽可能含盖可能输入的数值范围,同时还要选择测试样本集来测试网络的泛化能力。本文为增强网络对时相和空间的适应能力,从覆盖我国大部分地区,多时段,多季节,具有代表性的多个MODIS数据中提取了8500多个样本数据,包含了不同时相多种下垫面类型(林区、草场、沙漠、山地、裸土、雪地、海域海岸及湖泊江河等)的晴空样本5000多个,不同时相各云类(卷云、积雨云、中云、浓积云、层积云、层云等)样本3500多个。其中选择6000多个样本对作训练集,其余2500多个作测试集。3.3网络权值和阈值将采集的样本对数据输入网络,通过观察每次训练的误差曲线、调整迭代次数、初始学习步长等网络参数进行训练。获得满意收敛误差后,通过测试集进行检验,以寻求最大正确率下的网络权值和阈值。设将测试样本集中某一8维的特征数据Xi输入网络,得到的输出结果为Yi,则有{|Yi-1.0|＜√2e‚Xi为睛空数据；|Yi-(-1.0)|＜√2e‚Xi为云区数据；其他‚不确定。其中:不确定数据与误判数据均为出错数据,e为最终收敛的目标函数。正确率=正确判识数据数据总数×100％本文通过反复训练,在迭代次数为5000,初始学习步长为0.04,动量因子为0.7时,网络的误差达到0.005,测试正确率为90.12%,并使用此权值和阈值确定的网络进行云晴空分离。4云检测结果分析首先以NASAMODIS数据下载中心提供的2003年11月25日12时的MODISL1B数据为例。如图2所示,该数据的地理范围为88°48′～119°30′E,24°41′～46°03′N,覆盖了我国华北、华中、华南、西南等大范围地区,地表情况复杂多变,且云类较多。图2(a)(b)分别为0.67μm可见光图像和11μm红外图像。图中显见:B区主要为卷云,C区为较厚高云,D区及C区下方则覆盖大范围的层云。图2(c)为雪盖指数图,图中较亮区域为覆雪区,从而可知A区下垫面为雪,上空覆盖较低层云,是云检测的难点。图2(d)为使用该人工神经网络模型进行云检测的结果,白色区域为云区,黑色区域为晴空区。从图可以看出,模型检测卷云、高云以及高原D区所覆盖的层云的效果都很好,并且能够较好的将A区的覆雪地表同低层云相分离,同时该例表明神经网络检测模型对空间变化较大云图的云检测有很好的适应能力。图3为2004年5月20日11时03分的MODISL1B数据示例,地理范围为102°02′～130°58′E,19°45′～40°58′N。图3(a)(b)分别为可见光图像和红外图像,从图中可见,左上和右上部分主要覆盖有少量的低云和中云,图像的下部覆盖有大范围的卷云和部分积雨云。使用所建BP神经网络模型进行检测,得到图3(c)所示的云检测结果。从结果上看,该模型对中云、低云、卷云及卷云边界的薄卷云都有良好的检测能力,云图右上部分的云线也可以清楚的检测出来。以上数据分别选自2003年11月和2004年5月,季节变化较大,而使用该模型进行检测都获得较好结果,表明该云自动检测模型具有很好的时间适应性。并且这两个数据均为MODIS5min观测数据,空间分辨率为1km,使用该模型进