《基于极限学习机的高光谱图像分类方法研究【论文17000字】》

基于极限学习机的高光谱图像分类方法研究目录TOC\o"1-3"\h\u301401绪论 1105581.1研究背景和意义 159881.2国内外现状 239331.2.1高光谱图像分类现状 227851.2.2极限学习机及其在高光谱图像分类中的应用现状 4117691.3本文主要研究内容 410192高光谱图像分类基础 59052.1高光谱图像分类原理 54642.2主成分分析 6192202.3极限学习机 8128422.3.1单隐层前馈神经网络 8181002.3.2极限学习机 10134132.3.3核极限学习机 1239213基于判别信息的复合核极限学习机用于高光谱图像分类 12247703.1线性判别分析 1269723.2复合核极限学习机算法 1479643.3CKELM-L算法 16313683.4实验结果分析 17287473.4.1IndianPines数据集实验结果 17326053.4.2PaviaUniversity数据集实验结果 19101853.4.3SalinasScene数据集实验结果 21311194局部二值模式信息保持极限学习机 23325934.1LBP特征提取算法 23103034.2LLPKELM算法 27154974.3实验数据及参数设置 28228764.4实验结果与分析 2884464.4.1IndianPines图像数据实验结果 28118274.4.2UniversityofPavia图像数据实验结果 29243125结论 3030062参考文献 311绪论1.1研究背景和意义近年来，由于高光谱数据具有特殊的特征，包含了特定地理场景中物质的丰富光谱和空间信息，鉴于高光谱图像的分析和处理已成为遥感图像研究和开发中的热点；而高光谱图像分类的任务之所以受到更多关注，主要是因为用于农业监测的高光谱遥感图像的分类，国防与军事、城市增长分析、环境保护等。这是非常重要的。与其他光谱结构一样，高光谱成像从整个电磁光谱中收集和处理信息。高光谱成像主要用于获取探测区域图像中所有像素的光谱。其目的是寻找物体，识别材料或检测程序。超光谱传感器可以使用大量波段同时表示识别区域，该区域真正将光谱信息连接到图像，每一卷都包含丰富的空间和光谱附加信息。它以不同的曲线记录不同类型的物体或地形特征，以便使用高光谱成像，研究人类表面的物理或地形特征。高光谱图像可以被视为三维数据立方体，与传统RGB-3通道图像最大的区别在于，高光谱图像有数百个通道，高光谱图像的数据特征一般如下：波段相关性：高光谱图像附近的波段具有很强的相关性，即波段之间的距离越近，波段信息值越相似，通过这些特性，我们可以分析图像中的一些隐藏特性，区分具有相似波段信息的不同土壤对象。高分辨率：高光谱图像的光谱分辨率通常很高。在相同的波长范围内，高光谱图像可以比多光谱图像在更多的波段中描绘，使得高光谱图像可以接收例如每个像素的连续光谱信息，从而保证光谱信息的完整性。大量数据：高光谱图像通常有数百个光谱波段，因此包含大量光谱信息。大量光谱信息可以为我们提供非常丰富的特性，这将非常有助于高光谱图像的分类。光谱可变性：高光谱图像具有光谱可变性的特征，即属于同一类别的不同像素可能具有不同的光谱特性，由于高光谱图像的每个像素都反映了不同波段图像中地物单元的光谱信息，这也给分类带来了一些困难。高光谱图像中的像素越接近同一类别，为了尽可能减少光谱变化对分类的影响，必须提取高光谱图像的空间信息的可能性越大。因此，本文还侧重于地理信息。特别是由于高分辨率、多波段、多信息和“地图集集成”的特点在高光谱图像中，高光谱成像技术已经成为光谱成像领域中应用最广泛、价值最高的技术，目前，高光谱成像技术在各个领域得到了广泛的应用。例如，在农业领域，越来越多地使用高光谱遥感监测某些作物和气候条件下的植物生长和健康。虽然维护高光谱图像的成本通常很高，但澳大利亚使用成像光谱仪检测葡萄品种，并开发疾病爆发的早期预警系统。此外，正在开展检测植物化学成分的工作，通过高光谱数据，可用于检测灌溉系统中小麦的营养和水分状况。在小尺度上，近红外高光谱成像可用于快速监测杀虫剂对单个种子的施用情况，控制最佳剂量和均匀覆盖。在食品加工行业，高光谱成像和智能软件的结合使数字分拣机（也称为光学分拣机）能够识别和清除错误和异物，食品加工商的目标是提高产品质量和产量。在天文学中，高光谱成像用于提高误差的准确性和与调频的距离。因为光谱是一种重要的诊断方法，每个像素都有一个光谱，可以解决更多的科学问题。在天文学中，这项技术通常被称为积分场光谱学，这项技术的例子是交响乐中的火焰和大型望远镜。钱德拉X射线天文台也使用先进的CCD成像光谱仪。在环境保护方面，大多数国家要求持续监测煤油厂、城市和危险废物焚烧厂的排放物，水泥装置和许多其他类型的工业来源。这种监测通常通过萃取取样系统和红外光谱进行。尽管由于数据的特点和遥感技术的限制，高光谱图像中完整的附加信息和高分辨率为高光谱图像分类提供了可能性，高光谱图像分类存在以下问题：第一，由于高光谱数据包含丰富的信息，它对信息冗余和复杂的数据处理提出了重大挑战。因此，有效的特征提取仍然是研究的热点。第二，真实样本标签和数据质量的高成本。特别是，大量的光谱通道和少量的标记训练模式存在休斯现象的问题。因此，存在培训数据可能被过度调整的风险。第三，现有的许多高光谱图像分类方法虽然在分类精度和分类性能上都有很好的表现，但仍难以满足应用的要求，因此探寻新的分类方法，提高分类精度与分类效率，仍然具有重要的实用价值。1.2国内外现状1.2.1高光谱图像分类现状高光谱图像分类的任务是识别区分成像光谱仪采集到的图像中所包含的多个地物目标。对于每个像元，根据其对应波段的光谱信息以及空间图像的纹理结构等空间信息，将该像元按照某种规则的约束分配一个对应某种地物的类别标签。高光谱图像分类主要根据如下理论：在相同或相似的自然条件（如光照、地形或者植被覆盖等）下，高光谱图像中同类地物所对应的像元拥有的光谱信息和空间分布信息应该是相似甚至相同的，不同类别的地物所对应的像元反映的数据信息之间的差异应该很大。而这种类内相似性和类间差异性在高光谱图像中的具体体现是同一种类别的地物对应的像元所包含的信息向量会向同一信息空间区域聚集，反之，不同类别的地物多对应的像元所包含的信息向量会向不同的信息空间区域聚集。一直以来，国内外研究学者对于高光谱图像分类技术做出了大量的研究，成果也非常多。已经提出了许多基于像素的光谱分类方法，例如支持向量机（SupportVectorMachine，SVM）（Melganietal.，2004），神经网络（NeuralNetwork，NN）（Ratleetal.，2010）和主动学习（ActiveLearning，AL）（Bioucasetal.，2011）。然而，上述分类器仅考虑光谱信息，因此，当只有很少的标记样本时，由于休斯现象，大多数分类器均无法获得令人满意的分类性能。而最近的研究表明，充分利用空间特征可以有效地改善分类结果。Zhouetal.（2015）提出了一种针对高光谱数据的DR的空间和光谱正则化局部判别嵌入方法。Sunetal.（2015）开发了一种利用光谱空间信息对高光谱图像进行分类的新方法。Lietal.（2015）提出了一种新的光谱空间分类策略，通过整合旋转森林和马尔可夫机场（MarkovRandomField，MRF）来增强在高光谱图像上获得的分类性能。Fangetal.（2014）提出了一种新的框架，用于多特征学习，它基于不同类型（线性和非线性）特征的集成。Kangetal.（2014）提出了利用保留边缘滤波的光谱空间高光谱图像分类方法，该方法结合了光谱空间特征对高光谱图像进行分类。Lietal.（2015）提出了用于高光谱图像分类的多特征学习方法。最近，Zhouetal.（2016）提出了一种光谱空间网络，它是一种深度层次模型，用于HSI分类。近年来，深度学习模型在遥感研究领域引起了很多关注。许多研究人员已尝试将深层网络应用于HSI分类由于具有提取重要特征的能力。例如，Chenetal.（2014）通过使用多层堆叠将深度框架应用于HSI分类自动编码器（SAE），以提取HSI的层次结构和强大功能。Romeroetal.（2016）提出了一种无监督学习的稀疏特征使用贪婪的分层无监督预训练算法。Songetal.（2018）提出了特征融合网络（DFFN）来提取HSI的更多区分特征。但是，这些方法通常仅在少数情况下会导致过度拟合现象。提供了训练样本的数量。因此，缺乏大量的标记样本是基于深度学习的分类方法的主要挑战。1.2.2极限学习机及其在高光谱图像分类中的应用现状限学习机又称超限学习机，它是一种神经网络模型。极限学习机的本质是，隐藏节点的学习参数（包括输入权重和偏差）是随机分配的，无需调整，而输出权重可以通过简单的广义逆运算来分析确定。需要定义的唯一参数是隐藏节点的数量。提供了更快的学习速度，更好的泛化性能以及最少的人工干预。近年来，极限学习机因其程序简单，训练速度快，泛化能力强等优点，吸引广大专家学者对其进行了广泛的研究。Huangetal.（2006）提出了一种增量式极限学习机（I-ELM）构造增量前馈网络。I-ELM将节点随机添加到隐藏层一份一份地冻结现有的输出权重添加新的隐藏节点时隐藏的节点。并且，Huang等人在I-ELM的基础上，提出了凸I-ELM（CI-ELM）和增强的I-ELM（EI-ELM）。与I-ELM不同，CI-ELM（Huangetal.，2007）重新计算了输出新的隐藏节点之后现有的隐藏节点的权重加入。CI-ELM可以实现更快的收敛速度以及比I-ELM更紧凑的网络架构，保持I-ELM的简单性和效率。目前，极限学习机己经开始应用于高光谱遥感图像分类之中。Lvetal.（2017）提出了一种基于极限学习机（ELM）神经网络集成的遥感图像分类算法，即SAE-ELM。该算法不仅在低分辨率，中分辨率，高分辨率和高光谱遥感图像上具有较高的分类精度，而且具有较强的稳定性和推广性。Suetal.（2016）提出了一个新的城市土地覆盖分类框架，该框架使用了经过优化的算法（FA）优化的极限学习机（ELM）。采用FA来优化正则化系数C用于内核ELM。研究表明该方法优于传统的如SVM之类的分类方法。Bzaietal.（2014）开发了基于自动解决方案的差分进化（DE）。这种简单而强大的进化优化算法将交叉验证的准确性用作确定最佳ELM参数的性能指标。1.3本文主要研究内容HSI中存在着大量的数据信息，所以对于如何准确灵验地提取数据中所具备的特征，在HSI的分类学习中显示出至关重要的地位。但基于内核的ELM在有监督的HSI分类中存在着学习不充分、缺乏对空间信息的有效提取等问题。本文主要从抑制椒盐噪声，弥补学习不充分，有效提取空间信息与光谱信息进行结合，弥补空间信息提取不充分的问题进行研究创新，以下为本文的主要研究内容：（1）针对极限学习机及其改进算法未充分考虑高光谱图像分布信息中的判别特征和数据中的局部几何结构，提出了一种有监督的光谱空间特征提取算法，基于判别信息的复合核极限学习机算法(CKELM-L)。所提出的算法分两个步骤实施。第一步，采用线性判别分析方法获取样本的光谱特征，以计算投影矩阵。在第二步中，采用内核方法获取样本的空间特征。最后，将提取的特征提供给极限学习机进行分类。（2）针对在HSI的分类任务中，很多分类算法都没有很充分地提取图像所包含的空间信息的问题，我们提出一种新的局部二值模式信息保持极限学习机（LLPKELM）。该算法采用局部二值模式来提取局部图像特征，从而获取到高光谱遥感图像更为丰富的纹理信息，提高其分类精度。本文选择在两组常用的IndianPines和UniversityofPavia高光谱数据集上来进行实验，与传统的分类算法SVM和目前较为流行的分类算法KELM，KCRT-CK，MLR和LPKELM相比，该算法表现了更好的分类效果。2高光谱图像分类基础2.1高光谱图像分类原理高光谱分辨率高，波段众多，研究表明，大多数地物的吸收特征在吸收峰深度一半的位置，其宽度为20-40nm。又因为成像光谱系统的光谱分辨率高达5-10nm，因此高光谱能轻松的探测到很多在宽波段遥感中无法探测到的物质。并且当空间分辨率相同的情况下，遥感器能覆盖更宽的波长范围，不仅仅是可见光，亦能覆盖中红外光和热红外光。又由于地物对电磁波的响应特征成正比，要想探测到更多的地物，就需要覆盖范围更宽的光谱。由于高光谱图像数据的这些特点，因此可以利用高光谱图像来对地物目标进行精准识别分类(张兵等，2011)。高光谱图像分类是以图像像元的光谱与空间特性为基础的，因为不同类别的地物的反射光谱和空间特性都是不同的。不同的地物类型的高光谱图像，如水体、植被、岩石和土壤等，有着不同的光谱信息和空间特性，如图2-1所示。先对不同类别的地物进行不同的标记划分，再通过对图像中不同地物的光谱信息和几何空间信息进行分析，找到最合适的划分特征，再利用合适的分类系统，达到分类的目的，这便是高光谱图像分类。图2-1高光谱不同地物数据获取示意图2-2给出了高光谱图像监督分类方法的基本流程框架：第一步考虑用户需求，图像中地物的分辨率、尺度等因素进行高光谱数据的选取；第二步通过辐射纠正、大气校正等技术进行图像的预处理，获取地物正确的光谱信息和几何信息；第三步图像数据特征或需求目的对地物种类进行确定；第四步选择足够多且具有代表性的典型数据作为训练样本；第五步对选择的训练数据进行特征提取和特征选择，好的特征对分类的精度和速度都有很大的提升；第六步根据具体的场景具体的训练数据的特点进行分类方法的选择；第七步对分类后的结果进行降噪等处理；第八步进行分类结果的评价。图2-2高光谱图像分类方法基本流程2.2主成分分析主成分分析法（PCA）是机器学习领域中经典的数据降维方法，同样在高光谱图像分类研究中，PCA技术也常被用于高光谱图像数据的预处理。顾名思义，PCA能从冗余特征中提取主要成分，在不太损失模型质量的情况下，提升了模型训练速度。主成分分析基于以下事实：高光谱图像的相邻波段高度相关，并且通常传达有关对象的几乎相同的信息。该分析用于转换原始数据，以消除频段之间的相关性。在该过程中，确定了考虑图像中像素值变化的原始波段的最佳线性组合。PCA利用高光谱波段的统计特性来检查波段依赖性或相关性。虽然，可能会发现PCA的许多同义词，例如Hotellling变换或Karhunen-Loeve变换（Gonzalezetal.，1993），但所有这些变换都是基于相同的数学原理，即特征值分解给定的协方差矩阵。以下是该原则的简要表述。可以在Schowengerdtetal.（1997）中找到详细讨论。图像像素矢量的计算公式为：（2-1）所有像素值都位于高光谱图像数据的一个对应像素位置。该图像向量的维数等于高光谱带的数量N,对于具有m行和n列的高光谱图像，将有M=m∗n个这样的向量，即i=1,…,M。所有图像向量的均值向量u表示为：（2-2）X的协方差矩阵定义为：（2-3）其中：E（X）是期望运算；[X]T是转置运算；Cov(X)表示协方差矩阵。协方差矩阵通过以下计算近似：（2-4）PCA基于协方差矩阵的特征值分解，其形式为：（2-5）其中，（2-6）是对角矩阵，由协方差矩阵CX的特征值λ1，λ2,…，λN组成，而A是正交矩阵，由CX的相应N维特征向量aK(K=1,2,…,N)组成，如下所示：（2-7）线性变换定义为：（2-8）是PCA像素向量，所有这些像素向量形成原始图像的PCA（变换后的）波段。为了使λ1>λ2>…>λN，特征向量和特征值需得按降序排列。因此，矩阵AT的前K行（K≤N，通常为K≪N）行，即前K个特征向量(j=1,2,…,N)可以按以下方式用于计算原始图像的近似值：（2-9）其中像素向量?将形成PCA图像的前K个波段。经此变化形成的PCA波段，拥有最高的对比度或方差的波段是第一波段，而具有最低的对比度或方差的波段是最后一个波段。如此一来，原始高光谱图像中的大部分信息都在前K个PCA波段之中，并且可以减少了图像带的数量和所涉及的图像噪声量，因此可用于更有效，更准确的分析。2.3极限学习机2.3.1单隐层前馈神经网络人工神经网络（ArtificialNeuralNetwork，ANN），简称为神经网络或类神经网络。它是由许多个神经元连接而成，在多个神经元之间传递信息。每个神经元都可以对所传信息进行各自的加工与处理，然后输出结果。神经元既是生物神经系统中最基本的单元，也是神经网络中最小的单位，如图2-3所示。一个神经元的状态是可以通过其所接收的信号的累积所决定的。图2-3神经元示意图近年来，神经网络尤其是单隐层前馈神经网络（Single-hiddenLayerFeed-forwardNeuralNetworks,SLFNs）在研究发展中应用十分广泛，并且对其进行了许多扩展，这是由于它们能够从样本中学习非线性函数而无需任何的分布假设，很好地处理了传统方法中不能完成的难题。单隐层前馈神经网络基本上都是由输入层，隐藏层和输出层组合而成，神经元之间通过权重进行连接，图2-4给出其示意图。输入层主要被用来进行数据输入，神经元则通过隐含层和输出层对数据进行加工和处理。图2-4单隐层前馈神经网络示意图对于N个独立的训练样本（xi，ti），其中，带有个隐藏节点的SLFNs可以被建模表示：（2-10）其中jw是输入节点与第j个隐藏节点之间的权值向量，j是第j个隐藏节点与输出节点之间的权值向量，jb则是第j个隐藏节点的阈值。最小化的SLFNs的目标函数可以表示为：（2-11）2.3.2极限学习机前馈神经网络的真正学习速度通常都要比所需速度慢上很多，这一直都是其在应用中遇到的主要瓶颈。在过去的学习中，由于不同层中的参数之间也具备着相互依存关系，就要对前馈神经网络中的全部参数实施调节处理。尽管在过去几十年里，基于梯度下降方法被尽可能的应用于绝大多数的前馈神经网络学习算法中，但学习步骤的不正确导致该方法已经变得非常慢或易于收敛到局部最小值。而且，此学习算法需要经过多个迭代学习步骤才能获得更好的学习性能，这就需要花费大量的时间。有研究发现，SLFNs具有随机选择输入权重和隐藏层偏差的优点，这样就能够准确地学习N个不同观测值。与流行的思想和最实际的实现算法不同，前馈神经网络的所有参数都需要进行调整。但是，在应用程序中，却无需调整输入权重和第一隐藏层偏差。实际上，在我们的工作中对人工和大型应用程序进行的一些仿真结果[48]表明，SLFNs既可以让学习速度变得极快，也可以呈现令人满意的泛化性能。Huang等人针对SLFNs提出了新的既简单又有效的学习算法，极限学习机（ELM）。与传统神经网络作比较，ELM最大的特点是：在可以很好的确保学习精准度的条件下，比传统学习算法计算要快。与传统训练方法不同的是：极限学习机会为隐藏的分层节点随机分配输入权值a和偏差b；极限学习机不仅最小化学习误差，而且最小化输出权重。其不需要在确定网络参数时进行迭代步骤，使得网络参数的调整时间大大减少。与SVM算法不同，ELM算法仅需要为其他应用程序（例如二分类问题等）提供一个模型框架。ELM的工作原理就是以非常快的学习速度来提供非常好的泛化性能，这一点可以在人工和现实中基准函数逼近和分类问题的实验结果中得到证实。ELM算法在绝大多数条件下是可以表现出足够好的泛化性能的，并且比前馈神经网络的常规学习算法速度要快非常多。假设训练样本集为，其中包含了N个样本。其维度是d，总类数是C，标签矩阵为，若样本属于这一类，则为1，否则为-1。隐含节点的个数用L来表示，g（x）表示激活函数。ELM的输出可以表示成：（2-12）其中＜ai，xi＞表示两个向量的内积。根据OAA多分类策略，上述方程可以通过以下方式重写为矩阵模型：Hβ=T（2-13）其中，H是隐含节点输出矩阵，β是输出权值矩阵，T是期望输出矩阵。（2-14）实际上，训练样本的数量要远远多于隐含节点的数量(LN)，并且隐含节点的输出矩阵H是一个奇异矩阵。为了得到最小化目标函数，可以使用最小二乘解算法求解方程式（2.6），如下所示：（2-15）其中H+是矩阵H通过Moore-Penrose广义矩阵求逆方法求得的广义逆矩阵。等式（2-13）中的最小范数和最小平方是通过Moore-Penrose广义矩阵逆方法的正交投影给出的，如公式（2-16）所示。其中，I表示单位矩阵，C表示惩罚参数。（2-16）综上，求解ELM算法的步骤可以总结如下：1)初始化训练样本集X；2)随机设置网络输入权值ai和偏差bi,i=1,2,...,L；3)通过Moore-Penrose广义矩阵求逆方法求得隐层节点输出矩阵H的广义逆矩阵H+；4)用最小二乘法计算输出权值，。在获得位于隐含层和输出层之间的最佳权值后，测试样本tx的分类操作如公式（2-17）所示。（2-17）2.3.3核极限学习机在分类的训练阶段，计算并存储权重用于测试阶段。但是，如果不需要明确知道这些权重，则可以将h（xt）HT和HHT转移到内核空间，如公式（2-18）所示。（2-18）最后，利用KELM对测试样本xt进行分类操作，如公式（2-19）所示。（2-19）3基于判别信息的复合核极限学习机用于高光谱图像分类高光谱图像分类是其处理和应用的重要组成部分。在分类时，当空间维数增加且训练集大小固定时，通常会检测到休斯现象（也称为维数诅咒），尤其是在小样本问题上，判别的线性分析是解决分类中Hughes现象的常用方法。因此，本章提出了一种复合核极限学习机（ckelm-l）该算法利用每个类的平均向量和系数矩阵形成类内、类间和混合类曝光矩阵，在小维空间中找到类间分散与类内平均分散之比最大的特征，并将类分散的概念应用于类分离。如果样本围绕其在每个类中的平均值进行分组，从样品中获得更高的值，并且不同的样品被很好地分离。3.1线性判别分析由于光谱波段之间的高度相关性，高光谱图像会受到信息冗余的影响，这可能会降低在某些极端条件下区分类别的能力。此外，其维数沿光谱域逐渐增加，这就是为什么处理高光谱图像和更好地分离样本具有重要的研究和实际意义。由于光谱波段之间的高度相关性，高光谱图像会受到信息冗余的影响，这可能会降低在某些极端条件下区分类别的能力。此外，其维数沿光谱域逐渐增加，这就是为什么处理高光谱图像和更好地分离样本具有重要的研究和实际意义。线性判别分析推导如下：假设是第i类样本的集合，Ni是第i类样本的个数，i=1,…,L和N=N1+…+NL是所有训练样本的数量。投影到的低维空间的样本矩阵为w，为具有判别信息特征数据样本矩阵，w可表示为：（3-1）其中，将类间散布矩阵和类内散布矩阵定义为（3-2）（3-3）其中，mi表示样本均值，；m表示样本总平均值，。式(3-1)中的最大化准则可以改写为如下的最大化问题：（3-4）式(3-4)可以被证明等于（3-5）其中，是信息差矩阵，该矩阵中的参数在其中扮演平衡调节类内判别信息和类间判别信息的角色。3.2复合核极限学习机算法核方法是一种特殊的机器学习方法。它利用核函数求解高维非线性数据。它已成为高光谱图像分类的成功应用方法之一，但是，高光谱图像具有复杂的空间和光谱信息，单个核的代表性是不够的，同时，单个核的表示可能是核方法处理复杂分类问题的瓶颈，精度和泛化之间的折衷也是一个难题。提出了一种多核方法（MKL），并将其成功地应用于高光谱图像分类中，处理多类数据和多维数据。由于单核选择的局限性，为了更好地适应复杂的数据结构，引入了多核学习方法。与基于单核的方法相比，提出的多核学习为探索高光谱图像信息提供了更大的灵活性。多核学习是连接不同子特征的方法之一，该算法结合了基于内核的任务中使用的不同函数，如回归或分类。其目的是：通过一些基本核的线性或非线性组合产生复合核。每个基本核可以使用一个子集或一整套函数。组合核的半终结性和归一化保持不变，基核的权值不为负，和为1，可以成为一个新的混合核函数。混合不同类型和/或不同的核参数用于高光谱图像分类。因此，复合核极限学习机的学习过程可以看作是一个常见的优化问题，包括混合核解的优化和核组合系数的优化。假设高光谱图像包含具有d个光谱带的N个像素。给定非线性映射函数，数据样本从原始输入空间利用非线性映射函数映射到高维特征空间，如下：（3-6）（3-7）其中K（·）表示核函数，〈·〉表示点积。核函数满足Mercer定理的对称性、半正定性和连续性。高光谱图像问题中最常用的核是RBF，因为它的傅里叶变换也是高斯的，并且具有平移不变性。在多核学习中，一些基本核被线性组合成凸函数，每个核使用一个子集或所有函数集：（3-8）其中，βm表示核m的权重，M是基本核的数量。多核学习的目标函数由下式给出：（3-9）为了结合基底核，获得复合核，需要以下三个步骤：（1）像素定义：由像素的光谱特征和空间特征重新定义像素，其中Nw和Ns分别是光谱特征的个数和空间特征的个数。（2）内核构造：任何类型的核都可以在和上构造。（3）核组合：复合核可以通过不同方式的基底核的简单求和来计算。包含光谱特征的核由Kw表示，而包含空间特征的核由Ks表示。包含光谱特征和空间特征之间交叉信息的核也由Ksw和Kws表示。通过以上文献中对多核学习的相关推论，将其引入极限学习机中。对于给定的像素xi，其光谱和空间特征分别表示为和。光谱特征向量对是原始xi，由所有频带上的光谱反射值组成。空间特征是从像素xi的局部空间邻域中提取的像素平均值，并定义为x，的空间邻域。构造了光谱和空间特征和之后，分别计算相应的复合核极限学习机中的空间核Ks和光谱核Kw。（3-10）（3-11）所提出算法中使用RBF核，和是光谱和空间RBF核的宽度。利用加权求和方法，计算出复合核极限学习机中的核参数为：（3-12）3.3CKELM-L算法在高光谱图像分类算法中，有些算法只使用光谱函数进行函数提取，忽略了图像的空间特性，除了光谱特征外，还包含了大量的空间特征。高光谱图像数据的结构不能完全有效地用谱函数来表达，因此，研究者们提出并相信空间谱函数方法是表达高光谱图像数据结构最常用的方法。假设光谱特征已被保留，则空间特征可作为光谱特征的补充。Hang等人，《基于矩阵的判别分析介绍》。在此基础上，他们研究了空间和光谱特征的提取，然后使用随机抽样技术生成最终支持向量机分类的子空间集。基于光谱特性，Sun等人结合扩展的形态学轮廓，显示高光谱图像中像素的属性。然后构造一个超图来学习低维属性。最后，将学习到的函数反馈给支持向量机进行分类。Huang等人。首先，他使用加权平均滤波器，对图像进行滤波，然后利用合成的光谱空间距离对光谱和空间信息进行融合，最后，重构分配器，提取小维判别特征进行分类，上述方法有效地融合了图像的空间特征，提高了分类精度，然而，它们没有充分考虑高光谱图像分布信息中的鉴别特征和数据中的局部几何结构。特别是当训练测试数量较少时，这些信息仍然在提高分类精度方面发挥着重要作用。为了解决这些缺陷，本章提出了一种具有线性判别信息的核极限综合算法，用于高光谱分类利用线性判别分析方法获得光谱特征的图像，利用核方法获得空间特征，综合了多原子训练获得的空间间谱特征，并用分类器对其进行分类，利用组合核极限，该算法可以保持地面物体的边界，提高分类精度，降低计算难度。提出的算法的主要特点可归纳为：（1）建立了线性判别分析与图像输出之间的线性模型，并考虑了地面物体的轮廓信息，有效提取了光谱特征。（2）在极限学习机中引入多个核函数优化分类器。（3）在最极端的学习过程中，总反馈原理（即最小二乘法）是一个好的、合理的步骤，旨在解决线性判别分析中矩阵的具体问题。由3.2节和3.3节的相关理论，通过计算，可得出CKELM-L的输出函数为（3-13）Ckelm-L算法首先使用线性判别分析，提取光谱特性。然后通过核函数提取空间特性，并通过多核学习模型对空间光谱特性进行加权和合并。然后将提取的特性提供给组装的核极限学习机分类器，算法步骤如下：1.学习机初始化数据集学习机2.学习机使用式(3.2)、(3.3)计算类间散布矩阵LDAbS和类内散布矩阵学习机3.学习机根据求得的和计算投影后矩阵学习机4.学习机采用式(3.10)、(3.11)计算空间核和光谱核5.学习机将计算得到的空间核和光谱核送入KELM框架中6.学习机通过CKELM-L对训练和测试数据集进行分类学习机7.返回高光谱图像每个测试像素的预测标签3.4实验结果分析为了验证所提出的CKELM-L算法的在高光谱图像分类过程中的有效性，本章使用了三个公开可获得的数据集IndianPines，PaviaUniversity和SalinasScene，进行实验验证。对照实验选择传统的分类算法ELM、KELM、SVM、具有复合核函数的算法ELMCK、KELMCK、SVMCK和目前较新颖的Hifi算法进行综合比较。采用四个广泛使用的评价指标：类内分类准确性(CA)，总体准确性(OA)，平均准确性(AA)和Kappa系数在三个高光谱图像数据集上评估所有算法的分类性能。在传统ELM算法中，使用Sigmoid函数，基于范围[-1,1]，均匀分布随机生成隐藏层参数，并将隐藏层节点数L设置为文献[30]中推荐的1000。对于CK方法，SVMCK，ELMCK和KELMCK，组合系数u设置为0.8。对于所有基于核的算法，都使用高斯径向基函数RBF核。这些方法中涉及的RBF核参数在范围中，惩罚参数C范围从100到105。在上述实验中使用的算法中，参数的优化选择策略为，使用三重交叉验证和网格搜索策略。Hifi算法重复50次，并计算平均结果。将IndianPines，UniversityofPavia和SalinasScene的层次结构数设置为80、20和80。在配备Intel（R）Core（TM）3.20GHzCPU和8GBRAM的计算机上使用MATLABr2016b进行对比实验。为了避免失真，实验的结果通过重复实验来调节十次。3.4.1IndianPines数据集实验结果在实验中，根据文献[31]，对16种类型的真实数据的样本选择数目分别为1031个10%作为训练样本，其余9218个数据作为测试样本。表3-1给出了所有算法对IndianPines数据集的每个类别的CA以及整体的OA，AA和Kappa，图3-1给出了所有算法对IndianPines数据集的分类成效图。表3-1衡量IndianPines数据集分类成效数据图3-1IndianPines数据集的分类成效图表3-1显示了根据训练测试次数在印度松数据集上不同算法的Ca、OA、AA和kappa系数。通过比较七种算法的OA、AA和kappa系数，可以清楚地看出，本章提出的算法具有最好的分类效果。经过Ca后，可以确定在16种数据样本中，本章提出的算法的精度高于其他算法。与传统的kelm分类算法相比，总精度提高了17.67%，与传统CK方法的kelmck分类算法相比，提高了1.33%，改进后的Hifi算法与当前新算法相比，总准确率提高了10.32%。图3-2显示了印度松数据集上10个实验的OA线图，表明了所提出算法的稳定性。图3-210次实验的OA折线图3.4.2PaviaUniversity数据集实验结果在实验中，为9种类型的真实数据选择的样本为432个，1%作为训练样本，其余42344个数据作为测试样本。表3.2显示了帕维亚大学不同类别记录的CA以及所有算法的整个OA、AA和kappa。图3-4显示了帕维亚大学数据集上所有算法的分类效果。表3-2衡量PaviaUniversity数据集分类成效数据图3-3PaviaUniversity数据集的分类成效图表3-2给出了固定训练样本个数后，在PaviaUniversity数据集上不同算法的CA，OA，AA和Kappa系数。通过比较7种算法的OA、AA和Kappa系数可以很清楚地看到本章所提算法具有最优的分类效果，根据CA可以看出在9类数据样本中本章所提算法有7类的准确率要高于其他算法。与传统分类算法KELM相比总体准确性提高12.66%，与带有传统CK方法的KELMCK相比总体准确性提高7.36%，与目前较新颖的算法Hifi算法相比总体准确性提高11.41%。图3-4显示了在PaviaUniversity数据集上进行10次实验的OA线图，该线图显示了所提算法的稳定性。图3-410次实验的OA折线图3.4.3SalinasScene数据集实验结果在实验中，对16种类型的真实数据的样本选择数目分别为2713个5%作为训练样本，其余51416个数据作为测试样本。表3-3给出了所有算法对SalinasScene数据集的每个类别的CA以及整体的OA，AA和Kappa，图3-5给出了所有算法对SalinasScene数据集的分类成效图。表3-3衡量SalinasScene数据集分类成效数据表3-3给出了固定训练样本个数后，在SalinasScene数据集上不同算法的CA，OA，AA和Kappa系数。通过比较7种算法的OA、AA和kappa系数可以很清楚地看到本章所提算法具有最优的分类效果，根据CA可以看出在16类数据样本中本章所提算法有11类的准确率要高于其他算法。与传统分类算法KELM相比总体准确性提高6.62%，与带有传统CK方法的KELMCK相比总体准确性提高0.52%，与目前较新颖的算法Hifi算法相比总体准确性提高7.07%。图3-6显示了在SalinasScene数据集上进行10次实验的OA线图，该线图显示了所提算法的稳定性。图3-5SalinasScene据集的分类成效图图3-610次实验的OA折线图4局部二值模式信息保持极限学习机极限学习机在分类过程中没有考虑到图像的空间结构，缺乏对数据空间信息的充分提取，这样就不能在HSI的分类任务中表现出足够好的分类效果。我们提出一种局部二值模式信息保持极限学习机(LLPKELM)。该算法通过采用局部二值模式来提取局部图像特征，例如边缘，拐角和斑点等。然后将提取的特征数据内在流形结构信息引入到核极限学习机模型中，充分地考虑了高光谱遥感图像在空间上的分布特性，很好的提升了HSI的分类效果。4.1LBP特征提取算法局部二值模式（Localbinarypattern,LBP）是于1994年由T.Ojala等人首先提出用于特征提取的，是一种用于纹理描述的有力手段。而局部二值模式最开始并不是功能齐全的特征描述运算符，只是用来辅助图像的局部对比度。其具有对灰度变化不敏感和计算速度快的优点。LBP描述了局部空间模型,并且已经被证明对图像表示非常有效。也已经将其引入遥感图像领域，应用于视觉检查，运动检测和户外场景分析等。LBP运算符检测到许多不同的纹理特征，比如点，线端，边缘，拐角等。这些特征通常累积在一个区域的直方图中以捕获局部纹理信息。文献[32]将LBP和局部相位量化用于光学遥感图像数据的土地覆盖分类的纹理特征研究。文献[33]中，在长波红外图像中提取了LBP特征，定向梯度直方图（HoG）和均方差描述符以进行异常检测。在文献[34]中，LBP和HoG被用于跟踪TerraSAR-X图像中的船舶交通。文献[35]是从HSI立方体中选择LBP特征用于单个谱带上的结肠活检分类计算。在初始的LBP中，被用来在像素级别上提取纹理特征以及局部邻域，记录像素点与其周围像素点的对比信息或差异。简而言之，就是通过使用中心像素的二进制阈值来标记局部区域的像素位置。LBP也有很多扩展，或者说是改进。基本的LBP运算符通过以任一像素点为中心，将其3×3邻域内的每个像素值与中心像素值作比较，并用来标记该像素点。标记得到的统计直方图可以用作纹理特征。有关基本LBP算子的计算示例如图4-1所示：从左上角的第一个相邻点开始，将相邻像素值按顺时针方向依次与中心像素值进行比较大小。如果相邻像素值大于或等于中心像素值，则将相邻点分配为1，否则分配为0。这样就可以得到一个01序列的二进制数，再将该二进制数转化为十进制数即可得到该中心像素点的LBP特征值。图4-1LBP算子计算实例基本的LBP运算符计算如下：（4-1）然后为每个分配一个二项式因子2p：（4-2）基本的LBP运算符的主要缺陷在于，它仅仅覆盖固定半径内的一小部分区域，无法满足具有不同比例和频率的纹理的需求。后来，T.Ojala等人将该运算符扩展为使用不同大小的邻域，来捕获不同规模的主导特征。利用双线性内插像素值法[58]可以获取以任何半径和任意采样点数量所形成的圆形邻域大小。我们将使用符号P,RLBP表示在半径为R的圆上P个等距采样点的邻域。图4-2给出了常见的LBPP,R模式，分别为R=8,P=1，R=16,P=2，R=8,=2的模式。图4-2常见的LBPP,R模式原始的LBP运算符的另一扩展是使用所谓的等价模式。将二进制字符串视为圆形，如果本地二进制模式最多包含两个从0到1或从1到0的逐位转换，那么就将该本地的二进制模式称为等价模式。例如00000000、00011110和10000011都是等价模式。T.Ojala等人注意到，在他们使用纹理图像进行的实验中，2p模式的一小部分占图像纹理的大部分。例如，使用LBP8,1模式时，均匀图案占所有图案的比例大约在90％，而在LBP16,2模式中则占70％左右。这些二进制模式可用于表示纹理特征，例如斑点，平坦区域，边缘和拐角。等价模式总共包含（p-1）p+2个二进制模式。其中（p-1）p是旋转模式，包括边缘和两个非旋转模式，斑点和平坦区域。而U（x）＞0的模式则被定义为非等价模式。（4-3）（4-4）U值最多为2的等价模式由等式u2定义，如等式（4-3）所示。如果U（x）小于2，则使用索引函数I（z）标记像素。否则，它被视为非等价模式，并赋值为（p-1）p+2。I（z）索引函数包含（p-1）p+2个索引，用来分配给所有等价模式。对于使用P=8的邻域等价模式，可以将直方图从256减少到59bin（等价模式为58bin，非等价模式为1bin）。由定义我们可以知道LBP运算符只具有灰度不变的特点，但LBP特征值会随着图像的旋转而改变。因此，LBP运算符继续扩展为旋转不变LBP（LBPri）和旋转不变统一LBP（2LBPriu）。要消除旋转的影响，就是要为每个旋转不变的LBP模式分配一个唯一的LBP值。图4-3为LBP旋转不变模式的过程，图中数字为邻域依次旋得到的LBP特征值。图4-3LBP旋转不变模式示意图如图4-3所示，将圆形邻域经过依次旋转后得到多个LBP特征值，选取其中最小的LBP特征值作为LBPP,R。计算方法如公式（4-5）所示：（4-5）其中，ROR（x，i）表示对P位数字x采取i次循环逐位向右移动。旋转不变的LBP模式进一步降低了统计直方图的维度以及高频噪声造成的影响。例如P=8，LBPri则具有36个独特的旋转不变模式。LBPri模式的性能各不相同，一些模式可以很好地维持旋转，而另一些模式则不能，因此使分析混乱。等价模式可以解决此问题，也可以将bin的数量从36个减少到9个，这就形成了统一的旋转不变局部二进制模式LBPriu2。综上所述，对图像的LBP特征向量进行提取的步骤可总结如下：（1）划分区域。将检测窗口划分成nm的若干子区域。（2）获取LBP特征值并计算统计直方图。将每个子区域中的相邻像素值按照顺时针方向依次与中心像素值比较大小。如果相邻像素值大于或等于中心像素值，那么就给该像素值分配成1，反之分配成0。将各个像素点的LBP特征值构建成每个子区域的统计直方图并进行归一化处理。（3）获取图像特征向量。将步骤（2）所得的所有统计直方图连接在一起，就可以得到整个图像的LBP特征向量。然后可以将该特征向量通过分类算法对其进行分类处理。对给定中心像素ct，与其相邻像素值比较大小，为每个相邻像素点赋予一个二进制标签0或1。相邻像素来自在以中心像素为中心的半径为r的圆上的一组等距采样，半径r确定相邻像素可以距中心像素多远。沿着选定的m个相邻点，中心像素ct的LBP码可由公式4-6所示：（4-6）假设tc的坐标为（0,0），则每个相邻ti的坐标为。实际上，可以更改参数集（m,r），例如（4,1），（8,2）等。不完全落在图像网格上的圆形邻域位置可以利用双线性插值法进行估算。4.2LLPKELM算法局部二值模式信息保持极限学习机(LLPKELM)首先通过局部二值模式[33]对高光谱遥感图像提取LBP特征。有效提取局部图像特征，例如边缘，拐角和斑点等，充分提取其空间信息；然后将获取到的特征信息的数据内部的流形结构信息利用局部保持算法LPP计算出数据的判别性离散度矩阵；最后把所得的判别性离散度矩阵引进KELM中对其进行分类。LLPKELM算法的具体步骤可以简单概括如下：步骤1：数据输入：输入HSI数据。步骤2：提取LBP特征：对数据集中的任一像素点xi，利用局部二值模式。通过公式(4.6)，得到每个像素点的LBP编码，有效地获取图像的LBP特征向量，充分得到HSI的空间信息；步骤3：求出流形正则化框架：通过LPP算法对数据进行降维处理，利用公式(2-15)，求出流形正则化框架；步骤4：获取判别信息离散度矩阵S：根据公式(2-17)，定义并求得判别信息离散度矩阵S；步骤5：计算输出权重β：选择合适的核函数，通过公式(2.22)计算出权重β；步骤6：计算输出结果：通过公式(2-23)，求出最后的输出结果。步骤7：结果输出：求出总体分类精度OA，平均分类精度AA和kappa系数并输出。4.3实验数据及参数设置在本章节中，我们在两个常用的高光谱数据集IndianPines和UniversityofPavia上来进行实验。通过与其他五种分类算法进行比较来衡量所提算法的性能。对于两个高光谱数据集，随机选择每类中全部标记样本的1%用来训练，并且将剩余标记样本用来测试。将LBP算法中的邻域半径和采样点个数分别设置成P=8,R=2。所提的LLPKELM算法使用RBF核。我们通过总体分类精度（OA），平均分类精度（AA）和kappa系数来进行比较不同分类算法的性能。其中OA是测试集中分类结果正确的样本数量占全部样本数量的比例，AA是每个类的分类准确度。所有实验均在具有4.00GBRAM的Inteli5-32302.60GHz机器上使用MATLABR2011a进行。4.4实验结果与分析4.4.1IndianPines图像数据实验结果在实验中，将所提算法LLPKELM的分类结果与SVM[10]，KELM[40]，KCRT-CK[38]，MLR[41]，LPKELM[42]算法作对比。通过对比在测试集上实验得到的OA，AA和kappa系数来评估每种算法的分类效果。表4.1中列出了在IndianPines图像数据上的六种分类算法的分类结果。表4.1IndianPines数据集中不同分类算法的结果比较(%)通过表4.1显示出，LLPKELM算法与SVM，KELM，KCRT-CK，MLR，LPKELM算法相比，总体分类精度OA，平均分类精度AA和Kappa系数均有大幅度提升。表4.1中可以明显地看出LLPKELM算法几乎在所有数据类别上的分类精度都要高于其他五种分类算法的。只有在Oats和Wheat这两种数据类别上的分类精度略低于其他算法。在Oats和Wheat这两种数据类别上，六种算法的最高分类精度分别为89.47%和99.04%,LLPKELM算法的分类精度为55.56%和94.76%。我们可以看到，LLPKELM算法在OA，AA和Kappa系数上的结果是特别好的，而且要明显高于其他五种算法。4.4.2UniversityofPavia图像数据实验结果在实验中，把本文所提出的LLPKELM算法与SVM，KELM，KCRT-CK，MLR，LPKELM五个算法的分类结果进行了比较。通过比较在测试集上实验得到的OA，AA和kappa系数可以衡量每种算法的分类性能。如下表4-2给出了在UniversityofPavia图像数据上的不同分类算法的分类结果。表4-2显示出以上六种分类算法在UniversityofPavia图像数据上每个类别的分类精度，以及总体分类精度OA，平均分类精度AA和Kappa系数。我们可以看到LLPKELM算法的分类结果要优于SVM，KELM，KCRT-CK，MLR，LPKELM算法。由表4.2我们可以看出，在Alfalfa，Gravel，Paintedmetalsheets，Bitumen，Shadows这五种类别数据上，LLPKELM算法的分类精度要高于其他五种分类算法。而在Meadows，Trees，BareSoil，Self-BlockingBricks这四种数据类别上，LLPKELM算法的分类结果要稍稍差于其他算法。在上述的四种类别数据中，六种分类算法的最高分类结果分别为99.97%，94.20%，99.24%，92.24%。而LLPKELM算法的分类精度分别为99.05%，92.54%，97.62%，91.78%，与最高分类精度相差了0.92%，1.66%，1.62%，0.46%。虽然LLPKELM算法在UniversityofPavia图像数据的其中几种类别的分类精度较低于其他算法，但相差很小，而OA，AA和Kappa系数均优于其他五种算法。通过在两种高光谱数据集上进行对比试验，由表4-1和表4-2的结果可以看出，LLPKELM算法的分类性能明显优于其余五种分类算法。其原因在于LLPKELM利用局部二值模式提取了高光谱遥感图像的LBP特征，更加细致地获取了HSI的局部空间信息，进一步提升了HSI的分类效果。5结论伴随着科技的进步，具有高空间分辨率的HSI一直在变得日益有效且可用。传统的HSI分类任务中，许多分类算法都仅仅使用图像的频谱特征，而忽略了图像丰富的空间信息。因此我们对基于ELM的高光谱图像分类的方法进行了深刻的研究探索和完善。本文针对特征提取和分类器的研究，提出了两种分类算法。（1）提出了一种基于判别信息的复合核极限学习机(CKELM-L)的分类模型。该模型采用线性判别分析进行提取特征。利用空间特征和提取的光谱特征，使用复合核极限学习机进行分类，可以大大提高分类性能。（2）提出了局部二值模式信息保持极限学习机（LLPKELM）。LLPKELM算法首先采用局部二值模式[33]来提取局部图像特征，例如边缘，拐角和斑点等，获取HSI更为丰富的纹理信息；接下来将获取到的特征通过数据内部的流形正则化框架并利用LPP算法获取数据的判别性离散度矩阵；最后利用KELM来对其进行分类。该算法有效地提高了HSI的分类效果。参考文献[1]李铁,张新君.极限学习机在高光谱遥感图像分类中的应用[J].光电工程,2016(11).[2]杨伊,闫德勤,张海英,等.基于判别信息极限学习机的高光谱遥感图像分类[J].软件导刊,2017,16(001):161-165.[3]李铁,张新君.极限学习机在高光谱遥感图像分类中的应用[J].光电工程,2016,43(11):62-62.[4]付琼莹,余旭初,秦进春,等.结合自动编码器的高光谱影像极限学习机分类[J].测绘科学与工程,2017(4):17-23.[5]吕飞,韩敏.基于深度极限学习机的高光谱遥感影像分类研究[J].大连理工大学学报,2018,058(002):166-173.[6]何阳,闫德勤,刘德山.局部信息保持极限学习机的遥感图像分类[J].计算机应用与软件,2019,36(01):269-276+330.[7]吕启.基于深度学习的遥感图像分类关键技术研究[D].国防科学技术大学,2019.[8]杨伊.极限学习机算法的改进与应用[D].辽宁师范大学.[9]冯国瑞,张海燕.基于极限学习机的图像隐写分析[J].2013.[10]蔡悦,苏红军,李茜楠.萤火虫算法优化的高光谱遥感影像极限学习机分类方法[J].地球信息科学学报,2015(08):986-994.[11]雒晓卓.基于联合稀疏和局部线性的极限学习机及应用[D].西安电子科技大学.[12]付琼莹,余旭初,张鹏强,等.联合空谱信息的高光谱影像半监督ELM分类[J].华中科技大学学报(自然科学版),2017(7)