（摄影测量与遥感专业论文）多分类器组合及其遥感分类研究.pdf

，j ：“：o 多分类器组合及其遥感分类研究 r e m o t es e n s i n gc l a s s i f i c a t i o nb yc o m b i n gm u l t i p l e c l a s s i f i e r s 作者姓名： 学科专业： 学院( 系、所) ： 指导教师： 张少佳 摄影测量与遥感 信息物理工程学院 曾永年 论文答辩日期鲨f ! ：篁：兰f 答辩委员会主席埘豸 中南大学 们f o 年r 月乙口日 、， ? ：。一c 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的成果。尽我所知，除论文中特别加以标注和致谢的地方外，论 文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中南 大学或其他单位的学位或证明而使用过的材料。与我共同工作的同志对 本研究所作的贡献已在论文的致谢语中作了明确的说明。 作者签名：主丛生垒作者签名：兰垫卫5 堑 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校有权 保留学位论文并根据国家或湖南省有关部门规定送交学位论文，允许学 位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以 采用复印、缩印或其它手段保存学位论文。同时授权中国科学技术信息 研究所将本学位论文收录到中国学位论文全文数据库，并通过网络 向社会公众提供信息服务。 作者签名：么熟幺导师签名： 日期：业年l 月鱼日 摘要 基于土地利用覆盖信息提取的快速、自动化和高精度的现实需 求，遥感影像计算机自动分类研究成为提高遥感应用性的一个重要方 向。多分类器组合利用不同方法进行目标识别时得到的互补信息来提 高分类性能，为提高遥感分类精度提供了新的途径。因此，进行多分 类器组合研究，探讨其在遥感影像自动分类中的应用，具有重要的理 论与实践意义。 本文对多分类器组合方法、基于分类器差异性度量的组合分类器 优化进行研究，将其应用于土地利用覆盖遥感分类。主要研究成果 如下： ( 1 ) 基于多分类器组合的遥感分类方法 针对投票法分类器组合中加权值的选择问题，提出了基于先验知 识的投票法组合分类方法。首先对子分类器做分类性能测试，得到各 类别的用户精度；然后将其作为加权值，使用相对多数投票法对子分 类器输出结果进行组合决策，将具有最大投票值的类别赋予待分像 元。 结果表明，以最大似然法、神经网络法和支持向量机法作为子分 类器进行多分类器组合遥感分类时，分类器两两组合分类结果的总体 精度较子分类器均有提高。三种分类器参与组合分类时，组合分类总 体精度高于子分类器的最低精度，但不一定高于子分类器的最高精 度。组合方法在不同景观特征地区的遥感分类中具有相同的性能特 征。 组合分类结果受训练样本分布的影响取决于子分类器的稳定性。 当子分类器均受训练样本分布影响较小，组合结果也具有较好的稳定 性。研究中，最大似然法和支持向量机法组合分类结果优于相应子分 类器，组合结果受训练样本分布的影响较小。 ( 2 ) 基于分类器差异性度量的组合分类器优化 针对分类器组合过程中的组合结构优化问题，引入熵值法分类器 差异性度量来衡量组合分类器中子分类器之间的差异性关系，分析其 与组合分类结果的关系，研究其在组合分类器优化中的可用性。 结果表明，熵值法分类器差异性度量值与组合分类的优势度( 组 合分类器k a p p a 值与子分类器中最大k a p p a 值之差) 存在正相关关 系，对分类器的组合性能有一定的预测能力。但由于方法与组合分类 结果的相关关系还不够强，因此分类器差异性度量在分类器组合中的 应用有待进一步研究。 关键词土地利用覆盖分类，分类器组合，差异性度量，遥感影像 a b s t r a c t c o n c e r n i n g t h e p r a c t i c a l n e e d so fo b t a i n i n gl a n du s e c o v e r i n f o r m a t i o nr a p i d l y , a u t o m a t i c a l l ya n da c c u r a t e l y , a u t o m a t i cc l a s s i f i c a t i o n o f r e m o t es e n s i n gi m a g e sh a sb e c o m ea ni m p o r t a n tr e s e a r c hd i r e c t i o nt o e x t e n dt h ea p p l i c a b i l i t yo f r e m o t es e n s i n gd a t a i tp r o v i d e san e ww a yf o r m o r ea c c u r a t ec l a s s i f i c a t i o nr e s u l t s t h a tf u l l ye x p l o i t i n gt h ep o t e n t i a l sa n d u s i n gt h ed i v e r s i t yo ft h ee x i s t i n gc l a s s i f i e r sb yc o m b i n i n gm u l t i p l e e x i s t i n gc l a s s i f i e r s ，w h i l em o s te f f o r t sw e r em a d et od e v e l o pn e w c l a s s i f i e r s t h e r e f o r e ，i ti st h e o r e t i c a l l ya n dp r a c t i c a l l ys i g n i f i c a n tt o s t u d yt h em e t h o do fc o m b i n i n gm u l t i p l e c l a s s i f i e r sa n de x p l o r ei t s a p p l i c a t i o ni na u t o m a t i cc l a s s i f i c a t i o no f r e m o t es e n s i n gi m a g e s i nt l l i sp a p e r , m u l t i c l a s s i f i e rc o m b i n a t i o nm e t h o da n do p t i m i z a t i o n o fc o m b i n e dc l a s s i f i e rb a s e do nd i v e r s i t ym e a s u r eo fc l a s s i f i e r si ss t u d i e d a n di sa p p l i e dt ol a n du s e c o v e rc l a s s i f i c a t i o no fr e m o t es e n s i n gi m a g e s t h em a i nc o n c l u s i o n sa r ea sf o l l o w s ( 1 ) r e m o t es e n s i n gc l a s s i f i c a t i o nb yc o m b i n gm u l t i p l ec l a s s i f i e r s i no r d e rt og e n e r a t et h ew e i g h t si nc o m b i n i n gc l a s s i f i e r sb y m a jo r i t y t h em e t h o di s p r o p o s e dt h a tm a k e su s eo fu s e ra c c u r a c yo fi n s u b c l a s s i f i e r sc l a s s i f i c a t i o na st h e v o t i n gw e i g h t s t o i m p r o v e c l a s s i f i c a t i o na c c u r a c y i nt h i sp a p e r , t h ep e r f o r m a n c e so fs u b - c l a s s i f i e r s a r ev a l i d a t e db yc l a s s i f i c a t i o no f r e m o t es e n s i n gi m a g e sf i r s t l y , a n dt h e u s e ra c c u r a c yo fl a n du s e | c o v e rc l a s s e sa r ec a l c u l a t e di nt h i sp r o c e s s t h e n 也eo u t p u t so fs u b c l a s s i f i e r sc l a s s i f i c a t i o na r ec o m b i n e db yv o t i n g m e t h o dt h a tu s e su s e ra c c u r a c ya sw e i g h t e dv a l u e so fv o t e i nt h er e s u l t ， c l a s sw h i c hh a sm a x i m u mv o t ei sg i v e nt ot h ep i x e lu n d e f i n e d t h er e s u l t ss h o wt h a tt h eo v e r a l la c c u r a c yo fc o m b i n e dc l a s s i f i e r s a r eh i g h e rt h a nt h o s eo fs u b c l a s s i f i e r s ，w h e na n yt w oo ft h em a x i m u m l i k e l i h o o d ，n e u r a ln e t w o r ka n ds u p p o r tv e c t o rm a c h i n ec l a s s i f i e ra r e c o m b i n e di nl a n du s e c o v e rc l a s s i f i c a t i o n h o w e v e lt h eo v e r a l la c c u r a c y o fc o m b i n e dc l a s s i f i e rw h i c hc o m b i n e sa l lo ft h et h r e es u b c l a s s i f i e r si s h i g h e rt h a n 也el o w e s ts u b c l a s s i f i c a t i o na c c u r a c y , b u tn o tn e c e s s a r i l y h i g h e r t h a nt h em o s ta c c u r a t es u b c l a s s i f i c a t i o n t h em e t h o do f c o m b i n i n gm u l t i p l ec l a s s i f i e r sd e v e l o p e di nt h i sp a p e rh a st h es a m e p e r f o r m a n c ei nc l a s s i f i c a t i o no fr e m o t es e n s i n gi m a g e sw h i c hh a v e i i i d i l f f e r e n tl a n d s c a p ec h a r a c t e r i s t i c s i td e p e n d so nt h es t a b i l i t yo fs u b c l a s s i f i c a t i o nt h a tw h e t h e rt h e r e s u l t so fc o m b i n e dc l a s s i f i c a t i o na r ea f f e c t e db yt h ed i s t r i b u t i o no f t r a i n i n gs a m p l e s i ft h ed i s t r i b u t i o no ft r a i n i n gs a m p l e so n l yh a dl i t t l e i n f l u e n c eo nt h es u b c l a s s i f i c a t i o n ，t h ec o m b i n e dc l a s s i f i e r sw o u l dh a v e s t a b l ep e r f o r m a n c e s i nt h i sp a p e r , t h ec l a s s i f i c a t i o n b yc o m b i n i n g 1 m a x i m u ml i k e l i h o o da n ds u p p o r tv e c t o rm a c h i n e w h i c hi sl i t t l ea f f e c t e d b y t h ed i s t r i b u t i o no ft r a i n i n g s a m p l e s ，h a s ab e t t e rr e s u l tt h a n s u b c l a s s i f i c a t i o n ( 2 ) t h eo p t i m i z a t i o no fc o m b i n e dc l a s s i f i e rb a s e do nd i v e r s i t y m e a s u r eo fc l a s s i f i e r s f o rt h eo p t i m i z a t i o no fc o m b i n e dc l a s s i f i e r , e n t r o p y - b a s ep a i r - w i s e d i v e r s i t ym e a s u r e ( e p d ) i si n t r o d u c e dt om e a s u r et h ed i v e r s i t yo f s u b c l a s s i f i e r si nc o m b i n i n gc l a s s i f i e r sa n di t sr e l a t i o n s h i pw i t ht h e c o m b i n a t i o na c c u r a c yi sa n a l y z e dl a t e r t h ea v a i l a b i l i t yo fe p di n o p t i m i z i n gc o m b i n e dc l a s s i f i e ri sd i s c u s s e df i n a l l y t h er e s u l t ss h o wt h a tt h ee p d so fs u b c l a s s i f i e r sa r ep o s i t i v e l y c o r r e l a t e dw i t ht h ed o m i n a n c eo fc o m b i n a t i o nc l a s s i f i c a t i o n ，w h i c hi s d e f i n e dt h ed i f f e r e n c eb e t w e e nk a p p ao fc o m b i n e dc l a s s i f i e ra n dt h e l a r g e s tk a p p ao fs u b - c l a s s i f i e r s t h e r e f o r e ，e p dc a np r e d i c tc o m b i n a t i o n p e r l e i r m a n c e o fs u b c l a s s i f i e r st oac e r t a i n e x t e n t h o w e v e r , t h e c o r r e l a t i o nb e t w e e ne p d sa n dc o m b i n a t i o nc l a s s i f i c a t i o nr e s u l t sa r en o t s t r o n ge n o u g h ，s o t h e d i v e r s i t y m e a s u r em e t h o d si nc l a s s i f i e r c o m b i n a t i o n sn e e df u r t h e rs t u d y k e yw o r d s ：l a n du s e c o v e r c l a s s i f i c a t i o n ，m u l t i p l e c l a s s i f i e r c o m b i n a t i o n ，d i v e r s i t ym e a s u r e ，r e m o t es e n s i n gi m a g e i v 摘要i a b s t r a c t i i i 目录v 第一章绪论1 1 1 研究背景与意义1 1 2 国内外研究进展2 1 2 1 遥感图像计算机分类方法研究进展2 1 2 2 多分类器组合遥感分类研究进展5 1 3 研究内容与方法lo 1 3 1 研究内容1 0 1 3 2 研究方法与技术路线1 0 1 4 论文结构1 2 第二章分类器组合的设计与优化研究1 3 2 1 分类器组合原理与结构设计1 3 2 1 1 投票法多分类器组合方法1 3 2 1 2 基于先验知识的投票法分类器组合原理1 4 2 1 3 分类器组合结构1 6 2 2 组合分类器优化方法18 2 2 1 分类器差异性度量方法18 2 2 2 熵值法分类器差异性度量2 0 2 3 小结2 1 第三章基于分类器组合的遥感分类实验2 2 3 1 采用数据2 2 3 1 1 遥感数据2 2 3 1 2 参考数据。2 3 3 2 遥感数据预处理2 3 3 2 1 影像拼接2 3 3 2 1 几何校正2 3 3 2 1 影像裁剪2 4 3 3 基于先验知识的投票法分类器组合遥感分类实验2 5 3 3 1 实验过程及结果分析2 5 3 3 2 训练样本分布的影响3 5 v 3 3 3 景观特征的影响3 7 3 4 基于分类器差异性度量的分类器组合优化实验4 1 3 4 1 实验过程4 1 3 4 2 结果分析4 2 ，3 5 小结4 2 第四章结论与展望4 3 4 1 主要结论4 3 4 2 存在问题及展望4 4 参考文献4 6 致 射一5 2 硕士期间主要研究成果5 3 v i 茔 皿 覆 究 将增强我们对人类活动在全球变化中作用机制的认识，使得人类赖以生存的环境 向着有益的方向发展。 遥感数据和技术以其多时相、多波段、多平台、大尺度、周期短等特点，在 土地利用覆盖信息获取方面表现出特别的优势【l 】。因此，遥感技术已成为当前开 展土地利用覆盖变化研究的主要方式，基于遥感技术的土地利用覆盖变化动态 监测已经成为定量研究土地利用覆盖变化的重要基础【2 】。而准确、快速、可靠地 从遥感数据中获取感兴趣的土地利用覆盖信息是一项重要的工作。 对遥感影像进行分类，提取类别信息，是遥感数据与技术应用的基石，是遥 感数据转换为可用地理数据的技术核心【3 】。但受技术方法的限制，要想获得符合 实际应用的精度，目前主要依靠人工目视方法进行遥感图像解译。分类技术由目 视解译向自动提取发展，实现影像解译的自动化与高精度定量化，是遥感应用的 现实需求【1 1 。 因受地面景观的复杂性、数据选择、影像处理和分类方法选择等因素影响， 当前遥感影像自动分类的分类效果不甚理想，离实际应用要求还有一定差距。研 究者期望能寻找到能够快速、可靠和经济地获得所需信息的方法和技术路线，改 变目前遥感信息提取的大量实践中采用人工目视解译的现状。 分类算法的研究仍是提高遥感应用性的主要方向。而分类算法研究中，一方 面为新的方法的提出，以及对传统方法的改进，另一方面，利用已有方法的特点， 进行方法的融合也是一个新的研究方向。显然，在新的分类算法的提出比较困难 的情况下，充分利用现有方法的特点获得较为理想的分类结果就较为实际。 研究者常常对不同分类方法进行对比来寻找对于特定研究的最好的分类结 果。研究表明，没有哪一种分类方法在分类中占绝对优势，不同的分类器产生的 误分集合是不完全重叠的，对于分类输入的识别有着互补信息，因此可以利用分 类器的这种互补信息来提高识别性能【4 】，亦即通过适当的方法将现有分类算法结 合起来提高分类精度【5 】。 利用多分类器组合进行目标识别在模式识别领域已经得到广泛应用，但在遥 中南大学硕士学位论文第一章绪论 感领域的应用则较少【4 】。不同地理景观区域、不同季节获得的遥感图像中包含着 极其丰富而复杂的生物学和地学内容，而模式识别领域的图像处理则把各种图像 看作一串大小不等的数码，所以模式识别领域相关成果在遥感领域的应用研究面 临的主要问题是，如何根据遥感图像处理的特点，结合相关的生物学和地学知识， 寻找适用于遥感数据处理的方法。 针对以上问题，本文对多分类器组合方法的设计和优化进行研究，并应用于 遥感图像分类。研究一方面对目前应用最多的投票法组合分类进行改进，提高遥 感影像组合分类的精度，另一方面，基于分类器之间的性能差异性的度量，分析 分类器差异性与组合分类结果的关系，为组合分类器的设计与优化提供依据。本 文研究的预期成果，对于组合分类器在遥感图像处理中的应用，提高遥感影像土 地利用覆盖自动分类精度具有一定的理论指导和依据。 1 2 国内外研究进展 1 2 1 遥感图像计算机分类方法研究进展 针对遥感应用对计算机自动分类的要求，提高遥感影像的分类精度和可靠 性、分类自动化程度与智能化水平，以满足实际应用的需要，是当前遥感分类研 究的重要工作【6 】。基于统计模式识别方法对多光谱遥感数据进行土地利用覆盖分 类，是当前最常用的遥感分类技术 7 1 。由于地物类型分布的不确定性，这种基于 像元光谱统计特性的硬分类方法不容易解决同物异谱、异物同谱、混合像元等问 题，其分类结果往往出现漏分、错分的现象，导致分类精度不高【8 1 。随着模式识 别、计算机智能和相关技术的发展，各种新理论新方法相继涌现，促进了传统分 类方法的改进和新方法的发展。 论易于理 绪论 数来分离 影像类别。因此，非参数分类方法特别适用于将非光谱数据加入到分类过程中。 许多研究表明，在复杂的地面景观中，非参数分类可以提供比参数分类更好的分 类结果【1 0 】【1 1 】。最普遍使用的非参数分类方法是平行六面体法、最邻近法等。近 些年一些新的方法如人工神经网络、决策树、支持向量机和专家系统也得到广泛 应用【1 2 - 1 9 1 。 。 ( 2 ) 亚像元分类 目前大多数分类方法是基于逐像元信息的，其中每个像元被分类到一种类别 中，并且类别是互斥的，称为硬的分类方法。由于地面景观的异质性和遥感影像 空间分辨率的限制，中低空间分辨率数据中普遍存在着混合像元，影响了逐像元 分类中遥感数据的有效使用。亚像元分类方法，通过求出像元内不同地物的面积 比以提高分类精度，是一种软分类方法【8 】。它提供了比逐像元方法更为恰当的土 地覆盖表达和更为精确的土地覆盖区域估计。在亚像元分类中，每个位置由所有 待选类别中的一个或多个成员组成，因此要用到模糊表述方法来说明各类别的面 积比例。模糊集技术【2 0 】和光谱混合分析分类【2 l 】是用于克服混合像元问题的最普 遍的方法。陈杰等【2 2 】在采用地物导向分割对遥感影像分割的基础上，利用影像 地物的光谱组合特征值以及空间形状、拓扑特征以及语境关系信息，对研究区土 地利用信息进行模糊监督分类。研究结果表明基于该方法可以获得比常规硬分类 更为合理、信息含量更为丰富的输出结果。许瑁等【2 3 】采用线性光谱混合分析法 对台湾的s p o t 卫星影像进行像元分解，一次来提取槟榔树专题信息。研究表明， 该方法不仅可以有效地提取槟榔树分布的范围，还计算出槟榔树分布的密度。 ( 3 ) 面向对象的分类 基于像元的分类法常存在噪声影响大、边界像元或混合像元分类不准确、目 视效果差等问题，尤其是随着遥感影像空间分辨率的提高，这一问题愈显突出【2 4 1 ， 这是由于复杂地面景观的异质性导致了相同土地覆盖类型中高的光谱变异。为解 决这个问题，研究者提出了面向对象的分类方法，可以有效提高分类精度【2 5 】。 面向对象的分类是在综合利用遥感数据的光谱、纹理特征、拓扑关系以及专题信 息，采用多尺度分割技术，将影像分割成许多相对同质的对象，然后对这些对象 进行统计或模糊分类【7 1 。它的基本处理单元是有意义的影像对象和它们的相互关 系，而不是单个的像元【2 6 1 。图像分割对对象的合理性具有决定性作用，从而决 定了分类结果的好坏。由于图像分割的目的不同，需建立的图像对象不同，其所 需分割尺度也不同。所以，在对影像进行分割时，必须根据实际情况多次实验， 寻找到适合的分割尺度以提高分类质量【2 7 1 。b e n z 等【2 8 1 证明面向对象的分类方法 3 中南大学硕士学位论文 第一章绪论 能够得到比逐像元分类方法更好的分类结果。苏伟等【2 9 】利用多尺度、多变量影 像分割方法，使用甚高空间分辨率q u i e k b i r d 遥感影像和l i d a r 数据，运用面 向对象的分类方法，进行了吉隆坡城市中心区土地利用覆被分类。结果表明，该 方法可取得理想的分类结果。不足之处就是无法同时利用多尺度的优势，使用单 一的尺度很难有效描述多尺度目标的特性。陈云浩等【3 0 】利用多尺度分割形成对 象，通过建立对象的层次结构，计算对象的光谱特征、几何特征、拓扑特征等， 形成分类规则，并通过不同对象层间信息的传递和合并实现对影像的分类，得到 了满意的结果。 ( 4 ) 基于知识的分类 由于不同类型的辅助数据越来越易于获得，如数字高程模型、土壤图、住宅 与人口密度，所以可以将它们以不同的方式融合到分类过程中。所以，可以利用 土地覆盖类型和所选辅助数据的空间分布模式的关系来进行分类，即为基于知识 的分类。例如，高程、坡度和方位与山区的植被分布有关。因此地面特征数据对 于植被类别的分离很有用。人口、住宅和道路密度与城市土地利用分布有关，并 且可能在商业工业土地与高密度住宅用地、休闲草地与牧地农作物或者住宅区 与森林地的区分中有所用。在分类中有效使用这些关系被证明可有效提高分类精 度。基于知识的分类中一个关键的步骤是生成用于分类的规则。h o d g s o n 等【3 l 】 总结了用于建立影像分类规则的方法：直接从专家那得到知识和规则，然后改进 规则；使用认知方法间接提取变量和规则；凭经验由观测数据自动归纳产生规则。 w i l l i a ml 等人【3 2 】在基于t m 数据原始波段的基础上加入了土壤调整植被指数 ( s a v i ) 和纹理信息，并利用辅助数据库对初始分类影像进行基于专家知识的 分类，使得分类结果有了很大的提高。王雷等【3 3 】通过地面类型数据将遥感影像 分类与地学知识发现结合起来，使用统计值和分布谱来定量化表达地学知识，形 成一体化的遥感地学分类系统。骆剑承等【3 4 】在多源遥感信息及相关的辅助信息、 专家知识支持下，建立遥感智能地学图解模型( r s i g 蹦) 进行香港港岛地区的 土地覆盖土地利用分类和更新，为实际遥感影像自动解译工作提供一种新的工 作思路。 由于g i s 处理不同来源数据和空间建模的能力，所以它在基于知识的分类 方法的发展中有重要作用。g i s 数据可作为辅助数据用于训练区的选择，分类数 据预分层，分类结果后处理，也可作为附加图像“波段”用于分类中，使得遥感图 像在g i s 支持下可得到较高的分类精度【8 】。同时，从g i s 空间数据库中挖掘知 识，并以专家系统为纽带，将知识有效应用于遥感图像分类成为一个研究热点。 研究表明，从g i s 中挖掘感兴趣的知识参与分类比直接利用g i s 数据可以更有 效地提高分类精度【3 5 】，【3 6 】【3 7 1 。 4 中南大学硕士学位论文第一章绪论 ( 5 ) 分类方法的结合 不同的分类方法，如参数分类( 如最大似然法) 和非参数分类( 如神经网络， 决策树法) ，均有其优势和局限性【9 】。例如，当可以得到足够的训练样本，并且 数据集的土地覆盖特征是正态分布的，那么最大似然法分类就可以产生准确的分 类结果。相反地，当影像数据是不规则分布，神经网络和决策树法可能会表现出 更好的分类结果【3 8 1 。研究表明，两种或是更多的分类方法的结合提供了比使用 单一分类方法更好的分类精度【1 】【3 9 】，【加】，【4 1 】，【4 2 】 1 2 2 多分类器组合遥感分类研究进展 ( 1 ) 分类器组合方法研究 多分类器组合的思想和方法研究最先在模式识别领域发展，如今已经成为一 个重要的研究课题，发展了许多多分类器组合的理论和方法。k i t t l e r l j i 2 t 未找粥佣灏 对多分类器集成框架进行了分析，并给出了集成理论框架。a l i 等【4 3 】指出，当各 个分类器存在显著不同时，分类器组合的作用更为明显，如采用不同的特征、不 同的训练集合，这样由于不同的分类器采用的分类曲面族不一样，所用的特征也 可以不同，分类器之间就具备较强的互补性。如果能够把不同分类器的优点利用 起来，同时抑制它们的缺点，则这种集成起来的识别系统能够达到较高的精度， 并且在识别速度上不会减弱【4 5 1 。多分类器的组合已经成功应用于信号处理错误悻找 粥堋氟，手写体和文字数字识另l j 4 6 ，医学图像识别【4 8 】，生物认证以及指纹识别等 多个领域，已出现很多成熟的方法和技术。 定义组合规则，使多分类器组合系统有更好的性能是多分类器组合研究的核 心问题。就组合结构而言，多分类器的组合有级联和并联两种形式。采用级联形 式时，前一级分类器可以为后一级分类器提供相关的分类信息，指导下一级分类 器的分类进程【4 9 】。而在并联形式进行分类器组合时，各个分类器是独立设计的， 组合的目的就是将各单个分类器的结果以适当的方式综合起来成为最终识别结 果 5 0 】。近年来，对多分类器的研究主要集中在并联形式的研究，特别是组合方 法的研究上。 级联形式的分类器组合在遥感数据分类的应用也较多。如l e l a n d 等人【3 9 】在 利用雷达影像进行土地覆盖的分类时，将专家系统分类法和i s o d a t a 法结合，取 得了较好的分类结果；l 0 等【5 l 】使用结合了非监督的i s o d a t a 和监督的模糊分 类的混合方法进行l a n d s a t7e t m + 数据分类，在非监督的聚类方法i s o d a t a 进 行分类的基础上，对未分类的混合像元进行监督的模糊分类，取得了优于单一 i s o d a t a 分类的分类精度，方法适合复杂城市环境的土地利用覆盖制图。l i u 5 中南大学硕士学位论文第一章绪论 等【5 2 】将专家分类器的输出结果作为人工神经网络分类器的辅助输入层，进行土 地覆盖分类。结果表明，在神经网络分类器中，结合恰当的相关专家知识可以得 到更高的分类精度。刘小平等【l l 在像元信息分解分类的基础上对传统决策树分类 方法进行改进，提出了一种基于像元信息分解和决策树相结合的遥感自动分类综 合模型，在决策树分类的框架内，分离出典型地物水体后，利用像元信息分解法 进行植被、土壤和水泥地大类的提取，并且在后续的细分中采用了b p 神经网络 分类以及形状指数提取、光谱特征提取等方法，充分分离了各类型地物，总体分 类精度较最大似然法高了1 6 。 以并联形式进行分类器组合时，各分类器提供的信息可以是分类类别，即决 策输出；也可以是有关类别的度量信息( 如距离或概率等) ，即度量输出。吕岳 等【5 3 】认为，一般而言，在实际应用中前者即决策输出更具现实意义，因为该方 式下各个分类器设计是完全独立的，不必考虑其他分类器的输出形式和信息，便 于将已有的独立分类器组合成为一个高性能的识别系统。 投票法是多分类器组合中最先使用的并联组合方法，同时也是目前最简单和 使用最多的方法。它属于抽象级的组合方法，即子分类器输出的是单纯的分类类 别，组合是将各分类器的输出融合形成新的分类决策。其基本思想是通过投票的 方式决定分类器输出结果不一致时的类别确定问题。投票规则源于一种假设：群 体的判断优于个体的判蝌引。 投票法中，多数投票规则以半数以上的分类器一致分类的类别作为待分类模 式的最终类别；保守投票规则认为只有当所有的分类器输出结果完全一致时，确 定该输出结果为最终分类类别，否则，判定为未知类别。投票法的改进算法有加 权投票法、比较多数投票法等。 很多研究者将投票法及其改进算法应用于遥感图像分类。如l o r e n z o 等【蚓 利用多数投票法进行参数与非参数分类算法的结合，得到了良好的分类结果。张 秀英等【4 】以分割获得的城市植被分布斑块为处理基元，在不同特征空间中采集不 同的样本，利用多数投票规则对迭代自组织数据分析( i s o d a t a ) 、马氏距离、 最大似然、人工神经网络和专家系统法的分类结果进行组合，未分类的对象按照 先验识别概率最高的结果归类。结果显示，多数分类器结合方法的植被分类结果 比单个分类器的分类结果显著改善。柏延臣等【5 】利用不限定票数阈值的多数投票 法分类器组合进行了相同和不同特征集训练遥感图像分类研究。结果发现，多分 类器结合后总体分类精度高于单个分类器，但对于单个类别，其组合分类结果的 定高于单个分类器的精度。而且不同训练特征的多分类器结合的分类精 于相同训练特征的结果，说明采用不同的波段组合方式并没有真正增强 间的独立性。l i u 等人使用多数投票法结合最大似然、专家系统和神 6 中南大学硕士学位论文 第一章绪论 经网络分类法。对于某个像元，若三个分类器的输出结果都不相同，则将具有最 大生产者精度的类别赋给未知像元。结果说明，组合后的分类精度稍低于神经网 络分类，但明显高于最大似然和专家系统分类结果。 此外，基于贝叶斯理论的组合方法也是分类器并联组合中应用较多的方法。 它实质是用混淆矩阵来解决传统投票规则中没有考虑各个分类器之间的性能差 异的缺点。混淆矩阵表示了分类器的性能，它是通过训练样本获得的先验知识。 贝叶斯法可看作根据混淆矩阵对未知样本估计后验概率的过程。 柏延臣、王劲峰【5 】使用贝叶斯平均法进行了最大似然、多层感知器神经网络、 最小距离和马氏距离等4 个分类器的组合，用于t m 影像土地覆盖分类。结果表 明，此方法的总体精度明显高于单个分类器精度。同时作者也注意到了分类器之 间的独立性可能对组合结果有所影响，独立性较差的分类器组合精度可能也较 低。b r u z z o n e 等【5 5 j 利用贝叶斯平均法、贝叶斯加权平均法进行多分类器结合， 在多时相遥感图像土地覆盖变化检测实验中可以有效提高检测精度。w a r r e n d e r 和a u g u s t i l m 【5 6 】使用贝叶斯技术将最大似然法和神经网络法结合进行遥感影像分 类组合，结果表明组合后分类精度得到了提高。 但贝叶斯组合方法在一定程度上解决了传统投票规则的缺点的同时，也存在 缺点。该方法是基于独立性假设的，即分类器之间相互独立。在多分类器组合中， 这种假设是否成立，有待于进一步考i e 4 9 1 。孙坏江等【5 7 】认为不同的分类器都在 解决相同的分类问题，对同一样本进行分类，不可能达到完全的独立性，因此这 种独立性假设对组合系统性能影响程度有待于进一步研究。 除以上方法之外，研究者还提出了许多方法和技术来进行遥感图像多分类器 的组合。如d e b e i r 等即】在对比利时西部地区的遥感影像土地利用覆盖分类时， 比较了自举与特征子集混合分类器( am i x t u r eo fb a g g i n ga n df e a t u r es u b s e t c l a s s i f i e r ，b a g f s ) 和两个单分类器( 最近邻法和决策树法) 的分类结果，结果 显示b a g f s 组合分类器可以大大提高分类精度。宫大鹏掣5 8 】提出了混合组合规 则，将级联和并联形式集成起来用于高光谱影像分类，先使用重新判定法的级联 方式进行分类，对于仍未分类的像元，再采用并联形式组合分类进行分类，将具 有最大权值和的类别确定最终类别，取得了较为理想的处理结果。s t e e l e 4 l 】讨论 了乘法规则和迭代回归法进行多种分类器的结合，表明适当的多分类器结合有助 于提高土地覆盖成图精度。周红英等【5 9 】采用了一种结合投票规则、最大后验专 家规则的a d a b o o s t m 2 的多分类器组合规则，利用a d a b o o s t 算法解决单一分类 器的疑难类别区分问题，对于无法正确学习的类别样本，能够集中学习，并将学 习的结果与其他分类器的结果组合输出。研究中选用无隐层的高阶神经网络为弱 学习，通过对天津地区a s t e r 影像数据分类，得到了优于单分类器的结果。陈 7 中南大学硕士学位论文第一章绪论 学泓掣删提出了一种基于误差分析的组合分类器，分别估计了最大似然法和支 持向量机法分类在计算过程中的误差，给出了规则输出的置信区间，再根据置信 区间的大小( 即规则输出的误差) 对两种分类方法的输出结果进行加权平均，从 而得到更精确的规则输出。结果表明，新的组合分类器能够取得比单一的分类器 更高的分类精度，而且两个分类器的独立性越强，组合分类器的效果越好。 ( 2 ) 分类器差异性度量研究 对多分类器系统的研究，主要为分类器组合方法的提出和改进。到目前为止， 研究者们已经提出了大量的分类器组合方法。但在组合方法增加的同时，对多分 类器系统的研究也就出现了新的难题：如何选择合适的子分类器，最大程度的保 留有用分类器和去除无用分类器；如何选择有效的组合方法，以最大程度的提高 组合分类器的性能。研究者希望找到某种分类器的关联度量方式来对组合的多分 类器系统的构造提供依据。 通常认为，组合多个完全一致的分类器( 输入输出均完全一样) 不会对性能 有任何帮助，参与多分类器组合的分类器必须是存在一定差异的，即至少其中某 些分类器可能会对其中一些多分类器判断错误的样本做出正确的判断。这种性质 被称作分类器的差异性。衡量这种差异性的方法称为差异性度量方法【6 1 】。它可 以度量多分类器系统中子分类器之间的关系，用于预测它们之间相互结合的能 力，并且通过这种预测能力对多分类器系统的设计和优化进行指导【5 1 。 目前对分类器差异性度量的研究主要集中在两个方面，即寻找合适的度量方 法，以及找到了合适的度量方法之后，如何利用它来对集成的多分类器系统进行 改造优化，从而达到提高分类性能的目的【6 2 】。 对于分类器差异性的定义、测量及应用，已