基于深度学习的图像融合方法综述

t第28卷第1期(总第321期)t第28卷第1期(总第321期)2023年1月16日国图象图形学报》投稿，均视为同意在本刊网站及CNKI等全文数据，所刊载论文已获得著作权人的本刊所有图片均为非商业目的使有内容，未经许可，不得转载或CopyrightAllrightsreservedbyJournalofImageandGraphics,InstituteofRemoteSensingandDigitalEarth,CAS.Thecontent(includingbutnotlimitedtext,photo,etc)publishedinthisjournalisfornon-commercialuse.刊名题字：宋健月刊(1996年创刊)学院天信息创新研究院与计算数学研究所编话址《中国图象图形学报》编辑出版委员会北京市海淀区北四环西路19号100190jig@广告发布登记号京朝工商广登字20170218号总发行北京报刊发行局订购全国各地邮局际图书贸易集团有限公司 印刷装订北京科信印刷有限公司JournalofImageandGraphicsleinscriptionSongJiantedinSuperintendedbyChineseAcademyofSciencesSponsoredbyAerospaceInformationResearchInstitute,CASinaSocietyofImageandGraphicseofAppliedPhysicsandComputationalMathematicsrinChiefWuYirongditorPublisherEditorialandPublishingBoardofJournalofhicsAddressNo,North4thRingRoadWest,HaidianDistrict,ngPRChinaZipcode100190E-mailjig@TelephonsticAllLocalPostOfficesinChinaverseasChinaInternationalBookTradingCorporationPOBoxBeijing00048,P.R.China))PrintedbyBeijingKexinPrintingCo.,Ltd.CN11-3758/TBISSN1006-8961CODENZTTXFZ2023年1月2023年1月第28卷第1期(总第321期)ZhongguoTuxiangTuxingXuebao红外与肝脏肿的多光谱遥合(第0290页)《中国图象图形学报》图像融合专刊简介李树涛，吴小俊，马佳义，白相志，刘羽，李辉，韩向娣.....................................................0001的图像融合方法综述唐霖峰，张浩，徐涵，马佳义................................................................................................0003法综述李成龙，鹿安东，刘磊，汤进................................................................................................0037全色锐化的卷积神经网络方法研究进展邓良剑，冉燃，吴潇，张添敬................................................................................................0057焦图像融合方法综述王磊，齐争争，刘羽..............................................................................................................0080图像融合技术进展左一帆，方玉明，马柯德.......................................................................................................0102黄渝萍，李伟生....................................................................................................................0118光图像融合图像融合质量评价指标分析孙彬，高云翔，诸葛吴为，王梓萱.........................................................................................0144光图像渐进融合深度网络邱德粉，胡星宇，梁鹏伟，刘贤明，江俊君...........................................................................0156红外与可见光图像分组融合的视觉Transformer孙旭辉，官铮，王学..............................................................................................................0166积相结合的红外与可见光图像融合张子晗，吴小俊，徐天阳.......................................................................................................0179高分辨率可见光图像引导红外图像超分辨率的Transformer网络邱德粉，江俊君，胡星宇，刘贤明，马佳义...........................................................................0196红外与可见光图像融合王彦舜，聂仁灿，张谷铖，杨小飞.........................................................................................0207跨模态图像融合的并行分解自适应融合模型周涛，刘珊，董雅丽，白静，陆惠玲.....................................................................................0221应翔，刘振，朱佳琳，姜汉，张瑞璇，高洁...........................................................................0234残差密集注意力网络多模态MR图像超分辨率重建刘羽，朱文瑜，成娟，陈勋....................................................................................................0248的肝脏肿瘤检测马金林，欧阳轲，马自萍，毛凯绩，陈勇..............................................................................0260理光谱与多光谱图像融合方帅，许漫.............................................................................................................................0277络的多光谱遥感图像融合余典，李坤，张玮，李对对，田昕，江昊..............................................................................0290的渐进增强遥感图像全色锐化算法贾雅男，郭晓杰....................................................................................................................0305特征融合的音视频对抗对比学习盛振涛，陈雁翔，齐国君.......................................................................................................0317提供，影像来源于中国高分一号卫星。Volume28,Number1PublishedJanuary16,2023JOURNALOFIMAGEANDGRAPHICSInfraredandvisibleimagefus-levelguidednetworkP0207)Multiscaleadaptivefusionnet-workbasedalgorithmforlivertumordetection(P0260)tisensingP0)TangLinfeng,ZhangHao,XuHan,MaJiayi...........................................................................0003yLiChenglong,LuAndong,LiuLei,TangJin...........................................................................0037viewDengLiangjian,RanRan,WuXiao,ZhangTianjing...............................................................0057WangLei,QiZhengzheng,LiuYu..........................................................................................0080ZuoYifanFangYumingMaKede.........................................................................................0102HuangYuping,LiWeisheng...................................................................................................0118SunBinGaoYunxiangZhugeWuweiWangZixuan.............................................0144QiuDefen,HuXingyu,LiangPengwei,LiuXianming,JiangJunjun.......................................0156SunXuhui,GuanZheng,WangXue.......................................................................................0166ZhangZihan,WuXiaojun,XuTianyang.................................................................................0179QiuDefen,JiangJunjun,HuXingyu,LiuXianming,MaJiayi.................................................0196angYanshunNieRencanZhangGuchengYangXiaofeiedicalImageProcessingZhouTaoLiuShanDongYaliBaiJingLuHuiling....................................0221YingXiangLiuZhenZhuJialinJiangHanZhangRuixuanGaoJie.........................0234LiuYuZhuWenyuChengJuan,ChenXun...........................................................................0248MaJinlin,OuyangKe,MaZiping,MaoKaiji,ChenYong........................................................0260mageProcessingFangShuai,XuMan...............................................................................................................0277YuDianLiKunZhangWeiLiDuiduiTianXinJiangHao.........................................0290JiaYanan,GuoXiaojie...........................................................................................................0305dalInformationFusionusionShengZhentao,ChenYanxiang,QiGuojun...........................................................................03173中图法分类号:TP391文献标识码:A文章编号:1006-8961(2023)01-0003-340003-0036(唐霖峰,张浩,徐涵,马佳义.2023.基于深度学习的图像融合方法综述.中国图象图形学报,28(01):0003-0036)[DOI:10.11834/基于深度学习的图像融合方法综述武汉大学电子信息学院,武汉430072摘要:图像融合技术旨在将不同源图像中的互补信息整合到单幅融合图像中以全面表征成像场景,并促进后续的视觉任务。随着深度学习的兴起,基于深度学习的图像融合算法如雨后春笋般涌现,特别是自编码器、生成对抗网络以及Transformer等技术的出现使图像融合性能产生了质的飞跃。本文对不同融合任务场景下的前沿深度融合算法进行全面论述和分析。首先,介绍图像融合的基本概念以及不同融合场景的定义。针对多模图像融合、数字摄影图像融合以及遥感影像融合等不同的融合场景,从网络架构和监督范式等角度全面阐述各类方法的基本思想,并讨论各类方法的特点。其次,总结各类算法的局限性,并给出进一步的改进方向。再次,简要介绍不同融合场景中常用的数据集,并给出各种评估指标的具体定义。对于每一种融合任务,从定性评估、定量评估和运行效率等多角度全面比较其中代表性算法的性能。本文提及的算法、数据集和评估指标已汇总至/Linfeng-Tang/Image-Fusion。最后,给出了本文结论以及图像融合研究中存在的一些严峻挑战,并对未来可能的研究方向进行了展望。关键词:图像融合;深度学习;多模图像;数字摄影;遥感影像s收稿日期:2022-05-18;修回日期:2022-07-18;预印本日期:2022-07-25基金项目:国家自然科学基金项目(62276192);湖北省自然科学基金项目(2020BAB113)4,,,nd,,,,,,,,,,,,,,,,y,,,,0引言由于成像设备硬件限制,单一类型或单一设置下的传感器通常无法全面地表征成像场景(Liu等,2018;Zhang等,2021b)。例如可见光图像通常包含丰富的纹理细节信息,但却容易遭受极端环境和遮挡的影响而丢失场景中的目标。与之相反,红外传感器通过捕获物体散发的热辐射信息成像,能够有效地突出行人、车辆等显著目标,但是缺乏对场景的细节描述(Ma等,2019a)。此外,具有不同ISO(in-间的相机只能捕捉在其动态范围内的场景信息,而不可避免地丢失动态范围之外的信息。值得注意的是,不同类型或不同光学设置下的传感器通常包含大量互补信息,这也启发人们将这些互补信息集成5 第28卷／第1期／2023年1月唐霖峰，张浩，徐涵，马佳义/基于深度学习的图像融合方法综述到单一的图像中。因此,图像融合技术应运而生。根据成像设备/成像设置的差异,图像融合通常字摄影图像融合和遥感影像融合。1)多模图像融合。由于成像原理的限制,单一类型的传感器只能捕获部分场景信息。多模图像融合能够将多个传感器捕获的有用信息整合到单幅的融合图像中,以实现对场景有效且全面地表征。典型的多模图像融合包括红外和可见光图像融合以及医学图像融合。2)数字摄影图像融合。由于光学器件的限制,数码相机通常无法在单一设置下收集成像场景中的所有信息。具体来说,数码相机拍摄的图像通常只能适应一定范围的光照变化,并且只能清晰地呈现在预定义景深中的场景。多曝光图像融合和多聚焦图像融合作为数字摄影图像融合中典型的任务能够将不同设置下拍摄的图像进行融合,并生成高动态的融合图像。3)遥感影像融合。在保证信噪比的前提下,光相互矛盾的(Zhang等,2021b)。这意味着,仅依靠一种传感器无法同时捕获高空间分辨率、高光谱分辨率的图像。遥感影像融合旨在将空间分辨率和光谱分辨率不同的图像进行融合,得到一幅高空间分辨率和高光谱分辨率兼备的融合图像。多光谱与全色图像融合是最具有代表性的遥感影像融合场景。从源图像的成像角度来看,遥感影像融合也属于多模图像融合。但是遥感影像融合相较于多模图像融合需要更高的空间和光谱保真度来提升分辨率。因讨论。这3种图像融合场景示意图如图1所示。融合图像能够吸收源图像中的互补特性,并具有更好的场景表达和视觉感知效果,从而能够有效地促进诸等实际计算机视觉应用。图1各类图像融合场景示意图在深度学习席卷计算机视觉领域之前,图像融合问题已经得到了深入研究。传统的图像融合算法通常是在空间域或变换域(通过某种数学变换将图像转换至变换域)执行活动水平测量并手动设计融合规则来实现图像融合(Ma等,2019a)。经典的传统图像融合框架主要包括基于多尺度变换的融合框ue2016;Liu等,2017a;楼建强等,2017;焦姣和吴玲2021)、基于稀疏表示的融合框架(李奕和吴小俊,2014;Liu等,2016;杨培等,2021)、基于子空间的2016)、基于显著性的融合框架(Ma等,2017;霍星等,2021;杨培等,2021)、基于变分模型的融合框架(马宁等,2013;周雨薇等,2015;Ma等,2016)等。尽管现有的传统图像融合算法在多数情况下能够产生较为满意的结果,但是仍然存在一些阻碍其进一步发展的难题。首先,现有的方法通常使用相同的变换或表示从源图像中提取特征,却没能考虑不同源图像存在本质差异。其次,手工9设计的活动水平测量和融合规则无法适应复杂的融合场景,而且为了追求更好的融合性能,活动水平测量和融合规则的设计变得越来越复杂(Li等,近年来,深度学习以其强大的特征提取和表达能力主导了计算机视觉领域的发展,并在诸如图像HeHuang标检测(Red-monRen(Ronneberg-er等,2015;Chen等,2018)等视觉任务上展现了显著的性能优势。为了克服传统算法的不足,图像融合领域的研究者也探索了大量基于深度学习的图像融合算法。现有基于深度学习的图像融合算法主要关键问题:特征提取、特征融合和图像重建。根据采用的网络架构,基于深度学习的图像融合算法可分为基于自编码器(auto-encoder,AE)的图像融合框架、基于卷积神经网络GAN)的图像融合框架3类。图2展示了这3类图像融合框架的整体流程。图2不同图像融合框架示意图1)基于自编码器(AE)的图像融合框架首先在大型数据集上预训练一个自编码器,用来实现特征提数据集(Deng等,2009)。然后采用手工设计的融合策略来整合从不同源图像中提取的深度特征以实现LiWuLi等,2020a),然而这些手工设计的融合策略并不一定适用于深度特征,从而限制了基于AE的融合框架的性能。2)基于卷积神经网络(CNN)的图像融合框架通过设计网络结构和损失函数来实现端到端的特征提取、特征融合和图像重建,从而避免手动设计融合规则的烦琐(Ma等,2021c)。图2(b)是一种主流的基于CNN的图像融合框架,通过度量融合图像与源图像之间的相似性来构造损失函数,指导网络进行端到端训练(Han等,2022)。也有方法利用先验知识设计一个伪标签图像与融合图像构造损失函数(Deng等,2021)。此外,有部分基于CNN的方法将卷积神经网络作为整体方法的一部分用于特征提取或活动水平测量(Liu等,2017c)。3)基于生成对抗网络(GAN)的图像融合框架将图像融合问题建模为生成器与判别器之间的对抗7 第28卷／第1期／2023年1月唐霖峰，张浩，徐涵，马佳义/基于深度学习的图像融合方法综述博弈问题。如图2(c)所示,基于GAN的图像融合框架通过判别器来迫使生成器生成的融合结果在概率分布上与目标分布趋于一致,从而隐式地实现特征提取、融合和图像重建。现有基于GAN的融合方法通过源图像(Ma等,2020c)或者伪标签图像(Xu等,2020b)来构造目标分布。根据训练过程中使用的监督范式,基于深度学习的图像融合算法还可分为无监督图像融合框架、自监督图像融合框架和有监督图像融合框架。本文根据网络架构并辅以监督范式,全面系统地阐述基于深度学习的多模图像融合、数字摄影图像融合以及遥感影像融合的研究进展,以便人们能够更好地掌握深度图像融合领域的研究现状。本文结构框架如图3所示。首先结合网络架构和监督范式,讨论3大融合场景中有代表性的基于深度学习的方法以及通用的图像融合算法。然后简要介绍不同融合任务中的数据集和评估指标,并对有代表性的算法进行全面评估分析。最后,对全文进行总结,并结合图像融合中存在的挑战提出展望。图3本文结构框架1方法回顾多模图像融合旨在通过整合不同传感器捕获的互补信息来全面地表征成像场景,典型的多模图像融合任务主要包括红外和可见光图像融合以及医学图像融合。红外传感器通过捕获物体的热辐射信息成像,即使在极端条件、恶劣天气及部分遮挡情况下也能够有效地突出显著目标。但是红外图像无法提供足够的环境信息,如纹理细节、环境照明等。与之相反,可见光传感器通过收集物体表面的反射光成像,因此可见光图像包含丰富的纹理细节信息并更加符合人类的视觉感知。红外和可见光图像融合旨在整合源图像中的互补信息,并生成既能突出显著目标又包含丰富纹理细节的高对比度融合图像(Zhang等,2020c),主要包括基于AE、基于CNN和基于GAN的红外和可见光图像融合框架。基于AE的方法首先在大规模自然图像数据集上训练一个自编码器,然后预训练的编码网络和解码网络分别用于实现特征提取与图像重建,最后一般使用手工设计的融合策略融合编码网络提取的深度特征来实现图像融合。为了强化编码网络提取特和王建中等人(2021)在基于AE的图像融合框架中及残差密集块。此外,(2022)在基于AE的融合框架中引入注意力机制,使网络能够更加关注显著目标以及纹理细节信息。8(2021b)将解离化表征学习注入到了基于AE的图像融合框架中。值得一提的是,上述算法均采用手工设计的融合策略(例如逐像素相加、逐像素加权求和以及最大选择策略)融合深度特征,在传统方法中取得了不错的融合效果,但是深度特征通常具有不可解释性,因此手工设计的融合策略无法为深度特征分配恰当的权重,以至于限制了这类算法的性能提升。Xu等人(2021c)基于像素级显著性和可解释重要性评估,提出一种可学习的融合策略,能够根据深度特征的重要性和显著性,为不同源图像的特征分配恰当的权重,自适应地融合这些深度特征,进而赋予深度融合算法更强的可解释性。然而,计算像素级显著性以及执行重要性评估十分耗时。所以,进一步研究实时的可学习融合策略将是未来基于AE的图像融合框架下的研究热点之一。基于CNN的端到端图像融合框架是另一种避免手动设计融合规则弊端的技术路线。这类方法通常依靠设计的网络结构和损失函数隐式地实现特征合和图像重建。一方面,人们提出聚合残差密集网络(Long等,2021)、基于双注意力的特征融合模块(Li等,2021d)、梯度残差密集块(Tang国洋等,2022)和跨模差分感知融合模块(Tang等,2022b)等网络结构来提升融合性能,但这些网络结构通常会增加网络复杂度,从而影响方法的运行效率。Liu等人(2021b)提出一种基于网络架构搜索法,能够针对不同融合任务的特点,自适应地构造高效且有效的特征提取、特征融合以及。另一方面,人们使用强度损失、梯度M义损失等损失函数从不同层面约束融合图像与源图像的相似性。值得一提的是,Li等人(2021b)结合元学习实现了不同分辨率条件下,只需重新训练一个学习模型便能生成任意大小的融合结果。此外,Tang等人(2022a)结合高层视觉任务(目标检测、语义分割等)的需求,提出一种高层视觉任务驱动的图像融合框架(SeAFusion)来集成尽可能多的语义信息,以提升高层视觉任务在融合图像上的性能。尽管考虑了高层视觉任务的需求,但是作为初步的尝试只考虑了在损失函数上的改进。如何以一种更加自洽的方式探索图像融合问题与高层视觉任务之间的内在联系将是未来图像融合领域的发展趋势之一。督信息的情形下也能够有效地建模数据分布,该特性非常符合红外和可见光图像融合的需求。Ma等人(2019b)在FusionGAN中首次将图像融合问题定义为生成器与判别器之间的对抗博弈。具体来说,生成器负责捕获源图像样本中的潜在分布,并将这些分布特性充分集成到融合图像中。判别器负责从分布上判别输入的是源图像还是融合图像,从而迫使生成器合成的融合结果尽可能多地包含源图像的分布特性。在FusionGAN之后,细节损失、边缘增2021b)、视觉显著性图(周祎楠和杨晓敏,2021)、条ng2021c)、多分类生成对抗网络(Ma等,2021d)、聚合纹理图以及引导滤波器(Yang等,2021a)等新颖的损失和网络相继引入到基于GAN的融合框架中,进一步提升了融合性能。然而单判别器容易在训练过程中造成模态失衡,导致融合结果无法保持红外图像的对比度或可见光图像中的纹理细节信息。Xu等人(2019)和Ma等人(2020c)提出利用双判别器维持不同模态间的信息平衡,并更好地约束融合结果的概率分布。在此基础上,Li等人(2021c,d)将注意力机制注入到基于GAN的图像融合框架中,以促使生成器和判别器更关注那些重要区域。类似于SeAFusion,Zhou等人(2021)将语义标签引入到基于GAN的图像融合框架中,从而迫使生成器保留更多的语义信息。尽管基于GAN的图像融合算法能够生成较好的融合结果,但如何在训练过程中维持生成器与判别器的平衡仍值得深入研究。基于深度学习的多模图像融合算法归纳如表1所示。根据源图像表征的信息,医学影像可以分为结构图像和功能图像两大类。结构图像主要提供结构utedtomography可以很好地反映骨头和植入物等密质结构,MRI9 第28卷／第1期／2023年1月唐霖峰，张浩，徐涵，马佳义/基于深度学习的图像融合方法综述表1多模图像融合研究归纳方法场景基础框架监督范式发表期刊或会议CNN(Liu等,2017b)MedCNN无监督MedCNN无监督GFPPC-GAN(Tang等,2019)MedGAN无监督CMMMDenseFuse(Li和Wu,2019)VIFAEDDcGAN(Xu等,2019)VIF和MedGAN无监督IJCAIFusionGAN(Ma等,2019b)VIFGAN无监督CCN-CP(Wang等,2020)MedCNN无监督MGMDcGAN(Huang等,2020a)MedGAN无监督DDcGAN(Ma等,2020c)VIF和MedGAN无监督VIFAETIMEMFusion(Xu和Ma,2021)MedCNN无监督MedCNN无监督TCIMSPRN(Fu等,2021a)MedCNN无监督BSPCVIFCNN无监督SDDGAN(Zhou等,2021)VIFGAN无监督TMMVIFAECSF(Xu等,2021c)VIFAETCIDRF(Xu等,2021b)VIFAETIMVIFAETIMEAGIFLiub)VIFAETCSVTRXDNFuse(Long等,2021)VIFCNN无监督VIF和MedCNN无监督VIFCNN无监督TIMVIFGAN无监督VIFGAN无监督VIF和MedCNN无监督ACMMMGAN-FM(Zhang等,2021c)VIFGAN无监督TCIVIFGAN无监督TMMGANMcC(Ma等,2021d)VIFGAN无监督TIMMgANFuseLi021d)VIFGAN无监督TIMTC-GAN(Yang等,2021a)VIFGAN无监督TCSVTVIFGAN无监督CVPRVIFCNN无监督VIFCNN无监督注:场景中的Med代表医学图像融合场景,VIF代表红外和可见光图像融合场景。10肿瘤的功能和代谢,SPECT图像则反映组织器官和Ma能够反映与生物细胞分子分布相关的功能信息并展现细胞中的蛋白质分布。而高分辨率的相衬(phasecontrast,PC)图像能够清晰地展现包括细胞核和线粒体在内的亚细胞结构信息(Tang等,2021)。医学图像融合旨在将多幅不同类型图像中重要的、互补的信息整合到一幅信息丰富的融合图像中,帮助医生快速准确地诊断疾病。本文通过基于CNN和基于GAN的图像融合框架介绍深度学习背景下医学图像融合的研究进展。最初,基于CNN的医学图像融合方法只利用卷积神经网络实现活动水平测量或特征提取。一方面,部分方法基于拉普拉斯金字塔(Liu等,2017b)或对比度金字塔(Wang等,2020)实现图像分解和重建,然后使用暹罗卷积神经网络度量源图像的像素活动水平并生成融合权重图;另一方面,一些方法(Lahoud和Süsstrunk,2019)采用预训练的卷积神经网络从源图像中提取深度特征,并利用高斯滤波器融合这些深度特征来获得融合图像,然而采用的网络并未在医学图像上进行预训练,因而无法有效捕获不同类型医学图像中的特性。基于此,人们提出了基于CNN的端到端医学图像融合算法(Liang等,2019;Fu等,2021a)。类似于基于CNN的红外和可见光图像融合方法,基于CNN的医学图像融合算法也通过精心设计网络结构和损失函数,以端到端的特征提取、融合以及图像重建。具体来说,Tang等人(2021)提出了由结构引导的功能特征提取分支、功能引导的结构特征提取分支以及细节保留模块组成的细节保留交叉网络(detailpreservingcrossnetwork,DPCN),实现端到端的GFP和PC图像融合。另外,Xu和Ma(2021)提出的无监督的端fusionnetwork,EMFusion)能够通过施加表层约束和深层约束,实现信息增强以及互补信息聚合。基于GAN的方法通过对抗学习将医学图像中重要信息的潜在分布进行建模,如功能图像中的强度分布和结构图像中的空间纹理细节等。GFPPC-(Tang等,2019)首次将生成对抗网络引入到医学图像融合任务中,并设计了基于融合图像与PC图像之间的对抗学习来强化生成网络对结构信息保存的能力。此外,Zhao等人(2021a)将密集连接和编—解码结构注入到基于GAN的医学图像融合框架中,并设计了细节损失和结构相似度损失来强化生成网络对功能信息和边缘细节的提取能力,然而单个判别器无法在对抗过程中有效维持结构信息与功能信息的平衡。Ma等人(2020c)提出一个多判别器的衡的信息融合。具体来说,DDcGAN通过建立单个生成器与多个判别器的对抗博弈,促使生成网络同时捕获源图像中的功能信息和纹理细节。在此基础上,Huang等人(2020a)进一步设计了一个多生成器MGMDcGAN),在更加平衡地融合互补信息的同时,实现跨分辨率医学图像融合。尽管引入多个生成器和判别器能够提升融合网络的性能和功能,但有可能导致训练不稳定问题以及模式坍塌。像融合数字成像设备首先利用光学镜头捕获反射光,录场景信息,但是由于动态范围有限,CCD和CMOS等元件无法承受过大的曝光差异。因此,在曝光差异过大时,单幅图像无法准确呈现场景中的所有细节信息。此外,受光学镜头景深限制的影响,数码相机很难在一幅图像内保证场景中所有目标都在景深范围内。然而只有在景深范围内的物体才能在图像中清晰地呈现,景深外的物体将变得模糊不清。数字摄影图像融合旨在将不同光学设置下拍摄的多幅图像组合在一起,并生成具有高动态范围的全聚焦图像,这是解决上述难题的不二之选。通常成像场景中存在较大的光照变化,此时由于传感器捕获的动态范围有限,单一光学设置下拍摄的数字图像会因过度曝光或曝光不足而不可避免地丢失场景信息。多曝光图像融合能够将不同曝光程度图像中的有效信息整合起来并产生曝光合适、CNN和基于GAN的多曝光图像融合框架,回顾基11 第28卷／第1期／2023年1月唐霖峰，张浩，徐涵，马佳义/基于深度学习的图像融合方法综述于深度学习的多曝光图像融合的发展。基于CNN的多曝光图像融合算法在损失函数的指导下,利用卷积神经网络直接学习多幅曝光不同的源图像到正常曝光图像的映射关系。根据是否使用监督信息,这类算法可以进一步分为有监督方案和无监督方案。有监督方案通常使用手动挑选的良好曝光图像作为监督信息指导融合网络的训练Deng等人(2021)设计的深度反馈网络能够将多曝光图像融合与图像超分问题统一建模到一个框架中,在校正图像曝光水平的同时提升融合图像的分辨率。然而人工挑选正常曝光图像是非常主观的,会不可避免地为这类技术方案设置性能上限。为了避免人工挑选正常曝光图像带来的弊端,无监督多曝光图像融合方法受到广泛关注。无监督方案一般量来构造损失函数,并引导融合网络生成高质量的Prabhakar等,2017;Ma等,2020d;Qi出的这类方法,在MEF-SSIM损失的指导下,利用简单的5层网络学习多曝光输入到单幅融合图像的映射关系。考虑到简单的网络无法提取深层语义特征,人们将一些新颖的学习方式如深度强化学习2022)引入到多曝光图像融合任务中,进一步提升融合性能。与上述技术路线不同,Ma等人(2020d)提出上下文聚合网络(MEF-Net)来学习不同源图像的权重图,最后对源图像进行加权求和生成最终的融合结果。然而仅在像素层面对源图像进行线性加权会不可避免地在融合结果中引入伪影,因此在精心设计的损失函数的指导下,直接学习输入图像到融合结果的映射关系仍然是无监督方案的主流思想。然而MEF-SSIM度量指标只能衡量融合图像的对比度和结构信息,忽略了融合图像的色彩信息。所以上述方法的重心更多在于校正源图像的曝光水平,对于色彩信息只能采用简单方式处理。事实上,恰当的色彩对于提升数字图像的视觉效果尤为重deepperceptualenhancement)将视觉真实性纳入多曝光图像融合问题的建模过程中,并设计了两个独立的模块,分别负责内容细节信息收集和融合图像的色彩校正(Han等,2022)。值得注意的是,无监督方案的融合性能很大程度上取决于采用的非参考指标能否有效且全面地表征融合结果的质量。因此,研究一种能更加全面表征融合图像质量的评估指标是进一步提升融合效果的关键之一。此外,如何使融合网络自适应感知正常的曝光水平也是未来的研究思路之一。基于GAN的多曝光图像融合算法将曝光条件建模为概率分布,通过对抗学习使融合结果的曝光水平趋于正常。因此,这类技术路线的关键在于如CNN的方法,基于GAN的方法也分为有监督方案和无监督方案。其中,无监督方案将生成器输出的融合图像与手动挑选的伪标签图像(一般来自MEFCai,2018),标签图像是基于13种多曝光融合和基于堆栈的高动态范围算法挑选的)构造基于曝光分布的对抗博弈,使生成网络产生与伪标中,MEF-GAN(Xu等,2020b)引入了自注意力模块和局部细节模块来强化生成器对细节信息的提取和端曝光条件下的图像融合,并设计了一个全局与局部相结合的判别器来平衡融合图像的像素强度分布并校正色彩失真。但这类技术方案利用手动挑选的伪标签图像作为监督信息,往往面临性能受限的困境。为此,Yang等人(2021b)提出一种基于GAN的无监督多曝光图像融合方法,通过引入差分相关性息组合的角度构造了融合图像与源图像之间的对抗博弈,认为融合图像与源图像的差分结果能够表征另一幅源图像的分布。尽管这样构造的对抗模型能够约束生成器保留尽可能多的信息,但这是基于融合图像是两幅源图像之和这样一个不准确的假设而实现的,因此研究如何有效利用源图像中的先验信息(如曝光条件、场景结构)来建立无监督对抗模型将是实现高质量多曝光图像融合的良好选择之一。由于光学镜头的局限性,单一光学设置下的数码相机很难将不同景深下的物体都集中在一幅图像中(Zhang,2022)。多聚焦图像融合能够将不同聚12焦区域的图像进行组合并生成全聚焦的融合图像。基于CNN和基于GAN的融合框架是两种主流的多聚焦图像融合框架。此外,由于多聚焦图像融合可以看做是清晰像素的选择问题,因此上述框架还可以进一步划分为基于决策图的方案和基于整体重建的方案。基于决策图的CNN方法本质上是学习一个能够确定每个像素聚焦与否的二值分类器,然后进一步修正分类结果以生成融合决策图,最后根据融合决策图对源图像中的每一个像素进行选择组合来生成全聚焦的融合图像。这类方案通常使用高斯模糊核构造训练二值分类器的数据集并利用一致性验证Yang高斯滤波器、保边滤波器(Ma等,2021a)和条件随机场(Xiao等,2021a,b)等技术作为后处理来得到最终的融合决策图。其中,Xiao等人(2021a)将基于离散切比雪夫矩的深度神经网络引入到这类技术方案中,实现实时的多聚焦图像融合。但是上述方案通常需要使用手工设计的后处理操作来进一步修正神经网络输出的聚焦图,而无法实现端到端的图处理过程,Amin-Naji等人(2019)提出一种基于集成学习的方法,通过组合不同模型的决策图直接得到最终决策图。类似地,深度信息纳入到聚焦图的估计过程中,并提出一个直接从源图像估计决策图的深度蒸馏模型。除了利用高斯核构造训练数据外,Li等人(2020c)和Ma等人(2021b)提出利用二值掩膜来构造训练数据,并引入梯度损失来引导融合网络生成清晰的全聚焦图像。然而基于高斯模糊核或二值掩膜构造的训练数据集均无法模拟多聚集图像真实的成像方式,特别是这两种方法都没有考虑现实世界中多聚焦图像存在的散焦扩散效应。Ma等人(2020a)提出一种α-哑光边界散焦模型,用于精确模拟散焦扩散效应并生成更加逼真的训练数据。Xu等人(2020c)设计了一个多聚焦结构相似度(MFF-SSIM)指标来衡量融合结果的质量,并使用随机梯度算法在融合过程中最大化MFF-SSIM。与基于决策图的方法不同,基于整体重构的方法利用一些特殊的度量指标(例如MFF-SSIM)作为损失函数来引导融合网络以端到端、无监督学习的方式直接实现多聚焦图像融合(Yan等,2020)。但这类技术方案目前还未将散焦扩散效应纳入到建模过程中,因此结合多聚焦图像的成像原理,通过整体重构的技术路线,在实现有用信息保留的同时消除散焦扩散效应,或许是未来基于CNN的多聚焦图像融合框架的研究方向之一。基于决策图的GAN方法通常利用生成器学习源图像到决策图的映射关系并生成融合结果,同时通过对抗学习迫使融合结果在分布上接近参考的全聚焦图像。具体来说,FuseGAN(Guo等,2019)将人工标注的聚焦掩膜与源图像堆叠在一起作为正样本,而生成器输出的决策图与源图像堆叠在一起作为负样本来构造对抗博弈关系,指导生成网络从两MFIF-GAN(Wang等,2021b)引入前景区域的聚焦图应大于对应的目标这一先验来改善散焦扩散效应。基于GAN的整体重构方法则利用生成器直接输出全聚焦的融合图像,然后再利用参考图像和融部分基于GAN的方法无法有效解决多聚焦图像融合任务中的散焦扩散效应,而散焦扩散效应会严重影响融合图像的视觉效果。因此如何从分布的角度充分建模散焦扩散效应,在生成更加逼真且细节清晰的融合图像的同时,进一步提升融合图像的视觉质量是一个值得进一步探索的研究方向。基于深度学习的数字摄影图像融合算法归纳如表2所示,其中MEF表示多曝光图像融合场景,MFF表示多聚焦图像融合场景。在遥感成像中,光谱传感器的光谱/滤波机制需要较大的瞬时视场(IFOV)来满足信噪比的要求,这意味着在保证成像光谱分辨率的同时必然降低空间分辨率。然而在高精度遥感应用中,空间分辨率和光谱分辨率同等重要,前者描述地物的物理形态,后者反映地面的物质组成。因此空间和光谱分辨率不可兼得的特性极大制约了高层遥感任务的精度提升。在此背景下,多光谱与全色图像融合技术应运而生,通过将全色图像中的空间信息及多光谱图像中的光谱信息相融合,生成空间和光谱分辨率并存的高质量遥感图像。基于采用的监督范式,深度多光谱与全色图像融合方法分为有监督的方案和无监督的方案两类。两类方案采取的网络架构主要有CNN和GAN两种。13 第28卷／第1期／2023年1月唐霖峰，张浩，徐涵，马佳义/基于深度学习的图像融合方法综述表2数字摄影图像融合研究归纳方法场景基础框架监督范式发表期刊或会议MEFCNN无监督ICCVCNNLiu17c)MFFCNN有监督CNN(Li和Zhang,2018)MEFCNN无监督ECNN(Amin-Naji等,2019)MFFCNN有监督MLFCNN(Yang等,2019)MFFCNN有监督TCIFuseGAN(Guo等,2019)MFFGAN有监督TMMMEF-Net(Ma等,2020e)MEFCNN无监督ICENPan)MEFCNN无监督NCMEF-GAN(Xu等,2020b)MEFGAN无监督DRPLLi020c)MFFCNN有监督MMF-Net(Ma等,2020a)MFFCNN有监督MFF-SSIM(Xu等,2020c)MFFCNN有监督TCIMFNet(Ha等,2017)MFFCNN无监督ACGAN(Huang等,2020b)MFFGAN有监督NCAAMEFCNN无监督UMEF(Qi等,2021)MEFCNN无监督PA-GAN(Yin等,2022)MEFGAN无监督TMMAGAL(Liu等,2022c)MEFGAN无监督TCSVTGANFuse(Yang等,2021b)MEFGAN无监督NCAAMFFCNN有监督DTMNetXiao2021a)MFFCNN有监督ICCVSMFuse(Ma等,2021b)MFFCNNTCID2FMIF(Zhao等,2021b)MFFCNN无监督TMMuseMaaMFFCNN无监督NCAAMFF-GAN(Zhang等,2021a)MFFGAN无监督MFIF-GAN(Wang等,2021b)MFFGAN有监督SPICDPE-MEF(Han等,2022)MEFCNN无监督TransMEF(Qu等,2022)MEFAAAI有监督的多光谱与全色图像融合方法在锐化结果与参考图像间构造最小距离损失,引导神经网络的输出不断趋近于参考图像对应的理想分布。PNN使用深度学习解决多光谱与全色图像融合问题的开创之作,首次引入CNN提取和融合全色和多光谱图像中的有效信息。然而仅在l2距离损失的约束下,PNN的结果往往存在局部空间结构平滑的现象。此外,简单的3层结构限制了PNN的非线性拟合能力,导致一定程度的光谱失真。后续方法主要从网络架构和约束条件两方面进行改进来提升融合性能。首先,通过改进网络架构使融合过程中信息的PanNet(deepnetwork14残差学习将网络的训练转换到高通域进行,使网络专注于高频结构信息的学习,极大提升了融合结果同时,PanNet引入ResNet加深网络深度,强化了非线性拟合能力,在一定程度上缓解了光谱失真。Liu等人(2021a)使用GAN架构提升融合性能,提出一个多光谱与全色图像融合框架PSGAN将参考图像的概率分布定义为目标分布,并使用连续的对抗学习迫使融合结果在分布上逼近参考图像,保证了信息保留质量。与此不同,SRPPNN(su-渐进学习两种特定的结构设计,使网络能够不断捕获不同尺度上的空间细节,并连续注入到上采样的多光谱图像中。类似地,基于网络架构改进的有监设计网络架构时未考虑输入数据与融合结果间的内在关系,更多的是从图像超分辨率这个角度进行的。ning)(Xu等,2021d)从全色图像与多光谱图像的生成模型出发,探讨空间和光谱退化过程,并将其作为先验来指导神经网络的优化,极大提升了融合性能。与上述方法不同,另外一些多光谱与全色图像融合方法通过额外设计一些更合理的约束条件来改善融合结果中空间和光谱信息的保留质量。SDPNet(Xu等,2021a)除了在参考图像与融合结果间建立常用的表观一致性损失外,还通过训练两个多光谱与全色模态互相转换网络以及一个自编码网络来定义模态相关的独特特征,然后在定义的独特特征上建立一致性损失,进一步保证了融合性能的提升。Zhang(2022)认为只约束融合结果与参考图像的一致性无法有效利用全色图像中的空间信息,且会因为空间结构缺乏显式约束引发光谱与空间信息的不平合光谱退化过程,在梯度域中建立了更加准确的多光谱与全色图像的非线性回归关系,并将此非线性回归关系作为一种先验来约束空间结构的保留,从而保障光谱与空间信息的平衡。然而有监督的多光谱与全色图像融合方法本质上是学习输入图像到参考图像的非线性映射,实际性能很大程度上依赖于参考图像构建的合理性。在有监督方法中,参考图像的构建遵循Wald协议,该协议将全分辨率多光谱与全色图像进行空间下采样,得到降分辨率数据并作为网络的输入,而将原始的全分辨率多光谱图像作为参考图像监督网络的优化。这种策略面,采取的空间退化模式可能与真实的遥感数据退化模式不一致,使网络学到的映射关系无法推广到真实遥感数据上;另一方面,有监督方法遵循的尺度不变性假设可能并不成立,使得在降分辨率数据上训练的模型无法有效地推广到全分辨率数据上。为了摆脱网络对参考图像的依赖,进而解决上述难题,无监督多光谱与全色图像融合方法受到了广泛关注。具体来说,无监督方案通过建立融合结果与输入多光谱和全色图像之间的联系来分别约束光谱分布与空间结构的保留,生成光谱和空间分辨率兼具的理想图像。从技术路线来看,无监督方案的优势包括两方面。首先,无监督方法不再需要合成配对数据,使网络优化和学习更加便捷;其次,网络训练直接在卫星真实捕获的全分辨率数据上进行,在保证数据可信度的同时,能够充分利用有监督方法中忽视的全分辨率全色图像包含的信息。无监督方法的研究主要在于如何完善约束光谱保留的空间退化模型和约束空间结构保留的光谱退化模型。Pan-GAN(Ma等,2020d)是首个探索无监督多光谱与全色图像融合的方法,引入了两个判别器在融合结果与两幅源图像间建立对抗,分别判定光谱与空间信息是否保真。在Pan-GAN中,光谱退化模型定义为平均池化操作,空间退化模型定义为插值采样谱退化模型定义在高通域并使用最大池化来实现通道合并,空间退化模型定义在低通域并使用插值采样实现空间分辨率降低。然而这两种方法都采样相对粗糙的方式模拟光谱退化模型和空间退化模型,在一定程度上限制了融合质量的提升。Luo等人(2020)将光谱退化模型建模为多谱段全局线性加15 第28卷／第1期／2023年1月唐霖峰，张浩，徐涵，马佳义/基于深度学习的图像融合方法综述权,并使用最小二乘法求解加权系数。对于空间退化模型,采用与MTF相关的高斯模糊以及插值采样操作来模拟该过程,取得了一定的性能提升。需要强调的是,光谱退化模型更倾向于局部非线性而不是全局线性,使用最小二乘求解系数所依赖的尺度不变性假设也可能并不成立。为了实现更准确地估2020)采用卷积神经网络和全连接网络分别估计空间模糊核以及光谱模糊核,然后结合插值采样操作在退化一致性的约束下估计空间和光谱退化模型。值得注意的是,这种无监督退化模型估计的解空间是非常大的,仅依赖退化一致性非常容易陷入平凡解或局部最优解。类似地,无监督多光谱与全色图r方法,对于无监督多光谱与全色图像融合方法的研究还相对较少,如何估计更准确的观测模型是未来进一步提升融合性能的关键。基于深度学习的遥感影像融合算法归纳如表3合场景。表3遥感影像融合研究归纳方法场景基础框架监督范式发表期刊或会议PNN(Masi等,2016)CNN有监督RSCNN有监督ICCVBKL(Guo等,2020)CNN无监督IGARSSPan-GAN(Ma等,2020d)GAN无监督CNN有监督TFNetUCNN(Luo等,2020)CNN无监督JSTARSCNN无监督ACCESSGPPNN(Xu等,2021d)CNN有监督CVPRGTP-PNet(Zhang,2022)CNN有监督ISPRSHMCNN(Wang等,2021a)CNN有监督CNN无监督SDPNetXu等,2021a)CNN有监督TGRSCNN有监督CVPRSRPPNN(Cai和Huang,2021)CNN有监督TGRSPSGAN(Liu等,2021a)GAN有监督TGRSMDCNN(Dong等,2021)CNN有监督JRSGAN有监督ESADPFN(Wang等,2022a)CNN有监督TGRSMSGAN(Wang等,2022b)GAN无监督ICMMUCGAN(Zhou等,2022)GAN无监督TGRS任务特定的图像融合算法均通过挖掘不同融合问题中的先验知识来提升融合性能,但忽略了不同融合任务之间的内在联系。因此,人们致力于开发等,2020d)是首个基于深度学习的通用图像融合方法,该方法参考DeepFuse(Prabhakar等,2017)设计网络结构,并在大型的多聚焦图像数据集上通过端到端的方式训练网络。特别地,IFCNN通过改变融16合层的融合策略,将不同图像融合任务统一到一个题定义为梯度和强度的比例维持,并设计一个统一的损失函数形式,根据不同任务的先验知识,手动调整各项损失函数的加权系数,能够在一个统一框架下解决不同的图像融合问题。为了避免手动调整超参数,Zhang和Ma(2021b)进一步提出了挤压分解自适应决策块来提升融合性能。类似地,Jung等人(2020)将多种图像融合问题统一为对比度保持问题,并引入结构张量来表征图像对比度以及构造损定义为独特特征与公共特征的集合,并基于多模卷积稀疏编码模型提出一种用于解决通用多模图像恢复和多模图像融合难题的深度卷积神经网络(Cu-学习和解纠缠表示学习将源图像分解为私有特征和公有特征,并提出一种空间自适应策略融合来自不同源图像的私有特征,在统一的基于自编码器的框架下实现多种图像融合任务。为了学习到特定任务的特征,Li等人(2021e)提出使用多个面向任务的编码器和一个通用的解码器来实现多任务图像融合,并设计一个自适应损失函数来指导网络训练。值得一提的是,考虑到不同的融合任务能够相互促进,Xu等人(2020a,2022a)结合可学习信息测量和弹性权重固化,开发了一种无监督图像融合模型用于解决多场景图像融合问题。其中,弹性权重固化用于克服多任务持续学习中的遗忘难题。Ma等人(2022)提出一种融合框架(SwinFusion),通过充分挖掘同一幅源图像的域内上下文信息,以及多源图像的域间全局交互以充分整合互补信息,在多模图像融合以及数字摄影图像融合上都取得了较好的性能表现。综合考虑各类图像融合任务的共性并设计统一的融合框架来同时解决多种融合问题能够增加融合算法的实用性。因此,设计通用的图像融合框架仍然是未来的研究热点之一。基于深度学习的通用图像融合算法如表4所示。表4通用图像融合研究归纳方法场景基础框架监督范式发表期刊或会议IFCNN(Zhang等,2020d)CNN有监督DNXuaCNN无监督AAAIPMGI(Zhang等,2020b)CNN无监督AAAICNN有监督TPAMISDNet(Zhang和Ma,2021b)CNN无监督IJCVCNN无监督AETMMCNN无监督ICMEaCNN无监督TPAMI无监督JAS注:场景中Unified表示通用图像融合场景。2数据集与评估指标各类图像融合任务中常用的数据集主要包括红外和可见光图像融合数据集、医学图像融合数据集、多曝光图像融合数据集、多聚焦图像融合数据集和多光谱与全色图像融合数据集,如图4所示。17 第28卷／第1期／2023年1月唐霖峰，张浩，徐涵，马佳义/基于深度学习的图像融合方法综述图4图像融合常用数据集汇总TNO_Image_Fusion_Dataset/1008029)是红外和可见图像融合常用数据集之一,包含60对军事相关场景提供,包含12对不同天气条件拍摄的红外和可见光视频。TNO数据集和INO数据集只包含少量图像对,无法用来训练性能优异的融合网络。为此,Xuna-xu/RoadScene),该数据集由221对已配准的红外和可见光图像组成,包含丰富的道路、车辆以及行人场景。此外,Tang等人(2022b)基于MFNet数据集(Ha等,2017)发布一个新的多光谱数据集MSRSLinfeng-Tang/MSRS),用于红外和可见光图像融合集包含361对图像,该数据集为每一对图像提供了语义分割标签,并提供了80对有目标检测标签的图像。该数据集能够促进高层视觉任务驱动的图像融合和基于高层视觉任务的图像融合评估的发展。借助于海康威视摄像机,Jia等人(2021)在夜间场景收集了visi据集为每一个场景提供了相应的行人检测的标签,能够用于图像融合、行人检测和图像转换等多项任务。此外,Liu等人(2022a)基于构建的同步红外和可见光传感器成像系统,发布了一个多场景多模态JinyuanLiu-CV/TarDAL)。M3FD数据集包含4177对已配准的红外和可见光图像并标注了23635个目标检测对象,场景覆盖白天、阴天、夜间以及一些具有挑战性的情形。值得强调的是,LLVIP数据集和M3FD数据集的发布能够促使研究者开展极端条件下的红外和可见光图像融合的研究。AANLIB/home.html)是一个用于机器学习的权威医疗数据集,涵盖医学影像、电子健康记录、UCI数据和生物医学文献,提供了大量CT-MRI,PET-MRI、SPECT-MRI、CT-SPECT图像对,用于医学图像融合模型的训练和评估以及智慧医疗诊断。Cai等人(2018)利用7种相机在室内和室外场光图像融合算法或基于堆栈的HDR(highdynamicrange)算法来生成对应的高质量参考图像。Zhang(2021)从互联网以及现有的多曝光图像融合数据库中集了100对具有不同曝光水平的图像对,并发布了MEFB用于评估多聚焦图像融合算法性能的数据集(Nejati色多聚焦图像以及4个具有3种焦距的多聚焦图像序oZhang1018/MFI-WHU)是Zhang等人(2021a)基于18MEF数据集以及MS-COCO数据集建立的多聚焦图像融合数据集,包含120对由高斯模糊和手动标注的决策图合成的多聚焦图像。值得注意的是,Lytro和MFI-WHU数据集都没能明显突出散焦扩散效应对多聚焦图像融合任务的影响。MFFW(multi-focusa69b3c323908e62b45)数据集是Xu等人(2020d)提出的一个新基准数据集,用于测试多聚焦图像融合多光谱与全色图像融合的数据通常由商业卫星我国自主研发的民用光学遥感卫星。GaoFen1号卫星拍摄的全色(panchromatic,PAN)图像和多光谱GaoFen2号卫星拍摄的全色图像和多光谱图像分辨率分别为1m和4m。QuickBird卫星和World-rd0.72m,多光谱图像的分辨率为2.442.88m。WorldView-2卫星提供0.5m分辨率的全色图像和ew31cm分辨率的全色图像和1.24m分辨率的多光谱图像。GeoEye系列卫星由美国GeoEye卫星公司发射,GeoEye-1卫星提供0.41m分辨率的全色图和1.65m彩色分辨率的多光谱图像。各种定量评估图像融合算法的性能指标包括通用的评估指标和为多光谱与全色图像融合特别设计的评估指标。通用的图像融合评估指标能够用于评估多模图像融合和数字摄影图像融合,其中部分指标也能够用于评估多光谱与全色图像融合。根据其定义的不同,通用的指标可以分为基于信息熵的指标、基于图像特征的指标、基于相关性的指标、基于图像结构的指标以及基于人类感知的指标等5类。图5汇总了主流的通用图像融合评估指标。在通用图像融合评估指标中,A和B分别表示源图像A和源图像B,X泛指所有的源图像,F代表融合图像,M和N分别表示图像的宽和高。图5通用图像融合评估指标汇总1)基于信息熵的指标。(1)信息熵(entropy,E