红外与RGB信息的融合跟踪研究

摘要红外与可见光信息的融合跟踪兼顾了红外与可见光设备的多源信息，可提高目标跟踪技术的性能，为国防军事、安防监控、遥感检测、资源探测等领域提供了一种有效技术。图像融合跟踪主要有图像融合和目标跟踪两个流程。依据融合层次，图像融合跟踪可被划分为像素级、特征级和决策级三大类。本文主要讨论了像素级图像融合跟踪。基于深度学习技术，图像融合跟踪可分为基于传统方法的图像融合跟踪算法和基于深度学习的图像融合跟踪算法。本文首先实现了基于TIF(Two-scaleImageFusion，TIF)和均值偏移（MeanShift，MS）的目标跟踪方法。然后，本文又实现了基于卷积神经网络(ConvolutionalNeuralNetworks，CNN)和时空正则化的相关滤波（STRCF）的目标跟踪算法。基于此，本文给出了几种融合跟踪方法的客观评估指标(精确度和成功率)和主观视觉效果对比，并给出了对比分析。关键词：红外与可见光图像；融合跟踪；信息融合；目标跟踪；深度学习ABSTRACTThefusionandtrackingofinfraredandvisibleinformationtakesintoaccountthemulti-sourceinformationofinfraredandvisibleequipment,whichcanimprovetheperformanceoftargettrackingtechnology,andprovidesaneffectivetechnologyforthefieldsofnationaldefenseandmilitary,securitymonitoring,remotesensingdetection,resourcedetectionandotherfields.Imagefusiontrackingmainlyhastwoprocesses:imagefusionandtargettracking.Accordingtothefusionlevel,theimagefusiontrackingcanbedividedintothreecategories:pixellevel,featurelevelanddecisionlevel.Thispaperfocusesonpixel-levelimagefusiontracking.Basedondeeplearningtechnology,imagefusiontrackingcanbedividedintoimagefusiontrackingalgorithmbasedontraditionalmethodsandimagefusiontrackingalgorithmbasedondeeplearning.Inthispaper,thetargettrackingmethodbasedonTIF(Two-scaleImageFusion,TIF)andmeanshift(MeanShift,MS)isfirstimplemented.Then,thispaperimplementsthetargettrackingalgorithmbasedonconvolutionalneuralnetwork(ConvolutionalNeuralNetworks,CNN)andspatial-temporalregularizedcorrelationfilters(STRCF).Basedonthis,thispapergivesseveralobjectiveevaluationindicators(precisionrateandsuccessrate)andsubjectivevisualeffectcomparison,andgivesacomparativeanalysis.Keywords:infraredandvisibleimages;fusiontracking;informationfusion;targettracking;deeolearningPAGE9PAGE9目录第1章绪论 11.1研究背景和意义 11.2国内外研究现状 11.2.1图像融合研究现状 11.2.2目标跟踪研究现状 21.3本文主要研究成果 31.4本文内容安排 3第2章传统信息融合跟踪 42.1TIF算法实现图像融合 42.1.1双尺度图像分解 42.1.2显著性检测 52.1.3计算权重图 62.1.4图像融合 62.1.5图像重建 72.1.6彩色图融合 72.2MEANSHIFT实现目标跟踪 72.2.1目标模型和候选模型描述 82.2.2相似性度量 82.2.3迭代过程 9第3章基于深度学习的IR-RGB信息融合跟踪 103.1CNN实现图像融合 103.1.1基于CNN生成权重图 103.1.2金字塔分解 113.1.3系数融合 113.1.4拉普拉斯金字塔重建 123.2STRCF实现目标跟踪 123.2.1相关滤波 123.2.2MOSSE实现目标跟踪 133.2.3DCF实现目标跟踪 143.2.4STRCF实现目标跟踪 15第4章实验结果 174.1数据集 174.2评估指标 174.3定性分析 174.4定量分析 19第5章结论与展望 235.1结论 235.2不足之处及未来展望 235.2.1不足之处 235.2.2未来展望 23参考文献 24致谢 27第1章绪论1.1研究背景和意义获取图像最初只能使用可见光传感器，而随着现代科技的不断发展，出现了更多能够获取图像的设备，如红外传感器、高光谱传感器、多光谱传感器、雷达等，获取图像的方法得以扩展，图像所包含的信息也得以丰富。然而，如果只使用某一种传感器获取图像，得到信息内容是有限的，这就决定了其图像信息内容的局限性。受限于传感器的成像原理，在某些恶劣的条件下，图像成像会受到干扰，这就会导致信息的损失。因此，将不同成像方式所获取的图像信息进行融合尤为重要，这能突出各类图像信息的优势所在，增强抗干扰能力，实现信息的互补。由此图像融合应运而生。图像融合使得图像能够包含更多有用的信息从而能够应用于更多的领域，并且在图像分析方面提升了精度，提高了图像信息的应用价值和使用效果。作为计算机视觉领域的一个重要组成部分，目标跟踪研究的热度居高不下。[1]目标跟踪可以代替人工对视频中的目标进行实时的检测并分析其运动轨迹，极大地节省了人力物力，对各个领域都有重要的意义。[2]更快地获得更加准确的结果是现代科学研究在目标跟踪领域的追求。[3]但是，由于单一传感器图像所能提供的信息有限，无法满足人们对于目标跟踪精确度的追求，这就迫切地需要融合更多的信息应用于目标跟踪任务。受成像机制影响，红外图像信息与可见光图像信息在一定程度上具有互补性能，将两者信息融合并进行目标跟踪的技术就是红外与RGB信息的融合跟踪。其中，通过探测物体热辐射成像的红外图像具有较强的干扰能力，不受光照影响，但也因此缺乏纹理和细节，整体较为模糊，分辨率不高；可见光图像是最为常见的成像方式，符合人眼视觉特性，虽易受光照影响，但可以提供更多的细节。如果利用二者协同成像并进行融合，根据红外与可见光图像信息的互补特性，融合后的图像具有目标信息显著、背景信息丰富的特点，即使是在夜间或者天气恶劣等情况下也能减少信息的损失，有利于目标跟踪任务。[2]由于能够全天候工作，抗干扰能力强，精确度高，红外与RGB信息的融合跟踪技术现已被广泛应用于国防军事、安防监控、遥感检测、资源探测等各种领域，具有广泛的实用价值。1.2国内外研究现状图像融合，目标跟踪是红外与RGB信息的融合跟踪的两个主要过程，依据融合层次可以划分为像素级、特征级、决策级。[4][5]其中，先融合后跟踪为像素级融合跟踪又称融合前跟踪。先分别提取特征并进行特征融合，然后将融合特征应用于目标跟踪，称为融合前跟踪。先跟踪再融合跟踪结果的方法为决策级融合跟踪又称为聚合前跟踪。下面将分别讨论图像融合和目标跟踪的研究现状。1.2.1图像融合研究现状图像融合就是将两幅或多幅图像的信息综合在一起的过程，由于图像时空信息的扩展，将其应用于目标跟踪任务更加可靠。基于深度学习技术，可划分为传统融合方法和基于深度学习的融合方法两大类。图像融合的新纪元开启于1979年，Daily等[6]利用图像的灰度信息将Landsat-MSS图像与雷达图像融合，由此出现了基于空间域的图像融合方法。在此基础上Lauer和Todd[7]对Landsat-MSS和Landsat-RGV图像进行了融合，基于空间域的方法成为图像融合最早的发展方向。[8]1983年，Burt等[9]将高斯金字塔应用于图像融合,基于变换域的图像融合方法如雨后春笋。随后，文献[10]将拉普拉斯金字塔应用到图像融合。与这些多尺度变换方法相比，90年代引入的小波变换效果更好，但有其局限性。[11]2002年，为了克服其局限性，Do.M.N等[12]提出Contourlet融合算法，这是对小波变换的进一步扩展。2006年，L.Cunha等[13]提出了非下采样轮廓波变换（NSCT），进一步提升了Contourlet算法的性能。2016年，Bavirisetti等[14]提出使用双尺度变换实现图像融合。除了以上传统的图像融合方法以外，深度学习的应用也扩展到了图像融合领域。引入卷积神经网络（ConvolutionalNeuralNetworks,CNN）和对抗神经网络（GenerativeAdversarialNetworks,GAN）成为此领域的两大主流。2017年，CNN被应用到图像融合任务中，Liu等[15]利用预训练的CNN计算权重图，更好地保留了信息。2019年，Ma等[16]创新性地将生成对抗网络应用于图像融合领域，提出了FusionGAN。同年，对传统CNN做出改进，将其编码网络与卷积层、融合层和稠密块相结合，HuiLi等[17]提出densefuse，由融合层融合特征，解码器重构图像。基于深度学习的方法在保留信息方面更具优势，这主要是因为神经网络结构更适用于提取特征信息。1.2.2目标跟踪研究现状目标跟踪是指对目标进行识别和运动轨迹跟踪，要在任务开始时给出目标的初始位置。作为计算机视觉领域的重要研究方向之一，目标跟踪在军事作战、交通管理、视频监控等各种领域都有重要的意义。生成式模型和判别式模型是目标跟踪算法的两大类，这是根据观察模型中所采用的方法来划分的。早期的目标跟踪算法，诸如光流法、粒子滤波、MeanShift算法[18]、CamShift算法[19]等都属于生成式模型。在此类方法中，第一步为对跟踪目标进行特征提取，再根据提取的特征构建跟踪目标的模型。在跟踪任务中，对于每一帧，都进行目标模型匹配，相似度最高处即为此帧中目标位置。判别式模型采用分离背景的方法来得到目标模型，已成为此领域的主流模型。此类算法又分为基于相关滤波的算法和基于深度学习的算法，这是由算法所使用的特征决定的。2010年，文献[20]提出了MOSSE算法，这是目标跟踪领域首次引入相关滤波。在此基础上，又产生了许多改进的算法：CSK算法[21]、DCF算法[22]、KCF算法[22]、SRDCF算法[23]、STRCF算法[24]等。文献[24]用深度特征代替手工特征应用于STRCF算法，形成了DeepSTRCF算法。文献[25]将孪生神经网络应用于目标跟踪任务，使用双分支网络结构分别提取样本和搜索图像特征，目标位置则由相似性比较确定。与判别式模型相比，生成式模型因为仅仅使用最初构建的模型而不进行模型的更新，忽略了环境对于目标的影响，在目标被遮挡或者环境光线不好时，跟踪效果不尽如人意。而判别式模型因为是将目标与背景分离，能很好地应对复杂的环境变化。1.3本文主要研究成果本文的主要研究内容为红外与RGB信息融合跟踪技术，主要包括三部分，即：传统信息融合跟踪，基于深度学习的IR-RGB融合跟踪，以及实验结果分析。本文主要研究成果包括：学习并实现了一种传统信息融合跟踪算法：图像融合采用双尺度变换（TIF），目标跟踪由均值漂移（MeanShift）实现。学习并实现了一种基于深度学习的IR-RGB融合跟踪算法：图像融合基于卷积神经网络（CNN）实现，目标跟踪通过时空正则化的相关滤波器（STRCF）实现。根据评估指标对实验结果进行了分析比较。1.4本文内容安排第一章：首先对本课题的研究背景和研究意义进行阐述，然后对图像融合和目标跟踪两大模块的国内外现状进行分析，最后介绍本文的研究成果和内容组织。第二章：介绍了双尺度变换（TIF）实现图像融合和均值漂移（MeanShift）实现目标跟踪的原理，这是一种传统信息融合跟踪算法。第三章：介绍了基于卷积神经网络（CNN）的图像融合和时空正则化的相关滤波器（STRCF）实现目标跟踪的原理，这是一种于深度学习的IR-RGB融合跟踪算法。第四章：比较分析两种算法的实验结果。第五章：总结全文，指出不足之处与未来展望。第2章传统信息融合跟踪在传统信息融合跟踪中，图像融合采用了双尺度变换（TIF），目标跟踪任务则采用了均值漂移（MeanShift）。2.1TIF算法实现图像融合TIF图像融合算法属于多尺度变换法的一种。由于TIF图像融合算法仅仅对图像进行了双尺度分解，因此与大多数多尺度变换方法相比其在速度和效率上更具优势。此外，TIF算法能够将源图像中重要的视觉信息集成到最终的图像中，这主要得益于显著性检测的引入。图像分解，图像融合和图像重建是TIF图像融合算法的三个步骤。首先进行双尺度分解，源图像经过均值滤波可得到基础层，二者作差即为细节层;在图像融合中，由于细节层包含更符合人类视觉的信息，首先通过显著性检测计算权重图，据此对其进行融合，基础层则平均融合;最后，重建融合图像，这个过程是通过更新后的图层相加完成的。TIF图像融合算法的流程图如图2-1所示。图2-1TIF图像融合算法流程图2.1.1双尺度图像分解源图像ϕ1ϕϕ其中，ϕ1Bx,y,ϕ2Bx,y分别表示源图像ϕ1细节层ϕ1ϕϕ2.1.2显著性检测检测或识别图像中的显著性区域，如包含行人、物体的区域等，这个过程称为视觉显著性检测。为了能够在融合图像中更好地保留信息，TIF算法中使用显著性检测来提取不同图像信中的显著性区域。作为一种线性滤波器，使用均值滤波器对源图像进行处理，可以平滑图像而不影响边缘信息;作为一种非线性滤波器，使用中值滤波器对源图像进行处理，可以平滑图像同时保留边缘信息;最后将二者输出作差取绝对值来得到显著图，能够强调如边、线等的显著性信息。[14]如图2-2所示，灰度图Φ的显著图ξ可以表示为：ξ其中，||表示取绝对值。ϕμ表示窗口大小wμ为35的均值滤波器的输出。ϕη图2-2视觉显著性检测流程图彩色图像也可以使用其显著性检测算法。彩色图像Φ的显著图ξ可以表示为：ξ其中，||||是L2此公式可进一步扩展为：ξ=其中de表示欧式距离，ϕμ=ϕμR,2.1.3计算权重图不同图像所包含的信息有所不同，为了使得融合图像具有更多信息，需要对源图像细节层适当地分配权重,以此来提取源图像ϕ1x,y,ψψ其中，ψ1,ψ2表示如图2-3所示，因为ψ1图2-3显著图与权重图(其中(a)、(b)为源图像，(c)、(d)为显著图，(e)、(f)为权重图)2.1.4图像融合（1）基础层融合：基础层融合采用平均融合策略。ϕ其中，ϕB（2）细节层融合：将权重图ψ1,ψϕ其中，ϕD2.1.5图像重建最后，通过总基础层和总细节层的线性组合重建融合图像γ(x,y)。γ2.1.6彩色图融合彩色图像融合也可使用TIF图像融合算法，即分别处理R、G、B三色通道，最后联结起来重建彩色融合图像，流程图如图2-4所示。其效果如图2-5所示，其中（a）、（b）、（c）分别为可见光、红外和融合图像。图2-4彩色图像融合过程图2-5彩色图像融合结果2.2MeanShift实现目标跟踪在基于MeanShift的目标跟踪算法中，首先进行目标和候选模型描述，这一过程通过计算区域内像素特征值概率来实现；然后度量二者的相似性，由相似性最大的的候选模型得到关于目标模型的MeanShift向量，此向量使得候选区域向正确的位置移动；最后通过不断迭代计算向量，更新候选区域，算法最终收敛于真实的目标位置。[18]此算法可分为三个过程，即：目标模型和候选模型描述，相似性度量，偏移位置更新。其流程图如图2-6所示：图2-6MeanShift目标跟踪算法流程图2.2.1目标模型和候选模型描述目标模型描述：初始位置范围由groundtruth确定，假设其中有n个像素，像素位置用zii=1...n表示，均匀划分目标区域的灰度颜色空间，得到由m个相等的区间构成的灰度直方图，目标模型的概率密度qu(u=1,…,m)可表示为qC=z其中，以跟踪目标中心为原点的归一化像素位置表示为zi*，跟踪目标中心位置为x0,y0。C是归一化系数。K是核函数，常选用Epanechikov核函数。bzi表示zi候选模型描述：区域像素用zii=1...n表示，根据第t-1帧的目标中心位置f0，以f0为搜索窗口的中心对第t帧进行匹配，得到以fp其中，核函数窗口大小为h，决定着权重分布。2.2.2相似性度量需要用相似性函数来计算目标模型和候选模型的相似度，常用Bhattacharyya系数。二者概率分布最小距离即为相似性函数最大值，由此可以确定当前帧的目标位置。Battacharyya系数定义为[18]：ρ相似程度越高则其值越大。2.2.3迭代过程不断搜索更新候选区域，使得相似性函数最大，这个过程即为MeanShift目标跟踪的迭代过程。Bhattacharyya系数泰勒展开的近似表达为：ρpw公式(2-18)中只有第二项随候选区域变化。则在MeanShift迭代过程中，候选区域中心不断向真实区域中心靠近，由此可以完成Bhattacharyya系数的极大化，迭代方程为：f其中，g(x)=-K(x)。红外与RGB传统信息融合跟踪结果如图2-7所示，其中蓝色、黄色方框分别为groundtruth和跟踪结果。图2-7红外与RGB传统信息融合跟踪结果第3章基于深度学习的IR-RGB信息融合跟踪在基于深度学习的IR-RGB信息融合跟踪中，首先基于卷积神经网络（CNN）进行图像融合，然后采用时空正则化的相关滤波器（STRCF）目标跟踪算法对融合图像进行目标跟踪。3.1CNN实现图像融合计算权重图用以融合来自于不同图像的显著性信息是图像融合的关键。在基于CNN的图像融合算法中，权重图是由源图像直接映射而来的，通过一个训练好的卷积神经网络来实现。基于CNN的图像融合算法分为四个过程：基于CNN生成权重图，金字塔分解，系数融合，拉普拉斯金字塔重建。[15]如图3-1所示。图3-1基于CNN的图像融合算法3.1.1基于CNN生成权重图如图3-2所示，所用卷积网络是一个孪生网络，两个分支的系数相同，分别由三个卷积层和一个最大池化层组成，最后由一个全连接层连接卷积得到的特征图并连接到一个二维向量上，输入到一个软最大层（未在图2-7中显示），产生一个关于两类的概率分布。这两个类分别代表两个归一化的权值分配结果，其概率之和为1，准确地表示了权重分配。该网络采用基于多尺度高斯滤波和随机采样的高质量图像斑块及其模糊版本进行训练。图3-2CNN结构3.1.2金字塔分解将红外图像I和可见光图像V分别分解为拉普拉斯金字塔LIl和LVl，GWl为权重图W分解成的高斯金字塔，l代表第l个分解层。每个金字塔的总分解层数被设置为最高可能值log23.1.3系数融合对于每个分解层l,分别计算LIl和EE其中m×n表示窗口大小，I表示红外图像，V表示可见光图像，EIl表示红外图像第l层局部能量图，EV用于确定图像融合模式的相似度计算如下：M其中第l层的相似度表示为Ml其值域为[-11]，越接近1表示相似度越高。图像融合模式由设定的阈值t来确定，如果Mlx,yL其中LF如果MlL因此，融合策略可汇总为：L3.1.4拉普拉斯金字塔重建各层融合完毕后，使用拉普拉斯金字塔LFl进行重建，得到融合图像。图3-3为灰度图融合效果，图3-4为彩色图融合效果，其中（a），（b），（图3-3基于CNN的灰度图融合结果图3-4基于CNN的彩色图融合结果3.2STRCF实现目标跟踪STRCF实现目标跟踪属于基于相关滤波的目标跟踪算法。此类算法通过分离背景来获得目标模型，属于判别式模型，与基于生成式模型算法相比，可以更好地应对复杂的环境变化。2010年，Bolme等[20]首次将相关滤波应用于目标跟踪，提出MOSSE算法。此后，从MOSSE到CSK[21]到KCF[22]、DCF[22]再到SRDCF[23]、STRCF[24]，基于相关滤波的目标跟踪算法飞速发展，并取得了卓越的效果。3.2.1相关滤波相关性用来描述两个因素之间的联系，是信号处理中的一个概念，也可以用来表示图片的相似程度。假设有两个信号f和g，则两个信号的相关性为：f其中，f*表示f在基于相关滤波的目标跟踪算法中，第一步为初始化相关滤波器，训练数据为初始目标区域的特征；在之后的目标跟踪中，每一帧都根据上一帧的目标区域，提取本帧中的特征并通过相关滤波器得到输出，跟踪目标的新位置则由输出最大值所在的位置确定；然后需要训练更新相关滤波器，用于之后的预测，训练数据为新目标区域的特征。为了提高跟踪速度，在傅里叶域中计算相关性。首先，通过F=ℱ(f),H=ℱ(h)G=F其中，⊙表示元素乘法，*表示复共轭。之后，将相关性输出转换回空域，这一过程是利用逆快速傅里叶变换实现的。基于相关滤波的图像跟踪算法流程图如图3-5所示：图3-5基于相关滤波的目标跟踪算法流程图3.2.2MOSSE实现目标跟踪作为一种能够生成类似ASEF的滤波器的算法，MOSSE只需要较少的训练图像。[20]假定训练图像fi和训练输出gi,设FiH其中除法表示元素除法。所期望的滤波器H能够将输入映射到期望输出，即使得真实输出与期望输出误差平方和最小，如下：min由元素操作可知，要求得上式值最小，即使得其中每个元素最小，所以上式可转换为：min其中，w，v为H的索引。令上式偏导为0即可求得结果，最后得到MOSSE滤波器的封闭形式的解：H目标跟踪时，首先初始化相关滤波器，训练样本fi由groundtruth随机变换得到，而gi则是由高斯函数产生，其峰值位置是fiHAB其中，η表示学习率。使得以前帧的影响随时间衰减，更加强调最近的帧。[20]文献[20]经过实践指出，η=0.1253.2.3DCF实现目标跟踪在MOSSE的基础上，通过修改损失函数和加入正则项，Henriques等[21]提出了CSK算法，并在其中采用了循环矩阵和核函数。在此基础上，通过改变核函数和特征提取方式，文献[22]提出了DCF算法。训练、检测和更新为DCF算法的三个主要流程。（1）训练：在第t帧中，训练样本xi(i∈0,1,...,M-1×0,1,...,N-1)由以目标位置为中心，大小为M×N的图像块x作为采用循环位移得到。[22]对于递归最小二乘法（recursiveleastsquare,RLS）分类器，分类实质为找到w使得函数fx=wmin其中，w为分类器参数，λ||w||2为正则化项，可以防止滤波器过拟合。通过非线性映射将w表示为xi的高维特征矩阵ϕxi的线性加权形式，即w=iαiϕxi，其中α为w的对偶空间变量。[22]α计算α^。[22]式中核相关kxx为kxi,xk其中，σ为核函数参数，x*为x^的复共轭。（2）检测：待样本训练完成之后，以同样的方式选取后续帧的图像块并进行检测，得到的响应图表示为[22]：f则当前帧中目标的位置即为fz（3）更新：目标跟踪过程中，滤波器和目标外观模型更新采用线性插值，此举是为了减少目标形变、光照等因素的影响。更新方式表示为[22]：a其中，t为帧数，θ为学习率。3.2.4STRCF实现目标跟踪DCF的跟踪性能主要受三个方面的限制：（1）因为滤波器的尺寸要和块尺寸相等，因此限制了检测范围。（2）固定的搜索区域造成了训练样本集中负样本的缺失，会产生模型过拟合的情况，当跟踪目标被遮挡时难以重新检测。（3）采用周期假设产生边界效应问题。[26]为了解决这些问题，在DCF的基础上引入了正则化策略，产生了许多正则化类相关滤波器。文献[23]在DCF中引入了空间正则化，提出了SRDCF算法。通过设置滤波器的模板参数，将其集中在搜索区域的中心位置，边界区域趋近于0，SRDCF算法可以解决相关滤波器的边界效应。其损失函数可以表示为[23]：ξS其中，x是样本图片，f是滤波器，S是相应图，S的峰值位置即为跟踪目标的新位置。α表示每个样本的权重，y表示期望输出，ω则为权值系数，是反高斯的。STRCF算法的提出将时间正则化引入了SRDCF。由于此模型是凸的，采用交替方向乘子法（alternatingdirectionmethodofmultiplier,ADMM）对每个子问题进行求解时均能得到闭合解，而且能在迭代次数较少的情况下实现收敛，得到最终的跟踪结果。[24]其损失函数为：ξ其中，x是样本图片，f是滤波器，y表示期望输出。d=1D||ω·基于深度学习的IR-RGB信息融合跟踪结果如下图3-4所示，其中蓝色、黄色方框分别为groundtruth和跟踪结果。图3-6基于深度学习的IR-RGB信息融合跟踪结果第4章实验结果4.1数据集RGBT210[27]。此数据集包含210个视频集，共约210000帧，RGBT234[28]为其扩充版，包含234个视频集。其中，每个视频集包括该视频的RGB和红外视频序列，序列中的目标位置统一手工标注，标注形式为[x,y,w,h]，即左上角和宽、高。其整体测评方法同GTOT[29]，采用precisionrate（精确度）和succeessrate（成功率）。RGBT210示例如图4-1，上层为红外图像，下层为可见光图像。图4-1RGBT210示例图4.2评估指标（1）PrecisionRate(精确度):跟踪成功时，预测框与groundtruth框中心点的欧氏距离小于阈值(一般设为20像素)。精确度是指在相应阈值下追踪成功的帧数与总帧数之比。（2）SuccessRate(成功率):跟踪成功时，预测框与groundtruth框的区域内像素交并比大于阈值(通常设为0.5)。成功率是指在相应阈值下追踪成功的帧数与总帧数之比。4.3定性分析图4-2，图4-3为传统信息融合跟踪与基于深度学习的IR-RGB信息融合跟踪的实验结果对比图。其中（a）、（b）、（c）为传统信息融合跟踪实验结果，（d）、（e）、（f）为基于深度学习的IR-RGB信息融合跟踪实验结果。如图所示，与传统信息融合跟踪相比，基于深度学习的IR-RGB信息融合跟踪的融合图像整体色调更亮，细节更加清晰。同时，其目标跟踪的预测框与groundtruth框重合的比例也更高，在目标受到遮挡的情况下尤为明显。图4-2两种算法实验对比图1图4-3两种算法实验对比图24.4定量分析图4-4MeanShift目标跟踪精确度图图4-5STRCF目标跟踪精确度图图4-6两种算法精确度对比图图4-4和图4-5分别为MeanShift和STRCF目标跟踪的精确度，其中包含了红外、可见光和融合图像。如图4-4所示，对于MeanShift目标跟踪，使用融合图像的目标跟踪的精确度要高于使用红外图像和可见光图像的目标跟踪的精确度。当阈值为20像素时，精确度由高到低依次为：融合图像，可见光图像，红外图像。如图4-5所示，对于STRCF目标跟踪，使用融合图像的目标跟踪的精确度同样最高。随着阈值增大，使用融合图像深度特征的deepSTRCF目标跟踪精确度最先达到1，其次是使用融合图像人工特征的STRCF目标跟踪。当阈值大于14像素时，STRCF目标跟踪的精确度全部达到1。图4-6则是传统信息融合跟踪和基于深度学习的IR-RGB信息融合跟踪两种算法精确度的对比图，可以看出基于深度学习的IR-RGB信息融合跟踪的精确度要远高于传统信息融合跟踪的精确度。而且基于深度学习的IR-RGB信息融合跟踪的精确度在阈值10像素之前就已达到1，而传统信息融合跟踪的精确度在阈值50像素才达到0.98。图4-7MeanShift目标跟踪成功率图图4-8STRCF目标跟踪成功率图图4-9两种算法成功率对比图图4-7和图4-8分别为MeanShift和STRCF目标跟踪的成功率，其中包含了红外、可见光和融合图像。如图4-7所示，对于MeanShift目标跟踪，使用融合图像的目标跟踪的成功率要高于使用红外图像和可见光图像的目标跟踪的成功率。当阈值为0时，图中三条曲线的函数值都不为1，这说明，MeanShift目标跟踪中存在并交比为0，即预测框与groundtruth框无公共区域的情况。当阈值为0.5时，成功率由高到低依次为：融合图像，可见光图像，红外图像。当阈值为1时，由于并交比不可能大于1，所以成功率皆降为0。如图4-8所示，对于STRCF目标跟踪，使用融合图像的目标跟踪的成功率要高于使用红外图像和可见光图像的目标跟踪的成功率。当阈值为0时，图中四条曲线的函数值皆为1，这说明，在STRCF目标跟踪算法中，预测框与groundtruth框都有公共区域。随着阈值增大，STRCF目标跟踪使用红外图像时的成功率最先从1开始下降，然后是可见光图像，融合图像人工特征，最后为融合图像深度特征。当阈值为0.5时，可以看出图中四条曲线的成功率皆为1。图4-9则是传统信息融合跟踪和基于深度学习的IR-RGB信息融合跟踪两种算法成功率的对比图，可以看出基于深度学习的IR-RGB信息融合跟踪的成功率要远高于传统信息融合跟踪的成功率。阈值为0.5时，基于深度学习的IR-RGB信息融合跟踪的成功率仍为1，而传统信息融合跟踪的成功率已下降为0.27。表4-1算法性能表算法精确度成功率速度传统信息融合跟踪0.980.9714.58FPS基于深度学习的IR-RGB信息融合跟踪0.270.1243.15FPS表4-1为传统信息融合跟踪和基于深度学习的IR-RGB信息融合跟踪两种算法的性能表。虽然传统信息融合跟踪的速度快，但其精确度和成功率都要远低于基于深度学习的IR-RGB信息融合跟踪。第5章结论与展望5.1结论本文对红外与RGB信息的融合跟踪技术进行了研究，实现了一种传统信息融合跟踪算法(TIF图像融合，MeanShift目标跟踪)和一种基于深度学习的IR-RGB信息融合跟踪算法(基于CNN实现图像融合，STRCF目标跟踪)。这两种算法都是先进行图像融合再进行单目标跟踪，即像素级单目标融合跟踪。最后根据目标跟踪的评价指标对跟踪结果进行了对比分析。实验表明，由于融合图像包含有更多的信息，所以其目标跟踪的效果要优于红外图像的目标跟踪效果或者可见光图像的目标跟踪效果。除此之外，STRCF的目标跟踪性能要优于MeanShift的目标跟踪性能。5.2不足之处及未来展望5.2.1不足之处（1）对于图像融合算法，缺乏明确的评价指标，更多地靠人类视觉来直观感受融合图像的质量好坏。（2）两种图像融合跟踪算法都属于像素级融合跟踪，没有涉及到其他层级。（3）仅仅对融合图像进行了单目标跟踪，但在实际应用场景中，会涉及到多目标跟踪。5.2.2未来展望（1）图像融合跟踪算法的训练需要大量的数据集进行有监督学习，而groundtruth的人工标定需要耗费大量的时间精力。因此，无监督的图像融合跟踪将是未来的一个重要研究方向。（2）目标的特征提取在目标跟踪任务中尤为重要。与人工标定的特征相比，神经网络提取的特征具有一定的优势。如何设计用于特征提取的适合的网络结构并进行训练是需要进一步研究讨论的课题。（3）现在提出的大多数多目标融合跟踪算法都是基于传统方法的。因此，多目标融合跟踪的一个重要研究方向是引入深度特征和相关滤波。（4）现存的目标跟踪算法通常都是使用单一方法进行跟踪过程。其未来的发展趋势必然是利用多种跟踪方法相结合，优势互补，从而最大限度地提升性能，提高系统的鲁棒性与实时性。[30]参考文献张国华,卜纪伟,薛雷等.基于像素级图像融合的MeanShift目标跟踪[J].微型电脑应用,2011,27(04):25-27+33+5.谢春宇.基于红外与可见光双模图像融合的目标检测跟踪技术研究[D].东南大学,2020.DOI:10.27014/ki.gdnau.2020.000613.陈少华.基于红外与可见光图像融合的目标跟踪[D].南京航空航天大学,2012.HuJW,ZhengBY,WangC,etal.Asurveyonmulti-sensorfusionbasedobstacledetectionforintelligentgroundvehiclesinoff-roadenvironments[J].信息与电子工程前沿：英文版,2020,21(5):18.N.S.Zewge,Y.Kim,J.KimandJ.-H.Kim,"Millimeter-WaveRadarandRGB-DCameraSensorFusionforReal-TimePeopleDetectionandTracking,"20197thInternationalConferenceonRobotIntelligenceTechnologyandApplications(RiTA),Daejeon,Korea(South),2019,pp.93-98,doi:10.1109/RITAPP.2019.8932892.Daily,M.I.,TomG.Farr,CharlesElachiandGeraldG.Schaber.“GeologicinterpretationfromcompositedradarandLandsatimagery.”(1979).LanerDT,ToddWJ.LandcovermappingwithmergedLandsatRBVandMSSstereoscopicimages[C]//ProceedingsoftheASPFalltechnicalconference.SanFrancisco,1981:680-689.鲁婷婷.基于红外可见光图像融合的目标跟踪研究[D].华东师范大学,2020.DOI:10.27149/ki.ghdsu.2020.000943.P.J.BurtandR.J.Kolczynski,"Enhancedimagecapturethroughfusion,"1993(4th)InternationalConferenceonComputerVision,Berlin,Germany,1993,pp.173-182,doi:10.1109/ICCV.1993.378222.Guan-xia,Bao.“DigitalSecurityTechnologyofWatermarkBasedonLaplacianPyramid.”PackagingEngineering(2016):n.pag.PEEBLESPZJr.Probability,randomvariable,andrandomsignalprinciples[M].4thed.NewYork:McGrawHill,2001.L.J.Chipman,T.M.OrrandL.N.Graham,"Waveletsandimagefusion,"Proceedings.,InternationalConferenceonImageProcessing,Washington,DC,USA,1995,pp.248-251vol.3,doi:10.1109/ICIP.1995.537627.DoMN,VetterliM.Contourlets:Adirectionalmultiresolutionimagerepresentation[C]//Signals,SystemsandComputers,2002.ConferenceRecordoftheThirty-SixthAsilomarConferenceon.IEEE,2002.A.L.daCunha,JianpingZhou,andM.N.Do.2006.TheNonsubsampledContourletTransform:Theory,Design,andApplications.Trans.Img.Proc.15,10(October2006),3089–3101.BavirisettiDP,DhuliR.Two-scaleimagefusionofvisibleandinfraredimagesusingsaliencydetection[J].InfraredPhysics&Technology,2016,76:52-64.YuLiu,XunChen,HuPeng,andZengfuWang.2017.Multi-focusimagefusionwithadeepconvolutionalneuralnetwork.Inf.Fusion36,C(July2017),191–207.JiayiMa,WeiYu,PengweiLiang,ChangLi,andJunjunJiang.2019.FusionGAN:Agenerativeadversarialnetworkforinfraredandvisibleimagefusion.Inf.Fusion48,C(Aug2019),11–26.H.LiandX.-J.Wu,"DenseFuse:AFusionApproachtoInfraredandVisibleImages,"inIEEETransactionsonImageProcessing,vol.28,no.5,pp.2614-2623,May2019,doi:10.1109/TIP.2018.2887342.ComaniciuD,RameshV.Real-timetrackingofnon-rigidobjectsusingmeanshift[C]//ProceedingsIEEEConferenceonComputerVisionandPatternRecognition.CVPR2000(Cat.No.PR00662).0.J.NieandX.Guo,"ATargetTrackingMethodBasedonImprovedCamshiftAlgorithm,"2020IEEE5thInformationTechnologyandMechatronicsEngineeringConference(ITOEC),Chongqing,China,2020,pp.254-258,doi:10.1109/ITOEC49072.2020.9141593.BolmeDS,BeveridgeJR,DraperBA,etal.Visualobjecttrackingusingadaptivecorrelationfilters[J].IEEE,2010.JoãoF.Henriques,RuiCaseiro,PedroMartins,andJorgeBatista.2012.Exploitingthecirculantstructureoftracking-by-detectionwithkernels.InProceedingsofthe12thEuropeanc