第五章光电信息处理技术成像目标探测与跟踪技术

成像目的探测与跟踪主要内容成像探测与跟踪系统概述运动目的检测方法成像目的跟踪方法目的跟踪技术运用及开展主要内容成像跟踪系统概述运动目的检测方法成像目的跟踪方法目的跟踪技术运用及开展一、成像探测与跟踪系统概述准确制导、目的跟踪“道尔〞野战地空导弹武器系统，是世界上最先采用垂直发射方式的近程防空系统，同时也是一种全天候、全自动、三位一体(目的搜索、跟踪和导弹发射安装同时装在一辆车上)的新一代高性能防空导弹发射车。它具有警戒、指挥与控制、导弹制导与发射等众多功能，既可以独立作战，也可以和发射连的其它发射车协同作战。它可在低空、超低空和近程区域内拦截多种非隐身与隐身空袭目。X-59导引头雷达导引头自动导系统一、成像探测与跟踪系统概述导引头舵机发动机尾翼自动导系统一、成像探测与跟踪系统概述一、成像探测与跟踪系统概述跟踪系统及跟踪一、成像探测与跟踪系统概述EF2000欧洲战斗机配备“海盗〞机载红外搜索跟踪系统“海盗〞系统〔无源红外机载跟踪设备〕可以为空中拦截和空地作战提供战术优势。该设备安装在机舱左侧、风挡玻璃的前方。“海盗〞系统在空对空方式下运转的时候，具备搜索和跟踪系统〔IRST〕功能，提供无源目的探测和跟踪才干；在空对地方式下，可以执行多目的获取和识别义务，同时还能提供辅助导航和着陆功能。一、成像探测与跟踪系统概述红外监控系统一、成像探测与跟踪系统概述什么是视频(成像)目的跟踪？视频序列目的跟踪是指对传感器摄取到的图像序列进展处置与分析，充分利用传感器采集得到信息来对目的进展稳定跟踪的过程。一旦目的被确定，就可获得目的的位置、速度、加速度等运动参数，进而获得目的的特征参数。一、成像探测与跟踪系统概述什么是视频(成像)目的跟踪？在军事上，视频序列目的跟踪技术广泛运用于准确制导、战场机器人自主导航、无人机着降，靶场光电跟踪等领域。在现代高技术条件下的战争中，由于各种伪装、欺骗、对抗、反辐射技术大量运用，使得战场环境日益复杂，尤其是在复杂环境下的目的跟踪问题，成为该领域内研讨的热点与难点；在民用上，该技术主要运用在智能视频监控、智能交通控制、医疗影像诊断等方面。一、成像探测与跟踪系统概述成像跟踪系统流程及框图一、成像探测与跟踪系统概述研讨现状〔国际〕1997年，美国国防高级研讨工程署设立了以卡内基梅隆大学牵头，麻省理工学院等高校参与的视觉监控艰苦工程VSAM，主要研讨用于战场及普通民用场景监控的自动视频了解技术。1999年，美国康奈尔大学计算机系设计了一套航拍视频检测与继续跟踪系统，该系统可以对多运动目的实现长时间的准确跟踪，即使发生短时间内目的被遮挡或目的时静时动的情况。2005年，美国中央佛罗里达大学计算机视觉实验室开发出了基于MATLAB的COCOA系统，用于无人机低空航拍视频图像的目的检测与跟踪处置。一、成像探测与跟踪系统概述研讨现状〔国内〕研讨所：中科院光电技术研讨所、长春光机所、上海光机所，安徽光机所、上海技术物理所、中科院自动化所，沈阳自动化所，中国工程物理研讨院等。高校：国防科技技术大学、西北工业大学、哈尔滨工业大学、北京理工大学、北京航空航天大学、华中科技大学、空军工程大学等。一、成像探测与跟踪系统概述VSAM目的是开发自动视频了解技术，并用于实现未来战争人力费用昂贵、非常危险或者人力无法实现等场所的监控。该系统交融了数字摄像机、音频采集头、红外和微波报警探测器、温度探测器等多种类型的传感器，可以对监控地域进展全方位的昼夜监控。运用了地理信息和三维建模技术，提供可视化图形操作界面，当视频分析处置器报告了运动对象、对象类别及位置之后，操作员不仅可以在地理信息界面上进展虚拟对象标志，而且还能在辅助窗口察看对象的真实活动情况。VSAM运用架设在高处多方位旋转云台上的单个摄像机，可以全方位地实施视频监控。系统首先有规律地初始化一系列背景图像，然后利用基于特征区域的方法将实践摄录的视频图与相应的背景图作匹配，再利用背景减除法检测运动目的。VSAM由于传统的卡尔曼滤波方法只能处置单峰问题，该系统对传统的卡尔曼滤波思想进展了扩展，并运用了带目的模板更新的相关匹配算法实现了多目的的跟踪。VSAM针对机载航空摄像机所拍摄的视频图像，萨尔诺夫戴维研讨中心研发了检测和跟踪独立地面车辆目的的视频图像了解技术。该技术的关键在于对航空摄像机的自运动补偿，对经过补偿的图像，利用三帧差减的方法检测目的。美国康奈尔大学计算机系设计的航拍视频图像目的检测与继续跟踪系统的特征在于，可以对多运动目的实现较长时间的准确跟踪，即使在短时间内目的被遮挡或移出视场以及目的时静时动。

该系统在运动背景估计与补偿中所涉及的主要技术是基于Kanade-Lucas-Tomasi算法的特征点跟踪和基于M估计的鲁棒性仿射参数估计。然后利用三帧差减的方法检测目的运动，利用形状学操作分割图像并定位运动目的。对多目的进展标志之后，利用Hausdorff间隔匹配和模板更新的方法对目的进展长时间的跟踪。4576102123152159253298COCOACOCOA系统是一种无人机航拍图像目的跟踪系统。该系统针对一段视频图像序列，经过三大技术环节，即背景运动补偿、运动检测与目的跟踪，来完成对目的的检测与跟踪。该系统基于MATLAB平台，可以适用于不同的光传感器〔可见光或红外〕，最小的可跟踪目的约为100象素大小。该系统对机载光电传感器或红外传感器所摄视频图像进展鲁棒性背景运动补偿，并可生成全景图，利于更高层次的运用。对图像中多种运动目的〔如汽车、坦克、摩托车等〕进展可靠性检测并进展耐久地跟踪。COCOA背景运动补偿基于特征+基于灰度梯度运动检测累积帧差法+形状学操作目的跟踪LevelSet方法+MeanShift方法视频序列COCOA系统的根本技术环节归纳起来，运动场景中目的检测与跟踪技术主要包括以下三个关键技术：背景补偿与图像预处置：消除背景运动、随机噪声对目的检测与跟踪的影响。图像分割与目的检测：利用图像分割技术从图像中检测出能够的运动目的。特征提取和目的跟踪：对检测出的目的提取可识别的特征，根据这些特征在后续的视频图像序列中对目的进展跟踪。主要内容成像探测与跟踪系统概述运动目的检测方法成像目的跟踪方法目的跟踪技术运用及开展1、静止背景下的目的检测帧差分法：二、运动目的检测静态场景目的检测相对简单，研讨渐趋成熟动态场景相对复杂，成为当前研讨领域的热点静态场景帧差的一个例子研讨重点：运动目的的检测二、运动目的检测视频图像中的目的检测与跟踪，是计算机视觉的根底课题，同时具有广泛的运用价值。视频序列运动检测对于动态场景，由于目的与摄像头之间存在复杂的相对运动，运动检测富有挑战性。传统的帧差方法曾经不再适用，如何能对全局的运动进展估计和补偿，成为问题的关键。第一帧帧差图像处理思绪要检测动态场景中的运动目的，关键在于对场景的运动进展估计，经过估计出的运动参数补偿其运动，最后运用帧差法得到运动目的。提取特征点特征点匹配最小二乘求运动参数提取特征点前一帧图像后一帧图像运动补偿帧差法运动目的求解全局运动参数前一帧后一帧求特征点并匹配运动补偿补偿后的帧差图像实验结果与普通帧差法的比较第50帧第80帧第5帧帧差法特征匹配的方法原序列基于图像金字塔分解的全局运动估计采用了3层金字塔进展多分辨率计算,而且在每层迭代计算中,将基于块的外点去除算法与特征点提取算法相结合,这样既加快了算法的速度,又提高了计算结果的准确性。根本步骤如下：用高斯图像构造法构造图像金字塔；对金字塔顶层图像进展全局运动估计，求得运动参数；将顶层金字塔求得的参数集隐射到金字塔的中间层，并对该层进展全局运动估计，求得相应的运动参数；将金字塔中间层的参数集映射到金字塔的底层,对该层进展全局运动估计，求得该层的运动参数集。利用求得的最终参数集，对图像进展运动补偿，将运动补偿后的图像与前一帧图像进展差值。以下图给出了运动补偿与直接帧差的结果比较图1Coastguard序列图像图2直接帧差和运动补偿后的差值图比较二、运动目的检测块匹配算法简介无需计算每一个像素的运动，而只是计算由假设干像素组成的像素块的运动，对于许多图像分析和估计运用来说，块运动分析是一种很好的近似。如数字视频紧缩国际规范MPEG1-2采用了基于块的运动分析和补偿算法。二、运动目的检测块匹配算法的关键技术匹配准那么(MatchingCriteria)搜索战略(SearchingStrategy匹配特征二、运动目的检测匹配准那么目的帧锁定帧二、运动目的检测匹配准那么１.均方差(MeanSquareError,MSE)２.平均绝对差(Meanabsolutediscrepancy,MAD)二、运动目的检测匹配准那么3.相互关(Cross-correlation,CC)二、运动目的检测搜索战略全视场搜索(FS)对数搜搜三步搜索菱形搜索(DiamondSearch，DS)其他改良搜索战略Three-StepSearch(3SS)1111111112322222223333333搜索战略2D对数法搜索111112223344444444搜索战略二、运动目的检测匹配特征图像灰度、亮度、颜色等信息图像特征(边缘、轮廓、纹理、变换域特征等。主要内容成像探测与跟踪系统概述运动目的检测方法成像目的跟踪方法目的跟踪技术运用及开展1、目的跟踪方法分类三、成像目的跟踪方法成像跟踪系统经过图像的预处置、图像的分割识别等一系列信息处置，最终实现对目的位置的实时准确丈量，即对目的或目的的部分实施稳定跟踪，实时输出目的的脱靶量。矩心(质心、形心)跟踪；边缘跟踪；峰值跟踪；相关跟踪；滤波跟踪。1．矩心跟踪矩心也叫质心或重心，是物体对某轴的静力矩作用中心。假设把目的图像看成是一块质量密度不均匀的薄板，以图像上各像素点的灰度作为各点的质量密度。这样就可以借用矩心的定义式来计算目的图像的矩心。xyabcdxcyc三、成像目的跟踪方法TemplateSearchimage2．相关跟踪由于目的运动、姿态发生改动、光照条件改动以及杂波背景的干扰，使得目的图像的分割提取非常困难，计算目的的矩心或形心不准确。在某种情况下，可以采用以图像匹配为根底的跟踪方法，习惯上称之为相关跟踪。三、成像目的跟踪方法分片跟踪—部分遮挡目的跟踪为什么引入分片跟踪：在目的跟踪领域，一个重要的难题就是目的的遮挡问题，由于遮挡发生时目的能够部分或全部不可见。模拟人眼跟踪目的的方式，发生遮挡时，人眼会关注目的的可见部分来继续跟踪。受这一思想启发，我们将目的分成多个小片，目的被遮挡时，利用“可见片〞来跟踪。分片跟踪主要思想：将目的分片，建立目的分片表现模型〔模板〕。在目的上一帧的位置周围遍历搜索，找到与目的模板类似度最高的候选目的作为跟踪结果。

当前帧上一帧目的位置候选目的位置搜索窗口目的分片分片跟踪其中类似度的度量是经过各片的空间直方图匹配来实现的。确定目的位置后，判别目的中各片的有效性，我们仅利用有效片进展下一帧的跟踪。被遮挡的区域片根本丧失模板更新由上可见这种分片方法曾经可以很好的处理遮挡问题。但是在跟踪过程中，目的的外观模型能够发生变化〔例如目的转身、尺寸变化等等〕。那么刚开场为目的建立的模板就不能很好的表示目的，这将影响跟踪效果。

目的外观变化时片匹配的情况外观缓慢变化时，丧失的片很少利用有效片的概念，我们为每个目的建立两种模板，暂时模板和参考模板。暂时模板—实时更新的模板，在无遮挡情况下跟踪，可以处理目的外观缓慢变化的问题。参考模板—可以很好的表示目的的模板，用于遮挡情况下的跟踪。分片跟踪多组实验结果：1.可以有效的处理目的遮挡 2.在目的表现模型缓慢变化的情况下，实时更新模板 3.在背景较为简单的情况下实现目的尺度的更新分片跟踪遮挡下的跟踪分片跟踪目的表现模型的变化时的跟踪目的尺度发生变化运用举例：车辆检测与跟踪智能交通系统：(IntelligentTransportSystems,ITS)车辆检测与跟踪概述影响车辆检测和跟踪的主要要素：〔1〕车辆本身阴影；〔2〕车辆间相互遮挡或车辆被背景中物体遮挡；〔3〕同车型车辆之间具有较大的类似性；〔4〕光线突变；〔5〕夜晚和雨、雪等恶烈天气等。主要针对〔1〕、〔2〕两种情况开展研讨算法步骤Step1背景模型训练，得到表示初始背景模型的码本。Step2输入像素点和码本做比较判别，得到能够的前景像素点，同时更新码本。Step3去除能够前景像素点中阴影和高亮区域，得到真实的前景点，同时更新码本。Step4去噪，连通区域分析，根据检测出的运动目的的长宽消除非车辆目的，将运动车辆分割出来。Step5运用卡尔曼滤波器预测车辆在下一帧中的能够位置。Step6在预测区域周围对各个车辆进展匹配跟踪。转Step2，进展下一轮跟踪。实验结果