第五章光电信息处理技术成像目标探测与跟踪技术

1、成像目标(mbio)探测与跟踪共七十一页主要(zhyo)内容成像探测与跟踪(gnzng)系统概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展共七十一页主要(zhyo)内容成像跟踪系统(xtng)概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展共七十一页一、成像探测与跟踪(gnzng)系统概述精确制导、目标(mbio)跟踪 “道尔” 野战地空导弹武器系统，是世界上最先采用垂直发射方式的近程防空系统，同时也是一种全天候、全自动、三位一体(目标搜索、跟踪和导弹发射装置同时装在一辆车上)的新一代高性能防空导弹发射车。它具有警戒、指挥与控制、导弹制导与发射等众多功能，既可以独立作战，

2、也可以和发射连的其它发射车协同作战。它可在低空、超低空和近程区域内拦截多种非隐身与隐身空袭目。共七十一页X-59导引头雷达(lid)导引头自动(zdng)导系统一、成像探测与跟踪系统概述共七十一页导引头舵机(du j)发动机尾翼(wi y)自动导系统一、成像探测与跟踪系统概述共七十一页一、成像探测(tnc)与跟踪系统概述共七十一页跟踪(gnzng)系统及跟踪(gnzng)一、成像探测(tnc)与跟踪系统概述共七十一页EF2000欧洲战斗机装备“海盗”机载红外搜索跟踪(gnzng)系统 “海盗”系统（无源红外机载跟踪设备）可以为空中拦截和空地作战提供战术优势。该设备安装在机舱左侧、风挡玻璃的前方

3、。“海盗”系统在空对空模式下运行的时候，具备搜索和跟踪系统（IRST）功能，提供无源目标探测和跟踪能力；在空对地模式下，可以执行多目标获取(huq)和识别任务，同时还能提供辅助导航和着陆功能。 一、成像探测与跟踪系统概述共七十一页红外监控(jin kn)系统一、成像探测与跟踪(gnzng)系统概述共七十一页什么是视频(shpn)(成像)目标跟踪？视频序列目标跟踪是指对传感器摄取到的图像(t xin)序列进行处理与分析，充分利用传感器采集得到信息来对目标进行稳定跟踪的过程。一旦目标被确定，就可获得目标的位置、速度、加速度等运动参数，进而获得目标的特征参数。 一、成像探测与跟踪系统概述共七十一页什

4、么是视频(shpn)(成像)目标跟踪？在军事上，视频序列目标跟踪技术广泛应用于精确制导、战场机器人自主导航、无人机着降，靶场光电跟踪等领域(ln y)。在现代高技术条件下的战争中，由于各种伪装、欺骗、对抗、反辐射技术大量使用，使得战场环境日益复杂，尤其是在复杂环境下的目标跟踪问题，成为该领域(ln y)内研究的热点与难点；在民用上，该技术主要应用在智能视频监控、智能交通管制、医疗影像诊断等方面。 一、成像探测与跟踪系统概述共七十一页成像跟踪(gnzng)系统流程及框图一、成像探测与跟踪系统(xtng)概述共七十一页研究(ynji)现状（国际）1997年，美国国防高级研究项目署设立了以卡内基梅隆

5、大学牵头，麻省理工学院等高校参与的视觉监控重大项目VSAM，主要研究用于战场及普通民用(mnyng)场景监控的自动视频理解技术。1999年，美国康奈尔大学计算机系设计了一套航拍视频检测与持续跟踪系统，该系统能够对多运动目标实现长时间的准确跟踪，即使发生短时间内目标被遮挡或目标时静时动的情况 。2005年，美国中央佛罗里达大学计算机视觉实验室开发出了基于MATLAB的COCOA系统，用于无人机低空航拍视频图像的目标检测与跟踪处理。一、成像探测与跟踪系统概述共七十一页研究(ynji)现状（国内）研究所：中科院光电技术(jsh)研究所、长春光机所、上海光机所，安徽光机所、上海技术(jsh)物理所、中

6、科院自动化所，沈阳自动化所 ，中国工程物理研究院等。高校：国防科技技术大学、西北工业大学、哈尔滨工业大学、北京理工大学、北京航空航天大学、华中科技大学、空军工程大学等。一、成像探测与跟踪系统概述共七十一页VSAM 目标是开发自动视频理解技术，并用于实现未来战争人力费用昂贵、非常危险或者(huzh)人力无法实现等场合的监控。该系统融合了数字摄像机、音频采集头、红外和微波报警探测器、温度探测器等多种类型的传感器，可以对监控地区进行全方位的昼夜监控。使用了地理信息和三维建模技术，提供可视化图形操作界面，当视频分析处理器报告了运动对象、对象类别及位置之后，操作员不仅可以在地理信息界面上进行虚拟对象标记

7、，而且还能在辅助窗口观察对象的真实活动情况。共七十一页VSAM使用(shyng)架设在高处多方位旋转云台上的单个摄像机，可以全方位地实施视频监控。系统首先有规律地初始化一系列背景图像，然后利用基于特征区域的方法将实际摄录的视频图与相应的背景图作匹配，再利用背景减除法检测运动目标。 共七十一页VSAM由于传统的卡尔曼滤波方法只能处理单峰问题，该系统对传统的卡尔曼滤波思想(sxing)进行了扩展，并使用了带目标模板更新的相关匹配算法实现了多目标的跟踪。 共七十一页VSAM针对机载航空摄像机所拍摄的视频图像，萨尔诺夫戴维研究中心研发了检测和跟踪独立地面车辆目标的视频图像理解技术(jsh)。该技术(j

8、sh)的关键在于对航空摄像机的自运动补偿，对经过补偿的图像，利用三帧差减的方法检测目标。 共七十一页美国康奈尔大学计算机系设计的航拍视频图像目标检测与持续跟踪(gnzng)系统的特色在于，能够对多运动目标实现较长时间的准确跟踪(gnzng)，即使在短时间内目标被遮挡或移出视场以及目标时静时动。该系统在运动背景估计与补偿中所涉及的主要技术是基于Kanade-Lucas-Tomasi算法的特征点跟踪和基于M估计的鲁棒性仿射参数估计。然后利用三帧差减的方法检测目标运动，利用形态学操作分割图像并定位运动目标。对多目标进行标记之后，利用Hausdorff距离匹配和模板更新的方法对目标进行长时间的跟踪。4

9、576102123152159253298共七十一页COCOACOCOA系统是一种无人机航拍图像目标跟踪系统。该系统针对一段视频图像序列，通过三大技术环节，即背景运动补偿、运动检测与目标跟踪，来完成对目标的检测与跟踪。该系统基于MATLAB平台(pngti)，可以适用于不同的光传感器（可见光或红外），最小的可跟踪目标约为100象素大小。该系统对机载光电传感器或红外传感器所摄视频图像进行鲁棒性背景运动补偿，并可生成全景图，利于更高层次的应用。对图像中多种运动目标（如汽车、坦克、摩托车等）进行可靠性检测并进行持久地跟踪。共七十一页COCOA背景运动补偿基于特征 + 基于灰度梯度运动检测累积帧差法

10、+ 形态学操作目标跟踪Level Set方法 + Mean Shift方法视频(shpn)序列COCOA系统(xtng)的基本技术环节 共七十一页 归纳起来，运动场景中目标检测与跟踪(gnzng)技术主要包括以下三个关键技术： 背景补偿与图像预处理：消除背景运动、随机噪声对目标检测与跟踪的影响。 图像分割与目标检测：利用图像分割技术从图像中检测出可能的运动目标。 特征提取和目标跟踪：对检测出的目标提取可识别的特征，依据这些特征在后续的视频图像序列中对目标进行跟踪。共七十一页主要(zhyo)内容成像探测与跟踪系统(xtng)概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展共七十一页 1

11、、静止背景(bijng)下的目标检测 帧差分法：二、运动(yndng)目标检测静态场景 目标检测相对简单，研究渐趋成熟动态场景 相对复杂，成为当前研究领域的热点共七十一页静态场景帧差的一个(y )例子共七十一页 研究重点：运动目标(mbio)的检测二、运动目标(mbio)检测视频图像中的目标检测与跟踪，是计算机视觉的基础课题，同时具有广泛的应用价值。共七十一页视频(shpn)序列运动检测对于动态场景，由于目标与摄像头之间存在复杂的相对运动，运动检测(jin c)富有挑战性。传统的帧差方法已经不再适用，如何能对全局的运动进行估计和补偿，成为问题的关键。第一帧 帧差图像共七十一页解决(jiju)思

12、路要检测动态场景中的运动目标，关键在于对场景的运动进行估计，通过(tnggu)估计出的运动参数补偿其运动，最后使用帧差法得到运动目标。提取特征点特征点匹配最小二乘求运动参数提取特征点前一帧图像后一帧图像运动补偿帧差法运动目标共七十一页求解全局运动(yndng)参数前一帧后一帧求特征点并匹配运动补偿补偿后的帧差图像共七十一页实验(shyn)结果与普通帧差法的比较第50帧第80帧第5帧帧差法特征匹配的方法原序列共七十一页基于(jy)图像金字塔分解的全局运动估计 采用了3层金字塔进行多分辨率计算,而且在每层迭代计算中,将基于块的外点去除算法与特征点提取(tq)算法相结合,这样既加快了算法的速度,又提

13、高了计算结果的准确性。共七十一页基本(jbn)步骤如下：用高斯图像构造法构造图像金字塔；对金字塔顶层图像进行全局运动估计，求得运动参数；将顶层金字塔求得的参数集隐射到金字塔的中间层，并对该层进行全局运动估计，求得相应的运动参数；将金字塔中间层的参数集映射到金字塔的底层, 对该层进行全局运动估计，求得该层的运动参数集。利用求得的最终参数集，对图像进行运动补偿，将运动补偿后的图像与前一帧图像进行差值。共七十一页下图给出了运动补偿与直接(zhji)帧差的结果比较图1Coastguard序列图像图2直接帧差和运动补偿后的差值图比较共七十一页二、运动目标(mbio)检测 块匹配(ppi)算法简介无需计算

14、每一个像素的运动，而只是计算由若干像素组成的像素块的运动，对于许多图像分析和估计应用来说，块运动分析是一种很好的近似。如数字视频压缩国际标准MPEG1-2 采用了基于块的运动分析和补偿算法。 共七十一页二、运动(yndng)目标检测 块匹配(ppi)算法的关键技术 匹配准则(Matching Criteria) 搜索策略(Searching Strategy 匹配特征共七十一页二、运动(yndng)目标检测匹配(ppi)准则目标帧锁定帧共七十一页二、运动(yndng)目标检测匹配(ppi)准则.均方差(Mean Square Error, MSE).平均绝对差(Mean absolute di

15、screpancy, MAD)共七十一页二、运动目标(mbio)检测匹配(ppi)准则3.互相关(Cross-correlation, CC)共七十一页二、运动目标(mbio)检测搜索(su su)策略 全视场搜索(FS) 对数搜搜 三步搜索 菱形搜索(Diamond Search ，DS) 其他改进搜索策略共七十一页Three-Step Search (3SS)1111111112322222223333333搜索(su su)策略共七十一页2D 对数(du sh)法搜索111112223344444444搜索(su su)策略共七十一页二、运动目标(mbio)检测匹配(ppi)特征 图像灰

16、度、亮度、颜色等信息 图像特征(边缘、轮廓、纹理、变换域特征等。共七十一页主要(zhyo)内容成像探测与跟踪系统(xtng)概述运动目标检测方法成像目标跟踪方法目标跟踪技术应用及发展共七十一页1、目标(mbio)跟踪方法分类三、成像目标跟踪(gnzng)方法 成像跟踪系统经过图像的预处理、图像的分割识别等一系列信息处理，最终实现对目标位置的实时精确测量，即对目标或目标的局部实施稳定跟踪，实时输出目标的脱靶量。 矩心(质心、形心)跟踪； 边缘跟踪； 峰值跟踪； 相关跟踪； 滤波跟踪。共七十一页1矩心跟踪 矩心也叫质心或重心，是物体对某轴的静力矩作用中心。如果把目标图像看成是一块质量(zhling

17、)密度不均匀的薄板，以图像上各像素点的灰度作为各点的质量(zhling)密度。这样就可以借用矩心的定义式来计算目标图像的矩心。xyabcdxcyc三、成像目标(mbio)跟踪方法共七十一页TemplateSearch image2相关跟踪由于目标运动、姿态发生改变、光照条件改变以及杂波背景的干扰(gnro)，使得目标图像的分割提取十分困难，计算目标的矩心或形心不准确。在某种情况下，可以采用以图像匹配为基础的跟踪方法，习惯上称之为相关跟踪。三、成像目标跟踪(gnzng)方法共七十一页分片跟踪部分(b fen)遮挡目标跟踪为什么引入分片(fn pin)跟踪： 在目标跟踪领域，一个重要的难题就是目标

18、的遮挡问题，因为遮挡发生时目标可能部分或全部不可见。 模拟人眼跟踪目标的方式，发生遮挡时，人眼会关注目标的可见部分来继续跟踪。受这一思想启发，我们将目标分成多个小片，目标被遮挡时，利用“可见片”来跟踪。 共七十一页分片(fn pin)跟踪主要思想： 将目标分片，建立目标分片表现模型(mxng)（模板）。在目标上一帧的位置周围遍历搜索，找到与目标模板相似度最高的候选目标作为跟踪结果。 当前帧上一帧目标位置 候选目标位置搜索窗口目标分片共七十一页分片(fn pin)跟踪 其中相似度的度量是通过各片的空间直方图匹配来实现的。确定目标位置后，判断目标中各片的有效(yuxio)性，我们仅利用有效(yux

19、io)片进行下一帧的跟踪。 被遮挡的区域片基本丢失共七十一页模板更新 由上可见这种分片方法已经可以很好的解决遮挡问题。 但是在跟踪过程中，目标的外观模型可能发生变化（例如目标转身、尺寸(ch cun)变化等等）。那么刚开始为目标建立的模板就不能很好的表示目标，这将影响跟踪效果。 共七十一页目标外观变化时片匹配(ppi)的情况外观缓慢变化(binhu)时，丢失的片很少共七十一页利用有效片的概念，我们为每个目标建立两种模板，临时模板和参考模板。 临时模板实时更新的模板，在无遮挡情况下跟踪，可以(ky)解决目标外观缓慢变化的问题。 参考模板能够很好的表示目标的模板，用于遮挡情况下的跟踪。共七十一页分

20、片(fn pin)跟踪多组实验(shyn)结果： 1.可以有效的解决目标遮挡 2.在目标表现模型缓慢变化的情况下，实时更新模板 3.在背景较为简单的情况下实现目标尺度的更新共七十一页分片(fn pin)跟踪遮挡(zhdng)下的跟踪共七十一页分片(fn pin)跟踪目标表现(bioxin)模型的变化时的跟踪共七十一页目标(mbio)尺度发生变化共七十一页应用(yngyng)举例：车辆检测与跟踪智能(zh nn)交通系统：( Intelligent Transport Systems, ITS)共七十一页车辆检测与跟踪(gnzng)概述影响车辆检测和跟踪的主要因素： （1）车辆自身阴影；（2）车

21、辆间相互遮挡或车辆被背景(bijng)中物体遮挡；（3）同车型车辆之间具有较大的相似性；（4）光线突变；（5）夜晚和雨、雪等恶烈天气等。主要针对（1）、（2）两种情况开展研究 共七十一页算法(sun f)步骤 Step1 背景模型训练，得到表示初始背景模型的码本。Step2 输入像素点和码本做比较判断，得到可能的前景像素点，同时更新码本。Step3 去除可能前景像素点中阴影和高亮区域，得到真实的前景点，同时更新码本。Step4 去噪，连通区域分析，根据检测(jin c)出的运动目标的长宽消除非车辆目标，将运动车辆分割出来。 Step5 使用卡尔曼滤波器预测车辆在下一帧中的可能位置。Step6

22、在预测区域周围对各个车辆进行匹配跟踪。转Step2，进行下一轮跟踪。共七十一页实验(shyn)结果 （a）遮挡模型(mxng) （b）原始遮挡图像 （c）分割处理后 （d）遮挡模型与运动目标匹配共七十一页夜晚车辆(chling)检测结果 共七十一页普通(ptng)路面检测结果 （a）序列某一帧 （b）混合高斯模型(mxng)检测结果 （c）Bayes 决策检测结果 （d）改进方法检测结果共七十一页高速公路(o s n l)检测结果 （a）序列某一帧 （b）混合高斯模型(mxng)检测结果 （c）Bayes 决策检测结果 （d）改进方法检测结果共七十一页跟踪(gnzng)结果 （a）序列第168帧跟踪结果（b）序列第182帧跟踪结果 （c）目标质心(zh xn)在x方向的坐标 （d）目标质心在y方向的坐标 共七十一页主要(zh