第五章--光电信息处理技术--成像目标探测与跟踪技术

1、 主要内容 u成像探测与跟踪系统概述成像探测与跟踪系统概述 u运动目标检测方法运动目标检测方法 u成像目标跟踪方法成像目标跟踪方法 u目标跟踪技术应用及发展目标跟踪技术应用及发展 主要内容 u成像跟踪系统概述成像跟踪系统概述 u运动目标检测方法运动目标检测方法 u成像目标跟踪方法成像目标跟踪方法 u目标跟踪技术应用及发展目标跟踪技术应用及发展 一、成像探测与跟踪系统概述 精确制导、目标跟踪精确制导、目标跟踪 “道尔道尔” 野战地空导弹武野战地空导弹武 器系统，是世界上最先采用垂器系统，是世界上最先采用垂 直发射方式的近程防空系统，直发射方式的近程防空系统， 同时也是一种全天候、全自动、同时也是

2、一种全天候、全自动、 三位一体三位一体(目标搜索、跟踪和目标搜索、跟踪和 导弹发射装置同时装在一辆车导弹发射装置同时装在一辆车 上上)的新一代高性能防空导弹的新一代高性能防空导弹 发射车。它具有警戒、指挥与发射车。它具有警戒、指挥与 控制、导弹制导与发射等众多控制、导弹制导与发射等众多 功能，既可以独立作战，也可功能，既可以独立作战，也可 以和发射连的其它发射车协同以和发射连的其它发射车协同 作战。它可在低空、超低空和作战。它可在低空、超低空和 近程区域内拦截多种非隐身与近程区域内拦截多种非隐身与 隐身空袭目。隐身空袭目。 X-59导引头 雷达导引头雷达导引头 自动导系统自动导系统 一、成像探

3、测与跟踪系统概述 导引头导引头舵机舵机发动机发动机 尾尾 翼翼 自动导系统自动导系统 一、成像探测与跟踪系统概述 一、成像探测与跟踪系统概述 跟踪系统及跟踪跟踪系统及跟踪 一、成像探测与跟踪系统概述 EF2000欧洲战斗机装备欧洲战斗机装备“海盗海盗”机载红外搜机载红外搜 索跟踪系统索跟踪系统 “ “海盗海盗”系统（无源红外机载跟踪设备）可以为空中拦截系统（无源红外机载跟踪设备）可以为空中拦截 和空地作战提供战术优势。该设备安装在机舱左侧、风挡玻璃和空地作战提供战术优势。该设备安装在机舱左侧、风挡玻璃 的前方。的前方。“海盗海盗”系统在空对空模式下运行的时候，具备搜索系统在空对空模式下运行的时

4、候，具备搜索 和跟踪系统（和跟踪系统（IRSTIRST）功能，提供无源目标探测和跟踪能力；在）功能，提供无源目标探测和跟踪能力；在 空对地模式下，可以执行多目标获取和识别任务，同时还能提空对地模式下，可以执行多目标获取和识别任务，同时还能提 供辅助导航和着陆功能。供辅助导航和着陆功能。 一、成像探测与跟踪系统概述 红外监控系统红外监控系统 一、成像探测与跟踪系统概述 什么是视频什么是视频(成像成像)目标跟踪？目标跟踪？ 视频序列目标跟踪是指对传感器摄取到的图像序列进 行处理与分析，充分利用传感器采集得到信息来对目 标进行稳定跟踪的过程。一旦目标被确定，就可获得 目标的位置、速度、加速度等运动参

5、数，进而获得目 标的特征参数。 一、成像探测与跟踪系统概述 什么是视频什么是视频(成像成像)目标跟踪？目标跟踪？ 在军事上，视频序列目标跟踪技术广泛应用于精确制导、战场 机器人自主导航、无人机着降，靶场光电跟踪等领域。在现代 高技术条件下的战争中，由于各种伪装、欺骗、对抗、反辐射 技术大量使用，使得战场环境日益复杂，尤其是在复杂环境下 的目标跟踪问题，成为该领域内研究的热点与难点；在民用上， 该技术主要应用在智能视频监控、智能交通管制、医疗影像诊 断等方面。 一、成像探测与跟踪系统概述 成像跟踪系统流程及框图成像跟踪系统流程及框图 一、成像探测与跟踪系统概述 研究现状（国际）研究现状（国际）

6、1997年，美国国防高级研究项目署设立了以卡内基梅隆大学牵头，麻省理工 学院等高校参与的视觉监控重大项目VSAM，主要研究用于战场及普通民用 场景监控的自动视频理解技术。 1999年，美国康奈尔大学计算机系设计了一套航拍视频检测与持续跟踪系 统，该系统能够对多运动目标实现长时间的准确跟踪，即使发生短时间内 目标被遮挡或目标时静时动的情况 。 2005年，美国中央佛罗里达大学计算机视觉实验室开发出了基于MATLAB 的COCOA系统，用于无人机低空航拍视频图像的目标检测与跟踪处理。 一、成像探测与跟踪系统概述 研究现状（国内）研究现状（国内） 研究所：中科院光电技术研究所、长春光机所、上海光 机

7、所，安徽光机所、上海技术物理所、中科院自动化所， 沈阳自动化所 ，中国工程物理研究院等。 高校：国防科技技术大学、西北工业大学、哈尔滨工业 大学、北京理工大学、北京航空航天大学、华中科技大 学、空军工程大学等。 一、成像探测与跟踪系统概述 VSAM 目标是开发自动视频理解技术，并用于实现未来战争人力费用昂贵、非常 危险或者人力无法实现等场合的监控。 该系统融合了数字摄像机、音频采集头、红外和微波报警探测器、温度 探测器等多种类型的传感器，可以对监控地区进行全方位的昼夜监控。使用 了地理信息和三维建模技术，提供可视化图形操作界面，当视频分析处理器 报告了运动对象、对象类别及位置之后，操作员不仅可

8、以在地理信息界面上 进行虚拟对象标记，而且还能在辅助窗口观察对象的真实活动情况。 VSAM 使用架设在高处多方位旋转云台上的单个摄像机，可以全方位地实施视频 监控。系统首先有规律地初始化一系列背景图像，然后利用基于特征区域的方 法将实际摄录的视频图与相应的背景图作匹配，再利用背景减除法检测运动目 标。 VSAM 由于传统的卡尔曼滤波方法只能处理单峰问题，该系统对传统的卡尔曼滤 波思想进行了扩展，并使用了带目标模板更新的相关匹配算法实现了多目标的 跟踪。 VSAM 针对机载航空摄像机所拍摄的视频图像，萨尔诺夫戴维研究中心研发 了检测和跟踪独立地面车辆目标的视频图像理解技术。该技术的关键在于 对航

9、空摄像机的自运动补偿，对经过补偿的图像，利用三帧差减的方法检 测目标。 美国康奈尔大学计算机系设计的航拍视频图像目标检测与持续跟踪系统 的特色在于，能够对多运动目标实现较长时间的准确跟踪，即使在短时间内 目标被遮挡或移出视场以及目标时静时动。 该系统在运动背景估计与补偿中所涉及的主要技术是基于Kanade-Lucas- Tomasi算法的特征点跟踪和基于M估计的鲁棒性仿射参数估计。然后利用三 帧差减的方法检测目标运动，利用形态学操作分割图像并定位运动目标。对 多目标进行标记之后，利用Hausdorff距离匹配和模板更新的方法对目标进行 长时间的跟踪。 4576102123 1521592532

10、98 COCOA COCOA系统是一种无人机航拍图像目标跟踪系统。该系统针对一段视频 图像序列，通过三大技术环节，即背景运动补偿、运动检测与目标跟踪，来 完成对目标的检测与跟踪。该系统基于MATLAB平台，可以适用于不同的光 传感器（可见光或红外），最小的可跟踪目标约为100象素大小。 该系统对机载光电传感器或红外传感器所摄视频图像进行鲁棒性背景运 动补偿，并可生成全景图，利于更高层次的应用。对图像中多种运动目标 （如汽车、坦克、摩托车等）进行可靠性检测并进行持久地跟踪。 COCOA 背景运动补偿 基于特征 + 基于灰度梯度 运动检测 累积帧差法 + 形态学操作 目标跟踪 Level Set方

11、法 + Mean Shift方法 视频序列 COCOA系统的基本技术环节 归纳起来，运动场景中目标检测与跟踪技术主 要包括以下三个关键技术： 背景补偿与图像预处理：消除背景运动、随机噪 声对目标检测与跟踪的影响。 图像分割与目标检测：利用图像分割技术从图像 中检测出可能的运动目标。 特征提取和目标跟踪：对检测出的目标提取可识 别的特征，依据这些特征在后续的视频图像序列中 对目标进行跟踪。 主要内容 u成像探测与跟踪系统概述成像探测与跟踪系统概述 u运动目标检测方法运动目标检测方法 u成像目标跟踪方法成像目标跟踪方法 u目标跟踪技术应用及发展目标跟踪技术应用及发展 1、静止背景下的目标检测、静止

12、背景下的目标检测 帧差分法：帧差分法： 二、运动目标检测 1 , tt g x yfx yfx y 静态场景 目标检测相对简单，研究渐趋成熟 动态场景 相对复杂，成为当前研究领域的热点 静态场景帧差的一个例子 n 研究重点：运动目标的检测研究重点：运动目标的检测 二、运动目标检测 n视频图像中的目标检测与跟踪，是计 算机视觉的基础课题，同时具有广泛的 应用价值。 解决思路 n要检测动态场景中的运动目标，关键在于对场景的运 动进行估计，通过估计出的运动参数补偿其运动，最 后使用帧差法得到运动目标。 提取特征点 特征点匹配 最小二乘求 运动参数 提取特征点 前一帧图像 后一帧图像 运动补偿 帧差法

13、 运动目标运动目标 求解全局运动 参数 前 一 帧 后 一 帧 求特征 点并匹 配 运动补 偿 补偿后的帧差图像 第 50 帧 第 80 帧 第 5 帧 帧差法特征匹配的方法原序列 基于图像金字塔分解的全局运动估计基于图像金字塔分解的全局运动估计 n采用了3层金字塔进行多分辨率计算,而 且在每层迭代计算中,将基于块的外点去 除算法与特征点提取算法相结合,这样既 加快了算法的速度,又提高了计算结果的 准确性。 基本步骤如下： n用高斯图像构造法构造图像金字塔； n对金字塔顶层图像进行全局运动估计，求得运动参数； n将顶层金字塔求得的参数集隐射到金字塔的中间层，并对 该层进行全局运动估计，求得相应

14、的运动参数； n将金字塔中间层的参数集映射到金字塔的底层, 对该层进行 全局运动估计，求得该层的运动参数集。 n利用求得的最终参数集，对图像进行运动补偿，将运动补 偿后的图像与前一帧图像进行差值。 下图给出了运动补偿与直接帧差的结果比较 图1Coastguard序列图像 图2直接帧差和运动补偿后的差值图比较 二、运动目标检测 块匹配算法简介块匹配算法简介 无需计算每一个像素的运动，而只是计算由若干像素组 成的像素块的运动，对于许多图像分析和估计应用来说 ，块运动分析是一种很好的近似。如数字视频压缩国际 标准MPEG1-2 采用了基于块的运动分析和补偿算法。 二、运动目标检测 块匹配算法的关键技

15、术块匹配算法的关键技术 n 匹配准则匹配准则(Matching Criteria) n 搜索策略搜索策略(Searching Strategy n 匹配特征匹配特征 二、运动目标检测 匹配准则匹配准则 目标帧 锁定帧 二、运动目标检测 匹配准则匹配准则 .均方差(Mean Square Error, MSE) Wyx kyyxxIkyxI mn yxMSE ),( 2 )1,(),( 1 ),( .平均绝对差(Mean absolute discrepancy, MAD) Wyx kyyxxIkyxI mn yxMAD ),( | ) 1,(),(| 1 ),( 二、运动目标检测 匹配准则匹配

16、准则 3.互相关(Cross-correlation, CC) 11 1/21/2 22 1111 ( ( , , ) (,1) (,) ( , , )(,1) XY xy XYXY xyxy I x y k I xx yy k MCCxy Ix y kIxx yy k 二、运动目标检测 搜索策略搜索策略 n 全视场搜索全视场搜索(FS) n 对数搜搜对数搜搜 n 三步搜索三步搜索 n 菱形搜索菱形搜索(Diamond Search ，DS) n 其他改进搜索策略其他改进搜索策略 nThree-Step Search (3SS) 1 1 11 1 1 11 1 2 3 2 2 222 2 2

17、3 3 3 3 3 3 3 搜索策略 n2D 对数法搜索 1 1 1 11 2 2 2 3 3 4 444 4 4 4 4 搜索策略 二、运动目标检测 匹配特征匹配特征 n 图像灰度、亮度、颜色等信息图像灰度、亮度、颜色等信息 n 图像特征图像特征(边缘、轮廓、纹理、变换域特征等。边缘、轮廓、纹理、变换域特征等。 主要内容 u成像探测与跟踪系统概述成像探测与跟踪系统概述 u运动目标检测方法运动目标检测方法 u成像目标跟踪方法成像目标跟踪方法 u目标跟踪技术应用及发展目标跟踪技术应用及发展 1、目标跟踪方法分类、目标跟踪方法分类 三、成像目标跟踪方法 成像跟踪系统经过图像的预处理、图像的分割识别

18、等成像跟踪系统经过图像的预处理、图像的分割识别等 一系列信息处理，最终实现对目标位置的实时精确测量一系列信息处理，最终实现对目标位置的实时精确测量 ，即对目标或目标的局部实施稳定跟踪，实时输出目标，即对目标或目标的局部实施稳定跟踪，实时输出目标 的脱靶量。的脱靶量。 n 矩心矩心(质心、形心质心、形心)跟踪；跟踪； n 边缘跟踪；边缘跟踪； n 峰值跟踪；峰值跟踪； n 相关跟踪；相关跟踪； n 滤波跟踪。滤波跟踪。 1 1矩心跟踪矩心跟踪 矩心也叫质心或重心，是物体对某轴的静力矩作用中心。如果 把目标图像看成是一块质量密度不均匀的薄板，以图像上各像素点 的灰度作为各点的质量密度。这样就可以借

19、用矩心的定义式来计算 目标图像的矩心。 1 0 1 0 ),( 1 N x M y yxxf MN X 1 0 1 0 ),( 1 N x M y yxyf MN Y x y ab c d xc yc 三、成像目标跟踪方法 Template Search image 2 2相关跟踪相关跟踪 由于目标运动、姿态发生改变、光照条件改变以及杂波背景的干 扰，使得目标图像的分割提取十分困难，计算目标的矩心或形心不 准确。在某种情况下，可以采用以图像匹配为基础的跟踪方法，习 惯上称之为相关跟踪。 三、成像目标跟踪方法 分片跟踪部分遮挡目标跟踪 n为什么引入分片跟踪为什么引入分片跟踪： 在目标跟踪领域，一

20、个重要的难题就是目标的 遮挡问题，因为遮挡发生时目标可能部分或全部不 可见。 模拟人眼跟踪目标的方式，发生遮挡时，人眼 会关注目标的可见部分来继续跟踪。受这一思想启 发，我们将目标分成多个小片，目标被遮挡时，利 用“可见片”来跟踪。 分片跟踪 n主要思想主要思想： 将目标分片，建立目标分片表现模型（模板）。 在目标上一帧的位置周围遍历搜索，找到与目标模 板相似度最高的候选目标作为跟踪结果。 当前帧 上一帧目标位置 候选目标位置 搜索窗口 目标 分片 分片跟踪 其中相似度的度量是通过各片的空间直方图匹配来 实现的。确定目标位置后，判断目标中各片的有效 性，我们仅利用有效片进行下一帧的跟踪。 被遮

21、挡的区域 片基本丢失 n模板更新 由上可见这种分片方法已经可以很好的解决 遮挡问题。 但是在跟踪过程中，目标的外观模型可能发生 变化（例如目标转身、尺寸变化等等）。那么 刚开始为目标建立的模板就不能很好的表示目 标，这将影响跟踪效果。 n目标外观变化时片匹配的情况 外观缓慢变外观缓慢变 化时，丢失化时，丢失 的片很少的片很少 n利用有效片的概念，我们为每个目标建立两种 模板，临时模板和参考模板。 n 临时模板实时更新的模板，在无遮挡情况 下跟踪，可以解决目标外观缓慢变化的问题。 n 参考模板能够很好的表示目标的模板，用 于遮挡情况下的跟踪。 分片跟踪 n多组实验结果：多组实验结果： 1.可以有

22、效的解决目标遮挡 2.在目标表现模型缓慢变化的情况下，实时更 新模板 3.在背景较为简单的情况下实现目标尺度的更 新 分片跟踪 n遮挡下的跟踪 分片跟踪 n目标表现模型的变化时的跟踪 n目标尺度发生变化 应用举例：应用举例：车辆检测与跟踪车辆检测与跟踪 智能交通系统： ( Intelligent Transport Systems, ITS) 车辆检测与跟踪概述车辆检测与跟踪概述 影响车辆检测和跟踪的主要因素： （1）车辆自身阴影；）车辆自身阴影； （2）车辆间相互遮挡或车辆被背景中物体遮挡；）车辆间相互遮挡或车辆被背景中物体遮挡； （3）同车型车辆之间具有较大的相似性；）同车型车辆之间具有较

23、大的相似性； （4）光线突变；）光线突变； （5）夜晚和雨、雪等恶烈天气等。）夜晚和雨、雪等恶烈天气等。 主要针对（1）、（2）两种情况开展研究 算法步骤算法步骤 Step1 背景模型训练，得到表示初始背景模型的码本。背景模型训练，得到表示初始背景模型的码本。 Step2 输入像素点和码本做比较判断，得到可能的前输入像素点和码本做比较判断，得到可能的前 景像素点，同时更新码本。景像素点，同时更新码本。 Step3 去除可能前景像素点中阴影和高亮区域，得到去除可能前景像素点中阴影和高亮区域，得到 真实的前景点，同时更新码本。真实的前景点，同时更新码本。 Step4 去噪，连通区域分析，根据检测出的运动目标去噪，连通区域分析，根据检测出的运动目标 的长宽消除非车辆目标，将运动车辆分割出来。的长宽消除非车辆目标，将运动车辆分割出来。 Step5 使用卡尔曼滤波器预测车辆在下一帧中的可能使用卡尔曼滤波器预测车辆在下一