目标检测与跟踪

第九章图像目标探测与跟踪技术

主讲人：赵丹培

宇航学院图像处理中心

zhaodanpei@

电话：823399729.1概论9.2目标检测与跟踪技术的发展现状9.3目标检测与跟踪技术的典型应用9.4图像的特征与描述9.5目标检测方法的基本概念与原理9.6目标跟踪方法涉及的基本问题目录9.1概论1、课程的学习目的学习和掌握目标探测、跟踪与识别的基本概念和术语，了解一个完整信息处理系统的工作流程，了解目标探测、跟踪与识别在武器系统、航空航天、军事领域的典型应用。了解目标检测、跟踪与识别涉及的关键技术的发展现状，为今后从事相关的研究工作奠定基础。

2、主要参考书：《目标探测与识别》，周立伟等编著，北京理工大学出版社；《成像自动目标识别》，张天序著，湖北科学技术出版社；《动态图像分析》，李智勇沈振康等著，国防工业出版社；

现代军事理论认为，掌握高科技将成为现代战争取胜的重要因素。以侦察监视技术、通信技术、成像跟踪技术、精确制导技术等为代表的军用高科技技术是夺取胜利的重要武器。成像跟踪技术是为了在战争中更精确、及时地识别敌方目标，有效地跟踪目标，是高科技武器系统中的至关重要的核心技术。例如：一个完整的军事战斗任务大致包括侦察、搜索、监视以及攻击目标和毁伤目标。那么快速的信息获取和处理能力就是战争胜利的关键，因此，目标的实时探测、跟踪与识别也成为必要的前提条件。引言：学习目标检测与跟踪技术的意义

随着现代高新技术的不断发展及其在军事应用领域中的日益推广，传统的作战形态正在发生着深刻的变化。

1973年的第四次中东战争，1982年的英阿马岛之战，1991年的海湾战争及1999年的科索沃战争，伊拉克战争等都说明了这一点。西方各军事强国都在积极探索对抗武器，特别是美国更是投入了巨大的物力、人力和财力积极研制弹道导弹防御系统。而图像检测、跟踪和识别算法作为现代战场信息环境作战成败的关键，具备抗遮挡、抗丢失和抗机动鲁棒性的智能跟踪器，将是现代战场作战必备品，具有广泛的应用前景。目标检测跟踪是近年来计算机视觉领域中备受关注的前沿方向，它从包含运动目标的图像序列中检测、识别并跟踪目标，并对其行为进行理解和描述。目标分析的研究涉及到模式识别、图像处理、计算机视觉、人工智能等学科的内容。随着现代信息处理技术的发展，目标检测跟踪在军用、民用及医学等方面具有重要意义，具有广泛的应用前景和潜在的经济价值已成为一项极为重要和基本的技术。然而，由于景物的多样性和复杂性，在工程应用中仍有许多问题有待解决。什么是目标检测跟踪？9.1.1目标检测跟踪的含义什么是目标检测跟踪系统？

目标检测跟踪系统是对指定目标区域进行实时自动跟踪，实时解算出目标在图像场景中的精确位置，并输出目标偏离系统视轴的方位和俯仰误差信号，通过伺服控制回路，驱动稳定平台跟踪目标。同时，图像跟踪系统接收来自外部控制系统的控制命令和数据，并按总体通讯协议要求向外部控制系统回送跟踪系统的状态、图像数据和关键参数。实现目标跟踪的关键在于完整地分割目标、合理地提取特征和准确地识别目标，同时要考虑算法实现的时间，保证实时性。9.1.2什么是信息获取技术信息获取技术：

地球上的所有物质都对外界辐射自己独特的信息－某一部分的电磁波谱，包括自发辐射和反射日光辐射。通过传感器接收这些信息，再通过各种信息分离、提取、增强、融合、识别等手段最终达到应用的目的。信息获取技术的手段：电视传真、遥感技术、光纤通信、光学与光电子成像和雷达技术

信息获取技术的分类：信息获取技术分为被动信息获取技术和主动信息获取技术。

被动信息获取技术：红外热成像、微光以及可见光；

主动信息获取技术：发射电磁波、用人造光源照射被探测目标（或红外线辐射源）。从广义上的视觉按照整个电磁波谱分：

长、短波无线电波、微波、毫米波、红外、可见光、紫外直到X射线。相应的军事目标的载体特征：

以无线电波为载体的雷达、以微波为载体的微波雷达和合成孔径雷达、以毫米波为载体的的毫米波雷达、以红外辐射为载体的热像仪、以光波为载体的微光、可见光相机和以紫外辐射为载体的紫外相机；以听觉为代表的是声纳技术军事目标信息的时效特征：一种是通常意义上的军事目标的监视和侦察，如发现机场、港口、车站、兵营、阵地、水面舰队以及侦察装备情况。这种信息的时效期相对比较长，一般以天甚至以月计。它对应的信息处理就是事后处理或半实时处理。另一种是实战时的军事信息，时效特征比前者要严峻得多。一个军事信息早一分钟还是晚一分钟到达指挥官手中，可能决定战役的成败，过时的信息价值等于零。

它对应的信息处理就是实时信息处理或准实时处理。微光、热成像和雷达技术的特点和优势：微光夜视技术

微光夜视技术是研究在夜间低照度条件下，用开拓观察者视力的方法以实现夜间隐蔽观察的一种技术，它采用光电子成像的方法来缓和或克服人眼在低照度以及有限光谱响应下的限制，以开拓人眼的视觉。它利用夜视和热成像技术。一、利用夜天自然微光的反射辐射，即研究被动微光技术，使微弱照度下的目标成为可见；二、利用场景中物体本身的热辐射，研究被动红外技术，使热目标成为可见。热成像技术红外图像是通过红外传感器接收由物体表面发出或者反射的红外光谱段图像，可以提供可见光图像所不能提供的很多重要信息。热成像技术的成像原理是基于目标本身的热辐射，通常采用3～5um和8～14um两个波段。红外探测不仅在夜间，也可以在白天、在恶劣气候条件下甚至全暗情况下进行观察。其特点是可进行全天候观察、作用距离远，具有穿透烟、雾、霾、雪等限制，主动红外可以在战场强光干扰下工作，甚至可以透过树叶、伪装网和迷彩等观察目标，具有较高的识别伪装能力和较高的隐蔽性。与可见光图像相比，红外图像噪声大，场景中目标的特征量不丰富且不易于提取，常用的视觉分析方法难以有效应用，这些客观缺陷的存在给红外目标检测和跟踪算法的研究带来了很大障碍。雷达技术

雷达就是无线电探测与测距，它可以测量空中、地面及水上目标的位置，又叫无线电定位。雷达利用定向天线向空中发出无线电波，电波遇到目标后，反射回来被雷达所接受，通过测量电波在空中传播所经历的时间以获得目标的距离数据根据天线波束指向以确定目标的角度数据。雷达的突出优点是覆盖范围大，作用距离远，穿透烟雾能力强，缺点是主动探测，容易暴露自己，被敌方发现并干扰，分辨力低，易受反辐射导弹攻击。雷达的革命-SAR

合成孔径雷达（SAR）可以逼真地显示目标的形状、尺寸、运动状态及姿态，突破了原有雷达只能获取目标的距离方位、俯仰和速度的四维信息的局限。雷达的应用地对空导弹系统采用雷达测量目标与导弹在空中的相对位置，通过计算得出导弹的最佳飞行路线，据此发出无线电指令，控制导弹接近目标。飞机装有雷达能看到地面上的江河、湖泊、城镇、工厂、机场、铁道等地物，可用作飞机飞行和着陆的导航及轰炸瞄准。舰艇装有雷达能在雾中看到周围海面的情况，可防止敌舰袭击和避免船舶相撞、触礁，使舰艇安全航行和进港。炮兵利用雷达控制高炮跟踪瞄准敌机，提高炮火的命中率，还能计算出敌方的炮兵阵地位置。

以X射线、紫外、可见、红外直到亚毫米波等辐射的探测和处理，统称为光电子成像技术。目标获取的含义：使目标所在位置的探测和目标辨别到所希望的等级，即从探测到分类、识别和确认。目标的探测与识别是一个复杂的、涉及人眼-大脑的图像翻译过程的问题。辨别的最低等级是分辨有无，最高等级是对特定目标的精确确认与描述。例如：一架飞机在晴朗的天空中飞行是很容易探测到的，但一辆车辆在复杂背景的丛林中穿行,探测起来就非常困难，而且识别一辆车辆的前提条件是我们已经探测到它了，因此，只有在被探测到的情况下才能谈识别问题。9.1.3基本概念与术语目标的上下文信息和附加信息也是检测和识别的重要依据。如果探测到的目标是一个运动的斑点目标，无法通过纹理和轮廓信息来识别出它的类型，那么可以借助它的背景环境来判断。例如：如果它出现中一条公路上，它的合理概率就是一辆车；如果它在湖泊中就可能是一艘船；如果在天空中，就可能是飞机或是飞鸟…….用于描述目标的术语:目标截获(TargetAcquisition)：将位置不明确的目标图像定位，并按所期望的水平辨别它的整个过程。目标获取包括搜寻过程和辨别过程。搜寻过程的结果是确定目标的位置，辨别过程的结果是目标被捕获。搜寻(Search)：利用器件显示或肉眼视觉搜索含有潜在的目标的景物，以定位捕获目标的过程。位置确定(Localize)：通过搜寻过程确定出目标的位置。辨别(Discrimination)：物体(目标)在被观察者所察觉的细节量的基础上确定看得清的程度。辨别的等级分为探测、识别、确认探测(Detection)：分为纯探测和辨别探测。纯探测是在局部均匀的背景下察觉一个物体；而在完成辨别探测时，需要认出某些外形或形状，以便将军事目标从背景中的杂乱物体里区别出来。识别(Recognition)：能辨别出目标属于哪一类型(坦克、车辆、人、飞机等)。确认(Identification)：能认出目标，并能够清晰地确定其类型（如T52坦克、吉普车、歼10飞机）。目标：指一个待探测、定位、识别和确认的物体。背景：指反衬目标的任意的辐射分布。目标特征：是把目标从背景中区别出来的空间、光谱和强度的形貌注意：一个目标在各种运作和环境条件下可以有许多不同的特征，不可能简单地按照世界某一光谱特征来描述所有复杂的目标特性。只能利用目标总体的共同特征。如目标的尺寸和目标对背景的平均温度或对比度。复杂恶劣环境的定义：影响图像质量的因素主要有以下几种：自然环境（雨、雪、大风、水面、天气变化等）摄像机自身的倾斜或震动摄像机平台的晃动（船只、车辆等的颠簸或震动）以上的组合在以上条件下拍摄的录像，一般具有以下特点：图像质量差图像对比度低图像晃动自然环境干扰（遮挡、噪声、阴影、水面等）9.1.4目标探测与识别的信息链目标获取及其基本部件的成像链视线的颤动光学探测器信号处理显示器一个完整的信息链由以下几个环节构成：信息的感知或探测、预处理、压缩、存储、传输、复原、有用信息的提取（融合、分离、增强等）直到应用。现代信息获取技术除通过侦察、瞄准等发现目标和观察目标外，它还包括通信、导航、定位等，此外，还应包括军事气象信息：如大气、风场、温度场等的获取。9.2国内外研究现状自1974年开始，为了进一步提高光电跟踪测量仪器的性能，并适应多目标跟踪测量的需要，美国白沙导弹靶场、新墨西哥州立大学和亚利桑那大学科学中心开始研究智能实时电视跟踪系统。80年代初，美国福特公司和沃特公司为空军研制的机载火控系统的多功能红外相干光学传感器具有多目标捕获、跟踪、分类、武器投掷和地形回避等功能。1985年美国海军的掩护船防御系统能跟踪处理200多个目标。

9.2.1

国外的研究现状：1989年和1990年美国LarrenceLivermore国家实验室公布了他们的宽视场望远镜实时跟踪系统(WFOV)和多目标跟踪宽视场摄像机系统。美国、欧洲和日本己经开展了大量相关项目的研究。1997年美国国防高级研究项目署设立了视觉监控的重大项目，主要研究用于战场及普通民用场景进行监控的自动视频理解技术;实时视觉监控系统，能够定位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，并可以检测人是否携带物体等简单行为。麻省理工学院林肯实验室等单位研制成大功率、远距离、高精度的外差激光雷达，用于跟踪导弹和卫星，识别目标特征。激光雷达可对目标进行扫描和精密跟踪，可得到目标的详细图象和弹道数据，能识别真假弹头，因而其用于反导识别、预警、搜索跟踪多目标等方面具有显著的优越性。激光雷达在美国靶场已广泛使用。现役的有两种激光设备：激光测距跟踪电影经纬仪和激光精密跟踪雷达。已有多种型号的激光雷达布署在靶场，用于空间技术领域，主要包括导弹发射初始段测量、巡航导弹跟踪测量、高精度卫星测距、目标飞行姿态测量、飞船交会和制导、反导识别和再入段跟踪测量。1991年美国陆军实现的红外图象识别跟踪系统，就采用灰度、形状等多个特征，其ERIS拦截器可快速识别真假来袭的导弹。美国国防部于1992年提出的“有识别能力的拦截弹”也是一种具有智能的对多特征进行信息融合处理的识别跟踪系统，它要求实现边识别边跟踪的功能。VSAM系统

1996年至1999年间，美国国防高级研究计划局资助卡内基梅隆大学戴维SARNOFF研究中心等著名大学和公司合作联合研制的视频监视与监控系统。目标是开发自动视频理解技术，并用于实现未来战争、人力费用昂贵、非常危险或者人力无法实现等场合的监控。VSAM是一个战场监控系统，目前处于试用阶段。其主要功能包括:融合多种类型的传感器，对监控地区进行全方位昼夜监控具有先进的视频分析处理器。不但能检测和识别异常对象的类型，还能分析与预测人的活动。根据运动对象行为的危害性进行自动提示和报警。由Internet,Intranet和局域网构成的先进网络传输系统。使用地理信息和三维建模技术。机载航空摄像机。

W4系统

W4代表Who(谁)，When(什么时候)，Where(什么地点)，What(什么事)。W4系统是一个实时的智能监视系统，它用于对人体目标的检测与跟踪，并监视目标的活动。W4不采用颜色线索，而采用单目灰度或红外摄像机作为视觉传感器，以目标形状分析和跟踪技术实现人体及其头部、手部等定位，并对目标外观进行建模，以便在目标交互或遮挡时依然能够进行跟踪。W4系统具有以下功能:基于目标形状分析的人体及其头部、手部等定位;基于自适应背景差技术的前背景分离;区域的分裂与合并，用来处理目标的交互行为;

W4系统富士通公司的Honda机器人ASIMO-P3自主农业机器人引路机器人70年代以来，随着激光技术、红外技术和电视技术进一步成熟，以及CCD成象技术、图象识别处理技术、自适应光学技术、各种跟踪算法和滤波技术，特别是扩展的卡尔曼滤波技术的研究，靶场的光学测量设备不仅在数量上和质量上有所增加和提高，而且出现了智能实时电视跟踪系统和各种型号的激光跟踪雷达。国内也有很多厂家生产出了具有自动报警功能的监控系统，许多科研机构如中国科学院自动化研究所模式识别国家重点实验室(NLPR)视觉监控组对该领域作了大量的研究，在人运动的视觉分析、交通行为事件分析、交通场景视觉监控和智能轮椅视觉导航等领域取得了许多科研成果。

9.2.2国内的研究现状中科院长春光学精密机械与物理研究所在大型光电经纬仪的研制方面处于国内领先地位。成都光电研究所、上海技物所、北京理工大学和华中科技大学在基于DSP的实时目标测量与识别、精确制导等方面也具有很强的实力。中国科学院研究生院工程教育学院研究的“复杂恶劣环境下多动态目标检测识别追踪技术”取得了很好的研究成果，他研究的SmartMTI的多目标动态检测、识别、跟踪算法具有极强的抗噪声、抗遮挡和抗抖动的性能，对于低对比度目标、单像素目标和复杂恶劣环境下的有噪目标有很强的检测能力。浙江大学构筑了用在智能移动机器人的实时视觉导航系统中的双DSP实时图像处理系统。

9.2.3关键技术的研究现状目标检测方法：

成像系统中复杂背景下弱小目标的检测和跟踪一直被认为是一个难题，主要表现为远距离、低对比度；目标形状为点状或模糊斑点状，点、角、边缘等几何特征不明显；甚至在运动过程中出现目标闪烁、间断、遮挡等现象。很多学者经过多年的研究和探索，目前目标检测方法在国内外都有很成熟的研究成果，已广泛应用在地基、空基、海基等领域。基于高通滤波背景抑制的目标检测算法、基于神经网络的目标检测算法、基于小波变换的目标检测算法、基于分形几何的目标检测算法、基于时空三维匹配滤波的目标检测算法、基于动态规划的小目标检测算法、基于遗传算法的小目标检测算法等。

小结：

弱小目标的检测与跟踪一般都采用空间、时间滤波相结合的方法。即对图像进行空间滤波预处理，实现目标增强和背景抑制,提高图像的信噪比,结合目标像素在图像序列中运动的连续性和轨迹的一致性，通过时间序列分析进行时间域滤波,去伪存真,检测并跟踪真正的目标。

时间滤波器放在空间滤波器之后叫先检测后跟踪

(detectbeforetrack，DBT)。时间滤波器放在空间滤波器之前,叫探测前跟踪(trackbeforedetection,TBD)或边检测边跟踪。目标跟踪方法由于运动目标的跟踪在军事、国防以及工业等领域具有广泛的应用前景，从而激发了国内外广大科研工作者的浓厚兴趣，成为计算机视觉领域的一个热点。基于目标跟踪方法的不同原理，动态目标跟踪方法可分为基于运动分析的方法和基于图像匹配的方法。1996年，提出基于光流和边缘信息进行了运动目标跟踪方法的研究;同年，将目标跟踪应用在机器人视觉实验中。1998年，提出了①、基于可变形模板的目标跟踪方法;②、将主动模型应用于目标跟踪;③提出用限制性主动区域模型对彩色图形序列进行快速跟踪的方法;④进行了基于颜色的目标跟踪方法研究;2001年，提出了用自适应颜色模型进行目标跟踪的方法。国内，目标跟踪领域的研究较晚，但也取得了一些研究成果，主要有：一种基于目标模板和当前帧图像的比率直方图的实时跟踪方法；基于人脸在HSV颜色空间中的特征，利用均值偏移算法(Mean-shiftAlgorithm)实现了对人脸的实时跟踪;基于目标颜色直方图分布的均值偏移跟踪算法，并用Bhattacharyya距离作为目标模板和候选目标的相似性测度，完成了对目标任意场景下的实时跟踪;基于边缘特征的目标跟踪算法常使用Hausdorff距离检测目标模板和候选目标的边缘相似性完成对目标的跟踪；一种目标轮廓跟踪的算法—CONDESATION算法，此算法实际上就是利用蒙特卡罗方法(MonteCarlo)通过大量样本仿真得到一种无参统计模型，该模型通过表示任意目标的概率密度分布实现跟踪。将目标的颜色直方图模型和密度函数梯度模型联合的方法实现对人头部的实时跟踪；将目标的颜色特征距离和边缘特征以一定加权比例联合组成总的相似性测度，并使用置信区域算法(TrustRegionAlgorithm)优化目标跟踪算法实现了实时目标跟踪；将模式识别中的特征分类器引入到目标跟踪中，结合粒子滤波框架，对尺度、光照、姿态等变化具有自适应性，例如：IPCA、ILDA等。目标识别方法根据对系统平台、传感器和光学系统等的分析，逐步产生了多光谱识别、多传感器数据融合识别、目标运动特征识别、外形及纹理识别等几个研究方向。目标识别的发展方向包括：

基于目标几何形状不变性特征的识别；（二维目标识别）基于目标仿射不变性特征的识别；（三维目标识别）基于目标形状的识别技术；（综合应用）基于目标几何形状不变性特征的识别：

可以应用于单幅图像中目标识别的不变特征包括不变矩特征、傅立叶描述子、角方向对几何特征、归一化转动惯量（NMI）特征及比例特征等。基于目标仿射不变性特征的识别：

仿射变换是由仿射空间到仿射空间的一种变换运算，平移、比例、反射、旋转、错切是二维仿射变换的特例，常用的二维仿射变换总可表示为这5种变换的组合。仿射不变特征主要可以分为两大类：基于目标轮廓的仿射不变特征和基于区域的仿射不变特征。最近出现的还包括多尺度SIFT特征、SURF特征等，这些特征可实现目标的三维识别。基于目标形状的识别技术

形状识别在图像检索、文字识别、医疗诊断等领域有广泛的应用。对形状识别的主要方法有独立分量分析（ICA）、神经网络、支持向量机（SVM）、主成分分析（PCA）、奇异值分解（SVD）以及傅里叶描述子等。其中基于支持向量机（SVM）的方法对形状识别具有比较好的效果，也被与其它方法结合进行了多种改进和优化。除了以上一些常用方法外，活动轮廓模型(Snake)方法及基于小波的方法也比较常见，还有一些用于多传感器信息融合的识别方法如基于贝叶斯规则的概率方法、神经网络(neuralnetwork)、人工智能方法、D-S证据推理方法等，也都被广泛地应用到目标识别中。9.3目标探测、跟踪与识别技术的典型应用军事国防地基光电经纬仪；无人机光电侦察设备；弹载智能自动寻的设备；天基光学测量系统……医疗诊断智能交通公共安全与防护工业质量检测移动机器人导航遥感勘察等对于靶场的弹道测量系统来说，目标自动识别跟踪(ART)系统的研制有着重要的现实意义。常规武器靶场面临的实际问题是测量目标小、距离远、对比度低，所以对微弱目标和运动目标的实时捕获、跟踪和识别就成为靶场光测设备研究的主要方向；无人机在执行搜索、侦察和精确打击任务时，正确地从复杂背景中检测并识别出可以目标，是完成任务的关键；天基监视和预警设备应用弱小目标检测技术，从复杂深恐背景中提取并识别出可疑目标，判断是敌方卫星、我方卫星还是敌方导弹，从而进行有效预警，为其他系统提供指挥依据；在各方面的具体应用情况：图像识别技术应用于导弹的精确末制导，使其精确打击目标。如：机场、桥梁等；安防系统可以实现停车场监视、车辆识别、车牌号识别、探测并跟踪“可疑”目标；正确判断出是否有目标进入警戒区，识别出进入警戒区的目标是否为报警对象，有效跟踪可疑对象，根据面孔、眼底、指纹等特征识别特定人；监测固定区域的人流量等都是安防系统的重要功能；智能交通方面，车牌识别、违章超速、并线、掉头、流量控制与交通疏导、禁行区检测等都与我们的生活息息相关；遥感图像分析

遥感图像包括航空摄影图像、气象卫星图像、资源卫星图像。

航空图像可以用普通的视频摄象机来获取，分析方法也同普通的图像分析一样；

卫星图像的获取和应用随着成像机理不同而变化很大；气象卫星使用红外成像传感系统可以获取不同云层的图像，即云图，由此分析某一地区的气象状况；海洋卫星使用合成孔径雷达获取海洋、浅滩图像，由此重构海洋波浪三维表面图；

资源卫星装备有多光谱探测器，可以获取地表相应点的多个光谱段的反射特性，如红外、可见光、紫外等；多光谱图像被广泛地用于找矿、森林、农作物调查、自然灾害测报、资源和生态环境检测等医学图像分析与诊断

成像方法包括传统的X射线成像、计算机层析(CT)成像、核磁共振成像(MRI)、超声成像等。在医学图像诊断方面有两个应用：一是对图像进行增强、标记、染色等处理来帮助医生诊断疾病，并协助医生对感兴趣的区域进行定量测量和比较；二是利用专家知识系统对图像进行自动分析和解释，检测并识别出可疑区域，给出诊断结果。产品检验

在工业领域中的一个成功应用是产品检验。目前已经用于产品外形检验、表面缺陷检验，比如，滑块及滑槽的外形检验以及装配后的位置检验，以决定它们能否装配在一起，并且准确无误地完成装配任务；发动机内壁麻点、刻痕和裂缝等缺陷检查以决定产品的质量。通过X射线照相或超声探测获取物体内部的图像，可以实现内部缺陷检验，如钢梁内部裂纹和气孔等缺陷检验。应用实例：可见光图像与夜视图像美国的巡航导弹“战斧”创新的航天应用-天基监视与预警系统在安防及交通监控系统中的应用异常动作检测交通流量监测在安防门禁系统中的应用在安防监控系统中的应用生产线上具有简单视觉系统的工业机器人系统在军事应用示例-无人驾驶小车可视化人体CT和MRI图像红外图像示例在火灾现场，消防人员通过红外观测发现等待救援的红外画面。在漆黑的夜间进行观察，不需要任何辅助光源。物体的温度不同表现的红外辐射特性也不同。显示的是红外夜间监视的图像，注意手和面部等温度比较高的部位亮度高。战场机动对空警戒雷达SBXR海基雷达预警-27米波对空雷达远程相控阵雷达9.4图像的特征形态与描述数字图像并不是杂乱的像素数据的组合。它通常包含我们所希望得到的确定性成分和采集过程中所得到的随机成分。每个像素的灰度不仅随坐标的不同而不同，也随时间的变化而变化，是空间坐标和时间的随机场。数字图像度量单位可以有多种，例如整幅画面（帧，场），局部画面（窗口，块），行，列，像素，频率等。图像作为信息的载体，对不同的用途，所关心的图像信息的含义或感兴趣的图像基元不同。比如，远距离红外小目标检测研究时，我们关心的只是目标周围小区域内的信噪比，或图像的信息量等；人脸识别时，可能关心的就是五官的形状和位置关系，至于脸色就不是很重要。图像的特征类型：1.像素灰度分布

图像信号数字化得到一个数值矩阵，其中每一个元素称之为像素，像素的灰（亮）度值（也包括色彩）是最基本、最原始的测量值和特征，由它可以组成更大基元的特征。单幅图像的所有像素或不同区域像素的灰度分布，代表了图像总体或局部的能量强度分布。表征灰度分布的特征描述有总体或局部的均值、方差等。2.图像灰度变化的梯度特征

图像灰度的梯度反映图像内物体边缘处灰度变化的情况，它描述了图像灰度分布的总体特征。例如，用图像像素灰度的一阶差分（梯度）的总和表示图像的对比度等。

3.图像的频谱特性

与一维时间函数波形类似，图像也有空间频率的概念，如果图像是一个灰度按一定周期变化，相当于周期函数，它的频率就是在某一坐标轴方向上一个单位长度的距离内，周期函数重复出现的次数，周期表示在同一方向上图像波形重复出现的最小距离。而且，图像的傅立叶变换也有明确的物理意义。4.纹理特征

图像纹理是像素灰度分布宏观上呈现周期性的结构特征，它是图像中某些结构单元按某种规则排列而成的规则图案，反映图像纹理基元灰度周期性重复变化的规律。因此，纹理基元的大小（或重复变化的周期长短）和重复构成的方向是基本特征。常用的纹理特征描述方法有共生矩阵、等灰度行程长度、区域纹理基元参数、傅立叶频谱、随机场模型、相关长度等。5.图像中物体形状特征

物体的形状特征是人或机器识别的重要特征之一，在图像中可以采取图像分割的方法，将感兴趣的物体、区域或基元与背景区分开来，然后对它们的外形进行描述，常用的形状特征有面积、周长、圆度、长宽比、矩、边心距、傅立叶描绘子、偏心率和凹度等。6.图像中三维特征

图像是三维空间场景能量在二维平面的投影，二维图像中蕴含着场景中物体的三维信息。比如，多面体的各个面光强的差异表现出的立体感，一个球体不会看成平面的圆。图像的三维通常用物体表面的法线方向描述。7.图像的运动特征

动态图像或序列图像是我们最常见的、需要快速处理并作出反应的场景图像，“时间”将作为它的另外一个变量。序列视频图像中包含着物体或目标的运动参数如速度、加速度、方向、姿态、到传感器的距离等变化信息。常用的方法用局部瞬时速度场（光流场）、特征点匹配、小平面分析和运动分割等。8.图像距离特征

距离图像是一种通过主动成像方式获取的场景三维立体信息，与场景亮度无关。目标图像距离特征对于目标图像识别有着特殊的意义，可以不受天气、伪装、复杂背景等条件的影响，全天候工作，抗干扰能力强。9.图像信息描述

图像中包含的信息量最关心的是图像度量参数，可以想像所有像素灰度都为同一个数值，我们看到的是一张白纸，获取不了更多的信息，而一幅场景图像却有着丰富的内容，只要你认真去看，将会有无限的信息。信息论中的“熵”可以作为图像信息含量的一种描述，尽管它并不完美。图像的信息度量是复杂的，它与图像的应用目的、观察图像的人或系统的知识、性能有关。10.图像有用和无用成分之比

图像中并不是只包含有用的信息，我们总是在图像中提取感兴趣的所谓目标部分信息，而滤除所有不关心的信息。感兴趣的目标信息与所有不关心的信息成分的比率或差别越大，提取就越容易。典型的度量指标是信噪比，即目标信号幅度除以背景信号的标准差。9.5目标检测方法的基本概念与原理目标检测的分类：目标检测从目标特性角度分为单幅静止图像检测和运动目标检测；运动目标检测又分为静止背景下的运动目标检测和运动背景下的运动目标检测。静止目标检测通常是利用单帧图像信息，对于大目标，可以利用图像分割或特征匹配等方法提取出目标，但对于低对比度、低信噪比的小目标，利用单帧信息很难检测出有效目标。运动目标可以利用图像的运动序列信息，与单幅图像不同，连续采集的图像序列能反映场景中目标的运动和场景的变化情况，更有利于小目标的探测。目标检测的基本思想：远距离摄取的图像可以认为是由三个分量组成的:目标图像、背景图像和噪声图像。目的：抑制背景、消除噪声和突出目标。如何突出目标：灰度奇异性特征、几何形状特征、运动特征、频谱特征等，需要针对具体的应用情况。抑制背景和消除噪声都是为了更好地突出目标服务。对于目标与背景亮度差异较大、且背景比较简单的情况，通常会采用利用阈值分割的方法来提取目标；对于复杂背景下的大目标，需要利用目标的几何形状特征或运动特征来提取目标。静止背景下常用的有背景差分法、帧间差分法等，运动背景下常用的有匹配法、光流法、运动估计法等；低信噪比下小目标检测是难点也是重点，通常采用滤波的方法。常用的有三维匹配滤波、动态规划法、多级假设检验等。第一类是基于像素分析的方法，主要有基于图像分割的方法、帧间差分方法、相关算法、光流法等；第二类是基于特征匹配的方法，主要利用的特征有：角点、直边缘、曲边缘等局部特征和形心、表面积、周长、投影特征等全局特征；第三类是基于频域的方法，较典型的是基于傅立叶变换和基于小波变换的方法。第四类是基于识别的检测方法，较典型的是基于边缘碎片模型的目标检测识别方法；常用的目标检测方法分为四类：各种类型的目标图像9.5.1

利用图像分割技术的目标检测方法图像分割的目的：把图像分解成构成它的部件和对象；有选择性地定位感兴趣对象在图像中的位置和范围。图像分割的基本思路：

从简到难，逐级分割控制背景环境，降低分割难度注意力集中在感兴趣的对象，缩小不相干图像成分的干扰。图像分割的基本方法：基于阈值的图像分割基于形态学的图像分割基于边缘的图像分割基于区域的图像分割提取轮廓车牌定位车牌识别图像分割的基本策略：把像素按灰度划分到各个物体对应的区域中去；先确定边缘像素点，然后将它们连接起来构成所需的边界；确定存在于区域间的边界；区域：像素的连通集连通准则：4-连通、8-连通图像分割：

将数字图像划分成与实际目标或区域紧密相关的若干区域的过程。图像分割与整个图像分析系统的关系

预处理图像分割特征提取目标检测目标跟踪目标识别基于阈值分割的目标检测方法：利用合适的阈值选取方法计算出整场图像的分割阈值，通过对图像二值化实现目标与背景分离，分割出的全体目标像元位置数据和目标像元的总点数，计算出目标的重心位置或形心位置，也就是目标在摄像机靶面的位置。重心或形心数据则作为下一场的跟踪数据；目标的重心或形心相对于视场中心的位置数据，则作为目标的偏差数据，也就是脱靶量。重心计算公式：是图像在点的像元灰度值，分别为窗口内的方向和方向的像元数。若图像二值化后此公式转化为形心计算公式。由于计算形心的过程是一个统计平均过程，它算出的目标位置点不是个别的最亮点位置，而是图像中各个像元灰度加权平均的位置，所以以形心为跟踪点，跟踪的随机误差小，抗干扰能力强，稳定性好。几种常用的基于阈值分割的检测方法：直方图分割法基于灰度期望值的阈值分割最大类间方差阈值分割循环分割方法最大熵阈值分割基于模糊隶属度的阈值分割…………9.5.2基于图像匹配技术的目标检测算法基于图像灰度的匹配算法绝对平衡搜索法归一化互相关匹配图像匹配的加速算法基于图像特征的匹配算法目标像素数:符合目标灰度分布的像素点总数;目标均值:目标像素点的灰度均值;复杂度:边界像素点数与总目标像素点数的比值;长宽比:目标像素数最多一行与像素数最多一列比值;紧凑度:目标像素数与目标长、宽之比值。点、线等几何形状特征不变矩特征边缘特征幅度、直方图、频率系数基于相似性判据最优化的方法基于核密度估计的目标检测方法－meanshift方法基于神经网络的方法什么是图像匹配？图像匹配，也叫图像配准，是图像处理的基本任务之一，用于将不同时间、不同传感器、不同视角及不同拍摄条件下获取的两幅或多幅图像进行匹配，在军事、遥感、医学、计算机视觉等领域有广泛的应用。图像配准技术可分为手工配准和自动配准两种方式，而自动配准是在整个配准过程中不需要人干预的一种配准技术，它也是图像配准技术的最终发展目标。在配准窗口范围内，同一目标的两幅图像完全相同，完成图像配准并不困难。实际中，同一目标的两幅图像常常是在不同条件下获得的（如不同的成像时间、不同的成像位置，甚至不同的成像系统等），再加上各种噪声的影响，使同一目标的两幅图像不可能完全相同，只能做到某种程度的相似，因此图像配准是一个相当复杂的技术过程。配准过程中要注意的关键点：特征空间的选择对于配准图像有许多特征可供选择，例如：图像本身的灰度、边缘、曲线、角点、直线交点、高曲率点，也可以是不变矩、重心等。相似性测度的选择相似性测度的选择是图像配准中最重要的步骤之一，它决定如何确定匹配位置，其配准的程度最后转化为匹配或不匹配。搜索空间与策略的选择搜索空间通常是要找到配准的最佳位置的位置集，很多情况下，减少测量的数量很重要，误匹配位置越多，计算量就越大，问题越严重。可以利用一些可得到的信息去掉不可能匹配的搜索子空间，从而减少计算量。配准的方法：图像配准的一般做法是，首先在参考图上选取以某一目标点为中心的图像子块，并称它为图像配准的目标窗口，然后让目标窗口在待配准图上有秩序地移动，每移到一个位置，就把目标窗口与待配准图的对应部分进行相关比较，直到找到配准位置为止。NMMXNX原始图像(第0帧)第10帧跟踪结果第20帧跟踪结果归一化直接互相关匹配结果：先边缘处理在归一化互相关匹配结果：原始图像(第0帧)第10帧跟踪结果第20帧跟踪结果9.5.3运动目标的检测静止背景下的运动目标检测方法帧间差分法背景差分法运动能量积累法动态背景下的运动目标检测方法光流法运动参数估计法：块匹配法、贝叶斯法、像素递归法带全局运动补偿的算法运动图像序列的分类：运动图像序列可以为低信噪比情况下的目标检测提供更多的有用信息，利用序列图像能够检测出单帧图像中很难检测出的目标。由运动目标所形成的图像序列可分为两种情况：一种是静止背景，另一种是变化背景。前一种情况通常发生在摄像机处于相对静止的状态下，产生背景静止的运动图像序列，这时可以采用帧间差分或自适应背景对消的方法来去除背景干扰，计算方法简单；后一种情况发生在目标运动同时，摄像机也处于相对运动状态，产生背景变化的运动图像序列，从而导致运动目标的变化与背景本身的变化混淆在一起。这种情况比较复杂，若采用消除背景的方法，则需要进行图像配准；若采用突出目标的方法，则需要在配准的前提下进行多帧能量积累和噪声抑制。帧间差分法这种方法就是将前后两帧图像对应像素点的灰度值相减，在环境亮度变化不大的情况下，如果对应像素灰度相差很小，可以认为此处景物是静止的，如果图像区域某处的灰度变化很大，可以认为这是由于图像中运动物体引起的，将这些区域标记下来，利用这些标记的像素区域，就可以求出运动目标在图像中的位置。第帧与第帧之间的变化可用一个二值差分图像来表示：

BABBBAAAA逻辑和负运动正在序列图像中，通过逐像素比较可以直接求取前后两帧图像之间的差别，对时间上相邻的两幅图像求差可以将图像中运动目标的位置和形状变化突现出来。假设目标的灰度比背景亮，则在差分的图像中可以得到在运动前方为正值的区域，在运动后方为负值的区域，如果对一系列图像两两求差，并把差分图像中值为正或负的区域逻辑和起来就可以得到整个目标的形状。帧间差分算法的优缺点：优点：对动态背景适应快计算速度快占用系统资源少特别适用于噪声较少的红外视频缺点：对噪声较大的可见光视频效果不理想该算法假定目标是不断运动的。如果物体静止一段时间，那么该算法将检测不到目标如果背景的某一部分移动，那么将会在检测结果中出现“空洞”该算法一般检测不到移动目标的全部静止背景下运动目标的检测实验结果：

（a）第1帧图像（b）第2帧图像（c）变化区域图像（d）提取出的背景图像（e）变化区域与背景差分图像（f）运动目标检测结果9.6.1目标跟踪的定义：所谓目标跟踪，可以简单地定义为对连续的视频序列中的目标维持一条航迹，进而获得目标的位置、速度等运动参数，以及形状、大小、颜色等对后续目标分析与理解非常重要的测量信息。9.6目标跟踪方法涉及的基本问题运动目标跟踪在工业过程控制、医学研究、交通监视、自动导航、天文观测等领域有重要的实用价值。尤其在军事上，目标跟踪技术已被成功地用于武器的成像制导、军事侦察和监视方面。运动目标跟踪的目的就是通过对传感器拍摄到的图像序列进行分析，计算出目标在每帧图像上的位置，给出目标速度的估计。可靠性和精度是跟踪过程的两个重要指标。远距离，目标面积较小、机动性不强，通常采用滤波方法跟踪目标以提高跟踪精度。近距离，目标具有一定面积其帧间抖动较大时，一般采用窗口质心跟踪或匹配跟踪方法以保持跟踪的稳定性和精度。实例1：弱小点目标的跟踪实例弱小点目标跟踪实例实例2：姿态变化的人脸跟踪实例人脸跟踪实例实例3：F-22战斗机的目标跟踪系统实例4：智能监控系统实例5：

Viz|Arena电视直播系统

9.6.2目标跟踪问题的描述怎样表示（Representation）被跟踪的目标？选择哪些特征（Feature）作为跟踪输入？使用什么模型（Model）对目标的运动、特征及形状进行跟踪？⑴、目标跟踪的表示方法：(a)质心表示，(b)特征点集表示，(c)矩形框表示，(d)椭圆框表示，(e)关节模型表示，(f)轮廓表示，(g)侧影表示，(h)骨架模型表示点表示：

在图像中用一个点（图a）或点集（图b）来表示被跟踪目标，这些点一般取为目标的质心、角点等。这种表示方式通常使用在目标区域相对整个图像比较小或者目标为只有几个到十几个像素的点目标的情况下。基本几何形状表示：

目标被表示为一个矩形区域（图c）或椭圆区域（图d），这种表示法可以描述目标的平移、仿射变换或者投影变换，并且对刚体和非刚体目标都可以表示。关节模型表示：

当目标可以认为是由各个部位通过结点衔接到一起的时候，就可以用关节模型来表示（图e），而各个部位则可以用几何形状来表示。轮廓表示：

目标的外边界称为轮廓（图f），而轮廓内的区域被称为侧影（图g），它们都可以用来表示复杂的非刚体目标。骨架模型表示：

目标骨架（图h）可以通过对侧影的中轴变换得到。骨架模型通常可以表示关节模型目标和非刚体目标。⑵、目标特征的选择：颜色特征：

颜色特征是一种全局特征，描述了目标的表面性质。一般颜色特征是基于像素点的特征，此时所有属于目标区域的像素都有各自的贡献。优点：颜色直方图是最常用的表达颜色特征的方法，不受图像旋转和平移变化的影响，进一步借助归一化还可不受尺度变化的影响。缺点：没有表达出颜色空间分布的信息，对光照变化非常敏感