目标检测工作方法

1、n目标检测工作方法第三章 目标检测方法n学习目的 利用图像捕捉并跟踪感兴趣的目标在日常生活、工业和军事领域中都有广泛的应用，本章通过对目标检测方法基本原理的学习和掌握，将目标的灰度、形状、纹理、频谱、运动等作为主要特征依据，从不同角度全面了解复杂背景中目标探测的方法与过程，并能够在实际中熟练应用。n学习的重点基于图像分割技术的目标检测方法基于图像特征匹配的目标检测方法运动目标检测方法本章的主要内容3.1 图像的特征形态与描述3.2 目标检测的基本概念与原理3.3 利用图像分割技术的目标检测方法3.4 利用特征匹配技术的目标检测方法3.5 运动目标的检测3.6 小目标检测3.7 目标检测性能的评

2、价标准3.1图像的特征形态与描述n数字图像并不是杂乱的像素数据的组合。它通常包含我们所希望得到的确定性成分和采集过程中所得到的随机成分。每个像素的灰度不仅随坐标的不同而不同，也随时间的变化而变化，是空间坐标和时间的随机场。n数字图像度量单位可以有多种，例如整幅画面（帧，场），局部画面（窗口，块），行，列，像素，频率等。n图像作为信息的载体，对不同的用途，所关心的图像信息的含义或感兴趣的图像基元不同。比如，远距离红外小目标检测研究时，我们关心的只是目标周围小区域内的信噪比，或图像的信息量等；人脸识别时，可能关心的就是五官的形状和位置关系，至于脸色就不是很重要。3.1.1 图像的特征类型1.像素灰

3、度分布 图像信号数字化得到一个数值矩阵，其中每一个元素称之为像素，像素的灰（亮）度值（也包括色彩）是最基本、最原始的测量值和特征，由它可以组成更大基元的特征。单幅图像的所有像素或不同区域像素的灰度分布，代表了图像总体或局部的能量强度分布。表征灰度分布的特征描述有总体或局部的均值、方差等。2.图像灰度变化的梯度特征 图像灰度的梯度反映图像内物体边缘处灰度变化的情况，它描述了图像灰度分布的总体特征。例如，用图像像素灰度的一阶差分（梯度）的总和表示图像的对比度等。 灰度特征-矩阵形式 梯度特征-灰度的突变位置 3.图像的频谱特性 与一维时间函数波形类似，图像也有空间频率的概念，如果图像的灰度按一定周

4、期变化(相当于周期函数)，那么它的频率就是在某一坐标轴方向上一个单位长度的距离内，周期函数重复出现的次数。周期表示在同一方向上图像波形重复出现的最小距离。而且，图像的傅立叶变换也有明确的物理意义。4.纹理特征 图像纹理是像素灰度分布宏观上呈现周期性的结构特征，它是图像中某些结构单元按某种规则排列而成的规则图案，反映图像纹理基元灰度周期性重复变化的规律。因此，纹理基元的大小（或重复变化的周期长短）和重复构成的方向是基本特征。常用的纹理特征描述方法有共生矩阵、等灰度行程长度、区域纹理基元参数、傅立叶频谱、随机场模型、相关长度等。 图像的频谱特征 图像的纹理特征5.图像中物体形状特征 物体的形状特征

5、是人或机器识别的重要特征之一，在图像中可以采取图像分割的方法，将感兴趣的物体、区域或基元与背景区分开来，然后对它们的外形进行描述，常用的形状特征有面积、周长、圆度、长宽比、矩、边心距、傅立叶描绘子、偏心率和凹度等。6.图像中三维特征 图像是三维空间场景能量在二维平面的投影，二维图像中蕴含着场景中物体的三维信息。比如，多面体的各个面光强的差异表现出的立体感，一个球体不会看成平面的圆。图像的三维通常用物体表面的法线方向描述。 图像的形状特征 图像的三维特征7.图像的运动特征 动态图像或序列图像是我们最常见的、需要快速处理并作出反应的场景图像，“时间”将作为它的另外一个变量。序列视频图像中包含着物体

6、或目标的运动参数，如速度、加速度、方向、姿态、到传感器的距离等变化信息。常用的方法用局部瞬时速度场（光流场）、特征点匹配、运动估计、小平面分析和运动分割等。8.图像距离特征 距离图像是一种通过主动成像方式获取的场景三维立体信息，与场景亮度无关。目标图像距离特征对于目标图像识别有着特殊的意义，可以不受天气、伪装、复杂背景等条件的影响，全天候工作，抗干扰能力强。（雷达）9. 图像信息描述 图像中包含的信息量最关心的是图像度量参数，可以想像所有像素灰度都为同一个数值，我们看到的是一张白纸，获取不了更多的信息，而一幅场景图像却有着丰富的内容，只要你认真去看，将会有无限的信息。信息论中的“熵”可以作为图

7、像信息含量的一种描述，尽管它并不完美。图像的信息度量是复杂的，它与图像的应用目的、观察图像的人或系统的知识、性能有关。10. 图像有用和无用成分之比 图像中并不是只包含有用的信息，我们总是在图像中提取感兴趣的所谓目标信息，而滤除所有不关心的信息，例如噪声。感兴趣的目标信息与所有不关心的信息成分的比率或差别越大，提取就越容易。典型的度量指标是信噪比，即目标信号幅度除以背景信号的标准差。n 图像的运动特征什么是运动图像？与静态图像相比，动态图像的基本特征就是灰度的变化。在对某一场景拍摄到的图像序列中，相邻两帧图像间至少有一部分像元的灰度发生了变化，这个图像序列就称为动态图像序列。与单幅图像不同，连

8、续采集的图像序列能反映场景中目标的运动和场景的变化。场景的变化和景物的运动在序列图像中表现得比较明显和清楚。序列图像是由一系列时间上连续的二维图像组成的，或者说是一类三维图像。与静止图像相比，序列图像增加了时间变量，当时间变量取某个特定值时，就得到视频图像中的一帧图像。图像序列和运动信息有密切的联系，将从运动场景获得的序列图像或者在序列中目标位置发生变化的图像称为运动图像。 举例：运动与视觉实验n1959年著名心理学家Gibson在美国康乃尔大学对自然人进行了运动知觉实验：在两张透明的胶片上绘出相似的随机点图图案。一张静止地垂直放置，人们什么也区分不出来；而另一张也是垂直放置，但是让其沿水平方

9、向进行平移运动。这时奇迹出现了，人们在移动着的胶片上区分出了有两块远近不同的平面，随机点图表示的场景被轻易地分割开来了。这证实了一些在静止时不易被察觉的形状当移动时就可以被知觉，这与人们通过自身包括研究的运动实现形状知觉是异曲同工的。n静止图像只是空间位置的函数，它与时间变化无关。在现有条件下，用单幅静止图像无法表达物体和自身的运动。运动图像通常是一种按时间顺序排列的瞬间采样图像序列。n图像中的变化可能是由于目标物体的运动，也可能是相机的运动、光源的变化、物体结构的变化等等。全局运动和局部运动各有其自身特点。全局运动具有整体性强、比较规律的特点，可能仅用一些特征或一组含若干个参数的模型就可表达

10、。局部运动比较复杂，特别是在多目标的情况下，各目标可能做不同运动，目标的运动仅在空间小范围表现出一定的一致性，因此比较精细的方法才能够准确地表达目标的运动。 下面就具体介绍一下各种运动的表达形式和方法，常用的有以下几种： 1运动矢量场表达 2运动直方图表达 3运动轨迹表达n运动的表达1运动矢量场表达 运动既有大小，也有方向，所以需要用矢量来表示，为表示瞬时运动矢量场，将每个运动矢量用无箭头的线段来表示，线段长度与矢量大小及运动速度成正比，并叠加在原始图像上。 2运动直方图表达 这种方法的基本思路是仅保留运动方向信息以减少数据量，将0360度的运动方向划分为若干间隔，把用矢量场上每一点的数据归到

11、与它的运动方向最为接近的间隔。 3运动轨迹表达 目标的运动轨迹表达了目标在运动过程中的位置信息，由一系列关键点和一组在这些关键点间进行插值的函数构成。关键点用2D或3D坐标值来表达，插值函数分别对应各坐标轴（水平、垂直和深度方向）。x(t)ABCOt0t1t2t3t4t 运动直方图的表达 运动轨迹的表达 运动矢量场的表达3.2 目标检测的基本概念与原理目标检测的分类：n目标检测从目标特性角度分为单幅静止图像检测和运动目标检测；运动目标检测又分为静止背景下的运动目标检测和运动背景下的运动目标检测。n静止目标检测通常是利用单帧图像信息，对于大目标，可以利用图像分割或特征匹配等方法提取出目标，但对于

12、低对比度、低信噪比的小目标，利用单帧信息很难检测出有效目标。n运动目标可以利用图像的运动序列信息，与单幅图像不同，连续采集的图像序列能反映场景中目标的运动和场景的变化情况，更有利于小目标的探测。 第一类是基于像素分析的方法，主要有基于图像分割的方法、帧间差分方法、相关算法、光流法、滤波法等； 第二类是基于特征匹配的方法，主要利用的特征有：角点、直边缘、曲边缘等局部特征和形心、表面积、周长、投影特征等全局特征，还有SIFT、SURF等； 第三类是基于频域的方法，较典型的是基于傅立叶变换和基于小波变换的方法。 第四类是基于识别的检测方法，较典型的是基于边缘碎片模型的目标检测识别方法，基于Adabo

13、ost的目标检测识别方法等；n常用的目标检测方法分为四类：3.3 利用图像分割技术的目标检测方法n图像分割的目的：n把图像分解成构成它的部件和对象；n有选择性地定位感兴趣对象在图像中的位置和范围。n图像分割的基本思路： 从简到难，逐级分割n控制背景环境，降低分割难度n注意力集中在感兴趣的对象，缩小不相干图像成分的干扰。n图像分割的基本方法：n基于阈值的图像分割 基于形态学的图像分割n基于边缘的图像分割 基于区域的图像分割提取轮廓车牌定位车牌识别n图像分割的基本策略：n把像素按灰度划分到各个物体对应的区域中去；n先确定边缘像素点，然后将它们连接起来构成所需的边界；n确定存在于区域间的边界；图像分

14、割定义： 将数字图像划分成与实际目标或区域紧密相关的若干区域的过程。图像分割与整个图像分析系统的关系 预处理图像分割特征提取目标识别目标跟踪目标测量基于阈值的图像分割方法 阈值分割是一种广泛使用的图像分割技术，它对目标与背景有较强对比的景物的分割特别有用。它计算简单，而且总能用封闭而且连通的边界定义不交叠的区域。它利用了图像中要提取的目标与其背景在灰度特性上的差异，把图像视为具有不同灰度级的两类区域（目标和背景）的组合。025525502550255255255n首先要确定一个合适的阈值T（阈值选定的好坏是成败的关键）n将灰度大于等于阈值的像素作为物体或背景，生成一个二值图像 If f(x,y

15、) T set 255 Else set 0n在四邻域中有背景的像素，即是边界像素。、几种常用的基于阈值分割的检测方法n直方图分割法n基于灰度期望值的阈值分割n最大类间方差阈值分割n循环分割方法n最大熵阈值分割n基于模糊隶属度的阈值分割 当图像的灰度直方图为双峰分布时，分割比较容易，只须取其谷点作为门限值，就能将目标与背景分割开来。n基于直方图谷点门限的分割方法 1,0,fx yTHg x yfx yTH 应用直方图双峰法来分割图像,需要有一定的图像先验知识,因为同一个直方图可以对应不同的图像,直方图只表明图像中各个灰度级上有多少个像素,并不能描述这些像素的位置信息。 因此只根据直方图选择阈值

16、并不一定合适，还要结合图像的内容来确定。此外，该方法不适用于单峰或多峰直方图的情况。 u 最大类间方差阈值分割 最大类间方差法由Ostu提出，是在最小二乘法原理的基础上推导得出，又叫大津阈值法。 设原始灰度图像的灰度级为L，灰度级为i的像素点数为 ，图像的全部像素为N,归一化直方图，则 101LiipiinpN 00tiipt 1111Lii tpt 000tiiiptt 11111Lii ttipt in 用阈值t将灰度级划分为两类： 和 和 类的出现概率及均值分别为： 00,1,Ct11,2,1CttL1C0C 和 的方差为：类间方差为：引入关于 的等价的判决准则：最佳阈值： t1C0C0

17、20020/)(itipi1211121/)(iLtipi2222001101102()()()( )( ) ( )1( )BTTw ttw tw t 2( )Bt)(max10*tArgtLt10Liiip 0tiitip：是整体图像的灰度平均值 ：是阈值为 时灰度平均值 *tu 循环分割方法 循环分割是由Ohlander等人提出的一种复杂图像的分割方法，这种方法首先根据图像的全局直方图，将取了阈值后得到的区域看成是它的子图像，再次对各子图像作直方图选峰点及区域值，不断重复上述过程，直到找不到新的峰点或区域变得太小为止。在这种循环中，每次选择最“显著”的峰，这种算法循环利用不断更新的子图像直

18、方图，随着循环次数的增加，越来越细的考虑了图像的局部特性，可以获得精细的分割。这种方法在分割纹理区域时也十分有效。 算法的实现步骤如下：a.求图像的最大和最小灰度值 和 ，令阈值初值为：b.根据阈值将图像分割成目标和背景两部分，求出两部分的平均灰度值 和 ： 是图像上 点的灰度值， 是点 的加权系数，一般取 。c.求出新的阈值：d.如果 ，则计算结束，否则转到步骤b，继续迭代。 lZkZ20klZZTAZBZkkTjiZTjiZAjiNjiNjiZZ),(),(),(),(),(kkTjiZTjiZBjiNjiNjiZZ),(),(),(),(),(),(jiZ),(ji),(jiN1),(j

19、iN),(ji1kkTT21BAkZZTu最大熵阈值分割 熵是平均信息量的表征，在数字图像处理和模式识别上有很多应用。 对于数字图像来说，随机变量可以是灰度级值、区域灰度、梯度等特征。灰度的最大熵，就是选择一个阈值，使图像用这个阈值分割出的两部分的一阶统计的信息量最大。设 为图像中灰度级 的像素点数， 为灰度级 出现的概率，则： 假设图像中灰度级小于 的像素点构成目标区域A，灰度级大于 的像素点构成目标区域B，那么各概率在基本区域的分布分别为： dxxpxpH)(lg)(iniiipLiNNnpii, 2 , 11,2,itppit(1)1,2,itppittL A区：B区：tiitpp1tt

20、目标区域和背景区域的熵分别定义为：则熵函数定义为：当熵函数取得最大值时对应的灰度值就是所求的最佳阈值：tipppptHtiitiA, 2 , 1)lg()()(LttipppptHtiitiB, 2, 1)1 (lg)1 ()(ttLttiiBApHHpHppHHt1)1 (lg)(tippHiiit, 2 , 1lgLippHiiiL, 2 , 1lg)(maxargt、基于阈值分割的目标位置计算 利用合适的阈值选取方法计算出整场图像的分割阈值，通过对图像二值化实现目标与背景分离，分割出的全体目标像元位置数据和目标像元的总点数，计算出目标的重心位置或形心位置，也就是目标在摄像机靶面的位置。重

21、心或形心数据则作为下一场的跟踪数据；目标的重心或形心相对于视场中心的位置数据，则作为目标的偏差数据，也就是脱靶量。 基于图像边缘信息的分割方法是最容易,也是最常用的一类图像分割方法，边缘标示出图像的灰度、纹理、颜色等不连续的地方。下图是基于边缘的图像分割方法的检测结果： 边缘检测的结果常常不能当作图像分割的结果，必须进一步处理，将边缘点沿着边界(轮廓)连起来。噪声断线3.3.2 基于边缘的图像分割、几种常用的边缘检测方法vRobert边缘检测算子vPrewitt边缘检测算子vSobel边缘检测算子vLaplacian边缘检测算子vLoG边缘检测算子（ 也叫做Gauss-Laplacian算子

22、）vCanny边缘检测算子v改进Sobel边缘检测算子2101202101121000121改进后的Sobel算子3.3.3 基于区域的图像分割n前面的方法是寻找区域的边界；本节的方法是直接构成区域。n同质性(灰度、颜色、纹理、形状、模式)是区域的重要特性。n区域增长的基本思想是：把图像分成若干具有同质性的最大的区域。n选择什么特性来描述区域，对图像分割的结果、复杂程度、所用的先验知识的数量都有影响。n区域增长的方法：合并；分裂 ；分裂加合并具体的算法实现：确定一个初始的分割区域，定义同质性准则和分层的数据结构；如果任何区域R不均匀，就分裂成四个子区域；如果任何四个区域具有同质的父节点，就合并

23、成一个区域；任何两个相邻的区域灰度相似，合并它们；00 0102 033032 3312n区域合并是一个迭代过程，每一步都重新计算被扩大区域的物体成员隶属关系并消除弱边界。当没有可以消除的弱边界时，区域合并过程结束。这时图像分割也就完成了。检查这个过程会使人感觉是一个物体内部不断增长，直到其边界对应于物体的真正边界的过程。n区域增长算法比一些简单算法的开销大，但区域增长能够直接利用图像的若干性质来决定最终边界的位置。一般来说在得不到足够的先验知识情况下，它在自然景物的分割方面能够显示出最佳性能。3.4 基于图像匹配技术的目标检测算法n基于图像灰度的匹配算法n绝对平衡搜索法n归一化互相关匹配n图

24、像匹配的加速算法n基于图像特征的匹配算法v目标像素数：符合目标灰度分布的像素点总数;v目标均值：目标像素点的灰度均值;v复杂度：边界像素点数与总目标像素点数的比值;v长宽比:目标像素数最多一行与最多一列的比值;v紧凑度:目标像素数与目标长、宽之比值。v点、线等几何形状特征v不变矩特征v边缘特征v幅度、直方图、频率系数v基于相似性判据最优化的方法n基于核密度估计的mean shift方法n基于不变特征的匹配方法（SIFT、SURF等）n基于神经网络的方法配准过程中要注意的关键点：n特征空间的选择 对于配准图像有许多特征可供选择，例如：图像本身的灰度、边缘、曲线、角点、直线交点、高曲率点，也可以是

25、不变矩、重心等。n相似性测度的选择 相似性测度的选择是图像配准中最重要的步骤之一，它决定如何确定匹配位置，其配准的程度最后转化为匹配或不匹配。n搜索空间与策略的选择 搜索空间通常是要找到配准的最佳位置的位置集，很多情况下，减少测量的数量很重要，误匹配位置越多，计算量就越大，问题越严重。可以利用一些可得到的信息去掉不可能匹配的搜索子空间，从而减少计算量。 配准的方法：n图像配准的一般做法是，首先在参考图上选取以某一目标点为中心的图像子块，并称它为图像配准的目标窗口，然后让目标窗口在待配准图上有秩序地移动，每移到一个位置，就把目标窗口与待配准图的对应部分进行相关比较，直到找到配准位置为止。 NMM

26、XNX3.4.1 绝对平衡搜索法(ABS) ABS算法是利用模板图像和待匹配图像上的搜索窗口之间的像素灰度值的差别，来表示二者的相关性。如果差别小于预定的阈值认为相关成功，否则就认为匹配失败。这种方法的思路简单，实现方便，但有明显的局限性。由于不同的模板和图像有不同的背景灰度值和不同大小的搜索窗口，所需的合适的阈值也各不相同，很难事先选定一个合适的阈值；另外模板图像和待匹配图像上由于光照等因素造成的灰度差异也可能导致匹配失败。 归一化互相关匹配算法是一种经典的匹配算法，经常写为NC(Normalized Correlation)算法。通过计算模板图像和待匹配图像的互相关值来确定匹配的程度。互相

27、关定义一般有如下两种形式：MmNnMmNnMmNnjnimFnmTjnimFnmTjiNC11112211),(),(),(),(),(11221111( ( , )( , )( (,)(,)( , )( ( , )( , )( (,)(,)MNmnMNMNmnmnT m nT m nF m i njF m i njNC i jT m nT m nF m i njF m i nj3.4.2 归一化互相关匹配MmNnnmTNMnmT11),(1),(MmNnjnimFNMjnimF11),(1),(其中： 上式 的值越大说明搜索图上 位置与模板越相似，当 值为1时说明该位置即为匹配位置。 实际应用中，常常因为基准图和参考图是不同时间或不同相机拍摄的，因此两者对应像素的灰度值并不是绝对相等的，因而找不到 值为1的位置，此时，只需要在搜索图中找到具有最大 值的位置，则认为该位置为最佳匹配位置。),(jiNC),(jiNC),(jiNCNC优缺点： NC算法具有很高的准确性和适应性，不受灰度值的线性变换的影响。但是它的相似度形成以模板存在的真实位置为中心的平缓的峰，往往无法检测到准确的尖峰位置，很难确定模板的准确位置。解决方案： 先对待匹配的图像和模板作边缘处理，当图像中像点高度相关时，两幅图像的相关性实际是集中在它们轮廓信息的相