第五章+目标自动识别4

1、1图像探测、跟踪与识别技术 主讲人：赵丹培主讲人：赵丹培宇航学院图像处理中心 电话：82339972 2010年11月22日2第五章 成像自动目标识别技术n学习目的 自然场景和复杂条件下的自动目标识别是光电子、智能控制、地球与空间科学、人工智能、模式识别、计算机视觉、脑科学等多学科十分关注的交叉学科前沿，通过对识别算法的学习，了解一个ATR系统的基本工作原理和识别过程，从而能够设计并实现一个简单的成像目标自动识别系统。n学习的重点自动目标识别的基本过程；特征提取与分类器的设计；几种典型的目标识别算法 。 3本章的主要内容5.1 自动目标识别技术概述5.2 成像目标识别的基本过程5.3 目标的建

2、模与表达5.4 目标分类与识别的基本原理5.5 几种典型的目标识别算法45.1 自动目标识别技术概述v目标识别算法源于统计模式识别，统计决策和估计理论是这类算法的基础。v目标特征和参考目标模式特征的获取过程会引入噪声和不确定因素，因此需要将统计方法和决策理论应用到目标识别算法中即统计分类器。v识别问题的内涵 成像自动目标识别本质是一个逆问题求解，即从客观场景的表象-图像或图像序列逆向推导客观场景的某些本质信息的反演问题。它可以分为四个层次：检测-仅仅给出潜在的待识别目标，但还没有确认，还存在虚警的可能；识别-确认了目标所属类型；定量信息的提取-目标的位置、运动特性、目标的结构等；理解-目标行为

3、及场景语义的解释等。51、ATR： Automatic Target Recognition 什么是目标自动识别技术？ 自然场景和复杂背景条件下的自动目标识别（ATR）是研究利用各种传感器（声、光、电、磁等），特别是成像传感器，如可见光、红外线、合成孔径雷达、逆合成孔径雷达、激光雷达、多谱或超普传感器等，从客观世界中获取目标/背景信号，并使用光/电子及计算机信息处理手段自动地分析场景，自动地检测、识别感兴趣的目标及获取目标各种定性、定量性质的科学技术领域。62、自动目标识别系统的功能与应用n自动目标识别系统（ATR）是一种非常复杂的新型系统，融合了多种技术和子系统，具有部分或全部实现战场上对目

4、标进行搜索、检测、识别、确认、精确定位和使敌军武器部件失效等过程的自动化潜能。n在此类系统的发展中，有许多名称广泛地用于描述其预期功能和单元，例如：自动目标选择、自动目标确认、自动目标相关器、自动目标寻的器等。n国防部ATR技术工作组定义ATR的功能： 为了实时或近实时地启动行动，或为外部系统操作员提供行动的选择方案等目的，由一个或多个传感器收集目标的图像数据，然后应用信号处理算法和软件、图像或信号处理硬件对目标图像进行分类、识别、确认、解释和显示。73、自动目标识别的性能度量 目标识别水平的层次系统：目标检测、目标分类、目标识别、目标确认和目标描述。n目标检测是从传感器数据中发现潜在目标的过

5、程。n目标分类是区分目标类别的过程。例如：区分战舰和商船，履式车和轮式车、飞机和坦克等；n目标识别是在更高水平上区分同属某一类的不同物体。 例如：对同属车辆目标的卡车、坦克和装甲车的区分能力，对同属舰船目标的航空母舰和驱逐舰的区分能力，对同是飞机目标的战斗机和轰炸机的区分能力；n确认和描述属于ATR目标辨别性能的较高层次。n确认就是在整个目标类中将特定目标模型从其它相似类型中区分出来的过程。例如：区分几种战斗机F17、F22、歼8、歼10等。n目标特性描述就是对某特定目标已描述的物理特性进行明确区分的过程。8目标识别中学习方法的分类：有监督学习方法：假设有一个可用的训练数据集，并通过挖掘先验已

6、知信息来设计分类器，成为有监督学习方法。无监督学习方法：没有已知类别标签的训练数据可用，给定一组特征向量来揭示潜在的相似性，并将相似的特征向量进行聚类，称为无监督学习方法。半监督学习方法：利用少量带有已知类别标签的数据和大量无标签的数据，找到规律，完成聚类任务。将标记过的数据作为约束条件，为聚类算法提供所需的先验知识。聚类任务就是在同一聚集里强制分配某些点或排除被分配在同一聚集里的某些点。9 5.3 目标的建模与表达典型目标类型 取决于成像条件约束和目标内在性质，依据目标图像形态把目标分为以下四种类型：n点源和斑状目标 超远距离成像条件下，目标图像为亚像素或少像素，无形状信息，称之为点源或斑状

7、目标，例如恒星、卫星、流星等；n线状和条带状目标 远距离成像条件下目标图像为延展性的互相连接的直线段、曲线或条带，其宽度为单个像素或少像素，与其长度不成比例。可以想象为点源或斑状目标按某种运动规律在二维或三维空间勾画出的轨迹。例如：桥梁、道路、运动的点源或斑点目标的投影轨迹等。10n面状目标 二维平面目标，或其第三维与其它二维相比不成比例的三维目标，在一定条件下，可将其近似为二维目标，例如机场跑道、机场、高空俯瞰地面的目标。n三维立体目标 在较近距离成像且可能从多个不同视点观测，立体目标的三维信息均能平衡充分地反映在其二维图像或图像序列中。这些目标从不同的视点观察一般呈现不同的视图，由于这些视

8、图是三维物体在不同视点平面上的投影，表现差异极大，从而能综合反应物体的三维特性。例如，天空中的飞机、海面的舰船、建筑物。11目标表示方案 ATR算法中最常用的目标表示方案包括统计表示、句法表示、关系表示、投影几何表示、基于传感器物理模型的表示。n统计模型使用了许多特征来表示目标，这些特征包括抽象图像特征（如强度矩或边缘成分）和几何结构特征（如长宽比、形态矩）。n句法模型则通过句法来表示目标，目标的各个部分被表示成属性树，属性树就描述了目标的特征。例如坦克有炮塔、履带、炮管和引擎。12n关系模型考虑目标中各个部分及其相互关系确定的规则，如各部分之间的方位、大致距离等。n投影几何模型包括三维线框模

9、型或小面化模型表示中目标各部分之间的明确关系。n传感器物理模型利用了有关目标环境和传感域中现象的信息，以获得目标各部分期望观察的概率表示。135.4 目标分类与识别的基本原理n目标分类与识别的内涵n目标分类与识别面临的困难和挑战视点变化光照改变遮挡存在尺度改变姿态变形背景混叠类内变化明显n目标分类与识别设计的关键问题 14 5.4.3 分类与识别涉及的关键问题n根据研究对象的特征或属性，运用一定的分析算法认定它的类别，使分类尽可能符合事实。n目标的分类涉及到以下问题：n特征提取n特征选择n分类器设计15一个分类系统的设计过程：16n什么是特征？ 在目标识别中，特征提取是使用有效的数学工具减少目

10、标模式表达的维数，这种低维表达，必须具有区别不同目标模式类别的特质，称之为特征。 模式的维数并非越大越好，存在一个最优维数使错误识别率最小，通过提取特征减少模式维数可达到提高正确识别率的目的。n特征提取的目的： 识别分类器的复杂性和硬件实现的复杂性随着模式空间的维数快速增长，因此特征提取能够降低信息传输通道的容量。1、特征提取17n可体现类别特点的特征n特征对物体形变的稳定性n特征对光照变化的稳定性n特征抗噪声的能力n特征的复杂程度n特征是否易于描述特征提取需要考虑的问题：18n特征提取：对研究对象固有的、本质的重要特重要特征征或者属性属性进行检测提取。n特征描述：将提取的特征进行量化，形成可

11、度量的特征矢量、符号串、关系图，得到训练/待识别的样本。19有效的特征与特征描述举例：n统计特征（统计直方图、方差、均值、熵 ）n几何特征（包括面积、周长、位置、方向、距离 ）n边界特征（链码、傅立叶描述子）n形状描述（区域描述、图像矩 ） n灰度与颜色描述（梯度特征 、灰度直方图特征、梯度方向直方图、特征直方图、颜色直方图和颜色直方图距离、颜色不变量特征 ）n角点特征（Harris、Susan、Fast、Brisk）n变换特征（傅里叶、小波）n纹理特征（灰度共生矩阵 、LBP特征，结构相似性特征，Gabor特征）n局部不变特征描述子（ SIFT、SURF、 GLOH、WLD、 D-nets）

12、 20、边界特征边界特征适用于识别外形轮廓有明显差别的两类物体。21n边界特征提取方法：边界提取方法：Sobel, Canny,LoG.分割方法：Graph-Cuts.n边界特征描述曲线拟合、Hough变换、Freeman链码22边界特征的特点优点：优点：n抗光照变化、颜色变化n运算速度快n适用于边界特征明显的物体识别缺点缺点: :n易受背景影响n很难适应物体形变n特征描述较复杂23(3)、区域特征24基于目标灰度分布的区域矩n利用目标区域的灰度分布构造各阶矩来描述目标的灰度分布特性n各阶矩构造的一些函数式具有平移、旋转、尺度和缩放不变性，由此可以得到反映目标内在属性的一些仿射不变特征。由于充

13、分利用了目标区域内部的大量信息，所以更全面反映目标本源特征。25基于目标灰度分布的区域矩n对于定义在o-xy平面上的二维函数f(x,y)，它的p+q阶混合原点矩定义为n而其p+q阶混合中心矩定义为是图像的灰度质心( , )pqpqmx x f x y dxdy () ()( , )pqpqxxyyf x y dxdy ( , )x y26区域几何特性(1)区域面积(2)区域周长(3)形状简单度(4)扁度(5)凹度27(4)、变换特征n通过输入样本的线性变换来实现特征生成。变换的最基本概念是把给定的测量集变换为新的特征集。n如果变换方法选择合适，那么变换的特征与原始输入样本相比具有很高的信息压缩

14、性能。n如Fourier变换，由于像素间的相关性，大部分能量位于低频部分，把低频能量的Fourier系数作为特征是合理的选择。28变换特征n离散Fourier变换特征n离散余弦变换特征nGabor特征n小波变换特征29(5)、纹理特征分析n一个实际场景的图像中，各类型区域通常有自己的灰度分布特征，许多图像在较大的区域内灰度分布在宏观上呈现周期性或结构性，如砖墙、布匹、编织物、草地、森林、海洋以及一堆硬币等。n这种灰度分布宏观上非严格意义下的规律成为图像纹理。30n灰度共现矩阵法 对于方向性纹理的区域，取不同方向，灰度共现矩阵不同；对于纹理粗细不同，取不同的距离，灰度共现矩阵就不同。n等灰度行程

15、长度法 等灰度行程长度定义为在某个方向上、相邻的具有相同灰度或某个灰度范围的像素个数。显然粗细纹理区域中长行程情况出现较多，细纹理区域中短行程出现较多，由此可以用一个矩阵表示在某个给定方向上各种行程出现的情况。n统计模型法提取纹理特征 统计模型基本思想是用一个统计数学模型描述一致性纹理区域。用于描述的模型主要有三种：单层马尔科夫随机场，双层高斯马尔可夫随机场，金字塔随机场序列。典型的纹理分析方法：312、 特征选择与提取n特征选择的基本任务是研究如何从众多特征中求出那些对识别最有效的特征，从而实现特征空间维数的压缩。n从模式样本的量测值中提取与选择最能反映类别属性的特征,主要方法包括：最小误判

16、概率准则、Fisher准则、判决边界、离散K-L变换等。根据应用需求选择合适的特征，不同应用对特征的需求不同。32n为了设计出效果好的分类器，通常需要对原始的测量值集合进行分析，经过选择或变换处理，组成有效的识别特征；n在保证一定分类精度的前提下，减少特征维数，即进行“降维”处理，使分类器实现快速、准确和高效的分类。n为达到上述目的，关键是所提供的识别特征应具有很好的“可分性”，使分类器容易判别。为此，需对特征进行选择。33n我们要选择那些在特征向量空间中类间距离大而类内方差小的特征。也就是说不同类别间的特征值距离较远，而同一类内的特征值紧密聚集。n最后将采用不同的处理方法n应去掉模棱两可、不

17、易判别的特征；n所提供的特征不要重复，即去掉那些相关性强且没有增加更多分类信息的特征。n将特征综合考虑，对特征向量作线性或非线性变换，使其具有更好的辨别能力34n选择最优特征需要具备三个条件：n样本数量能覆盖样本集的分类特征n有一种比较好的分类判据n一个切实可行的算法35特征抽取：线性特征抽取： 主成分分析PCA、ICA、LPP、Fisher线性鉴别分析FLDA等非线性特征抽取：核方法、流形学习 流形学习：ISOMAP、LLE、Laplacian Eigenmap、 图嵌入方法。 核方法：是指一系列先进非线性数据处理技术的总称，它采用非线性映射将原始数据有数据空间映射到特征空间，在特征空间进行

18、对应的线性操作。例如：KPCA、KLPP36为什么要数据降维？ 高维数据的统计分析需求日益凸显，高维数据的直接处理难度很大：n计算量增大；n数据的可视性差；n维数灾难，当维数较高时，即时数据的样本点很多，散步在高维空间中的样本点仍显得很稀疏，低维时的方法失效或不稳定。37降维重要的一步，也是观察数据特性的手段n降维n特征选择:依据某一标准选择性质最突出的特征n特征变换:经已有特征的某种变换获取约简特征n数据可视化和数据挖掘分析也需要降维n通常降到2维或3维n流形降维来观测数据的内在形状38 局部线性嵌入局部线性嵌入(LLE).S. T. Roweis and L. K. Saul. Nonli

19、near dimensionality reduction by locally linear embedding. Science, vol. 290, pp. 2323-2326, 2000. 等距映射等距映射(Isomap).J.B. Tenenbaum, V. de Silva, and J. C. Langford. A global geometric framework for nonlinear dimensionality reduction. Science, vol. 290, pp. 2319-2323, 2000. 拉普拉斯特征映射(Laplacian Eigenma

20、p).M. Belkin, P. Niyogi, Laplacian Eigenmaps for Dimensionality Reduction and Data Representation. Neural Computation, Vol. 15, Issue 6, pp. 1373 1396, 2003 . 几种流形学习方法几种流形学习方法39 3、分类器设计n模式识别分类问题是指根据待识别对象所呈现的观察值，将其分到某个类别中去：n建立特征空间中的训练集，已知训练集里每个点的所属类别；n从这些条件出发，寻求某种判别函数或判别准则，设计判决函数模型；n根据训练集中的样本确定模型中的参数

21、；n将这一模型用于判别，利用判别函数或判别准则去判别每个位置点的类别应该属于哪一类。40分类器设计:n模式识别的基本方法就是制定准则函数，实现准则函数的极值化。常用的准则有以下几种：n最小错分准则n最小风险准则n紧邻准则nFisher准则n感知准则n最小均方误差准则首先介绍与机器学习有关的知识：41“Artificial Intelligence” Within a generation . the problem of creating artificial intelligence will largely be solvedMarvin Minsky (1967)n专家系统 (1980s

22、)基于知识的人工智能（knowledge-based AI）由人类规则引申出的理论机器学习: 第一代理论42什么是人工智能？ 人工智能：(ArtificialIntelligence) ，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。 43机器学习: 第二代理论n贝叶斯框架n概率图模型 n基于局部消息传递机制的快速推理起源: 贝叶斯网, 决策理论, 隐马尔

23、科夫模型 （HMMs）, Kalman滤波器,马尔科夫模型, 平均场理论（mean field theory）, .44分类器选择:n根据样本类别之间的关系选择适用的分类器： 线性分类器和非线性分类器等；常用的分类器：线性分类器最近邻分类器Bayes分类器支持向量机Boosting、Adaboost增强分类器稀疏表示分类器人工神经元网络 45常用的分类器：n学习与训练：从训练样本提供的数据中找出某种数学模型的最优解，即得到分类器的一组参数。n训练与学习过程中的概念:n训练集：在监督学习方法中，用来训练分类器参数n测试集：在设计分类器时，没有采用的实际样本。n系统评价原则：用来判断该模式识别系统

24、能否正确分类。46识别自行车视网膜特征+SVM分类器47识别汽车视网膜特征+SVM分类器48场景识别495.5几种典型的自动目标识别方法n经典的统计模式识别方法n基于知识的自动目标识别方法n基于模型的自动目标识别方法n基于统计学习的自动目标识别方法n运动目标识别(检测)方法n基于多传感器信息融合的自动目标识别方法50（1）经典的统计模式识别方法n很多学者认为当前的自动目标识别算法起源于统计模式识别。该方法主要是利用目标特性的统计分布，依靠目标识别系统的大量训练和基于模式空间距离度量的特征匹配分类技术，可在较窄的场景定义域内获得较有效的识别。n假设一个视觉系统要从一个背景中识别一辆坦克，必须首先

25、利用图像预处理对包含视觉信息的数据进行平滑去噪、目标检测等处理，然后再利用边缘抽取、目标分割等算法将目标从周围的背景中分割出来，最后经特征抽取、统计决策等相当复杂的分析判决来判断分割出的区域是不是目标，在算法设计、编程以及识别系统建立等方面必须进行严格的训练、学习。这种方法在目标旋转、遮挡、重叠、姿态发生变化，周围背景复杂多变时，系统就无法正确识别变化大的和未经训练的目标，必须对系统重新进行训练学习以适应新的要求。51n兴趣区检测：目标识别过程的不同阶段是受目标和背景场景图像的不同特性的影响。在检测过程中干扰常引起虚警，这是因为它们的特性与目标相似，但通过其它特征并仔细调整决策门限，就可以将它

26、们与目标区分开来。n分割方法：分割可以通过寻找每个候选目标的轮廓来获得目标图像中的稳定信息，例如，考虑军车的热图像，其图像外观变化很大，影响因素也很多，如军车的工作状态、当天时间、天气和其他可影响车辆外表的因素。分割算法利用了车辆及车辆的背景在强度或其它特性上的差异，以及车辆图像内的不均匀程度。当目标的反差很大、目标的边界很尖锐、目标附近没有与目标相类似的背景物时，分割算法可以产生精确的轮廓。52n统计分类器：目标分类的基础就是可被ATR传感器所测量的特征。统计分类器将图像的特征度量与各种具体目标类型所对应的特征度量进行比较，选择特征最佳匹配的目标类型。n决定分类精度的因素：目标中被度量的特征

27、数目和特征的统计分布，以及特征分布知识中的不确定性。n运动目标指示：通过比较图像系列中连续帧，可以在检测过程中应用目标运动信息。53（2）基于知识的自动目标识别方法n70年代末，人工智能和专家系统技术普遍应用于ATR研究，掀起了智能ATR的研究热潮，形成了基于知识的ATR技术，即所谓的KB (Knowledge-Based)系统。基于知识的ATR算法在一定程度上克服了统计方法的上述局限性，极大地推进了ATR系统的实用化进程。但目前，应用于ATR领域的各种KB系统的知识利用程度都是极有限的。n这类方法还存在一些很困难的问题，包括:a可供利用的知识源的辨别;b知识的验证;c适应新场景时知识的有效组织;d规则的明确表达和理解。未来复杂多变场景下的ATR系统效能在很大程度上将依赖于领域知识的组织和处理能力。54（3）基于模型的自动目标识别方法 克服统计识别局限性的另一替代方法是基于模型的MB (Model-Based) ATR。MB方法强调利用明确的目标模型、背景模型、环境模型和传感器模型。一个MB系统的最终目的是匹配实际的特征和预测后的特征。若标记正确，则匹配过程会更加成功和有效。在某些方面，MB方法类似于统计识别中的多关系模板相关匹配。MB思想及其方法无疑为ATR系统的研究和实用化提供了一条可靠的技术途径。55（4）基于统计学习的自动目标识别方法n基于统计学习