第五章-光电信息处理技术-目标识别技术

关键技术：图像拼接技术图像融合技术电子稳像技术目标跟踪技术目标识别技术目标识别技术光电联合变换相关识别技术模式识别技术背景研究对象实现原理方案复杂背景下的识别实验一、光电联合变换相关识别1背景光电联合变换相关用于光学图像目标的识别，无论是在军事还是在民事都有广泛的应用。在军事上，如对空监视中实时多目标跟踪、机载或弹载前视图像制导技术、导弹动态测量等。在民用上，交通监管、工业自动化机器人、过程控制等都是图像目标识别的主要应用。基本原理2研究对象基于液晶空间光调制器的联合变换相关识别系统是利用电寻址液晶空间光调制器并采用相关方法对图像进行识别。此系统结合了相关方法和光电结合的优点，实现了高速实时识别的光电联合系统，能够达到对目标图像的快速识别。光电联合变换相关1:激光器，2：衰减器，3：光束提升器，4：扩束镜，5：针孔空间滤波想6:偏振器，7：准直透镜，8：电寻址空间光调制器，9：成像系统，10：CCD,11:摄像机，12：空间光调制器控制器，13：PC单臂光电联合变换相关1:激光器，2：衰减器，3：光束提升器，4：扩束镜，5：针孔空间滤波想6:偏振器，7：准直透镜，8：电寻址空间光调制器，9：空间光调制器控制器，10：PC,11:傅立叶透镜，12：CCD，13：PC应用

目标跟踪3实现方案采用联合变换相关器实现相关识别

光电联合变换相关识别的原理框图参考目标傅里叶透镜计算机摄像机待测目标联合光功率谱空间光调制器空间光调制器傅里叶透镜CCD采集相关输出4目标在复杂背景下的识别

———功率谱优化技术针对CCD探测到的功率谱进行优化，可以显著的提高系统识别能力。经典联合变换相关器的缺点（1）对模式畸变较敏感，当目标发生尺寸或旋转畸变时，相关峰将降低；（2）零级衍射项强度很高而且宽度大，这将影响互相关峰的观察；（3）背景较复杂时，互相关峰湮没在弥散斑中；（4）背景中出现相似目标时，易发生误判现象。以上因素将导致系统的识别能力下降，要解决这些问题就必须对功率谱进行改造和优化。优化算法综合鉴别函数（SDF）对数滤波器去零级项功能实现等相关峰输出，可以抑制识别系统对目标畸变的敏感性；锐化相关峰，提高识别系统的去噪和排他能力；去除自相关峰，可以排除零级衍射项对互相观点的影响；缺点互相关峰值低，其宽度较大。互相关峰相对于自相关峰的比值较低。去零级后，中心会出现负值。优化前后比较为定量的明问题，先引入peak-to-output-energy(POE)值。POE定义为输出相关峰值与输出平面平均能量之比。设输出平面每点相关值为，互相关峰值为，共有M个采样点，则POE值可以用来衡量系统对目标的识别能力POE值越大，相关峰值越尖锐，识别效果越好。4.1功率谱优化技术采用综合鉴别函数综合鉴别函数（SDF）法：该方法在设计一幅训练图像的同时，把所有要识别的图像都考虑进去，有效地提高了图像识别能力和系统的容错能力。4.2去零级像与对数滤波（a）SDF优化前（b）SDF优化后POE=6.56POE=3.29e+4目标为1.17倍，旋转25°的识别效果4.3结果尺寸畸变识别优化（a）SDF优化前（b）SDF优化后归一化后的POE曲线（b）SDF优化后（a）SDF优化前旋转畸变识别优化归一化后的POE曲线复杂背景优化（a）SDF优化前POE=5.07（b）SDF优化后POE=9.47e+3相似目标优化（a）SDF优化前（b）SDF优化后POE=2.37e+4POE=27.295单臂光电联合变换系统1:激光器，2：衰减器，3：光束提升器，4：扩束镜，5：针孔空间滤波想6:偏振器，7：准直透镜，8：电寻址空间光调制器，9：空间光调制器控制器，10：PC,11:傅立叶透镜，12：CCD，13：PC5.1实验结果与分析

(a)联合图像（b）联合图像功率谱（c）相关输出黑栅效应电寻址空间光调制器的象素结构相关、匹配识别举例

测试场景模板基本概念原理模式识别系统构成模式识别方法模式识别的应用二、模式识别PatternRecognition1、模式识别概念

人类认识事物老师教幼儿（学习）幼儿自己认（决策）具有某些属性的实体的集合苹果水果具体形式：实体抽象形式：概念模式和模式识别模式识别(PatternRecognition)：确定一个样本的类别属性（模式类）的过程，即把某一样本归属于多个类型中的某个类型。样本（Sample)：一个具体的研究（客观）对象。如患者，某人写的一个汉字，一幅图片等。模式(Pattern)：对客体（研究对象）特征的描述（定量的或结构的描述），是取自客观世界的某一样本的测量值的集合（或综合）。模式和模式识别美国邮政数字识别数据库(USPS)：7300个训练样本，2000个测试样本，16X16图像01…9模式识别可以看成是从模式向类别所作的映射例：不同写法的数字“1”数字1的类别模式类别连续或者离散离散对象空间模式空间特征空间类型空间各类空间（Space)的概念模式采集：从客观世界（对象空间）到模式空间的过程称为模式采集。特征提取和特征选择：由模式空间到特征空间的变换和选择。类型判别：特征空间到类型空间所作的操作。模式识别三大任务为什么研究它？计算机模式识别问题生产实践的需要：需要智能机器人，另外人的工资高，而计算机的价格越来便宜。信息爆炸现象：用人来不及处理信息。如：卫星遥感，超级市场，邮政，银行，指纹库。危险地带：油漆、放射、高温、核电站。提高工效：自动化带来的好处已经显而易见。1929年G.Tauschek发明阅读机，能够阅读0-9的数字。30年代Fisher提出统计分类理论，奠定了统计模式识别的基础。50年代NoamChemsky提出形式语言理论——傅京荪提出句法结构模式识别。60年代L.A.Zadeh提出了模糊集理论，模糊模式识别方法得以发展和应用。80年代以Hopfield网、BP网为代表的神经网络模型导致人工神经元网络复活，并在模式识别得到较广泛的应用。90年代小样本学习理论，支持向量机也受到了很大的重视。模式识别简史2模式识别系统数据获取预处理特征提取

与选择分类决策分类器

设计信号空间特征空间训练样本集待判样本集模式识别关注的内容特征选择与提取分类器的设计分类决策规则基本问题-分类模式(样本)表示方法用n维列向量来表示一个（模式）样本，说明该样本具有n个数字特征x=(x1,x2,…,xn)T常称之为模式向量或者样本向量相似与分类：相似与分类问题远不像集合表达那样简单明确。

用各种距离表示相似性：已知两个样本xi=(xi1,xi2,xi3,…,xin)Txj=(xj1,xj2,xj3,…,xjn)T

基本问题-分类②欧几里德距离①绝对值距离③明考夫斯基距离其中当q=1时为绝对值距离，当q=2时为欧氏距离模式类的紧致性临界点(样本)：在多类样本集中，当一些样本的特征值发生微小变化后，就变成另一类样本，这样的样本称为临界样本（点）无临界点许多临界点非常多临界点3模式识别的方法模版匹配法统计方法神经网络方法(neuralnetwork)结构方法(句法方法)

模版匹配首先对每个类别建立一个或多个模版输入样本和数据库中每个类别的模版进行比较，例如求相关或距离优点：直接、简单缺点：适应性差方法f(m,n)模板与原图匹配结果匹配结果统计方法根据训练样本，建立决策边界统计决策理论——根据每一类总体的概率分布决定决策边界判别式分析方法——给出带参数的决策边界，根据某种准则，由训练样本决定“最优”的参数方法句法方法许多复杂的模式可以分解为简单的子模式，这些子模式组成所谓“基元”每个模式都可以由基元根据一定的关系来组成基元可以认为是语言中的词语，每个模式都可以认为是一个句子，关系可以认为是语法模式的相似性由句子的相似性来决定优点：适合结构性强的模式缺点：抗噪声能力差，计算复杂度高方法神经网络进行大规模并行计算的数学模型具有学习、推广、自适应、容错、分布表达和计算的能力优点：可以有效的解决一些复杂的非线性问题缺点：缺少有效的学习理论方法统计模式识别基本原理线性判别的一般形式为：样本特征权重系数其中，统计模式识别基本方法Fisher方法固定增量法（梯度下降法）分段线性鉴别器树鉴别器Fisher方法Fisher方法：是一种降低特征空间维数的方法，其实质是寻找一新的坐标轴，使两类样本特征空间中的各点在它上面的投影能较好的分开。Fisher线性分类器的设计原则是：使尽量大，而尽量小。

Fisher方法误差纠正规则：梯度下降法误差：误差纠正：输出：其中：可得：统计分类器特征:1.颜色2.形状Ⅲ

Ⅱ

ⅠR1R2V12

L1

V11

L11

L21

V21

L2

V22

L22

L12

L121V1L0

V2R2

R1

R2R1

R2

R1R2

分段线性鉴别器树鉴别器识别过程举例特征提取和选择：对单个鱼的信息进行特征选择，从而通过测量某些特征来减少信息量长度亮度宽度鱼翅的数量和形状嘴的位置，等等…分类决策：把特征送入决策分类器识别过程举例识别过程

几种分类器的性能对比

分类正确率判别正确率判别函数数量Fisher方法91.15%86.52%1固定增量法90.46%83.64%1平衡二叉树100%96.52%7优化鉴别器100%97.73%4类型比较存在问题线性不可分多个目标的快速识别人工神经网络用于模式识别人工神经网络简介：

20世纪末迅速发展起来的一门高技术，它的基本思想是从仿生学的角度，模拟人脑神经系统的运作方式，使机器具有人脑那样的感知、学习和推理能力。

人工神经网络是目标识别的重要方法图

神经网络学习系统框图BP神经网络是最基本的也是应用最广泛的神经网络RumelhartHinton和Williams于1986年发表文章，提出了误差逆向传播神经网络，也称BP神经网络。BP网络思路：利用实际输出与理想输出的差值（称为误差）反馈到前面的网络，从而改变各层权值，权值改变后，使误差减小。通过不断输入同样的输入值（学习），使输出值逼近理想值。BP学习算法误差修正：总误差：一个三层、三输入、一输出bp网络的例子：颜色纹理形状2131颜色2代表：肉色纹理1代表：皮肤纹理形状3代表：椭圆形输出1代表：人脸物体类别理想状态如果第一次输入3214如何使系统自动从4调节到1？4代表猴子的脸权值例子中误差是4-1=3利用3去改变各层权值使误差减小。假设输入一次“2、1、3”，误差减小1那么第二次输入输出为3第三次输入输出为2第四次输入输出为1达到目标，不再输入。共四次输入通过例子可知，BP神经网络的关键是寻找这么一个函数权值=f（误差）如果改变上述函数使得，每次输入，输出减少1.5则如图颜色纹理形状2134第一次输入颜色纹理形状2132.5第二次输入颜色纹理形状2131第三次输入共三次输入改变f（误差）之后，网络学习能力增强！如何选取函数f？定义E为误差函数与如何建立联系？梯度下降法思路：沿误差E下降最快的方向将权向量移动一个很小的距离。重复这一过程，将产生一系列权重向量为学习速率参数BP算法的基本流程初始化

加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值改变训练样本训练样本终止？迭代终止？NoNoyy神经网络在目标识别中做分类器颜色纹理形状假如神经网络学习100次后第101次输入：是人脸45650不是目的：在智能交通管理方面的应用——车型的识别。步骤：（1）汽车图像的获得以及预处理方面，主要涉及汽车图像的自动摄取，图像去噪及增强，边缘检测等。（2）汽车的特征提取，采用填充图像、不同形状区域标注、直线检测等方法，以提取更有效、明显的特征。（3）神经网络分类器的设计。基于神经网络并行分类的特点有效的处理汽车的不同特征以完成识别。采用BP网络。举例：汽车图像的识别（一）目标图像的获取及预处理图像的获取部分由CCD摄像机、图像采集卡、计算机等硬件组成。

道路及汽车场景CCD摄像机图像采集卡服务器或标准特征库计算机实时处理系统图像的分割图像分割成不同的区域，或把不同的东西分开(分割);识别图像中要找的东西，也就是对图像中不同的特征进行分类(识别与分类)；对于不同区域进行描述，或寻找不同区域之间的相互联系，进而找出相似结构。 图像分割 方法图像阈值的图像减影技术

提取图像的结果

图像的平滑（去噪） 1多图像平均法

2.邻域频域法

3.中值滤波法 图像直方图显示直方图均衡化后的图像（二）特征提取常见的图像特征提取与描述方法:颜色特征;几何形状特征;纹理特征。实际目标轮廓并不容易计算，通常是计算物体二值化后在水平和垂直两个方向的跨度。xaxbycydxyL=xaxbW=ycyd

图像几何特征的提取101长宽：2形心、质心（重心、矩心）把目标图像看成一块密度均匀的薄板，求出的重心叫做目标图像的形心。形心是二值化目标图像上的一个确定的点。当目标姿态变化时，形心位置有微小的变化。xaxbycydxyxy形心(x,y)

图像几何特征的提取113形状分析3.1矩形度形状和尺度一样也是区别物体的重要特征。常用的形状参数有：矩形度、圆形度、不变矩…..描写矩形度的两个参数：矩形拟合因子、长宽比

图像几何特征的提取15形状分析

图像几何特征的提取16—矩形拟合因子[1]R=A0/ARA0AR0<R≤1—长宽比R=W

/LWL形状分析2/2/2023100R0用来描述景物形状接近圆形的程度，它是测量区域形状常用的量。其计算公式为：

式中S为区域面积；L为区域周长.

R0值的范围为0≤R0≤1，

R0值越大，则区域越接近圆形。3.2圆形度R02/2/2023101利用特征参数提取物体特征参数计算结果表示如下:（a）原图像（b）圆度小于0.5的区域（c）提取的图像4.不变矩有几个从函数的矩（moments)导出的期望值适用于形状分析。函数f(x,y)的矩定义为：集合{Mjk}对于函数f(x,y)是唯一的。每个特定的形状具有一个特定的轮廓和一个特定的矩集合。j+k称为矩的阶数

图像特征的提取20∫∫xjykf(x,y)dxdy，-∞Mjk

=

-∞∞∞J、k=0,1,2,…不变矩∫∫f(x,y)dxdy是该物体的面积。-∞M00

=

-∞∞∞所有的1阶矩和高阶矩除以M00可以使它们和物体的大小无关。

中心矩xc=M10/M00yc=M01/M00∫∫(x-xc)j

(y-yc)kf(x,y)dxdy-∞Mjk

=

-∞∞∞中心矩具有位置不变性。

图像特征的提取21

零阶矩不变矩不变矩不变矩是被测图像和模板中灰度分布特性的度量不变矩方法分别对模板和被模板覆盖的图像部分计算相应的一组矩，比较两组矩的差别，差别越小，则越相似不变矩具有位移、旋转、尺度不变性高阶矩将二维图象数据被看作是二维概率密度分布函数，有：

p+q阶原点矩：

p+q阶中心矩：规一化中心矩：中心矩的计算由上图计算得到的中心矩七个尺度、位移和旋转不变的矩度量：由归一化的二阶和三阶中心矩得到不变矩计算实例应用时将所选不变矩作为一组特征计算出各个已知模型的一组不变矩；对于图像中的各个区域，一一计算上述不变矩；将图像中各个区域计算的结果与已知模型的一组不变矩的值进行比较，判定是否有要检测的物体。车牌识别提取字母数字不同轮廓Hu矩的数值特点４神经网络与目标图像识别训练样本(2)对图像进行分割(1)对图像进行去噪声和直方图均衡化：

(3)对图像进行边缘特征的提取：

对图像进行二值化及腐蚀进一步去背景干扰：

对图像进行直线部分的加强以及亮度的反转，增强特征：

BP神经网络识别以汽车车型的形状不变矩，亮度均值以及车辆顶长和底长的比值做为区别特征。神经网络的训练过程显示图奥迪A4的7个不变矩：0.63421.00521.32101.03751.54781.25671.60830.61400.95270.78990.88561.20641.18861.47200.60070.76541.00960.95941.19671.31241.4145甲壳虫的7个形状不变矩：0.78180.80841.21000.98221.45781.34611.48310.86940.91601.36611.50701.48841.63211.58630.81940.85761.19220.93571.46211.51931.5178JEEP的7个形状不变矩：0.49160.99660.84180.01631.09041.05401.39630.64031.03670.62720.01751.15021.15861.14580.55080.98660.73930.01561.22231.19621.2285识别结果对测试的汽车图片以上节所述方法提取特征参数，做为测试输入，进行BP网络仿真。可以得到测试结果，小于0.3的作为0处理，大于0.7的作为1处理。若输出结果00，10，11满足车的类型则为正确识别。第一次训练网络后识别结果:样本数：30识别样本数：28拒识样本数：0错识样本数：2