近代光信息处理第4章光学图像识别-PPT课件

1、第四章光学图像识别 7/26/20221第四章 光学图像识别 41 图像识别和光学相关器42 非相干识别器43 Vander Lugt相关器44 实时Vander Lugt相关器45 Vander Lugt相关器的小型化46 旋转不变Vander Lugt相关器47 比例不变Vander Lugt相关器48 联合变换相关器49 实时联合变换相关器410 联合变换相关器的应用411 旋转不变联合变换相关器412 结论7/26/20222光学信息处理4.1 图像识别和光学相关器 很久以来，人们一直在研究能够识别物体的机器，这种机器能代替人们从事枯燥乏味的重复性劳动及危险性的工作例如:字符识别机能代

2、替邮递员分拣邮件；自动签名或指纹识别机能代替工作人员检验签字或指纹;在军事上，首先用图像识别系统辨认对方的目标，诸如导弹、车辆、建筑，而后用武器自动摧毁经过识别的目标;在医学上，图像识别技术则用于识别某一类特定的细胞，然后进行计数7/26/20223光学信息处理1、光学相关器两个实函数f(x,y)和g(x,y)的相关在数学上定义为 c(, ) = - f(x,y) g(x - , y - ) dxdy当 = 0， = 0时相关函数变成内积: c(0,0) = - f(x,y) g(x, y) dxdy (1)(1)式积分实现的方法见图4.1显然，仅当f(x,y)和 g(x,y)全同时，光强的积

3、分c(0,0)才达到极大 只要测出光强的积分，就可以判定图形f(x,y)和g(x,y)的相似性注意，这一识别过程把复杂的二维图形化简为一个点图4.1 光学图像识别器图示7/26/20224光学信息处理2、相关器的局限性仅能判别两个完全相同的图形，倘若一个图形相对于另一个图形转过一个角度，或二者的比例有所不同，即便两个图形完全相同，用相关器是无法识别的相关器很容易识别印刷体字符，却无法识别手写体字符相关器容易识别人脸的照片，对真人的脸部的识别却无能为力总而言之，相关器可用来识别具有明确定义的物体定义不明确的物体则应借助于神经网络来识别，可参见第八章7/26/20225光学信息处理4.2 非相干识

4、别器 用一个面光源以同时产生许多个准直光束。如果两个图形透明部分相对于这一平行光束是重合的，它通过第二个透镜后就在焦平面上产生一个亮斑，它正是两个图形的相关峰，并指示其位置倘若输入平面上存在不止一个图形，则在输出平面上出现多个相关斑相关输出为 c(,)=- f(x,y)g(x-d/f, y-d/f) dxdy缺点：输出平面上的相关峰强度很弱7/26/20226光学信息处理4.3 Vander ugt 相关器相关运算: c(,)=- f(x,y)g(x-d/f, y-d/f) dxdy1、Vander Lugt相关器(VLC)复数滤波器的记录 设在谱面上放置一个感光胶片，并假定胶片的显影、定影过

5、程是正的线性过程，则最后得到VLC复数滤波器为:T (u,v) =G(u,v)2 + 1 + G(u,v) exp - i 2sin/ + G*(u,v) exp i 2sin / 图4.3 VLC复数滤波器的记录7/26/20227光学信息处理2、VLC 识别过程经过T(u,v)滤波作用，紧贴T(u,v)后面的场为F(u,v) T (u,v) = F(u,v) (G(u,v)2 + 1) + F(u,v) G(u,v) exp - i 2sin/ + F(u,v) G*(u,v) exp i 2sin / 图4.4VLC的识别过程 第一项位于输出平面中心，形成0级谱，而F(u,v) G(u,

6、v)及F(u,v) G*(u,v)的逆变换将分别出现在输出平面上(b,0)及(-b,0)处，F(u,v) G*(u,v)的逆变换为f (,) g (,) 。7/26/20228光学信息处理4.4 实时Vander ugt 相关器1、透射型实时VLC的基本装置 为了实现实时图像识别，用空间光调制器SLM来输入图形，最后用探测列阵AD来探测相关峰图中Ll为显微物镜；L2为准直透镜；L3，L4为傅里叶变换透镜；PH为针孔；BS为分光镜；M为反光镜；MSF为匹配滤波器；AD为探测列阵(例如CCD) ；OB为物光；RB为参考光.图4.5 透射型VLC的装置7/26/20229光学信息处理2、反射型实时V

7、LC的基本装置 系统使用反射型SLM(例如液晶光阀LCLV). 在图4.6中，由摄像机拍摄的图像由TV终端显示，该图像直接照射LCLV，或用透镜投影到LCLV的写入端面，激光束则在LCLV的读出端面上反射，并读出信号，即VLC的输入信号f(x,y)图4.67/26/202210光学信息处理3、实时图像识别的例子图4.7 应用LCLV 进行实时相关识别7/26/202211光学信息处理4.5 Vander ugt 相关器的小型化 小型化VLC底板尺寸为31cm23cm，光束直径2.5cm，外壳高度15cm，四只波长为830nm、峰值功率为10 mW的半导体激光器辐射四束独立的光束(发散角为20o

8、40o), MSF是用会聚参考光制作的，这样就可以省去一个逆变换透镜图4.8 小型化实时相干光学相关器光学系统图7/26/202212光学信息处理坦克模型的相关识别实验 (a) 坦克模型(b) 坦克的匹配滤波器MSF (c)相关信号图4. 坦克模型的相关识别实验 7/26/202213光学信息处理装备在导弹头部小型化VLC 用三个普罗(Porro)棱镜和一个分光棱镜胶合成固化的棱镜组，整个光学系统高45mm，对角线长88mm，内部性能与上述系统类似，但只有一个通道7/26/202214光学信息处理图4.10 固态光学相关器部件分解图7/26/202215光学信息处理图4.11 部分拆开的相关器

9、部件实物图7/26/202216光学信息处理反射型 MSF 实时指纹识别器7/26/202217光学信息处理4.6 旋转不变 Vander Lugt 相关器利用圆谐函数展开实现旋转不变VLC的方案 输入函数f(x,y)用极坐标表为f(r,)，并用指数函数展开： f(r,)=M=- fM(r)exp(iM) fM(r)= (1/2)0 f(r,) exp(-iM)d旋转角的目标函数可表为f(r,+ )= M=- fM(r) exp(iM)exp(iM)在原点(0,0)的相关在极坐标中的表达式为 c()=c(0,0)=0 rdr2 0 f(r,+)f*(r,) d = 2 M=- exp(iM)0

10、 |fM(r)|2 rdr上式相关函数包含了各级圆谐函数分量的贡献，结论：当参考信号中包含多个(大于一个)圆谐函 数分量时相关输出是旋转可变的。7/26/202218光学信息处理利用圆谐函数展开实现旋转不变VLC的方案 如果参考信号中仅包含一个(某一级)圆谐函数分量时就可以实现旋转不变。设 fM(r, )= fM(r)exp(iM) 相关输出: cM() = 2 exp(iM)0 r |fM(r)|2 dr相关函数的强度: |cM()|2 = |2 0 r |fM(r)|2 dr|2 它与目标图形的无关，因而是旋转不变的。 这一旋转不变的相关识别过程，显然强烈地依赖于极坐标系原点的选择及圆谐函

11、数分量的级 M 的选择。 一般的原则是把原点选在图形的对称中心或大致的中心附近，并选择较低级次的圆谐函数分量作为参考信号。7/26/202219光学信息处理旋转不变VLC的实例 在图4.13(a)中，字母E作为目标函数，并用“”指出圆谐函数的展开中心；图(b)给出第一级的圆谐函数分量的振幅；图(c)和(d)分别是(b)中圆谱函数的实部和虚部与该复圆谐函数匹配的空间滤波器MSF用计算机产生的全息图制作图4.13 第一级圆谐函数分量7/26/202220光学信息处理旋转不变VLC的实例图4.14 给出旋转不变的相关峰，指示了三个不同取向的字母 E 的存在，在识别过程中取了适当的阂值图4.14 对字

12、母E识别的旋转不变相关输出7/26/202221光学信息处理4.7 比例不变 Vander Lugt 相关器 比例不变又称尺度缩放不变，意思是说目标图形与参考图形相似时，仍有相关峰输出引入下面的变量代换： = lnx, = lny图形函数表为 f (, ) = f (lnx, lny)对原函数进行 倍的比例缩放的结果为f(, ) = f (lnx, lny) = f(+ 1, + 1)式中 1 = 1 = ln。 如果图形函数f (, ) 与f(+ 1, + 1) 进行相关识别，显然有相关峰输出。而f (, ) 与 f (x, y) 对应，f(+ 1, + 1) 与 f (x, y) 对应，恰

13、恰是原来的图形函数与比例缩放后的图形函数的相关，相关峰的位移(- 1, -1 )指示了缩放的系数 = exp1 = exp1。7/26/202222光学信息处理 在上述处理过程中，不能以f(x, y) 作为输入信号，而必须用f(+ 1, + 1) 作为输入信号，输入图4.5 或图4.6 所示的识别系统中，类似地，当制作MSF时，必须采用变换后的参考信号f(,)，而不是原来的参考信号f(x,y)。从f(x,y)到f(,)的变换，以及从f(x, y)到f(+ 1, + 1)的变换，既可以用电子学的方法实现，也可以借助于光学坐标变换器用光学方法实现。当然最为简单而实用的办法是用变焦镜(ZOOM)，然

14、而这将包含一个机械的动作，而且不能算作是并行处理器。7/26/202223光学信息处理4.8 联合变换相关器 光学联合变换相关器(JTC)最早是由Weaver 和Goodman，以及Rau 提出来的.图4.15 联合变换功率谱的记录 S(u,v) = - f(x+a,y)+g(x-a, y) *exp - i 2/f (xu+yv) dxdyS(u,v)称为f(x,y)和g(x,y)的联合傅里叶谱. 7/26/202224光学信息处理 关于位移的变换法， S(u,v)则改写为S(u,v)=exp i2au/ F(u,v)+exp -i2au/f G(u,v)式中F(u,v) f(x,y), G

15、(u,v) g(x,y) 如果用平方律探测器测量透镜后焦面的图形，得到光强分布|S(u,v)|2 = |F(u,v)|2 + exp i4au/f F(u,v)G*(u,v) + exp -i4au/f F*(u,v)G(u,v)+ |G(u,v)|2 它就是联合傅里叶变换的功率谱.7/26/202225光学信息处理对联合功率谱|S(u,v)|2再进行一次傅里叶逆变换，得到 o(,)= o1(,) + o2(,) + o3(,) + o4(,)o1 (,) = f(x,y) f(x,y) 自相关；o2 (,) = f(x,y) g(x,y)，只是在 轴上平移 2a；o3(,) = g(x,y)

16、 f(x,y)，在 轴上平移2a的距离；o4(,) = g(x,y) g(x,y)自相关 o1 (,)与o4(,)重叠在输出平面中心附近，称之为0 级项，它们不是信号两个互相关项 o2 (,) 和 o3(,) 为一级项，正是我们寻求的相关输出信号，它们在输出平面上沿 轴分别平移 2a 和2a，因而与0 级项分离在 f(x,y) 和g(x,y) 相同的情况下，o2 (,) 和 o3 (,) 的函数形式相同7/26/202226光学信息处理4.9 实时联合变换相关器 联合变换谱的记录和逆变换两个过程之间，有一个用平方律探测器把联合变换的复振幅谱转换为功率谱的中介过程。 在早期的实验中，这一过程借助

17、于感光胶片实现：首先用感光胶片记录一对目标图形f(x,y)和参考图形器g(x,y)的联合变换谱，经过显影、定影处理后，胶片的透过率近似正比于联合变换的功率谱|S(u,v)|2 ，再把它放在系统的输入平面上，用透镜进行逆变换，获得相关输出。如果要对多个目标图形fn(x,y) (n=l,2, ,N)进行识别，上述过程必须重复多次，显然是十分费时费事的。7/26/202227光学信息处理 然而，如果采用高分辨率光寻址的空间光调制器来代替胶片完成上述中介过程，联合变换相关器JTC的优越性就体现出来了1981年，Pichon和Huignard第一次用光折变晶体BSO来实时记录联合变换的功率谱1985年，

18、Loiseaux 等把BSO放在傅里叶平面上，并在输入平面上放置BSO液晶光阀LCLV尽管BSO晶体的分辨率高达1000 lp/mm (线对每毫米)，BSOLCLV系统只能实现12 1p/mm的分辨率，可用面积为25mm25mm，相当于300300个像素这一方案实现了JTC中的实时平方律转换7/26/202228光学信息处理1984年，Yu和Lu提出用LCLV作为平方律探测器，而在输入平面上采用计算机控制的磁光空间光调制器(MOSLM)的实时可编程JTC方案，当时MOSLM的空间带宽积或像素数和LCLV的分辨率比胶片或BSO的分辨率低，所以在上述系统中都用长焦距变换透镜1987年，Yu等又提出

19、了用液晶电视(LCTV)作为电寻址SLM，并用CCD记录联合变换功率谱探测到的图形再通过LCTV显示出来，并由CCD探测相关输出特点：(1)不采用长焦距变换透镜，因而JTC是相当紧凑的(2)用CCD来探测功率谱，从而在第二次傅里叶变换前可以用各种数字处理技术来提高系统的性能7/26/202229光学信息处理实时JTC 理论分析 设f(x,y) = g(x,y)，则联合变换谱可认为是f(x,y)和g(x,y)上对应的无数点对形成的杨氏条纹的相干叠加杨氏条纹的衍射图包含两个亮斑(+1级和-1级衍射)及0级(直流)光斑这两个亮斑即相关峰现在让我们来分析|S(u,v)|2 当f(x,y) = g(x,

20、y) 时，|S(u,v)|2 = |F(u,v)|2 + exp i4au/f F(u,v)G*(u,v) + exp -i4au/f F*(u,v)G(u,v)+ |G(u,v)|2 = 2 |F(u,v)|2 1+ cos(i4au/f) 1+cos(i4au/f)代表理想的杨氏条纹，周期为f/2a，因子|F(u,v)|2则是杨氏条纹的包络F1|S(u,v)|2 =F-12 |F(u,v)|2 *F-11+cos(i4au/f)7/26/202230光学信息处理 o(,) = F1|S(u,v)|2 = F-12 |F(u,v)|2 *F-11+cos(i4au/f)其中 F-11+cos

21、(i4au/f) = (,) + (+2a,) + (-2a,)/2 我们已经知道|F(u,v)|2的傅里叶逆变换是f(x,y)的自相关，记为cff (,) 亦即 F-12 |F(u,v)|2 =2 cff (,)o(,)=2cff (,)*(,)+(+2a,)+(-2a,)/2 = 2cff (,) + cff (+2a,)+ cff (-2a,)从而自相关斑分别出现在(-2a,0)，(0,0)和(2a,0)杨氏条纹 1+ cos(i4au/f) 比包络2|F(u,v)|2重要得多，即使包络有所改变，我们仍能观察到相关峰 (+2a,) + (-2a,) 7/26/202231光学信息处理 例

22、如: 功率谱的范围超过CCD的探测面，仅一部分功率谱被检测设CCD的探测面由矩形函数rect(u,v)所限定(rect(u,v)是函数rect(u)rect(v)的简写)设它比F(u,v)要小，则CCD测得的谱为rect(u,v) 1+ cos(i4au/f) ，在透镜后焦面上的输出为o(,) = F-1 rect(u,v) 1+ cos(i4au/f) = css (,) + css (+2a,)+ css (-2a,)/2在(-2a,0)及(2a,0)仍然看到相关峰(设f(x,y) = g(x,y)css(,)是sinc(x,y)的自相关(sinc(x,y)=sinc(x)sinc(y)注

23、意sinc(x,y)和rect(u,v)是傅里叶变换对, 且rect(u,v) = | rect(u,v) |2 .7/26/202232光学信息处理JTC的优点(1) 与Vander Lugt相关器的全息匹配滤波器相比，JTC的参考图形显然要简单得多，它可以存储在计算机中，并用LCTV显示(2) 探测联合变换功率谱可以是一个非线性的处理过程(3) 由于我们对相关峰的形状并不特别感兴趣，因而可以选择功率谱的一部分来产生杨氏条纹(4) 如果采用短焦距傅里叶变换透镜加一个放大透镜，系统总长度可大大缩短JTC的缺点 在于功率谱受到输入平面上所有信号和噪声的影响，它强烈地依赖信号和噪声的特性，很难设计

24、一个非线性函数来优化功率谱的探测7/26/202233光学信息处理4.10 联合变换相关器的应用图4.17 使用LCTV的实时自适应JTC的实验装置7/26/202234光学信息处理 图4.18(a)计算机生成的物 体和参考图像(b)相关输出(c)LCTV上没有物体 存在时的直流输出7/26/202235光学信息处理4.10 联合变换相关器的应用 Fielding等报道了在Yu等方案的基础上加以改进获得的指纹识别的实验装置.7/26/202236光学信息处理图4.20 运用JTC进行指纹识别的实验结果(a)输入指纹和参考指纹经二值化处理后在输入平 面显示 (b)第二步，二值化的联合变换功率谱 (c)一对相关斑7/26/202237光学信息处理 宋菲君等利用实时JTC识别了破损的指纹图4.22(a)参考指纹(b)留在电子表表面上的现，场指纹(经处理) (c)相关输出图4.21 (a)参考指纹(b)现场指纹 (c)相关输出7/26/202238光学信息处理4.11 旋转不变联合变换相关器 圆谐