（电力电子与电力传动专业论文）红外线列告警器算法的研究.pdf

j 匕塞銮逼太亟堂僮i 金塞垦s ! b ! a b s t r a c t a b s t r a c t ：w i t ht h ed e v e l o p m e n to ft h em i c r o e l e c t r o n i ct e c h n o l o g y , m u c h i m p r o v e m e n th a sb e e na c h i e v e di nt h ef p g af i e l d ，s u c ha sr a m 、p l l 、e m b e d d e d m u l t i p l i e r sa n dd s p b l o c k s e l e c t r o ne n g i n e e r sc a n d e s i g na l lk i n d so fs i g n a la l g o r i t h m s s u c ha sf f ta n df i rt h r o u g ht h ed e v e l o p m e n ts o f t w a r eo f f e r e db yt h e 币g ac o m p a n i e s t h e s ed e v e l o p m e n t so f f e r e dag r e a th a r d w a r ep l a t f o r mf o rt h er e a l i z eo fi n f r a r e dt a r g e t d e t e c t i o n i n f r a r e dd e t e c t i o na n da l e r ts y s t e mr e a l i z ec o m p l e xa l g o r i t h m su s i n gt h es t r u c t u r eo f f p g a + d s p i no r d e rt og e tt h em o s te f f i c i e n c y , t h ei m a g ep r o c e s s i n ga l g o r i t h m sa r e c l a s s i f i e d ，f o rt h eh i 曲r e a l - t i m ea l g o r i t h m sw h i c hr e a l i z ee a s i l yo rn e e dq u a n t i t y o p e r a t i o n sc a nb er e a l i z e db yu s eo fh i g hp e r f o r m a n c ef p g a ；f o rt h ec o m p l e x a l g o r i t h m sw h i c hn e e dm u c hm o r em u l t i p l i c a t i o na n da d d i t i o no p e r a t i o n so rt h e a l g o r i t h m sn e e dt or e t r e a tu s u a l l yb er e a l i z e db yd s e b a s e do nt h eg e n e r a ld a t a p r o c e s sa n de x p e r i m e n t a lr e s u l t so fi n f r a r e da l e r t s y s t e m ，t h i sp a p e rw i l l i n t r o d u c ei m a g ef i l t e r a l g o r i t h m ，t h r e s h o l ds e g m e n t a t i o n a l g o r i t h m sa n dt a r g e tm a r k i n ga l g o r i t h m s t h e nt h i sp a p e rw i l ls h o wt h ew a y t or e a l i z e m e d i a nf i l t e ro p e n i n gt o p _ h a ta n dg r e ys c a l eg r a d sb yu s eo ff p g a t h i sp a r tw i l lb e i n t r o d u c e dp r i m a r i l y a tt h ee n d ，t h er e l e v a n t e x p e r i m e n t a lr e s u l t sw i l lb eg i v e n e x p e r i m e n t a lr e s u l t ss h o wt h a tt h e s ea l g o r i t h m sc o m p l e t e dt h er e q u e s ti ng e n e r a l ，w h i c h i se x p e c t e d k e y w o r d s ：f i e l dp r o g r a m m a b l eg a t ea r r a y ，i m a g ep r o c e s s i n g ，m e d i a nf i l t e r ， o p e n i n gt o p _ h a t ，s e l f - a d a p t i v et h r e s h o l d c l a s s n o ：t p 3 6 8 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：导师签名： 签字日期：年月日签字日期：年月日 独创性声明 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名： 签字日期：年月日 6 7 致谢 本论文的工作是在我的导师姜学东教授的悉心指导下完成的，姜学东教授严 谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢两年来 姜学东老师对我的关心和指导。 姜学东教授悉心指导我们完成了实验室的科研工作，在学习上和生活上都给 予了我很大的关心和帮助，在此向姜学东老师表示衷心的谢意。 感谢高旭辉高级工程师，他对于我的科研工作和论文都提出了许多的宝贵意 见，在此表示衷心的感谢。 同时还要感谢祁蒙，李星，单金山等十一所的同事们，没有他们的热情帮助 和大力支持，我的论文是无法完成的。 在实验室工作及撰写论文期间，王斌、刘晖等同学对我论文中f p g a 与d s p 、 上位机部分的研究工作给予了热情帮助，在此向他们表达我的感激之情。 另外也感谢我的父母，他们的理解和支持使我能够在学校专心完成我的学业。 第一章引言 第一章引言 目标检测技术特别是红外目标检测技术是数字图像处理领域中非常重要的领 域。在各行各业有着重要的应用，特别是最近几十年来，随着超大规模集成电路 和计算机技术的发展，图像的目标识别有了更广泛的应用。如在工业上通过目标 检测技术可以来对产品进行分类，辨别产品质量，剔出次品；在天文导航中通过 对恒星的检测来进行定位；在医学上对生物组织进行分析来治疗疾病。目标检测 技术在日常生活中的应用越来越广，很多场合，如停车场、银行、交通枢纽等公 共场所出于安全的考虑都需要全天2 4 小时进行监控。这些应用的需要大大促进了 目标检测技术研究的发展。通过数字图像的目标检测可以获得大量的目标信息， 同时通过检测技术可以将干扰去除留下感兴趣的目标。目标检测技术也大量运用 在军事上，使用各种先进的传感器( 可见光、紫外、红外、微光等) 获得图像数 据，然后通过各种方法检测出敌方目标，这些已经大量运用在军事上的火控、导 航、预警以及武器制导方面。 在军事应用领域，雷达作为主要探测手段被广泛应用。但它因自身结构及其 探测原理限制，对于低空目标难以进行有效的探测。红外热像仪与雷达相比有一 个很显著的优点。它不需要像雷达那样通过接收电磁回波来探测目标位置，而只 是通过感知目标散发出的红外辐射来探测目标。因此红外热像仪是一种被动式探 测器。它具有功耗低，体积小，隐蔽性好，抗干扰能力强等优点，在军事侦察、 探测领域里应用越来越广泛。近年来，红外成像技术在军事应用领域取得了飞速 发展，并广泛应用于夜视、侦察、导航、搜索告警、跟踪制导等各个领域。不同 的应用领域对红外信号处理功能也提出了相应的要求，如：在红外夜视及观瞄设 备中要求提供最佳的视觉图像效果：在红外搜索跟踪设备中要求完成目标的自动 探测、识别和跟踪：在红外制导武器中则要求能快速捕获并稳定跟踪目标，提供 精确的制导信息等等。无论何种应用要求，对红外目标的检测与提取都是整个系 统的核心与关键，也是整个系统中最难完成的部分。目前，国内外学者和专家在 这个方面作了大量的研究和实验，提出了许多行之有效的实现算法。 1 1 红外目标检测算法步骤 红外弱小目标检测技术是目标检测领域内重要的内容。同雷达与可见光相比， 红外成像系统具有抗干扰能力强、分辨率高、可昼夜工作等特点而备受重视。红 外弱小目标的检测技术是红外图像处理中的核心技术之一。很多种场合下，需要 北京交通大学硕士学位论文 这些检测算法的实时运行，因此红外目标检测算的硬件实现技术研究具有很重要 的意义。红外弱小目标往往是远距离成像的目标，经过长距离的传播衰减后，目 标信号到达成像系统经过了很强的衰减。而红外成像的背景也处于不断变化中比 较复杂。实现目标检测的方法有很多，文献 1 】中在红外小目标检测中使用了m a r r 方法取得了不错的效果，定位精度高。文献【2 】利用图像流分析法对红外序列图像 中的运动小目标进行检测，首先利用两部分离法对图像进行预处理，得到少量的 候选目标，然后利用图像流模型建立目标的运动约束方程，在多帧连续图像中检 测出真正的目标。这些方法都取得了比较好的效果。文献【3 】研究了基于正交小波 的多尺度分解，2 提取出不同空间分辨率和不同方向的子图像，用不同方向细节图 像进行交叉融合处理来确定目标候选位置。文献【4 】综合运用自适应门限检测法和 h o u g h 变换方法，先自适应门限预处理然后做投影、h o u g h 变换检测目标。在这 些目标的监测算法中，图像流分析法、序贯假设检验法【5 l 、动态规划法【6 1 、最优 投影和h o u g h 变换法1 4 1 7 】以及最近研究较多的小波变换【引、神经网络等方法都有 计算复杂、运算量大等缺点，利用硬件实时实现难度都很大。 一套完整的红外成像探测告警系统一般由如下几个部分组成：红外成像信号 获取，非均匀校正，信号预处理，目标标记与提取，目标识别。其中，红外成像 非均匀校正，信号预处理，目标标记与提取是三个十分重要的环节，它们的处理 效果将直接影响整个告警系统的检测概率和虚警率。 图1 1红外探测告警系统数据流向图 f i g1 1i n f r a r e dd e t e c t i o na n da l e r ts y s t e md a t ap r o c e s s i n g 一、红外图像的非均匀校正： 由于制造工艺的限制，红外热像仪的每一个阵列探测单元响应度不可能完全 一致，这就导致了叠加在输出红外图像上的空间噪声，即固定图形噪声，严重影 响了红外系统的成像质量和辐射测量精度。因此，必须对探测器输出的红外图像 进行非均匀校正。已有的非均匀校j 下技术大致可分为两大类：第一类是基于黑体 的非均匀校正技术，其光学和机械结构复杂，达不到实时校正要求；第二类是基 于场景的非均匀校正技术，它直接利用场景信息，克服了黑体校正的缺点，成为 目前研究的主要方向。在基于场景的方法中，以神经网络计算为核心的非线性自 适应校正方法，成为目前广泛的研究热点之一神经网络法利用场景中相邻象素 的空间相关性实现非均匀性校正，对于非均匀性引起的空间噪声主要是高频或者 白噪声的情况有比较好的校正效果但是神经网络法要求场景或者目标处于不断 2 第一章引言 运动中，其实时实现也需要先进的多处理器结构因此，在实际的红外成像系统 中尤其是实时处理中，受限于硬件实现的难度和算法运行效率，基于标定的校正 算法仍然是非均匀性校正的主要方法，具有不可替代的应用价值。 二、信号预处理： 原始图像中都含有大量的噪声，如探测器噪声、电路噪声、背景空间起伏噪 声等，因此图像的信噪比都比较低。因此一般的步骤都要首先对图像数据进行预 处理以增强信噪比。基于图像序列的预处理方法是对多帧序列图像进行能量累积， 能量累积是一种消除噪声，提高信噪比的有效方法，经过累积平均后的功率信噪 比增加了许多倍，信号强度却不会发生达的变化f 9 j 。基于单帧的预处理直接使用 滤波器，使用较多的是高通滤波器、中值滤波器、形态学滤波器或者是它们的改 进形式。经过滤波后的图像，就只含有中低频分量的图像。根据要检测的目标的 特性，或对滤波后图像进行进一步的处理，或用原图剪去滤波后的图像，然后对 运算结果即原图的高频分量进行进一步的处理。信号预处理主要作用是抑制红外 背景噪声，突出红外小目标。当红外目标图像是由几个到大约1 0 0 个像素点组成 时，称为小目标。对红外小目标的检测存在着诸多难点，例如：( 1 ) 由于红外成像 为热源成像，图像中目标和边界均模糊不清；( 2 ) l 主i 于自然界中的物体都具有红外 辐射能力，因此干扰源很多。不易区分；( 3 ) 小目标自身无明显形状、尺寸和纹理 ，等信息可以利用；( 4 ) 小目标成像面积小信号强度弱，目标捕获要在低信噪比下进 行。信号预处理效果的好坏对后面的目标检测将产生很大的影响，如果信号预处 理做得不好，将给后面的目标检测与识别带来很大的难度。 信号预处理包括空间数字滤波、图像压缩以及动态的自适应阈值空间数字 滤波完成背景杂散干扰的抑制，提高目标探测的信噪比针对天空中具有大量云 层的红外图像，采用带保护带的非线性滤波器r o b i n s o n 滤波算子，滤波器尺寸为 5 4 5 ，其突出小目标的能力比其他滤波器效果要好。红外目标检测的难点之一是： 在目标由远及近的过程中，面积、灰度等特征都会发生较大的变化为了解决算 法难以对大小目标同时敏感的问题，可以先合理降低红外图像的分辨率，将斑点 目标和面目标压缩成点目标，然后在多级分辨率上分别处理，这样在低分辨率级 减少数据量，同时在高分辨率级也保留大目标的特性信息，提高了大小目标兼容 能力应用中需要合理地选择压缩策略，好的策略应该既可以突出目标、去噪效 果好，也要实时性好实际中采用多级特征值压缩( 一般2 到3 级) ，如采用2 级3 x 3 领域次大值压缩方法，针对点目标和斑块目标进行处理，压缩了图像，从而减 少了数据处理量。 经过滤波处理后，为了将目标和噪声分离，选择合适的阈值分离目标和噪声。 阈值的选取对目标检测效果有着重要的影响。阈值过小则会将噪声点作为目标点， 3 北京交通大学硕士学位论文 过大则会漏掉目标。对红外图像进行阈值分割有2 种方法：固定阈值和自适应阈 值红外探测系统面对的是全方位、大俯仰范围的红外背景，其中，各种形状、 不同强度的杂波信号都会出现，如果取固定阈值，则在面对大起伏的背景时，容 易产生很高的虚警或漏警因此，除非在背景起伏不大的情况下，一般采用自适 应域值。自适应域值分割方法有很多：全局自适应域值分割算法，局部自适应域 值分割算法，隔点差分自适应域值分割算法，基于形态学尺度空间和梯度修正的 分水岭分割算法等等。其中，全局灰度值门限自适应域值分割算法，局部灰度值 门限自适应域值分割算法是以整桢或部分红外图像灰度均值作为分割门限。这两 种算法的优点是算法简单，易于在f p g a 上流水实现，实时性好，由于灰度值随 背景变化而变化，如果背景噪声变化缓慢且其灰度值分布不与目标灰度值分布重 叠，则很容易通过适当的域值门限将目标分割提取出来；缺点是只能抑制一定强 度范围内的杂波信号，若干扰信号灰度值分布范围比较广，或者目标灰度值和干 扰信号很接近，则无法通过这两种方法将潜目标分割提取出来。隔点差分自适应 域值分割算法，基于形态学尺度空间和梯度修正的分水岭分割算法都是利用目标 边缘灰度梯度变化大这一特点来实现对目标的分割提取的。隔点差分自适应域值 分割算法是根据实际红外图像中目标与背景的边缘在纵横方向上隔点间的梯度很 大，而背景内部的边缘梯度比较小，同时目标内部的灰度变化比较平缓的特点， 通过检测目标边缘实现对目标的分割提取。梯度修正的分水岭分割算法的原理和 隔点差分自适应域值分割算法相近，只是实现方法不同。这两种算法的优点是有 较高的检测概率，同时运算量也不大；缺点是如果在背景噪声有胡椒噪声，则噪 声很可能被当成是目标提取出来。 三、目标标记： 由于基于背景预测的检测方法是以像素为基本检测单元进行的，而小目标的尺 寸一般情况下会不止一个像素，一个目标上的所有像素点即使没有全部被检测到， 大部分点都会被检测出来，因此一幅图像处理完后，一个目标会被分割成多个目 标，为了解决这种问题，在对一幅图像处理结束后，根据处理后目标点的位置进 行标记，然后根据标记对像素点进行聚类。 基于像素点的区域标记算法通常可归为两类：递归法和顺序法。 递归法常采用递归式处理，一方面需要大量的堆栈空间，另一方面由于采用的 是诸如种子点填充的原理，进行的是全局搜索，需要消耗大量的存储空间和处理 时间，因此算法的性能非常有限。 顺序法通常需要对图像进行两次扫描，对于未作标记的像素标记值可以从 它邻域中获得，对于邻域中出现多个不同标记的情况，则通过构造一个标记冲突 表来解决。这个冲突表将会记录所有遇到的邻域中具有不同标记间的关系。在第 4 第一章引言 二次扫描图像的过程中，这种关系对完成所有区域标记值的统一具有重要作用。 尽管顺序法较递归法在性能方面有了显著改善，却仍具有以下不足：1 ) 冲突表 的空间管理复杂；2 ) 搜索性能差；3 ) e h 于这一算法采用基于像素点的方式，目标对 象各部分之间的连通关系没有得到充分利用，从而导致算法的时间复杂度大大增 加。为解决这些问题，有学者提出一种新的编码标记方式游程编码标记。游 程编码是一种逐行存储目标特征区域的编码方法，该方法能够实现对目标区域的 标记以及数据压缩。在基于该方法的区域标记算法中，标记值冲突现象在实际图 像处理过程中非常普遍。这种冲突与具体的图像复杂度以及处理方式有很大的关 系，往往无法预知冲突发生的数目，故可通过构造一个具有动态存储空间分布的 冲突表来解决这一问题。与前面的几种算法相比，这一算法具有以下优点：1 ) 存储 量小，2 ) 充分利用了区域连通性的结构特征；3 ) 搜索空间较小。该类算法尽管采用 了标记冲突表的概念解决了相邻游程编码之间具有不同标记值的冲突现象，但同 时也引入了一些使算法性能降低的因素，特别是对算法的时间复杂度的影响，大 大增加了算法的运行时间。 四、目标识别 经过目标标记后，红外图像中只剩下真实目标和部分近似目标( 伪目标) ，为 了将真实目标提取出来，一般采用两类方法。一类是基于统计的方法，其中包括 加权法、修正加权法、独立序贯法、相关序贯法、独立双门限法、最近邻法、k - n n 法和修正的k 近邻域法等。另一类是基于模糊数学的方法。其中最近邻法、加权 法和修正法是最基本的方法，也是实际中应用最多的方法。 1 2 数字图像处理实现方法讨论 数字图像处理技术，是2 0 世纪6 0 年代后发展起来的一门新兴的数字信号处理 技术。进入7 0 年代以来，随着电子计算机、大规模集成电路( l s i ) 和超大规模 集成电路( v s l i ) ，以及微处理器等技术的发展，数字图像处理无论是在理论上还 是在工程中的硬件实现，都是目前发展最快的科学之一。而且，数字图像处理技 术广泛应用于数字通信、雷达、遥感、声纳、测量与控制、高清晰度电视、多媒 体技术、生物医学工程、机器人等各个领域。数字图像处理从产生到现在，其实 现方法也随着微电子与计算机的发展而不断进步。在目前的技术条件下，实现对 数字图像的处理大体上有如下几种方法： ( 1 ) 在通用计算机上通过软件编程实现 硬件电路将从传感器得到的模拟信号，经a d 转换后存入存储单元，计算机 读取存储器的数据，并按照数字滤波器的数学模型，利用高级编程语言( 如c + + 5 北京交通大学硕士学位论文 等) 编制出处理软件，对图像信号进行处理。近年用的较多地工具m a t l a b ，是一 款功能十分强大的工程计算及数值分析软件，带有丰富且实用的图像处理工具箱。 其优点就是方便、灵活，基本上可以实现所有的图像处理算法。但其缺点也十分 明显，实时性差、速度慢，只能适应于教学和算法研究。但对于实时性要求较高 的场所，这种方法并不适用。 ( 2 ) 利用单片机 例如i n t e l 的9 6 0 0 ，这种单片机运行速度较快，而且单片机的接口性能较好， 容易实现人机接口。但单片机采用的是冯诺伊曼总线结构，所以在图像处理 领域使用单片机对于运算量的图像处理算法速度就会比较慢，也难以满足运算量 大、实时性要求较高的图像处理算法【l o 】 ( 3 ) 使用通用可编程的d s p 芯片来实现 自从2 0 世纪7 0 年代末第一片数字处理器芯片问世来，d s p 芯片就以其特有的 稳定性、可重复性，特别是可编程性和易于实现自适应处理等特点，给数字信 号处理以及图像处理的发展带来了巨大机遇。同单片机相比，d s p 有着更适合于 数字信号处理器的特点。采用了改进的哈佛总线结构，内部有硬件乘法器、累加 器，广泛的使用了流水线结构，具有良好的并行性，并都有改进了的适合于数字 信号处理的指令集。正是由于以上特点，d s p 芯片使得数字图像处理技术应用于 实际的实时性工程领域成为可能。 ( 4 ) 使用专用的d s p 芯片 在数字图像、数字信号处理中，有一些算法例如f f t 、f i r 滤波，卷积运算等 使用的频率很高。针对于这一现象，国际上很多公司推出了这方面的专用芯片， 来完成这些相关的运算。美国的i n m o s 公司的i m s a l 0 0 芯片，可以完成f i r 、 f f t 、相关、卷积等运算。可以在2 m s 内完成1 0 2 4 点的复数f f t 运算。美国的摩 托罗拉公司的d s p 5 6 2 0 0 也属于这种专用型的d s p 芯片。用户在使用这些芯片时， 只需要按照芯片说明，将数据从输入端输入然后输出端输出结果。这种方案速度 快，非常适合于嵌入式实时性场合，但正是由于这类d s p 芯片都是为了特定的运 算而设计，因此灵活性差，开发工具不完全。 ( 5 ) 现场可编程门阵列( f p g a ) 用于数字图像处理 近些年来，可编程逻辑器件取得了迅速的发展，其功能日益强大，f p g a 内部 可用逻辑资源飞速增长，近来推出的f p g a 都针对数字信号处理的特点做了特定 设计，集成了存储器、锁相环( p l l ) 、硬件乘法器、d s p 模块等，通过使用各个 公司提供的f p g a 开发软件使用硬件描述语言，可以实现特定的信号处理算法， 如f f t 、f i r 等。有影响的f p g a 公司有a l t e r a 、x i l i n x 等。 ( 6 ) 早期的数字图像处理由于对图像的数据量较小，主要采用早期推出的低 6 第一章引言 端的d s p 处理器实现，这一类的d s p 有t m s 3 2 0 c 3 0 、a d i 公司的a d s p 2 18 1 等。 但近年来，对图像处理的要求也不断提高，分辨率不断提高，处理的数据量增大， 单纯的依靠单片d s p 来完成这些实时性高的算法已经显得力不从心f l f i ，明显达 不到技术指标。随着近些年超大规模集成电路的发展，更多的实时图像处理系统 采用了f p g a + d s p 的结构来完成整个复杂的图像处理算法。将图像处理算法进行 分类，f p g a 和d s p 份协作发挥各自的长处，对于算法实现简单、运算量大、实 时性高的这类处理过程由大容量高性能的f p g a 实现，例如可以采用f p g a 来实 现中值滤波、直方图统计、卷积运算等预处理算法。d s p 则用来处理经过预处理 后的图像数据，来运行算法结构复杂，乘加运算多的算法，例如目标的聚类、数 据融合等处理。 1 3 本课题的主要工作： 本课题主要完成了基于实时数字图像处理电路板的软件编程和调试工作。该 电路板主要由一片f p g a 和两片d s p 6 4 1 6 作为主处理器，8 片1 兆字节s d r a m 以及若干外围电路组成。d s p 与f p g a ，s d r a m 之间通过e m i f 总线进行数据交 换，两d s p 之间通过双口r a m 进行通讯。s d r a m 用于暂存d s p 处理得到的中 间数据。 主要完成了以下工作内容： ( 1 ) 研究f p g a 的工作原理及应用，利用f p g a 的设计开发软件与工具，完成了 中值滤波、形态学滤波的f p g a 实现，并给出了详细的实现过程。 ( 2 ) 研究红外图像的阈值处理算法，根据应用要求，结合门限阈值自适应算法和 隔点差分阈值分割法，提出一种新的阈值分割算法，同时完成了该算法的f p g a 实现，并给出了详细的实现过程。 ( 3 ) 根据d s p 的e m i f 总线协议，在f p g a 完成e m i f 总线通讯接口时序电路的 设计，实现了f p g a 与d s p 之间的数据通讯。同时将输入数据图像拆分成若干块 分别送给两块d s p ，提高整个处理器的运算速度以满足实时性要求。同时完成串 口收发时序电路的设计，实现与上位机之间的串口通讯。 ( 4 ) 作为系统的组成部分，完成系统级调试，并根据实验结果调整算法。 1 4 本文的内容安排 根据以上内容，对文章的内容作如下安排： 第一章，绪论。首先介绍目标检测技术，特别是g r # l - d , 目标检测技术的发展情 7 北京交通大学硕士学位论文 况、红外小目标检测实时实现的一般步骤以及目前常见的数字图像处理实现方案。 第二章，研究中值滤波，形态学滤波等滤波算法的特点及处理效果，在此基础 上提出了上述算法的f p g a 实现，详细阐述了硬件实现步骤，并给出红外图像试 验结果。 第三章，讨论红外图像的阈值处理方法，简单介绍常见的处理方式和分析它们 的优缺点，并在此基础上提出基于大容量f p g a 的灰度比梯度自适应阈值算法， 同时给出了基于v h d l 语言的硬件算法实现。 第四章，介绍整个告警器硬件结构组成，并给出了f p g a 与d s p 、上位机之间 的通讯程序以及程序流程图。 第五章，总结部分，总结课题研究中完成的工作内容以及需要进一步改进的地 方。 第二章红外告警器图像滤波预处理 第二章红外告警器图像滤波预处理 2 1 告警器红外图像特点 一幅告警器红外原始成像图片可以简单地认为是是一个由红外小目标、真实背 景图像、成像噪声和成像干扰组成的集合，可用以下模型来描述： 石m ，1 ) = 五所，1 ) + 最册一) + o ( 用，1 ) + l ( 州，1 ) 式中：乙一) 为红外小目标图像最训为真实红外背景图像；脚一) 为红外成像噪 声，它是在成像过程中引入的，是叠加在图像上的一个随机扰动，这种噪声频谱 较宽；川( 小m 是成像干扰，它是红外成像光敏元响应的非均匀性造成的，形成相 对固定的错误数据孤立点，其像素灰度远大于或远小于周围的像素点，叫胡椒噪 声。一般来说，目标点石聊m 灰度通常比背景要亮，但其灰度与一些强噪声点相差 不大。背景图像戗通常具有较长的相关长度，占据了场景图像五州空间频率 的低频部分。同时，由于场景和传感器内部热分布的不均匀性，背景图像q ，m l 一 般是一个非平稳过程，图像中局部灰度值可能有较大的变化。岛舰m 中也包含部分 高频分量，主要分布在背景图像各个同质区的边缘处。噪声图像主要是探测器的 成像噪声岷砌) 和成像干扰m ( 砌) ，与背景像素不相关，空间分布是随机的，没 有帧间相关性。所以，图像预处理算法的目的是去除背景图像戗删、成像噪声 m 一) 和成像干扰m ，1 ) ，保留小目标图像) 。 由于小目标成像面积小、信噪比低、背景复杂等特点，所以与其他特性目标 的预处理相比，红外小目标图像的预处理难度更大，并具有以下特点： ( 1 ) 在低信噪比情况下，目标点极易被噪声淹没。 ( 2 ) 由于背景图像和噪声图像的复杂性，需要将多种预处理方法结合起来应 用； ( 3 ) 在小目标情况下，目标的强度较弱，应将目标增强、背景抑制和噪声削减 综合起来考虑。 因此，预处理的主要任务就是提高信噪比，在对背景噪声进行抑制、消除红外云 团的同时，增强目标灰度值。通过预处理除掉背景，留下目标和噪声点，然后选 择合适的阈值分离目标，这样才能更好的进行目标的检测。 弱小目标和噪声有很多相同点，第一，含有大量高频分量。弱小目标和噪声 在图像中表现为孤立奇异点，对应于图像的高频部分。第二，在图像中弱小目标 和噪声所占的像素数很少。这些共同点使滤除图像中的噪声变复杂了。如果算法 ( 算子) 选择不当，就有可能将弱小目标一同滤除掉，这是我们最不希望看到的。 9 北京交通大学硕十学位论文 因此，在选择滤除算法( 算子) 前，必须对要检测的目标的红外特性有充分的了 解，针对其与噪声之间的最大差别选择相适应的算法，以保证在滤除噪声的同时 尽可能的保留弱小目标的像素信息。本课题所研究的对象是天空背景下的弱小目 标，该类目标与噪声最大的不同点在于它往往有几十个像素大小，而不像噪声往 往只有几个像素大小，这就意味着该类目标含有大量低频分量。因此，对这类红 外图像做高通滤波，就可将噪声滤除。于此同时，仍可保留大部分目标信息。 2 2 常见的滤波算法比较与课题中应用可行性分析 高通滤波算法为线性运算，原理简单，易于实现。远距离背景中背景比较平 缓，像素之间存在强相关性，背景图像占据空间频率的低频部分，目标和噪声对 应于高频部分，对图像做空间域高通滤波，高频部分信号很容易通过滤波器。在 f p g a 内部使用空间域卷积的方法，大部分属于加减运算，乘积运算较少，实现起 来比较容易，可以用f p g a 并行流水的方式实现多种模板的高通滤波。这种算法 的缺点是灵活性比较差，对不同红外图像的适应性不强，这里不予采用。 用一个有奇数点的滑动窗口在图像上滑动，将窗口中心点对应的图像像素点 的灰度值用窗口内的各个点的灰度值的平均值代替，这就是均值滤波算法。如果 滑动窗口规定了在取均值过程中窗口各个像素点所占的权重，也就是各个像素点 的系数，这时候就称为加权均值滤波。均值滤波在滤除噪声的同时也使图像变得 模糊，细节的锐化程度减弱。所以，采用均值滤波方法，虽然可以有效地抑制噪 声，但是目标自身的部分特性也会被削弱，不利于后面要进行的图像分割和目标 提取。 中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技 术，运算简单、速度快。在滤除噪声尤其是脉冲噪声的同时能很好的保护信号的 细节信息。另外中值滤波器很容易工程实现，非常适合于实时性要求较高的数字 图像处理场合。本文采用3 * 3 的元素结构对图像进行中值滤波以消除高频噪声。 此外还可以采用灰度形态学的方法提取目标和噪声，灰度形态学主要包括膨 胀、腐蚀、开、闭等。膨胀使得原图的基本形状得以保持但填平了图像边界上的 不平滑的凹陷部分；腐蚀在保持原图的基本形状的同时去除了边界上不平滑的凸 出部分；开运算先对图像先腐蚀后膨胀，能够除掉图像中的孤立区域和毛刺；通 过开运算选择合适的结构元素，可以出去图像中的小目标和噪声，再用原始图像 减去开运算后的图像减去平缓变化的背景得到噪声和同样处于高频信号区的噪 声。这种算法很适合消除背景，同时，这种算法只对大小关系感兴趣，而不是对 具体的值域敏感，使得它对不同的红外图像都有很好的效果。 l o 第二章红外告警器图像滤波预处理 经过分析比较，中值滤波和形态学滤波算法符合本课题的应用要求，本文将 在下面对其原理，特点，以及具体实现方法进行详细的介绍。 2 3 告警器图像滤波处理中值滤波 中值滤波( m e d i a nf i l t e r i n g ) 技术是由t u k e y 发明的一种非线性信号处理技术， 早期用于一维信号处理，后来很快被用到二维数值图像平滑中。它是基于排序统 计理论的一种能有效抑制噪声的非线性处理技术。使用线性低通滤波时，在滤除 噪声的同时，也往往使图像中原有的清晰轮廓变得模糊，而中值滤波其特点是运 算简单，速度快，在滤除噪声( 尤其是脉冲噪声) 的同时能很好的保护信号的细 节信息。另外，中值滤波器易于硬件实现，在现场可编程逻辑器件( f p g a ) 上方 便实现。 2 3 1中值滤波原理 中值滤波器是一种统计排序滤波器，它的响应基于图像滤波算子( 模板) 包围 的图像区域中像素的排序，然后由统计排序结果选择中值代替中心像素的值。中 值滤波对极限像素值远不如均值滤波器那么敏感，所以中值滤波器产生的模糊较 少，更适合于消除红外图像中孤立噪声点。非常适合于一些线性滤波器无法胜任 的数字图像处理应用场合。 在排序统计滤波器中，滤波器首先将模板对应的像素按照其对应的灰度进行排 序，然后选取灰度序列中相应的像素值作为滤波器的输出值作为模块中心位置对 应的像素的灰度值。选取最大值则就是最大值滤波器，选择中值则称为中值滤波 器，取最小值的话就是平常所说的最小值滤波器。 以上所述的中值滤波，窗口内各点对输出的作用是相同的。如果为了更好的保 护图像的细节，希望强调中间点或距中间点最近的几个点的作用，可以采用加权 中值滤波法。加权中值滤波的基本原理是改变窗口中变量的个数，可以使一个以 上的变量等于同一点的值，然后对扩张后的数字集求中值。中心加权的中值滤波 算法其数学表达式为： ( x ) = m e d i a n x 1 ，o ，x 。( 2 2 ) 其中，e 为窗口中心像素点的灰度值，表示复制操作，表示权重即复的 次数。 维中值滤波器： 北京交通大学硕士学位论文 一个大小为n ( 一般为奇数) ，作用于序列 x ；，f z 的中值滤波器可定义 为n 个数五，置，墨，以的数值按大小顺序排列，然后用中间值去替代处于 中间位置的数( 中间数) ，即： = m e d ( x , l n ) = m e d i a n ( x f 训，而，k ，) ( 2 3 ) 其中y = ( n - 1 ) 2 二维中值滤波： 一个具有滤波窗口w ，通常为n x n 大小，这里n 为奇数，作用于二维序 列( 图像) g o ，( f ，) z 2 。此时中值滤波器可定义为： y o = m e d c x o l w ) = m e d i a n x i + r m ，( ，s ) r r ，( f ，) z 2 ( 2 4 ) 为了提高运算时间，有时候会采用简化的滤波窗口以加快运算速度，例如：圆 形、十字形、正方形框、圆环等。 为了直观的理解中值滤波的效果，下面给出了对几种一维基本信号进行中值滤 波的例子。如图2 1 所示，图中( a ) 是阶跃信号，经中值滤波后仍然保持了阶 跃部分；图( b ) 原始信号是斜波，滤波后也保持了其形状；图( c ) 的原始信 号是单脉冲信号，经滤波后消去了这个脉冲；图( d ) 中的原始信号是双脉冲， 经中值滤波后也被消去( 在5 x 5 模板下，3 x 3 模板下并未滤去) ；图( e ) 的原 始信号是三脉冲，滤波后对其没有影响；图( f ) 的原始信号是三角形，滤波后 虽然有少许变形，但也还是基本保持了原来的形状。 1 2 第二章红外告警器图像滤波预处理 uuiuluuuu u 刖uiuuuu ( d ) 一一一 i 叫山l 叫u 。叫l l j f ) 图2 1 对几种基本新号中值滤波的结果 h g 2 1m e d i a nf i l t e rr e s u l t so fs e v e r a lb a s i cs i g n a l s 2 3 2中值滤波特点 中值滤波器有两个主要的优点： ( 1 ) 中值滤波在平滑尖锐噪声方面是非常有效的，比如脉冲噪声。 ( 2 ) 中值滤波对图像尖锐的边缘有较好的保护，而线性低通滤波往往会使这 样的边缘模糊。所谓边缘图像是指一幅图像在一条线的一边所有点的灰度值 都近似为一个确定值a ，而在这条线另一边的所有点的灰度值都近似为一个确 定值b ，且b a 。 分析中值滤波的定义和特性，以及考察它在图像处理中的应用，可以发现，标 北京交通大学硕士学位论文 准中值滤波器存在下列缺点： ( 1 ) 以信号估计理论观点看，由于标准中值滤波是非参数估计，在处理过程 中，并没有充分地利用实际中可以获得的观测模型统计知识，存在着相当的保守 性和盲目性。 ( 2 ) 中值滤波器对长拖尾概率分布噪声( 脉冲噪声) 有很好的抑制能力，但 对中拖尾分布( 高斯分布) 和短拖尾分布( 均匀分布) 噪声抑制能力显著下降。 ( 3 ) 当滤波窗内的脉冲干扰样本数( 像素数) 大于窗长一半时，中值滤波没 有滤波效果。此时，依靠增加滤波窗尺寸，固然可提高噪声滤除能力，但是要丢 失图像细节。 ( 4 ) 图像中的一些细线，尖锐边角，经中值滤波后被滤去，这会破坏图像几 何结构。 ( 5 ) 对于受脉冲干扰的非常数信号，中值滤波后会出现边缘抖动，即使在低 噪声区，仍有边缘移位。 ( 6 ) 经多级中值滤波可获得根信号，但无法保证根信号就是原信号，最坏情 况是：根信号完全是噪声分量。 2 4 告警器滤波算法中值滤波的f p g a 实现 2 4 1中值滤波算法的f p g a 实现思路 现场可编程逻辑门阵列( f p g a ) 是一个包含有大量门电路的逻辑元件，但是它 的每一个门的定义可以有使用者来定义。它具有很强的灵活性，即使在硬件电路 搭建完成后，仍可根据实际需要，利用f p g a 的在线调试功能，将其内部逻辑单 元配置成不同逻辑电路和时序电路，以实现不同的功能要求。采用f p g a 开发的 系统开发周期短，系统易于维护和升级扩展，减少了资金投入，因此f p g a 器件 成为研制研发的理想器件，特别适合于产品的样机开发和小批量生产。 f p g a 最大的特点在于并行性和时序性。在实时的图像处理系统中，对于算法 结构简单，要求实时性高，具有流水特点的图像预处理算法，常常用f p g a 进行 硬件实现。对于结构复杂、一次处理数据量大、经常要进行乘加运算同时对实时 性要求不高的一类算法，经常采用dsp 芯片来实现。 中值滤波算法的实现原理，简单的说，就是选择一个特定大小的n xn 滑动窗 口( n 为奇数) ，然后让这个窗口在待处理红外原始图像中逐行逐像素滑动，每滑 动过一个像素，就比较一下窗口内2 个像素的中值，然后用其将窗口中心对应像 素位置的像素值替换。其滑动方式如图2 2 ( a ) 所示： 1 4 第二章红外告警器图像滤波预处理 | i 幸宰奉奉事事掌奉奎幸幸事宰 一一 、- ， 、_ ff 十十十十十- - 十，- _ 母书木宰事宰幸事宰宰宰幸 奉幸枣木幸幸 奉奎奉幸奉掌事幸宰宰宰 幸事毒宰 奎枣木枣木幸宰幸幸幸宰宰宰 宰枣木木 木木幸书半幸枣木辜宰宰母宰宰幸幸枣 木幸木幸枣木幸毒幸木幸幸掌宰事宰宰奉毒幸 幸奉幸木幸木拳宰木奎母书事宰宰宰宰宰 枣木宰宰宰宰幸幸宰宰宰掌枣木幸幸幸宰宰搴 奎奉宰宰宰事事拿 宰奉j | 奉幸幸事 幸宰幸幸幸 奉宰宰宰宰奎事事幸枣 图2 2 中值滤波实现原理 f i g2 2 t h ep r i n c i p l eo fm e d i a nf i l t e r ( b ) 假设窗口是由上到下，自左及右的方式滑动。若将窗i ：i 看作固定不动，则可 以认为是红外图像每一行的像素逐行串行依次进入滑动窗口的每一行。如图2 2 ( b ) 所示。而这一假设恰好实际的红外图像传输方式相一致。因此，中值滤波算法实 说明： if i f oi 列移位寄存器 - 锁存器 图2 3 中值滤波算法硬件构成 f i g2 3h a r d w a r es t r u c t u r eo fm e d i a nf i l t e r 现的过程就可以分解成一个流水处理过程，从而可以轻易的在f p g a 内完成硬件 1 5 囡 北京交通大学硕士学位论文 实现。这种分解算法的思路是具有通用性和普遍性的，后续章节将要提到的均值 滤波算法，以及形态学滤波算法均是采用了这一思路。图2 3 为中值滤波算法硬件 构成图，为了在消除噪声的同时尽可能的保留目标信息，这里选用3 3 模板。 如图2 3 所示，基于f p g a 的中值滤波算法硬件构成大体分为两个模块：移位 寄存器模块和9 值排序模块。红外图像经过由d 触发器和f i f o 组成的移位寄存器 模块后进入排序模块，最后输出中值。由于采用了流水工作方式，因此在进行图 像处理时并不需要存储整帧图像，只要存储模板操作中的领域像素点。这样运算 延时仅为移位存储模块存满运算所需要的数据用时正以及排序模块运算耗时乃。 因此，基于f p g a 的中值滤波算法完成所需延时t 为： t = 互+ 乃= ( ( k 一1 ) + 2 ) x t + n x t 其中，k 为需要缓存的列数，n 为每列所含的像素数，1 1 为完成排序运算所需时钟 数，t 为输入视频信号同步时钟周期。以6 4 0 x 5 7 6 的红外图像为例，视频信号同 步时钟频率为4 0 m h z ，仍选用3 3 模板，则互最小值为( 2 x 5 7 6 +