（交通信息工程及控制专业论文）基于小波神经网络的交通标志识别研究.pdf

摘要 基于小波神经网络的交通标志识别研究 摘要 图像识别是模式识别的一个重要分支，经过数十年的发展，现在已经渗透到了军事、 空间探索、医学、邮电等各个领域，具有很大的实用价值和重要意义。 利用小波变换以及人工神经网络在信息处理方面的优势来解决图像识别问题是本 文研究的目的和重点。本文围绕图像识别这个中心课题，研究了目标图像原始数据的获 取、预处理、不变性特征的提取方面以及小波神经网络识别技术。 在图像的预处理部分，先对获取的图像进行平移、去噪，随后对其进行边缘检测、 增强。最后，由于获取的图像目标和摄像机位置关系的不同，可能出现平移、尺度变化、 扭曲、旋转等不同的变化，将图像进行归一化处理，使其成为对平移、尺度变化、扭曲 具有不变性的规格化图像。 在特征提取方面，利用矩算法提取图像的不变性特征，并详细介绍了常规矩、z c m i k e 不变矩，针对这几种传统不变矩的缺点：它们都是在整个图像空间中计算得到的图像的 全局特征，容易受到噪声的干扰。本文引入了新的矩不变量一小波矩不变量，它将小波 分析用于不变矩中，使其具有平移、旋转和比例不变性。利用小波矩不仅可以得到图像 的全局特征，而且也可以得到图像的局部特征，还增加了小波对图像结构精细特征把握 能力强的优点，因而在识别相似物体方面具有更高的识别率。 在分类识别方面，本文以小波不变量为特征，并对所提取的特征进行优化选择，最 后用优化后的特征分别与b p 神经网络、小波神经网络分类器相结合进行目标图像识别。 本文通过仿真实验，对典型的交通标志图像进行训练识别，并将其与常用的b p 神经网 络标志识别算法相比，小波神经网络算法的训练速度更快和识别精度更高，其在车辆自 主导航系统中的应用价值更大。 关键词：交通标志识别，特征提取，不变矩，小波变换，b p 神经网络，小波神经网络 t r a f flc eslg n sr e c o g nit10 nr e s e a r c hb a s e do nw a v e l e tn e u r a l n e t w o r k a b s t r a c t a sw ea l lk n o w n , i m a g er e c o g n i t i o ni sa l li m p o r t a n tb r a n c ho fp a t t e mr e c o g n i t i o n t h r o u g hf e wd e c a d e s , i th a sb e e na p p l i e ds u c c e s s f u l l yi nt h em i l i t a r y , s p a c ee x p l o r a t i o n ， m e d i c a ls c i e n c ea n d p o 瓯e t c s oi th a sg r e a ti m p o r t a n c ea n dp r a c t i c a lv a l u e t h ep u r p o s eo ft h i st h e s i si st ou t i l i z et h ep r e d o m i n a n c eo ft h ew a v e l e tn e u r a ln e t w o r k f o rt h er e c o g n i t i o no fi m a g e s t l i sp a p e rr e v o l v e sa r o u n dt h ec e n t r a lt a s ko fi m a g e i d e n t i f i c a t i o mi ti s m a i n l ya b o u tc o l l e c t i n ga n dp r e p r o c e s s i n gt h eo f i 百n a ld a t ao ft a r g e t i m a g e s ，m e t h o d so fi n v a r i a b l ef e a t u r ee x t r a c t i o na n dt h ei d e n t i f i c a t i o nt e c h n o l o g yo ft h e w a v e l e tn e u r a ln e t w o r k a tt h ei m a g ep r e p m c e s s i n gp a r t ，w es m o o t ha n dd e n o i s et h et a r g e ti m a g ef i r s t l y , t h e nw e d e t e c ti t se d g ea n db u i l d u pi t , f i n a l l y , i no r d e rt oe l i m i n a t et h ee f f e c to f t h et r a n s l a t i o n , s e a l i n g ， s k e w i n ga n dr o t a t i o no nt h er e c o g n i t i o nr e s u l t w ep r o p o s e dam e t h o dt on o r m a l i z et h et a r g e t i m a g e ，w h i c hi n v o l v e di nt h ef e a t u r ee x t r a c t i o np a r t d u r i n gt h ef e a t u r ee x t r a c t i o np a r t ，w ei i s em o m e n ta l g o r i t h ma n dd i s c u s sn o r m a lm o m e n t ， w a v e l e tm o m e n ti nd e t a i l t h et r a d i t i o n a lm o m e n ti n v a r i a n t sh a v et h ed e f e c t ：t h e s em o m e n t s a r et h ew h o l ef e a t u r e sc a l c u l a t e df r o mt h ew h o l ei m a g es p a c e ，w h i c ha r ea p tt od i s t u r b e db y n o i s e a i ma tt h ea b o v ed e f e e t , an e wm o m e n ti n v a n a n tw a v e l e tm o m e n ti sp r e s e n t e d , w h i c h a p p l yw a v e l e ta n a l y s i st om o m e n tm v a r i a n t t h u sw a v e l e tm o m e n tp o s s e s st h ei m a g eo b j e c t s i n v a r i a n tt ot r a n s l a t i o n , s e a l i n ga n dr o t a t i o n b yu s i n gw a v e l e tm o m e n t i n v a r i a n t ，n o to n l yt h e l o c a lf e a t u r eo f i m a g eo b j e c ti so b t a i n e d , b u ta l s ot h ed e s e r i p t i o na b i l i t yf o r t h ef i n ef e a t u r eo f i m a g ec o n s t r u c ti si m p m v e d t h u st h eh i g h e rr e c o g n i t i o nr a t ei so b t a i n e d , e s p e c i a lt os i m i l a r i m a g e s i nt h er e c o g n i t i o np a r t , w a v e l e tm o m e n t sa r eu s e da st h ei m a g ef e a t u r e s ，t h e nt h ef e a t u r e s a b s t r a c t e da r eo p t i m i z e da n df i n a l l yt h ef e a t u r e so p t i m i z e da 托c o m b i n e dw i t hb pn e u r a l n e t w o r ka n dw a v e l e tn e u r a ln e t w o r kc l a s s i f i e rt om a k eo b j e c ti m a g er e c o g n i t i o mi no r d e rt o e l l s l l l - ev e r a c i t yo f t h er e c o g n i t i o nr e s u l t , t h i sp a p e ru s ec l a s s e so f t r a f f i cs i g n sf o rt r a i n i n ga n d t e s t i n g 1 r i 嵋e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a tc o m p a r e dw i t hp o p u l a rb pn e u r a ln e t w o r k , t h ew a v e l e tn e u r a ln e tw o r ki so f m u c hm o r e p r a c t i c a lv a l u ei ns e l f - t r a f f i c - n a v i g a t i o nb e c a u s e o f i t sh i g hs p e e da n dp r e c i s i o n k e yw o r d s ：t l a t 精cs i g n sr e c o g n i t i o n , f e a t u r ee x t r a c t i o i l ，m o m e n ti n v a r i a n t , w a v e l e t t r a n s f o r m , b pn e u r a ln e t w o r k , w a v e l e tn e u r a ln e t w o r k n 独创性声明 本人郑重声明：所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表和撰写的研究成果，也不包含为获得华 东交通大学或其他教育机构的学位或证书所使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢 意。 本人签名翊亟丝 日期 砌。墨 关于论文使用授权的说明 本人完全了解华东交通大学有关保留、使用学位论文的规定，即：学 校有权保留送交论文的复印件，允许论文被查阅和借阅。学校可以公布论 文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 保密的论文在解密后遵守此规定，本论文无保密内容。 日期期6 易j 第一章绪论 第一章绪论 1 1 课题的目的及意义 智能运输系统( r r s ) 是近几年来国内外广泛关注的研究课题，随着我国的汽车工 业和公路交通事业的发展，i t s 在国内也越来越受到人们的重视，车辆视觉导航系统中 的交通标志识别就是其中一个热门的问题。为了安全驾驶和有效导航，交通部门在公路 上设置了各类重要的交通标志，作为道路交通的有关信息提供给司机，如何快速有效地 实现交通标志的自动识别，对于视觉导航或驾驶辅助系统来说是非常重要的。 自主导航系统要识别的交通标志图像是车辆在运动过程中通过车载摄像机获取，致 使所获取的标志图像和实际交通标志之间可能产生几何失真，这种失真将对图像识别的 结果带来很大的影响。因此需要寻找一种具有平移、旋转及比例变换不变性的图像识别 方法，以满足实际应用的需要。目前的交通标志识别方法多采用b p 神经网络算法，但 是b p 算法存在隐含层单元数目难以确定、网络训练过程较慢、权值不易收敛到最优值 等缺点，影响了标志识别的精度。针对上述问题，本文提出了一种基于不变矩的小波神 经网络的识别方法，首先利用不变矩来提取图像特征，然后采用小波神经网络对交通标 志图像进行识别，以提高识别精度。 一 1 2 图像识别发展概况及其应用趋势 图像识别是模式识别的一个重要分支。模式识别诞生于2 0 世纪2 0 年代，随着2 0 世纪4 0 年代计算机的出现及其在这之后的飞速发展，模式识别迅速发展成为一门重要 学科。研究中，我们把对具体的个别事物进行观测所得到的具有时间和空问分布的信息 称为模式。模式识别的任务是对输入的模式进行分类，图像作为一种模式，其分类是一 种特定的模式识别，即我们下面的讨论所围绕的中心问题：图像识别。图像识别不要求 结果输出是一副完整的图片本身，而是将经过处理后的图像，经分割与描述提取有效的 特征，通过特定的算法判决分类。可以说，图像识别需要综合运用计算机视觉、模式识 别、图像理解等学科的知识，它的发展随着这几门学科的发展而进行图像识别被应用 到许多领域，概括起来主要有： ( 1 ) 宇宙探测：太空技术的发展，需要对大量的星际照片进行分析和理解。 ( 2 ) 遥感：对航空遥感和卫星遥感图片的识别和理解，可用来对地质、矿产、森 林、水利、海洋、农业等资源进一步判断其产量或蕴藏量，进行资源合理分配；结合气 象数据进行自然灾害预测、预报、环境污染检测以及军事目标的识别。 ( 3 ) 生物医学领域：细胞、染色体分类以及放射图像分析，如x 射线断层扫描( c t ) 、 c t 的立体重现。进入9 0 年代以来图像识别在生物医学领域的应用更加广泛，如c t 图 第一章绪论 像识别各种器官、癌细胞等。 ( 4 ) 在军事、公安等国家安全部门中的应用：军事目标的侦察、制导和警戒系统、 防御系统及其反伪装。如对雷达图片的实时分析和识别，公安部门对现场照片，指纹、 手迹、印章、人像等的分析和识别。 ( 5 ) 交通：用于交通的管理和监控。如实时车辆跟踪、车流量检测，可以实时提 供车流量、车速、牌照等信息。 ( 6 ) 字符识别：历史文字和图片档案的修复和管理以及文字的自动识别。特别是 手写体识别技术具有更广泛的用途，而联机识别可以代替键盘输入提高输入速度。 ( 7 ) 邮电：对信件、包裹的自动分拣和归类。 1 3目标识别技术的发展与现状 图像目标识别在军事侦察、城市规划、交通监控、图像检索及工业自动化等各个领 域得到了广泛应用。如空间地表形状的识别；飞行器导航的自动跟踪；在工业自动化中 的自动检测标记识别、缺陷检测、压痕检测；交通监控中车辆的检测；邮政自动信函分 拣等。它可代替人工分拣的艰苦劳动，从而降低了工作强度，提高了工作效率。所以目 标识别具有很大的实用价值和重要意义。 我们知道，由于目标原始数据信息存在冗余，若直接运用这些信息来实现目标识别， 其效率将特别低，由此引发了一系列特征提取方法的研究。为了有效地识别目标，希望 提取对图像平移、尺度变化、旋转、扭曲具有不变性的特征。目标的这些不同姿态主要 是由以下这些原因引起的，如被检测物体为平面物体，当摄像机的光轴与物体平面的法 线平行时，摄像机或者物体的方位会发生变动，这一变动将会引起物体图像的平移、旋 转或两者同时发生的现象。摄像机和物体之间距离的变化也会引起拍摄过程中物体尺寸 的变化。由于在实际运用中，很难保证被测物体和摄像头的相对距离和方位恒定不变， 因此要对平面刚性物体进行识别，必须寻找能够表征物体在平移、尺度变化、旋转下的 不变量( r s t ) 。目前提取r s t 不变量的常用办法主要有；基于模板匹配法、基于奇 异值分解( s v d ) 识别法【3 】、基于不变矩的方法m q 、基于傅氏变换算法【7 l 、z c r i l i k e 旋转 不变性方法i s , 9 、基于h o u g h 变换的算法【i o l 、基于小波变换多尺度分析的算法f 1 1 1 2 】、基 于傅立叶- d , 波变换描述算子方法1 1 3 l 、基于神经网络的算法1 1 4 1 和三阶累积量与神经网络 结合方法【1 ”等等。 由于傅氏变换等方法的基本出发点是为了从目标中提取旋转不变性特征，其中 z e m i k e 矩具有正交基且容易构造高阶矩，因而被广泛应用。但是这些不变性特征只反 映了目标的全域信息，因此不同目标的同类特征往往具有相似的分布，即特征矢量间的 欧氏距离比较近，虽然它们能反映目标的不变性特征，然而这些特征矢量不利于分类。 本文提出了利用小波变换来构造目标的不变特性，并将其与7 _ , g m i k e 矩做详细的比较， 实验结果表明小波变换能提取表征图像的内在的局域信息，并取得了良好的识别效果。 2 第一章绪论 1 4 小波神经网络的特点及发展状况 1 4 1 小波神经网络的特点 人工神经网络是在现代神经学研究成果的基础上发展起来的，它是一种模仿人脑信 息处理机制的网络系统，可以完成学习，记忆，识别和推理等功能。小波变换具有时频 局部特性和变焦特性，而神经网络具有自学习，自适应，鲁棒性，容错性和推广能力， 如何把二者的优势结合起来一直是人们所关心的问题。小波神经网络就是以小波函数为 隐含层节点的基函数的神经网络，是小波理论与人工神经网络相结合的产物。小波分析 ( w a v e l e t s a n a l y s i s ) 是8 0 年代中期发展起来的一门新技术，它是数学理论中调和分析 技术发展的最新成果，被公认为是工具和方法上的重大突破。它在时域和频域同时具有 良好的局部化性能，有一个灵活可变的时间一频率窗，这在理论和实用中都有重要的意 义，小波分析已成功应用于逼近论，微分方程，分形识别，计算机视觉，非线性科学等 方面。 。 p a t i 和k r i s n a p r a s a d 最早研究了小波分析与神经网络的关系【1 6 l ，提出了离散仿射小 波网络模型。其思想是将离散小波变换引入到神经网络中，通过对s i g m o i d 函数的伸缩 平移构成了r ( r ) 中的仿射框架，进而构造小波神经网络。1 9 9 2 年z h a n g q i n g h u a 和 b c n v e n i s t e 明确提出了小波网络的概念和算法1 1 7 】。其思想是用小波元代替了神经元，即 用已定位的小波函数代替s i g m o i d 函数作为激活函数，通过仿射变换建立起小波变换域 网络系数之间的连接，并应用于函数逼近。随后s z u 等又提出了基于连续小波变换的两 种自适应小波神经网络【埽l ：一种用于信号的表示，偏重于函数的逼近。另一种偏重于选 取合适的小波做特征提取，其实质是在小波特征空间中寻找一组最佳的小波基，由于不 涉及重构的问题，对小波的正交性要求并不严格，但提取信号的小波特征中应融入必要 的不变量并应有鲁棒性。b a s k s h i 和s t e p h a n o p o l o u s 采用正交小波函数作为神经元的激励 函数【1 川，在此基础上提出了正交多分辨率分析小波神经网络。依据多分辨率分析理论， 把尺度函数和小波函数共同包含在网络中，并采用逐级学习的方法来训练网络即先在 粗分辨率下( 尺度函数) 对信号进行逼近，而后由粗到细逐渐增加节点( 即小波函数) 。 由于正交小波基具有良好的时一频分辨性能，当信号产生剧变时，网络可以增加分辨尺 度以保证逼近的精度。此外，由于各函数基的正交性，训练过程中添加、删除网络节点 不影响己训练好的网络权值，可使网络的学习时间大大减少。 1 4 2 国内的研究现状 小波神经网络的概念提出以后，在国内引起了广大学者的研究兴趣，并对其模型和 算法进行了若干改进焦李成等在前人的基础上提出了多变量函数估计小波网络【2 0 l ；沈 雪勤等针对神经元个数过多口1 捌，网络学习收敛速度较慢等问题，在时频分析的基础上 引入能量密度的概念，提出了基于能量密度的小波神经网络；焦李成和李衍达等人研究 了小波神经网络与模糊逻辑的结合叫，用隶属函数辨识权重值，构造了模糊权值，模糊 3 第一章绪论 输出的模糊小波网络模型；何振亚等构造了一种自适应延时小波网络，用超小波进行 逼近存在不同时延的信号，并给出了一种基于时间竞争的学习算法。 在应用方面大多数应用都是将小波神经网络用于函数或信号的逼近上。其中向小东 等人将其应用于上证指数的预测上湖，还有的应用于心电信号的压缩与分类，高翔等人 将小波网络应用于非线性系统的辨识中，杨玉峰等人将小波网络用于雷达信号的滤噪； 王洪刚等人将小波神经网络应用于s p 5 0 0 的短期走势预测上 2 5 1 总而言之，更多的是在 进行逼近理论的研究，应用在预测方面比较多，而对信号的分类的应用比较少 前馈神经网络的训练方法通常是b p 算法，但是b p 算法普遍存在收敛速度慢的缺 点。z h a n g q i n 班u a 使用的是随机梯度法；s z u 则使用了共轭梯度法；姚俊等则提出基 于离散小波的改进算法近年来，又出现了各种小波网络模型的算法研究 2 6 , 2 7 , 2 5 。而对 于代价函数的选取通常使用最小均方误差。构造小波神经网络时使用什么样的小波函 数，如何根据不同的情况选择不同的小波基函数，也是一个值得研究的问题。但是到目 前为止对这方面的研究还不是太多。在实践中常用的母小波函数主要有墨西哥草帽小 波、m o r l c t 小波以及合成小波等。通常用于信号分类的小波基函数选用m o r l c t 小波， 通常取值为1 7 5 。目前小波神经网络还处于发展阶段，多个领域的成功运用说明其有很 好的发展前景，用于信号表示的小波神经网络比较多，但用于信号分类的小波神经网络 不是很多，本文提出了一种用于信号分类小波神经网络，将其应用于交通标志识别当中。 1 5 本论文的主要工作 第一，图像的获取 本文使用的实验图像是通过摄像机摄取的。拍摄了6 2 4 幅简单背景下的不同类型交 通标志图像，由于摄像机以及周围环境的影响等，导致交通标志图像具有一定的噪声。 第二，图像的预处理与分割 为了稳定地进行特征提取等操作，必须先对给定的图像进行预处理来改善图像的质 量，使其成计算机便于识别的图像。在进行目标图像识别前，通常进行的图像处理过程 有去噪、平移、图像增强、边缘检测、图像二值化等。 第三，目标图像特征的提取 在设计分类器之前，能够有效地提取反映对象事物的结构信息的特征是目标图像识 别的关键，本文分别讨论了用灰度统计方法和小波变换的方法来提取目标图像的特征， 并作了详细地比较。 第四，小波神经网络分类器的设计 、 ， 小波神经网络是小波分析和神经网络的结合，是一种前馈神经网络。本文分别讨论 小波神经网络分类器和b p 网络分类器的算法，比较它们的识别效果为了提高图像识 别系统的自适应性，我们采用了小波神经网络对小波变换提取的特征进行识别。 交通标志识别系统软件流程基本框图如图1 1 所示： 4 第一章绪论 图i - i 交通标志识别系统流程图 f i g i - i t h ef l o wc h a r to f t r a f f i cs i g n sr e c o g n i t i o ns y s t e m 第二章交通标志自动识别系统的构成及技术实现 第二章交通标志自动识别系统的构成及技术实现 交通标志自动识别系统主要由现场采集图像部分、图像识别部分以及监控中心识别 部分( 复杂的交通标志通过网络传输，由这部分来完成识别功能) 组成，其结构如图2 1 所示本章主要介绍交通标志图像的采集、网络传输等功能模块的构成和实现技术，这 些功能模块是实现交通标志自动识别的基础和前提，并且可以将腐蚀、受损严重的交通 标志传送到监控中心，由监控中心及时处理并将结果传送到车辆处理器上 戢据库服务鼍 圈2 - 1 交通标志识别系统构成硬件框图 f i g 2 1 t r a f f i cs i g n sr e c o g n i t i o ns y s t e mf r a m eo f h a r d w a r e 该系统软件运行环境为w i n d o w s2 0 0 0 ，软件开发采用d e l p h i 编程工具，数据库采 用微软的s q l s e r v e r2 0 0 0 关系型数据库，系统实验界面如图2 2 所示。 2 1 系统软件开发环境简介 本实验系统编程基本上是基于d e l p h i7 的平台上进行开发的，d e l p h i7 是建立在 v c l 基础上的一套功能强大的开发工具，它主要提供数据库功能、客户服务器功能、 多层分布式功能、局域网和互联网解决方案。 d e l p h i7 在网络开发方面，开发人员可以使用一套功能丰富、使用方便、开发源代 码的免费i n t e r a c t 组件i n d y ，它支持大部分流行的i n t e r n e t 协议，包括t c p 、u d p 、i c m p 、 f t p 、h 丁r p 、p o p 3 、s m t p 等等，支持b e s e 6 4 、m d 2 、m d 4 、m d 5 等编码。利用i n d y 组件可以简单、快速的构建各种服务器程序，如w e b 服务器、t e l n e t 服务器、i r c 服务 器、t c p u d p 服务器等，同时也可以简单地编写出各种客户端程序。i n d y 是完全基于 s o c k e t 阻塞工作模式的开发库，已支持d e l p h i 、c + + b u i l d e r 和k y l i x 等开发平台 d e l p l l i7 在图像处理方面也有着非常强大的功能，其处理图像的速度并不亚于v c ， 6 t t ， 冒 第二章交通标志自动识别系统的构成及技术实现 但开发效率却更高，只需很少的代码就能实现很复杂的功能。d e l p h i 对像素的操作主要 有两种方法，一种就是直接访问画布( c a n v a s ) 上某一点的属性p i 】【e l s ，这种方法速度 比较慢，另一种方法就是通过s c a n l i n e e ”j 结合内存操作实现，方便快捷，速度较快。其 主要属性定义如下： p r o p e r t ys c a n l i n e r o w ：i n t e g e r ：p o i n t e r 其中r o w 为位图图像的行号，返回的是一个指向位图像素数据的指针，通过s c a n l i n e 可以获取某一行的所有像素点的颜色值，再结合对p i x e l f o r m a t e 属性的定义，可以实现 对p f s b i t 、p f l 6 b i t 、p f 2 4 b i t 、p f 3 2 b i t 等不同格式的位图的操作，其只需速度约为直接访 问p i x e l s 属性的5 0 倍。为了提高识别效率，本实验系统对像素的操作基本采用s e a r d i n e 方法。 图2 - 2 交通标志识别实验系统操作界面 f i g 2 - 2i n t e r f a c eo f t r a f f i cs i g n sr e c o g n i t i o ne x p e r i m e n ts y s t e m 2 2 图像采集及传输模块 为采集数字图像，通常需要两种器件。一种是对某个电磁能量谱波段( 如x 射线、 紫外线、可见光、红外线) 敏感的物理器件，其功能是把光学图像转换为电信号，即把 入射到器件光敏面上，按空间分布的光强信息转换为一定时序输出的，与所接受到的电 磁能量成正比的模电信号另一种称之为数字化器，它能将上述模拟电信号转换为数字 ( 离散) 形式，从而能被计算机处理。常见的数字化器为各种类型的a d 转换器件。固 态传感器是常见的用于可见光和红外线成像的设备之一，它由被称为光基元的离散硅成 像元素组成。固态阵可以按几何组成形式分为两种：线扫描器和平面扫描器。线扫描传 7 第二章交通标志自动识别系统的构成及技术实现 感器包含一行感光基元，它靠场景和检测器之间的相对远动来获得2 d 图像。平面扫描 传感器由排成方阵的感光基于组成，可以直接得到2 d 图像。固态平面传感器一个显著 特点是它具有非常快的快门速度，可到达1 0 4 s ，所以在车辆运行时也可以将图像定格 下来。 在本系统中，由于车辆的行驶不同的车道，与交通标志成不同的角度，所以需要根 据交通标志所在的位置调整摄像机的拍摄方向。因此在这个系统中需要通过云台来调整 摄像机到最佳拍摄位置。云台是用来完成控制摄像机移动和镜头的拉伸、调焦等任务。 在这整个识别系统中，云台对镜头的控制是系统的一个重要部分，它需借助于串口编程 来实现，如何有效地开发串行通信程序，是关键的一个环节。串行端口的本质功能是作 为c p u 和串行设备间的编码转换器，在w i n d o w s 环境下，串口是系统资源的一部分。 应用程序要使用串口进行通信，必须在使用之前向操作系统提出打开串口要求，通信完 成之后必须关闭其串口，释放资源。云台控制的关键技术是通过串口按照解码器约定的 数据协议准确地发送数据，解决的主要问题是将各项操作进行数据编码，同时对通讯环 境进行初始化和设定云台控制地址。对应云台控制地址的设定是通过编码解码器电路板 上的拨码开关来设定。本文所研究的图像是利用车载摄像机采集的，其过程如图2 3 所 示。 圈2 - 3 图像采集过程 f i g 2 3 t h ei m a g ec a p t u r e dp r o c e s s i n g 图像传输是由现场微处理器完成。微处理器把采集到的图像送入图像识别软件中进 行处理，若该软件识别不了，就对图像进行压缩通过网络传送到中心监控站，由监控中 心来完成识别功能。在本实验系统中，图像传输软件采用多线程运行方式，以流的形式 实现图像数据的传输，图像传输采用d e l p h i7 最新提供的i n d y 组件来传输信息。i n d y 组件使用的是阻塞套接字( b l o c k i n gs o c k e t ) 的工作方式，它使得编程更加容易，并 且可以方便地移植到u n i x 操作系统下，特别是在多线程的情况下，其功能发挥得更出 色、作用更大，因此一般应用于多线程的程序中t i d a n t i f r e e z e 组件提供一个定时的 对a p p l i c a t i o n p r o c e s s m e s s a g e s 的调用功能，在特定的时间间隔内，调用消息处理进程 本系统使用的是基于t c p 协议的t l d t c p s e r v e r 、t l d t c p s e r v e r 组件以及t i d a n t i f r e e z e n 组件。 第二章交通标志自动识别系统的构成及技术实现 2 3 图像识别模块 图像识别模块的主要功能是利用图像处理技术对采集到的交通标志进行自动识别。 其主要包含：预处理、目标区域分割( 提取) 、特征提取、分类识别等模块如图2 - 4 。 采集 图像 图2 _ 4 图像识别模块 f i g 2 4m o d u l eo f i m a g er e c o g n i t i o ns y s t e m 识别 提示 图像预处理 3 0 l 主要包含图像得增强和复原。图像增强的方法分为空域法和频域法。 空域法主要是对图像中的各个像素进行操作，例如灰度直方图修正、图像灰度变换、空 域图像的平滑和滤波处理、伪彩色增强等。频域是在图像的某个变换域内，对图像进行 操作，修改变换后的系数，例如傅立叶变换、d c t 变换等的系数，然后再进行反变换得 到处理后的图像。图像复原的目的在于消除或减轻在图像获取及传输过程中造成的图像 品质下降即退化现象，恢复图像的本来面目 目标区域分割，本文采用了两种不同方法，并对它们的分割效果及效率进行比较。 第一种方法，基于目标区域的圆形度、重心位置等特征来实现将交通标志从背景区域中 分割出来。第二种方法，基于h s v 颜色空间以及灰度形态学开运算的数字图像处理技 术，再结合交通标志背景颜色进行区域分割，该方法的主要优点就是避开因为环境的复 杂性而无法寻找到最佳全局阈值的缺点，直接根据交通标志颜色进行处理，根据颜色的 不同来进行灰度化处理，再利用灰度形态学来消除干扰，克服了利用二值化形态学进行 处理时必须对图像进行二值化的缺陷，实验证明该方法能够全面分割各种颜色的交通标 志，通用性更强。 在目标特征提取方面，采用灰度统计特征值及小波矩不变量【3 l 】。小波矩不变量将小 波分析用于不变矩中，使其具有平移、旋转和比例不变性。利用小波矩不仅可以得到图 像的全局特征，而且也可以得到图像的局部特征，还增加了小波对图像结构精细特征把 握能力强的优点，因而在识别相似物体方面具有更高的识别率。 在分类识别方面，分别采用b p 神经元网络及小波b p 神经网络 3 2 1 进行训练、识别， 并在识别效果、效率等方面进行了比较。在本系统中，抽取拍摄的6 2 4 幅交通标志图像 中的3 0 0 幅图像做为样本，对网络进行训练获得最佳网络权值，利用剩下的图像作为测一 试样本，进行识别。 关于这几个方面的内容，在接下来的几个章节中将做详细的论述 9 第三章图像的预处理及区域分割 第三章图像的预处理及区域分割 特征内容的识别通常需要对图像进行分割，将目标与背景、目标与目标之间进行分 割，以提取需要的目标，分割效果的好坏制约着下一步工作的进行。边缘检测是所有基 于边界的分割方法的第一步在实际应用中，图像中的去噪声对边缘检测效果影响极大。 为了提取既有高定位精度，又能有效去噪( 去冗余的边缘信息) 的交通标志，这里采用 基于小波多尺度变换的边缘检测及去噪方法。在去噪、边界提取的基础上，本章主要讨 论这基于灰度统计特征参数分割算法和实用的基于交通标志背景颜色的分割算法，并给 出实验结果。由于交通标志识别系统的处理对象是从实地拍摄的含有复杂背景的图像， 因此系统的关键技术几乎都是基于数字图像的处理和分析的，在设计系统时会用到的一 些图像处理的具体方法，本章将对其中一些基本方法予以简要介绍。 3 1 图像的预处理 ， 预处理的主要目的是去除干扰、噪声及差异，将原始信号变成适合于计算机进行特 征提取的形式。一般情况下，成像系统获取的图像( 原始图像) 在传输过程中，由于传输 信道质量较差或受到各种干扰的影响，会出现尖锐的噪声，而噪声的存在会给以后的步 骤带来很大的误差，因而需要对图像做灰度校正、噪声过滤等图像预处理，预处理还包 括增强对比度，边缘增强等步骤，这是为了改善图像质量，使之更适合于分析处理，通 过预处理，可以达到去噪声，提取有用信息的目的。在进行图像识别之前，二值化、去 除噪声等预处理工作是必须的。二值化方法为设定一个阈值r ，将图像分为两部分： g ( 支，) ，) = ：篓y ：二，其中，o ，) ，) 为输入的灰度图；g ( x ，力为输出的二值图。在 l uj ，j 1 d e l p h i 中用t b i t m a p 的s c a n l i n e 和p i x e l f o r m a t 属性的结合可以完全代替画布的p i x e l s 属性，利用s e a r d i n e 的方法对像素进行处理，可以提高图像处理的速度。图像噪声的处 理将在下面详细介绍。 3 1 1 图像噪声来源及其统计模型 噪声来源比较复杂，影响图像质量的噪声源主要来自：图像数据的电子转换设备带 来的热噪声；图像采集装置，例如摄像机带来的噪声；记录在感光片上的图像，感光片 本身表面粗糙的颗粒引起的噪声源。 在阻性器件中，由于电子随机热运动而造成的热噪声模型很简单，一般常用零均值 高斯白噪声作为其模型。其直方图为高斯函数形状，功率谱函数较平坦，可以用其r m s ( 标准差) 来完全表征由图像传感器中光电转换及光的统计本质引起光电噪声在弱光 照下常用具有泊松密度的随机变量作为其模型，此时分布的标准差等于其均值的平方 ，l o 第三章图像的预处理及区域分割 根。光照较强时，其分布趋向于高斯分布，r m s 值不变；对于多数应用，感光胶片上 的颗粒噪声可用高斯过程作为有效模型研究表明，底片的颗粒噪声可以用于零均值高 斯白噪声作模型，其r m s 幅度和局部平均灰度立方根成正比。 3 1 2 常见噪声消除方法分析 常见的噪声消除方法有邻域平均法、滤波器法等。以下简要介绍几种降噪方法p “。 领域平均法。领域平均法是一种局部空间处理方法设一幅图像，y ) 平滑后的图 像为g “y ) ，它的每个像素的灰度值由包含在j ，y 领域的几个像素灰度值的平均值所决 定。将受干扰的图像模型化为一个二维随机数，一般噪声属于加性、独立同分布的高斯 自噪声。信噪比为含噪图像的均值与噪声方差之比，则含噪图像经平滑后，其信噪比将 提高m 倍( m 为邻域中包含的像素数目) 。可见邻域平均所含的邻域半径约大，信噪 比提高越大，而平滑后图像越模糊。 时域、频域低通滤波法。对于一幅图像，它的边缘、跳跃部分以及噪声都是图像的 高频分量，而大面积的背景区和慢变部分则代表图像的低频部分，因此可以设计合适的 低通滤波器除去其高频分量以去除噪声对于频域的处理过程，如图3 1 所示。以小波 去噪为例，利用m a l l a t 多分辨率分解，通过对得到的不同频带内的小波系数进行硬值域 滤波的方法实现去除噪声。这种方法的去噪步骤为：由m a l l a t 算法的分解公式： ：籀， _ ，= 0 ，l ，2 。，一1 ，其中日和g 为滤波器系数矩阵，圪为原始图像的采样值，一和杉分 别为尺度_ ，上的逼近系数和小波变换系数，将含有噪声的采样值在某个尺度下分解到不 同的频带内，然后再将噪声所处的频带置零( 强制消噪处理) ，利用相应的重构公式： 巧= 日+ g 矿+ 1 ，j = j 一1 ，l ，o ( 其中日和g 为综合滤波器，且满足日+ g o g - - o 进行小波重构，从而达到去噪的目的。 低通滤波器 小波逆变换峨 一 图3 - 1 频域低通滤波器框图。 7 f i g 3 - 1 f r a n o f f r e q u e n c yl o w - p a s sf i l t e r 、 理想低通滤波器平滑处理的概念十分清楚，但在处理过程中会产生较严重的模糊和 “振铃”现象。这是由于逆变换过程中，会存在失真，正是由于理想低通滤波器存在这 种现象，发展出了改进的低通滤波器。常见的改进型低通滤波器有：理想低通滤波器 ( 耻f ) 、巴特沃斯低通滤波器( b l p f ) 、指数滤波器( e l p f ) 、梯形滤波器( t l p f ) 等。其性能比较见表3 1 。 第三章图像的预处理及区域分割 表3 - 1 常见低通平滑滤波器性能比较 类别振铃程度图像模糊程度噪声平滑程度 h 卫f 严重严重最好 t l p f 较轻 轻 好 e l p f 无较轻一般 b l p f 无较轻般 中值( m e d i a n ) 滤波法。上述低通滤波法在消除噪声的同时会将图像中的一些细节 模糊掉，而中值滤波器是一种非线性滤波器，它可以在消除噪声的同时保持图像的细节。 中值滤波器的主要功能就是让与区域周围像素灰度值接近的值取代与周围像素灰度值 的差比较大的像素灰度值，从而可以消除孤立的噪声点由于它不是简单的取均值，因 此产生的模糊比较少，中值滤波器适用于处理噪声点孤立的情况。 自适应平滑滤波。它能根据图像的局部方差调整滤波器的输出。局部方差越大滤波 器的平滑作用越强。它的最终目标是使恢复图像，k y ) 与原始图像厂g ，y ) 的均方误差 p 2 = 剧( ，似y ) 一f ( x ，y ) ) 2 l 最小。自适应滤波器法对于高斯白噪声的处理效果比较好。 下面给出分别用上述几种方法处理加噪图像的比较情况。图3 - 2 ( a ) 为车牌灰度图。 图3 2 ( b ) 、( c ) 、( d ) 分别为用低通滤波器、中值滤波器和自适应平滑滤波器处理的结 果。由实验结果可知，中值滤波器对这个系统中交通标志的去噪处理效果是最好的。 ( a ) 灰度图( b ) 低通滤波 ( c ) 中值滤波( d ) 自适应平滑滤波 图3 - 2 不同滤波器处理效果图 f i g 3 - 2c h a n g e di m a g eb yd i f f e r e n tf i l t e r s 3 2 图像的分割 在对图像的研究和应用中，人们往往仅对图像中的某些部分感兴趣。这些部分常称 。 l 第三章图像的预处理及区域分割 为目标或者前景( 其他部分称为背景) ，它们一般对应于图像中特定的、具有独特性质 的区域。为了识别和分析目标，需要将他们分离提取出来，在此基础上才有可能对目标 进一步处理。图像分割是指图像分成各具特性的区域并提取出有用目标部分的技术和过 程。这里的特性可以是像素的灰度、颜色、纹理等，预先定义的目标可以对应单个区域， 也可以对应多个区域。图像分割m 是由图像处理进到图像分析的关键步骤。一方面它是 目标表达的基础，对特征测量有重要影响，另一方面，因为图像分割以及基于分割的目 标表达，特征提取和参数测量等将原始图像转化为更抽象更紧凑的形式，使得更高层次 的图像分析等成为可能。 从分割依据的角度来看，图像的分割方法可以分为相似性分割和非连续性分割。相 似性分割就是将具有同一灰度级或相同组织结构的像素聚集在一起，形成图像的不同区 域；非连