（机械制造及其自动化专业论文）基于面阵相机阵列的车底安全检查方法研究.pdf

天津科技大学 学位论文原创性声明 本人郑霞声明：所呈交的论文是本人在导师的指导下独：进j j ：研究所耿得的研究 成果。除文中特别加以标注引用的内容外，本论义不包括任何其他个人或集体已经发 表或撰写的成果内容。对本文研究做出重要贡献的个人和集体，均已存义中以明确方 式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名：萝矧毗 1 期：沙叼年弓月却f l 专利权声明 本人郑重卢明：所呈交的论文涉及的创造性发明的争利权及使用权完全旷】天津科 技人学所有。本人完伞意识到本声明的法律后果山本人承担。 作者褡名： 萝伊好7 伊岛岗矿 钥：硼年多月砷一t 学位论文版权使用授权书 小学位论文作者完全了解学校有关保留、使用学位论文的规定，川意学校保霞m ： f 叭q 家仃关部i j 或机构送交沦义的复8 j , f ，t ：和电子版，允矿l ：沦义被夼阅和f m j 列。小人授 权火津科技大学可以将小学位论文的全部或部分内容编入，f r 天数引库进行检索，i j j 以 采川影印、缩印或扫描等复制手段保存和汇编本学位沦义。 保密il ( 请在方框内打“”) ，在 年解密后适用本授权f 弓。 本学位论文属于 不保密区k 请在方框内打“、”) 。 作者签名：夕例匆自耖h 期：砌年多，j 尹 i 铷签名：f 一涉缸乙 日期：加年罗月z ，约l 摘要 随管机器视技术的快速发展，基+ j - ：c c d 技术的j l i 控设备已经住安防领域被厂“泛应 用。作为安防领域匡要的设备，汽车底盘安全检查系统也已经在诸多场合发挥着重要 的作用。作为安防的基础设备，高性价比的车底安全检查系统足该领域的基本需求。 基于线阵相机的此类设备已经出现商业产品，但是由于线阵相机的制造成本较商，造 成其价格远远超过面阵相机的价格。降低类似系统的成本，找到一种高性价比的替代 方法，已经成为安防领域的研究热点。 本文着重于研究一种基于面阵相机阵列的车底检查方法，代替昂贵的线阵村i 机， 实现乍底安全检查的功能。本文主要的研究内容包括： 1 研究了一种基于面阵相机阵列的车底安全检查方法，利用面阵棚机。次成像多 行的特点，来避免现有系统的缺点。 。 2 钳对该方法的特点，在现有算法的綦础上，研究了一种提高图像配计e 精度的方 法，并对该方法进行了优化改进，提高了算法的执行速度。 3 根据该方法的实现原理，完成了硬件结构的没汁j 集成， ：i jvis u h , ic h 6 0 开发了相应的软件模块。 4 从硬件和软件上，研究了c c d 对光源响应非线一件的照度补偿方法，提高j ，图像 质量。 关键词：机器视觉；汽车底艋；安全检杏；斗- r l s j l 阵列；图像配准；照度补偿； a b s t r a c t a st h ef a s td e v e l o p i n go ft h em a c h i n e v i s i o nt e c h n o l o g y , t h em o n i t o r i n ge q u i p m e n t s b a s e do nc c d sh a v eb e e nw i d e l yu s e d t h eu v i s ，a st h ei m p o r t a n tr o l ei nt h es e c u r i t y m o n i t o r i n gf i e l da r e a ，i su s e di nm a n ys i t u a t i o n s t h e s ek i n d so fl o wc o s ta n dh i g h p e r f o r m a n c ee q u i p m e n t sa r eb a s i cn e e d si ns e c u r i t ym o n i t o r i n gf i e l da r e a a l t h o u t ht h e p r o d u c t sb a s e do nl i n e a ra r r a yc c d h a v eb e e no ns a l e ，d u et oi t sh i g hc o s t ，i t sp r i c ei sm u c h h i g h e rt h a nt h a to fa e r i a lc c d s ot or e d u c et h ec o s to fs i m i l a rs y s t e m sa n df i n dal o w c o s t a n dh i g h p e r f o r m a n c em e t h o dh a sb e c o m eap o p u l a rs u b j e c t t h em a i np u r p o s eo ft h i st h e s i si st or e s e a r c ht h eu n d e rv e h i c l ei n s p e c t i o nm e t h o d b a s e do na e r i a la r r a yc a m e r a st h a tw i l lb eu s e dt oi n s t e a dt h es y s t e mt h a tu s e dl i n e a rc c d t h ew o r k si n c l u d e ： ( 1 ) a nu n d e rv e h i c l ei n s p e c t i o nm e t h o db a s e da e r i a la r r a yc a m e r a si sd e v e l o p e d 7 l h i s m e t h o dc o n q u e r st h eb e i n g - u s e dp r o d u c t s d i s a d v a n t a g eb yu s i n gt h et e a t u r et h a t t h ea e r i a lc c dc a np r o d u c eaw h o l ei m a g eo n et i m e ( 2 ) a c c o r d i n gt ot h ef e a t u r e so ft h i sm e t h o d ，t h i st h e s i sd e v e l o p sam e t h o dt oi m p r o v e t h ei m a g er e g i s t r a t i o np r e c i s i o na n df i n a l l yo p t i m i z et h em e t h o de f f i c i e n c y ( 3 ) b a s e do nt h es y s t e mo p e r a t i o n a lp r i n c i p l e ，t h ef u n c t i o no fs y s t e mi sa n a l y z e d ，t h e p a r t so fs y s t e ma r es e l e c t e da n dt h eh a r d w a r es y s t e mi sd e s i g n e d t h ef u n c t i o n a l m o d u l e so fs y s t e ms o f t w a r ea r ea c c o m p l i s h e dw i t ht h ev i s u a lc 。+ t e c h n i q u e ( 4 ) d e v e l o pa ni l l u m i n a n c ec o m p e n s a t em e t h o d t oi m p r o v et h ei m a g eq u a l i t y k e y w o r d ：m a c h i n ev i s i o n ，u n d e rv e h i c l e ，s e c u r i t yi n s p e c t i o n ，a e r i a lc a m e r aa r r a y ， i m a g er e g i s t r a t i o n ，i l l u m i n a n c ec o m p e n s a t e 目录 l绪论1 1 1i ；i 占l 1 2 车底检金系统国内外发展概况1 l - 3 课题的提出及难点4 1 4 本文的组织结构- 一5 2 车底系统的原理及关键技术。6 2 1 车底安检系统简介6 2 2 车底安检系统的原理7 2 2 1 面阵十h 机阵列的横向配准与照度补偿原理8 2 2 2 车底安枪系统纵向图像拼接原理9 2 3 基于面阵相机阵列的车底安检系统的关键技术1 0 2 4 本章小结1 1 3 车底检查系统的成像几何与变换模型l2 3 1 摄像机的成像模型1 2 3 2 摄像机的运动形式1 4 3 3 牟底安检系统的图像变换模型1 5 3 3 1 图像变换模型的约束条件1 6 3 3 2 车底变换模型及实验18 3 4 本章小结2 2 4 基于面阵相机阵列的车底图像的拼接2 3 4 1 笨于s i f t 技术的车底图像横向配准2 3 4 2 綦于角点特征的车底图像纵向配准2 7 4 2 1h a r r i s 角点检测2 8 4 2 2 基于相关方式的角点候选匹配3 0 4 2 3 改进的角点匹配算法3 3 4 3 图象之问平面变换模型的估计3 6 4 3 1 变换估汁的一般模型3 6 4 3 2 改进的鲁棒模型参数估计方法3 8 4 3 3 变换模型参数的优化3 9 4 3 4 实验4 0 4 4 图像的镶嵌4 3 4 4 1 图像流形与镶嵌4 3 4 4 2 图像插值与重采样4 5 4 4 3 实验4 6 4 5 本：荸小结4 9 5 车底安检系统的设计与研制5 0 5 1 车底安检系统的硬件设计与选择5 0 5 1 1 车底扫描台的部件选择5 0 5 1 2 扫描台基本结构的设计5 2 5 1 3 其他关键硬件的选择5 6 5 2 车底检查系统的软件设计与编程5 6 5 2 1 相机阵列横向配准模块的设计与编程5 7 5 2 2 面阵相机阵列的亮度校正模块5 8 5 2 3 序列图像拼接模块6 0 5 3 本章小结6 2 6结论。6 3 7 展望。6 4 8 参考文献6 5 9 攻读硕士期间发表论文情况。7 0 l o 翌i 谢。7 l 天津科技火学硕二l 二学位论文 1 绪论 1 1 引言 臼美国9 1 l 事件以来，恐怖主义威胁便成为世界各国共同关心的话题，各国纷纷 采取相应措施来防范恐怖活动。这样一来，各种反恐安检设备便提上了研发几程。由 于汽车是最普遍的现代交通工具，并且汽车底盘因其隐蔽性好、可携带性好而成为很 多不法分子藏匿危险物品的首选，因此，对汽车的安全检查是每个重要场所安全检查 的必备项目，比如军事基地、政府大楼、核电站、机场、大使馆以及大型的体育运动 场所等。在这种汽车流量较大的重要场所，对汽车进行快速、高效的安全检金尤为必 要。但是，由于汽车底盘距离地面的高度很小，因此检查起来很不方便。目前很多场 合利用镜子的反射，由人工查看车底。安检人员将镜子伸到车底，利刚镜子的反射来 查祈人眼无法直接看到的地方，这种方式起到了一定的安检作用，化足效率很低，安 枪的l i j 靠性也引佥查人员的主观条件有关，特别是在乍流量较大的时候，人1 ：检夼i ：e 往很赞时，满足不了对检查速度的要求。这时，人f j j j f 始考虑采用成像设备米采集年 底图像，并将其转换为数字信号，通过图像处理技术来得到车底的整体图像，并且配 合备种执行机构实施对可疑车辆的检查和拦截。配套的往往还有车僦识别系统，车型 外观识别系统，数据库系统等，这种系统把计算机的快速性、可重复性，0 人眼视觉 的高度智能性和抽象化相结合，共同构成一个复杂的机器视觉系统。这种机器视觉检 禽系统提供了埘整车快速检查的一种方法，并且能够将信息以数字化的彤式加以保 存，从而构成庞大的汽车信息数据库。随着国内科技水平的不断提高，对这种机器视 觉技术的产品需求量在不断地增加。基于机器视觉的产品已经运用到牛活和生产当 中，并且产生着巨大的经济和社会效益l l 】【7 1 。 1 2 车底安检系统国内外发展概况 对机器视觉的研究起源于5 0 年代对字符识别、医学显微图象分析以及以军用侦 察为背景的遥感图象处理和图象分析的研究。6 0 年代中期，丌始涉及j 刚k 领域，以对 ：三维景物的图像理解和分析为主，7 0 年代初丌始应用于工业。在7 0 年代后半划，随 着l s i 技术的发展，存储器运算单元的性价比提高，实用视觉系统也多了起来，并丌 始用于晶体管、i c 、l s i 半导体装配线上；8 0 年代是机器视觉大发展的时期，不仅在 视觉处理的各种功能模块的计算理论、算法与表达方面取得进展，而且在欧美等国出 现了视觉公司，并开发了用于机器人或其他军民应用系统。 车底安检系统( u v i s ，u n d e r v e h i c l ei n s p e c t i o ns y s t e m ) 就是一种用于安防的军民 两用系统。根据安装方式的不同可分为两种形式：固定式和可移动式。 固定式是将用于检查的视觉设备固定于地面，这种方式适用于长期需要对汽车进 行安全检查的地方，如图1 1 ( a ) 。移动式比较灵活，需要的时候可即时安装，对重要 的道路关卡进行突击检查时应用，主要特点是灵活、快捷，如图1 1 ( b ) 。 1 绪论 ( a ) 固定式( b ) 可移动式 图1 1 固定式和可移动式车底检查扫描台 f i g 。卜1f i x e da n dm o v a b l eu v i s ， 车底图像采集设备采用电荷耦合器件。近年来，电荷耦合器件( c c d ，c h a r g e c o u p l e dd e v i c e s ) 在图像拍摄方面起着非常重要的作用。与传统的拍摄传感器相比， c c d 图像传感器具有输出噪声小、动态范围大、光谱响应范围宽、分辨率高、输出 信号线性度好、功耗低、体积小、寿命长等优点。c c d 从芯片结构上又分为面阵c c d 和线阵c c d 两种类型。面阵c c d 主要用于黑白及彩色摄像，而线阵c c d 则在岛清 晰图像拍摄方面表现出良好的应用前景，因此，c c d 成为现代光电子学和测试技术 中最活跃、最富有成果的应用器件之一。 由于线阵c c d 图像传感器具有高分辨率、高灵敏度、像素位置信息强、结构紧 凑及其自扫描等特性，因而，由线阵c c d 、光学成像系统、计算机数据采集和处理 系统构成? 维j 己寸测量仪器，具有测量精度高、速度快、应用方便等特点。 线阵c c dj j ! i = 片由一定数目的象素排成一行，每次只能拍到一行图像，即一个条 纹，当被拍摄物体沿与象素阵列垂直的方向运动时，线阵相机连续高速拍摄许多条纹 组成一幅- 二维图像。线阵c c d 的某些参数可以设置，要拍摄运动速度不同的物体， 可以通过设置相机的“象素时钟”来调节相机的拍摄速度。当物体的运动速度在拍摄的 过程中出现速度变化，为了得到较好的图像质量，就需要增加相应的控制设备，比如 速度传感器及编码器等硬件设备，否则会出现“拖影”或“重叠”现象。另外，目前应用 较多的线阵c c d 多为数字式，其价格往往也很高，所以利用线阵c c d 作为打l 摄i - ：j 氐 图像设备的系统，系统成本会很高。并且当物体出现方向改变时，其输出的图像往往 很难通过软件进行校正。目前这类典型的系统有：德国s e c u s c a n 公司的u n d e r v e h i c l e m o n i t o r i n gs y s t e m ，如图1 2 所示。 利用面阵相机的系统主要是利用相机的视频录像功能构成车底视频检查系统1 2 】。 当汽车通过时，触发相机进行拍摄。系统一般都由相机阵列来组成，一部相机只能拍 摄到车底一部分，所以由多个相机横向排列，以便拍摄到车底宽度的全部图像。然后 将各个$ 1 1 奎o l 拍摄到的车底图像实时显示到屏幕上由人工进行监测。相机阵列的多部相 2 天津科技大学硕士学位论文 机拍摄到的视频图像可以在单个显示器的不同视口中同时显示，女图l 一3 ( a ) 所示，也 可以用一个显示器通过视频切换来显示不同相机得到的图像，如图1 - 3 ( b ) 所示。 图1 2s e c u s c a n 公司的车底检查系统 f i g 1 - 2u v i so fs e c u s c a nc o r p 【矽( b ) 图1 3 车底检查视频图像 f i g 1 - 3u n d e rv e h i c l ev i d e o 这利t 基于视频的检查方式需要安检人员不停的盯着屏幕，稍不注意，就有可能将 可疑物遗漏，并且这种基于视频的检查系统，并不提供车底的完整图像，安检人员无 法总览车底。但这种系统结构简单，在车流量不大且行驶速度较慢的场合应用较多。 典型产晶有：u n i f o r c es c u r i t ys y s t e m sl t d 的车底视频检查系统，如图1 4 所示。 图l - 4 车底检查现场 f i g 1 - 4u n d e rv e h i c l ei n s p e c t i o ns c e n e 另外，还有利用车底整体图像的检查方式，车底整体图像由面阵相机拍摄到的车 底局部图像拼接而成，这种方式的硬件系统并不复杂，但是软件实现涉及到图像拼接 3 1 绪论 的问题。考虑到实际拍摄情况的复杂性，应该将汽车的小角度转向、骤停、倒车等现 象考虑进去。得到完整的车底图像后，利用其它一些信息存数据库中找到对应的模板 车底图像，比较并查找车底可疑的地方。在这方面典型的研究有大西洋海岸技术公司 ( a t l a n t i cc o a s tt e c h n o l o g i e si n c ) 和马萨诸塞大学机器视觉实验室( t h ec o m p u t e rv i s i o n l a b o r a t o r ya tt h eu n i v e r s i t vo f m a s s a c h u s e t t sa t a m h e r s t _ ) 合作开发的车底安检实验系统 3 1 1 4 j 。 该系统采j 日面阵c c d 阵列以便能覆盖整个车底宽度。首先实现单个相机的纵向拼接， 构成纵向条纹图像，然后再将各个相机的拼成的条纹图像再次拼接构成车底完整图 像。但是这种技术并没有对应的产品出现。图1 5 是利用图像拼接的方法形成的宪整 图像。 幽卜5 币底拼接图像 f i g 卜5m o s a i ci m a g eo fu n d e rv e h i c l e 阚内这方面的研究虽然起步比较晚，但目前已经有多家研发机构研发出成品，并 应用到实际中。北京龙汇达公司自主研发生产的b l 2 0 0 3 型车底安检扫描系统主要检 查各类汽车底部，能够快速准确的检测藏匿在车底的爆炸物、武器、可疑物品、违禁 品以及非法偷渡、走私人员等，比传统的方法( 如手持镜等) 更快更准确，大大捉高 了对车辆底部的检测速度，同时也减少了人力物力的投入。产品现已被奥运模拟赛场 第1 一刷i l j = 界肯年锦标赛、第十一届女子垒球锦标赛、中非论坛北京峰会成功应刚1 5 i 。 湖南大学l 乜气与信息工程学院正在从事基于e t h e m e t 的智能车辆安检系统的设计1 6 1 1 ， 该系统的车底图像采集设备采用线阵c c d 相机，根据线阵c c d 相机的特点，该系统 允许车辆以较快的速度通过，但是仍然忽略了车辆转向和倒车等情况。 采用线阵c c d 相机的系统往往只对直线行进的车辆有较快的车底图像生成速度 和较好的陶像生成质量；采用面阵c c d 相机的系统往往采用视频的形式再结合安检 人员的人： 检查彳4 能得到较高的检测效率。在车流量较大的时候，长时间聚神于显示 屏幕容易造成安检人员视觉疲劳。综合以上系统和研发机构的研究成果，本文提出了 一种基于面阵c c d 相机阵列的车底安检方法，通过图像拼接生成完整车底图像，很 好地克服了车辆转向、倒车等问题，并降低了系统成本。 1 3 课题的提出及难点 目前，能够生成车底整体图像的系统都是基于线阵c c d 相机的。线阵c c d 相机 4 天津科技大学硕士学位论文 价格昂贵，并且需要相应的控制设备，整个系统的成本往往很高。虽然其图像生成速 度快，但实际检查中并不需要很高的速度，从而造成线阵c c d 相机的功效4 、= 能完全 发挢，并儿还需要人眼来查看年底图像，浏览摧个车底罔像也需要时0 f i j 。为了降低乍 底安榆系统的成本，本文提出了一种采用面阵相机阵列代替线阵4 ：h 杉l 来检a 乍底可疑 物的方法，免去速度传感器及编码器等控制设备，大大降低了成本。车辆速度限定在 定的速度范围内时，该方法可以实现对车底图像的拍摄。车底存在可疑区域的时候， 再由安检人员进行详细检查，这样减少了浏览屏幕的时间，也可以降低人员的疲劳强 度。 该方法的t 要难点有面阵相机阵列的关系的高精度配准，而阵, n e l i x i r ；, j j 镜头的亮 度校矿及快速图像配准技术。本文采用基于尺度不变跫技术的高精度配j 6 e 力+ 法得出各 个, f j i 老j l 的之问的关系。利用得到的相机阵列的关系，构成车底横向条纹图像，接着利 用亮度校j 下技术对相机阵列进行亮度校f ，最后对经过亮度校j f 后的图像采用快速的 图像| ! | i 己准技术实现车底图像的拼接。 1 4 论文的组织结构 小文前先介绍了车底安检系统的国内外发展概况，其次介绍了本义设计的车底枪 夼系统的原理及关键技术，接着论述了车底成像理论模型的成立条件，及4 1 i 机运动模 黔o 图像配准的关系，最后介绍了图像配准技术、车底检查系统的软硬什设计及干h 应 的实验。 第l 章绪论部分介绍了国际反恐形势及车底安检系统的困内外发展情况，介绍了 本课题的意义和研究方法。 第2 章介绍车底安检系统原理及关键技术。 第3 章介绍摄像机的成像模型以及运动模型与图像配准的关系。 第4 章主要研究面阵相机阵列的高精度配准技术、亮度校j 下技术、快迷图像配准 技术及其在该系统中的应用。这也是本文的主要工作。 第5 章介绍了基于面阵相机阵列的车底检查系统的软硬件设计。 第6 章总结了本文的主要工作，对配准技术在系统中的应用作了村i 应评价，提出 了彳待解决的问题及今后的研究方向。 2 车底安检系统的原里及关键技术 2 车底安检系统的原理及关键技术 由筇l 章论述町知，基于帕机技术的车底安检方法，相对于其他车底安检方法具 有速度快，效率商，可以观察车底全部，可以减少安全检查的危险性等优点，是种 比较受欢迎的检查方法。近年来，产品化军民用的此类检查系统陆续出现。例如荚国 军队用的g a t e k e e p e r t 8 1 ，还有其他的产品如德国的s e c u s c a n 公司的u n d e rv e h i c l e m o n i t o r i n gs y s t e m 。 在本章二i - i ，将简单介绍本课题车底安检方法的原理、结构设计及其所涉及的关键 技术。 2 1 车底安检系统简介 在对年底进行安全检查时，为了提高检查效率，安检人员往往在汽车行进的过程 中对车底进行检查，所以车底安检系统均有车底成像系统。本文研究的车底安检系统 采用车底扫描台的方式，利用辅助台的导向作用，使汽车驶过扫描台，在这个过程中， 士j 揣台内部的相机连续拍摄车底局部图像，经过图像拼接，最终形成车底整体图像。 白：争i 描台内部，采用面阵相机阵列的用于拍摄车底图像，并对其进行结构优化设计。 在：进行： 1 ：底扫描台结构设计时要考虑以下问题： ( 1 ) 轿车的宽度( 两侧车轮内侧距离) 在1 2 0 0 r a m 以上，要求扫描台能够拍剑整 个车底的宽度，同时保证系统的分辨率。 ( 2 ) 轿车的底盘高度。一般轿车的底盘高度在1 0 0 m m 以上，所以要考虑扫描台的 高度及，吁据的空间。 ( 3 ) 丰l 描台的光路设计。结合扫描台的结构，设计比较合适的图像采集光路通道。 基二j - j ：述问题，本文设计的基于面阵相机阵列的车底扫描台及与其辅助台如图2 1 所示。扫描台的结构原理如图2 2 所示。 ( a ) 扫描台总装效果( b ) 面阵相机阵列 图2 1 车底扫描台 l 、辅助台：2 、扫描台；3 、平面镜；4 、光源；5 、相机 f i g 2 一lu n d e rv e h i c l es c a n n e ra n da s s i s t a n t la s s i s t a n t ；2s c a n n e r ；3m i r r o r ；4l a m p - h o u s e ；5c a m e r a ； 6 天津科技火学硕士学位论文 车底 图2 - 2 车底扫描台剖面结构原理图 f i g 2 - 2u n d e rv e h i c l es c a n n e rc u t a w a yv i e w f = ：i 描台的结构有如下特点： ( 1 ) 扫描台采用六个面阵相机形成相机阵列，在汽车行驶过程中，每个相机饵次 只拍摄到车底的- - d , 块局部图像，将每个相机拍摄到的图像拼接到一起，能 够覆盖1 2 0 0 m m 的车底宽度。其中，最外侧的两个相机拍摄范刚比中问的相 机拍摄的范围大，以保证能够采集到车底底盘两侧的图像。棚邻棚机设定了 重叠区域，以便利用重叠区和横向配准参数来实现相机阵列的横f ；, j 士- ) t - 接。 ( 2 ) 扫描台光路采用反射式光路设计。通过一块经过特殊加工的平i f i f 镜米改变光 路，从而大大降低了扫描台的高度的，使整个扫描台占用空m 小，= f ：h 安装 方便。 ( 3 ) 扫描台内部为黑色，并将其密封，保证了扫描台的密光性。在# i 描台内部还 加装了消光齿，用于消除杂光，提高成像质量。 ( 4 ) 扫描台中的平面镜与相机阵列之间的位置相对固定，这样不仪保证了系统整 体结构的稳定性，而且使确定相机阵列关系的算法简惟，保证了系统的检鹰 速度。 ( 5 ) 扫描台光源采用具有一定开口角度的荧光灯管，电源采用特制的变频电源， 亮度较普通荧光灯管亮两倍。并在灯管前加装了衰减掩模，用于校j f 相机镜 头的渐晕及相机的响应不一致性。 2 2 车底安检系统的原理 乍底安枪系统是通过相机阵列拍摄到车底的图像，通过检查图像来实现1 ：底检奔。 其原理实现流程如图2 3 所示：首先对相机i 翻i - ：n 进行关系配准，确定并个卡机的相。j 工 关系，根据所确定的相机关系实现相机阵列图像横向拼接，形成车底横向条纹图像， 接着相机阵列再次拍摄车底图像再次进行横向直接拼接，形成条纹图像，然后这两辐 条纹图像再进行纵向拼接，形成视野更大的图像，随着相机不断采集，上述流程不断 重复，直至拍摄完整个车底，形成完整的车底图像。其流程如图2 3 所示。 7 2 车底安检系统的原里及关键技术 图2 3 车底图像生成流程图 f i g 2 - 3u n d e rv e h i c l ei m a g e sm o s a i cf l o w c h a r t 为实现相机阵列的横向快速拼接，首先要对各个相机的关系进行横向配准，配准 精度的高低直接影响图像的拼接质量，所以相机的横向配准是图像横向拼接中的4 个 主要问题。车底图像的纵向拼接需要一定的算法来确定前后图像之间的关系，这就是 本文主要研究的图像纵向配准问题，图像纵向配准的精度会直接影响图像拼接的质 戤。图像纵向配准的速度也直接影响车底图像拼接的速度，从而影响检查速度和效率， 所以图像眦准的速度和精度是车底图像生成的关键。 2 2 1 面阵相机阵列的横向配准及亮度补偿原理 由车底安枪系统的原理可知，在生成车底图像之前必须先确定以下内容：桐邻村i 机平面的关系及各个相机的亮度均匀补偿系数。 ( 1 ) 确定相机阵列相邻相机的关系 图像拼接首先要保证相邻图像之间有一定的重叠度，这样就可以利用信息冗余将 两幅图像拼接到一起，减少拼缝的出现。利用图像配准的方法，计算出两个相机在一 定距离下的重箍度，在两幅图像变换关系不太复杂的情况下，可以保证在配准， ：做棚 应变换后的图像之问仍能有一定的重叠度，进而利用重叠区域的信息确定两幅刚像所 在平面之日j 的相互关系。这罩要注意一个问题，不列相机距车底的距离并不完全敛， 可能造成图像的分辨率不一样，这个问题可以通过提高相机的安装精度来解决。本文 天津科技大学硕：l ：学位论文 采用了一种基于不变量的技术，利用重叠区域的不变量特征来完成十h 邻图像“j j 平嘶父 系的确定。基本原理：首先，在相邻图像的重叠区域中提取特征点，- j t ：不t j ) l j 特征点周 嘲的像素构造一个特征向量，在两幅图像上寻找最为匹配的特征向量，根 i i ：丛t 配的特 征向硪所对应的位置关系，确定两幅俐像问的坐标对应关系，利用匹配t i 的位置关系， 解两幅图像的甲面之问转换关系矩阵，相邻的相机均可采用这平叶- 方法来确定相应的 j l f h i 关系，最后再将所有的相机统一到一个坐标平面内，形成相机阵列扪掇次所形 成的阵列图像。阵列图像将作为纵向拼接的源图像。 ( 2 ) 相机阵列的亮度补偿 ， i 于采用相机阵列来进行图像的拼接，因此，很难保证横向全幅图像光能量的均 匀，系统照明采用荧光灯管照明，这种照明方式在设计安装维护时均很方便。般来 说，这种系统的存在三方面的亮度不均匀的问题： 沿相机阵列方向，图像两侧边缘的亮度有明显下降； 对于单相机系统，亮度从视场中心向外逐渐减小； 单个相机光学系统的差异，导致相机之间整体亮度的麓异。 l i j 于相机在纵向上的视角较小，因此可以忽略相机纵向亮度不均匀，而相机阵列 的横阳拼接，图像横向幅度较大，加之相机本身的原因，导致棚机晒：列横向兜度不均， 给后续处理带米困难，所以需要对相机阵列的横向亮度进行补偿和校正。本文采用了 两种方法共同来实现对亮度不均的补偿和校j 下。 方法一：采用透光掩模补偿，即在荧光灯开口处贴上一定规律变化的透光掩模， 从透光最上进行补偿【9 j 。 方法二：通过软件进行校j 下。沿横向统计得到一个区域的亮度曲线，刚时统计憋 副图像的亮度均值，利用该值与每列亮度值进行比较，得到一系列校证系数。n j i j 这 一系列系数对采集到的图像进行校正，从而使得整幅图像的亮度趋于一致。 2 2 2 车底安检系统纵向图像拼接原理 图像拼接是一个多步骤过程。总的来说，大概可分成有用信息提取、信息的匹配、 图像的融合和生成最终目标图像等步骤【i o l i i 】【1 2 1 。由于采用的方法各异，不同算法所 采川的具体步骤会存在很大的不同，但基本过程大致相同。图2 - 4 说f ! j = | 了图像拼接的 臻木流程。 本课题设计的基于面阵相机阵列的车底安检系统纵向图像拼按时，采月j 的源图像 为利用相机阵列横向配准关系生成的车底横向条纹图像，首先，利用h a r r i s 角点特征 提取算法在车底横向条纹图像的重叠区域提取角点；接着利用窗口相关的方法寻找角 点的匹配关系，即完成信息的匹配；然后利用得到的匹配的角点，估计两幅图像所在 平i f i 的关系，即配准两幅图像，最后利用图像重采样技术进行图像融合，j i 成r l 标图 像。 9 2 车底安检系统的原里及关键技术 多幅图像 输入图像输入图像 上上 信息提取信息提取 上一 信息匹配 上 图像配准 土 图像融合 土 生成目标 图像 图2 - 4 图像拼接基本流程图 f i g 2 - 4i m a g em o s a i cf l o w c h a r t 2 3 基于面阵相机阵列的车底安检系统的关键技术 本文设计的摧二】二面阵相机阵列的车底安检系统涉及到的诸多技术，直接影响系统 的性能和效率，主要包括：扫描台的设计、图像配准技术、系统的亮度补偿技术等。 下面对这螳技术进行讨论。 ( 1 ) 扫描台的设计。 车底士i 描台是生成车底图像的硬件主体部分，其性能直接影响到图像的质量和算 法的复杂度。扪摄到的i 矧像质量除了直接受相机部件性能的影响外，扫描台的结构也 是一个关键的凶素。如何设计结构合理的车底扫描台，使其满足车底的高度限制，又 有体积小、安装灵活要求，对于保证系统的实用性有着至关重要的作用。本文将在第 五章详细介绍扫描台的结构设计。 ( 2 ) 图像配准技术 图像配准技术是图像处理的一个基本问题。它源于多个领域的很多实际问题，如 不同传撼器的信息融合：不同时间、不同条件下获得的图像的差异检测。简单来说， 图像配准就足将同一场景拍摄下的不同图像进行对齐的技术，即找到图像之问的点对 点影射关系，或者对某种特征建立关联。一个典型的图像配准系统包括四个部分i i 3 l ： 特征检测( f e a t u r ed e t e c t i o n ) ，本文采用的特征为点特征，利用了提取精度 较高的h a r r i s 角点提取算法。 特征匹配( f e a t u r em a t c h i n g ) ，即使用特征描述算子和相似性策略进行特征 匹配。考虑到汽车在行进过程中不会出现大的转向，所以本文采用了局部窗口 1 0 天津科技人学硕：j ：学位论文 州 天匹配的策略，来寻找对应的匹配。 变换模型的参数估计( t r a n s f o r mm o d e le s t i m a t i o n ) 。变换模型义称映射模璀 ( m a p p i n gm o d e l ) ，即将输入图像向参考图像映射班标变换的函数。通过该函 数实现图像的重采样和变换。本文将在第三章论述车底相机平面变换模型的成 立条件，并在第四章详细介绍参数估计的方法。 图像的重采样和变换。图像处理中，常常要在数字图像的各个像索阵列+ i 计算一个不在阵列位置上的新像素的灰度值。根据数字图像阵列f 内像素狄度内 插新像素的灰度值叫做重采样。在图像配准中，需要灯配准图像进行霞采样， 以便得到和参考图像坐标系一致的结果图像。常用的像素的插他方法订j 乏利， 最近邻方法，双线形插值，三次卷积法，三种方法的效果依次变好，仉时问消 耗也越来越大。本文结合实际效果，采用了双线性插值方法，并对_ j e 进行 了优化。4 5 节将详细介绍图像重采样和捅值原理及其实现。 针对车底安检系统的图像配准还应该注意个问题，即视差问题。i 大i 为相机到车 底的实际距离有限，相机阵列中相邻相机之问存在视差，而车底不是平面，其有许多 存存- ：6 度和深度的部件，这种部件在相机阵列的中不同相机反映的剐像并巧 l l 时，利用最小二乘法求出上述线性方程的解为： m = ( k r k 厂k r u ( 3 1 0 ) ， 因此，由空问6 个以上的已知点以及它们的图像坐标，即可求出m 矩阵。然后根 据式( 3 6 ) 求出企部的摄像机内外参数，从而可以实现三维物点到二维像点之间的转换 1 1 4 - 2 0 l o 至此，对二f 任何空间点名就可以唯一确定它的图像点位置( u ，v ) 。 3 2 摄像机的运动形式 进行车底图像拍摄时，扫描台被固定在地面上，车辆以一定速度从扫描台上驶过 利用扫描台中的丽阵相机阵列进行拍摄，每个相机仅能拍摄车底一部分图像，只有将 1 4 门一 天津科技大学硕二i ：学位论文 这螳眄两棚邻i1 _ 部分卡h 交的陶像拼接起来才能得到一个完整的乍底陶像。山j 一图像足 在l i 辆行进过程中拍摄的，车体与相机之间存在纵向或横向的相对运动，致使同一个 空 i j 点表现在相邻的两幅图像中的位罱会有一定的偏差。分析这种偏差及其对图像配 准的影响需要讨论相机与被摄物体的运动关系，从相对运动的观点出发，不妨碍将车 体视为静止，将相机视为运动的，而相机运动一般可以分为以下几种基本运动形式i2 1 1 ： 令平移运动( t r a n s l a t i o n ) ，即摄像机的运动平行于成像平面。 旋转运动( r o l l i n g ) ，即摄像机绕光轴转。 夺水平扫动( p a n n i n g ) ，即摄像机绕y 轴转动。 令垂直扫动( t i l t i n g ) ，即摄像机绕x 轴转动。 夺镜头缩放运动( z o o m i n g ) ，即焦距发生变化，或者相机座沿光轴( 即z 轴) 方向的运动。 x y ( a ) 平移( b ) 缩放( c ) 水平扫动 z ( d ) 垂直扫动( e ) 旋转 图3 - 2 相机的五种基本运动 f i g 3 - 2t h ef i v eb a s i cm o v e m e n ts t y l e so fc a m e r a 实际的摄像机运动一般是上述五种运动的组合。而图像配准问题其实就足研究摄 像机在某利- 运动下拍摄的不同图像的图像模型参数的求解过程，或析沈足擞像机的运 动参数估计问题。 3 3 车底安检系统的图像变换模型 图像变换模型是指两幅二维图像之问应有的坐标变换关系。在某利，约束的摄像机 变换条件下，三维场景所形成的两幅或多幅图像之间的关系可用图像变换模型来描 述。车底安检系统的图像变换模型也是基于这种约束之上。 3 车底安检系统的成像几何与变换模型 3 3 1 图像变换模型的约束条件 两幅图像之间的对应关系可以用一个3 3 的平面变换模型矩阵来表示，其需要满 足以下两个条件之一，如图3 3 所示。 ( 1 ) 相机绕光心转动时拍摄的任意三维场景。 这时的三维空间是可以任意分布的，但要求摄像机镜头严格绕光心旋转拍摄，即 可以进行水平扫动、垂直扫动、旋转及焦距缩放，但是相机不能产生平移运动。现实 中的近似有：将摄像机固定于一点进行拍摄。 ( 2 ) 棚机以任意运动方式拍摄的平面场景。 平面场景是指不具备立体信息的类似于平面的场景。现实拍摄中，摄像机与景物 存在一定的距离时，景物可近似看作平面场景，也满足该条件。 ( a ) 相机绕光心旋转拍摄 ( b ) 相机以任意方式拍摄的平面场景 图3 - 33 3 透视变换矩阵成立的两个条件 f i g 3 - 3t h et w ov a l i d a t ec o n d i t i o n so fp e r s p e c t i v em a t r i x 下面对这两种情进行论证： 对于第一种情况，假设世界坐标系和第一幅图像的摄像机坐标系重合，则第二幅 图像的摄像机坐标系与世界坐标系可以用旋转矩阵r 和平移向量t 来表示。 设空问点名在相邻的两幅图像中的对应位置分别是暑和罡，像平面坐标采埘齐 1 6 天津科技大学硕士学位论文 次坐标，即眉- - u m1 】：昱- - u ：v 21 】o m i = m cl e10 】 m 2 = m c2 【尺it 】 ( 3 - 1 1 ) ( 3 - 1 2 ) 。e0 p w =