（信号与信息处理专业论文）水下机器人视觉感知与图像处理方法研究.pdf

华中科技大学硕士学位论文 摘要 水下世界毫无疑问是一种困难的富有挑战性的环境，研究它需要在技术上和观测 点数据处理方面付出巨大的努力。主要由于水下固有的非结构化环境和传输介质的本 质决定了用于数据采集的传感器类型受限；另外人们对水下世界的认识还很有限。然 而，随着探测技术的发展和在探测领域中的开发应用，对水下场景的理解也更深入了。 随着人们对海洋探索步伐的加快，水下潜水器和水下机器人在深海探测和海洋开 发中扮演着越来越重要的角色，计算机视觉系统是其获取周围环境信息的重要手段之 一。本文通过认识水下环境，了解水下机器人视觉感知的方法和基本应用，研究特定 情形下水下图像的处理方法。 论文从水下视觉中早期消除退化影响的计算机视觉方法入手，分析了可见度退化 影响，给出了一种转化图像信息处理的算法，获得一个好的可见度图像；介绍了两种 水下机器人视觉感知方法，及其水下机器人目标跟踪、静态保持、海底镶嵌和导航应 用；探讨利用图像纹理信息识别水下目标的方法，并在纹理分析的基础上，提出了一 种基于运动趋势估计和区域相似距离测度的海底烟囱序列图像识别方法；实验表明对 海底热液喷口含烟区域能够实时检测和识别。针对水下不均匀光照变化环境下的光流 估计的困难，提出了一种基于无显著特征的动态图像模型( g d i m ) 的改进算法。用 此方法分别测试不均匀光照变化下的y o s e m i t e 基准图像序列和h a m b u r gt a x i 图像序 列，并与其他方法所做的实验结果进行了比较。另外对海洋鱼类进行了运动检测，实 验结果表明，通过应用此方法使水下运动的鱼获得较好的光流估计。 关键词：水下机器人视觉感知水下图像运动检测 纹理 光流 华中科技大学硕士学位论文 a b s t r a c t t h eu n d e r w a t e rw o r l di su n d o u b t e d l yad i f f i c u l ta n dc h a l l e n g i n ge n v i r o n m e n ta n d i n v e s t i g a t i n gi tr e q u i r e sh u g ee f f o r t sf r o mb o t ht h et e c h n o l o g i c a la n dt h ed a t a - p r o c e s s i n g p o i n to fv i e w t h ei n h e r e n t l ys t m c t u r e l e s se n v i r o n m e n ta n dt h ed i f f i c u l t i e sc a u s e db yt h e n a t u r eo ft h ep r o p a g a t i n gm e d i u mh a v el i m i t e dt h et y p e so fs e n s o r st ob eu s e df o rd a t a a c q u i s i t i o n ；t h u st h e yh a v ea l s or e s t r i c t e dk n o w l e d g eo ft h es u b m e r g e dw o r l d w i t h d e v e l o p m e n ta n da p p l i c a t i o no fu n d e r w a t e re x p l o r i n gt e c h n o l o g y , w ea r cg r o w i n gt o u n d e r s t a n d i n go fu n d e r w a t e rs c e n e s w i t ht h er a p i dp r o g r e s si nt h ee x p l o r a t i o no fo c e a n s ，m a n n e ds u b m e r s i b l ea n d u n d e r w a t e rr o b o ti sp l a y i n ga ni m p o a a n tr o l ei nt h ee x p l o r a t i o nw o r k t h es y s t e mo f c o m p u t e r i z e dv i s i o ni so n eo f t h ei m p o r t a n tt o o l st og e tt h ee n v i r o n m e n ti n f o r m a t i o n t h i s r e s e a r c he x p l o r e dt h ei s s u e si ne m p l o y i n gv i s u a ls e n s i n ga p p r o a c h e st o c o n t r o la n u n d e r w a t e rr o b o tt h r o u g ht h ec o m p r e h e n s i o no ft h eu n d e r w a t e re n v i r o n m e n t ，a n dd i s c u s s e d s e v e r a lm e t h o d sf o ru n d e r w a t e ri m a g e sp r o c e s s i n g t h i sp a p e ri n t r o d u c e dac o m p u t e rv i s i o na p p r o a c hw h i c he a s i l yr e m o v e sd e g r a d a t i o n e f f e c t si nu n d e r w a t e rv i s i o n i t sa f f e c t so fv i s i b i l i t yd e g r a d a t i o nw e r ea l s od i s c u s s e d ， c o n s e q u e n t l ya na l g o r i t h mw a so b t m n e d ，w h i c hi n v e r t st h ei m a g ef o r m a t i o np r o c e s st o r e s t o r ea 9 0 0 dv i s i b i l i t yi m a g eo ft h eo b j e c t t w oa p p r o a c h e sw e r ei n t r o d u c e d f o r u n d e r w a t e rv e h i c l ev i s u a ls e n s i n g , a n da l s oi n t r o d u c e da p p l i c a t i o no fu n d e r w a t e rv e h i c l e t a s k sw h i c hi n c l u d eo b j e c tf o l l o w i n g , s t a t i o nk e e p i n g , m o s a i c k i n ga n dn a v i g a t i o n t h i s p a p e rd i s c u s s e dt h ea l g o r i t h m s f o ru n d e r w a t e rt a r g e tr e c o g n i t i o nb yw a yo ft e x t u r ea n a l y s i s o nt h eb a s i so ft e x t u r ea n a l y s i s ，a na l g o r i t h mw a sp r e s e n t e d , w h i c hi sb a s e do nm o t i o n d i r e c t i o ne s t i m a t ea n dr e g i o ns i m i l i t u d ed i s t a n c em e a s u r ef o rm ei d e n t i f i c a t i o no fs e a b e d c h i m n e ys e q u e n c ei m a g e e x p e r i m e n t ss h o wt h a tt h ep r o p o s e da l g o r i t h mc 锄r e a l i z ea r e a l t i m ed e t e c t i o no fr e g i o n sc o n t a i n i n gs m o k ei ns e a b e dh o tl i q u i ds p o u t c o n s i d e r i n g o p t i c a lf l o wc o m p u t a t i o ni sv e r yd i f f i c u l tt or e a l i z eu n d e rn o n u n i f o r mb r i g h t n e s sv a r i a t i o n s t h i sp a p e re m p l o y e dam o d i f i e da l g o r i t h m ，w h i c hi sb a s e do n ag e n e r a l i z e dd y n a m i ci m a g e m o d e l ( g d i m ) t h i sm e t h o di s t e s t e do nh a m b u r gt a x is e q u e n c ea n do ny o s e m i t e s e q u e n c e ，w h i c hc o n t a i n sn o n u n i f o r mi l l u m i n a t i o nv a r i a t i o n s ，a n dt h i sp a p e rc o m p a r e d t h ep r o p o s e dm o d i f i e dr e g u l a r i z a t i o nm e t h o dw i t ho t h e rm e t h o d s - e x p e r i m e n t a lr e s u l t s i t 华中科技大学硕士学位论文 s h o wt h a tab e t t e re s t i m a t i o no fo p t i c a lf l o wf o rt h em o t i o no ff i s hi ns e a c a nb ea c h i e v e d t h r o u g ha p p l i c a t i o no ft h ea l g o r i t h mw i t hs u p e r i o rp e r f o r m a n c e k e yw o r d s ：u n d e r w a t e rr o b o t v i s u a ls e n s i n g u n d e r w a t e ri m a g em o t i o nd e t e c t t e x t u r e o p t i c a lf l o w 1 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的 研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意 识到本声明的法律结果由本人承担。 学位论文作者签名：例刊l 日期： 矸年，p 月卯日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即： 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许 论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存和汇编本学位论文。 保密口，在 本论文属于不保密哦 ( 请在以上方框内打“4 ”) 学位论文作者签名：双牛 日期：u 咿1 年f ，月沙e t 一 年解密后适用本授权书。 指导教师签名：鲷运 日期：2 珂年，口月2 0 日 华中科技大学硕士学位论文 1 1 概述 1 绪言 海洋这一广阔的水域，蕴藏着丰富的矿物资源、海洋生物资源和其他能源，是人 类社会可持续发展的重要财富。当前，人们对海洋资源开发的热情越来越高，作为t r 内 太空”的海洋，研究和合理开发海洋，对人类的经济和社会发展具有重要的意义，更 是具有极其重要的军事地位。由于海洋环境的复杂性，至今人们对大洋深处的了解依 然非常有限。众所周知，海底世界不仅压力非常大，而且伸手不见五指，环境非常恶 劣。不论是沉船打捞、海上救生、光缆铺设，还是资源勘探和开采，一般的设备都很 难完成。因此人们将目光集 n t 机器人身上，希望通过机器人来解开大海之谜，为 人类开拓更广阔的生存空间。 从2 0 世纪7 0 年代起，世界许多国家开始研制了多种不同结构和性能的水下机器 人，现在已有几百种水下机器人用于商业。并在海洋开发中发挥着重要的作用。7 0 年代末，我国在蒋新松院士直接领导下，由中国科学院沈阳自动化研究所与国内一些 兄弟单位合作研制成功了“海人一号”，第一台能潜深2 0 0 米的有缆水下机器人样机。 其后，通过技术引进和国际合作研制开发了能潜深3 0 0 米的无缆水下机器人、能潜深 1 0 0 0 米和6 0 0 0 米的自治式无缆水下机器人，并已在海洋开发中得到应用。经过短短 十几年的努力，使我国的水下机器人技术达到了国际先进水平【l l o 7 0 0 0 米深海载人潜水器的研制已被作为十五“8 6 3 ”计划国家重大专项批准立项， 并将于今年年底完成7 0 0 0 米的深海试验，其调查能力范围可覆盖世界9 7 以上的洋 底。2 0 0 1 年，由我国自行设计的深海采矿系统c r 。0 2 “6 0 0 0 米自治水下机器人”和 多金属结核采矿系统通过了水深1 3 0 米的湖泊试验。同时，我国正在加紧研制能在 3 0 0 0 米极端环境下使用，并具有安全、经济、高效和作业深度大的无人遥控潜水器 ( r o v ) 。除此之外，在取样设备方面，由单一的抓斗、无缆到箱式、多管保真取样 器；水深测量由传统的测深仪更新为全覆盖多波束探测仪：由单一的水下照相发展到 深拖系统和深海水下机器人作业；由简单的海底土工测试进步为原位测试；不断增加 华中科技大学硕士学位论文 = = = = = = = = = = = = = = = = = = = = = = = = = = = = 2 = = = 一 了地球物理勘探新技术和按国际标准进行的深海环境基线调查技术，在勘探技术方法 方面基本上已与国际接轨；自行研发了海底照片计算机判读处理技术及地质解释技 术；还增加了多频探测数据处理与解析技术等i z 。 1 2 水下机器人视觉发展概况 水下世界毫无疑问是一种困难而又富有挑战性的环境，由于水下固有的非结构化 环境和传输介质的本质，决定了用于数据采集的传感器类型受限，另外，我们对水下 世界的认识还非常有限，因此对水下世界的研究需要在技术上和观测点数据处理方面 付出巨大的努力。 然而，随着探测兴趣的加深，对水下场景的理解也有了进一步的发展，目前图像 处理在物理学、生物学、地质学、考古学和工业领域等许多方面都得到了应用。特别 是随着新型图像传感器的出现，可以允许人们直接地认识和解释视觉场景，而不用通 过原始数据推断结构。此外，在计算机视觉和模式识别领域提出的先进图像处理方法 也被进一步应用于改善特定场景中的图像。 代表性的应用是声学和光学感知系统用于感知水下环境。特别是几类声纳系统 ( 如测扫声纳仪，前向声纳仪，声学照相机和多波束回声器等) 和视频摄像机( 尽可 能地增加容量，期望高灵敏度和低级发光度) 已被开发，基于激光的系统也得到了利用。 在感知系统中，常见的难点和典型问题通常与水下环境有关冽。因此，在图像高 级处理之前，通常要对已获得水下图像数据进行预处理以减小噪声量、纠正衰减和几 何失真。深层的问题通过图像分割、图像分类和观察识别得以解决。表面和物体的三 维重建，地图记录等其他重要的处理用于水下车辆导航。 目前，在计算机视觉和模式识别方面提出的理论和技术，对于解决上面问题比针 对某个特定问题设计一种临时方法更加有效。如概率论的方法，马尔可夫随机场 ( m r f s ) 用于声图像分割和分类，纹理信息用于支持统计技术。通过几何方法实现 图像重构处理，如表面插值、测容技术、基于特征匹配的图像记录。 1 3 水下视觉清晰化方法概况 水下成像对科学研究技术是很重要的，也倍受关注。y o a vy s c h e c h n e ra n dn i r 2 华中科技大学硕士学位论文 k a r p e l l 4 i 提出了一种在水下视觉中消除退化影响的计算机视觉方法，分析了可见度退 化的实际效果，得知退化影响主要与光的部分偏振有关。因此他们提出了一种转化图 像信息处理算法，还原物体一个好的可见度图像。这种算法是基于在不同方向的一个 偏光器产生的一组图像对。另一方面，场景的距离映射也与此有关。他们使用建造的 系统在海洋中进行了实验，取锝了很大成功。对场景对比度和彩色校正方面也做了很 大改善，而且在水中的可见度范围大约提高个一倍。 1 4 水下机器人视觉感知概述 在机器人全局位置没有精确知道的情况下，视觉感知的局部特性对水下情形是很 有用的。在这种情况下，从视觉感知获取的相关测量可被用于对机器人的精确控制。 为了完成对水下环境的视觉感知，必须克服一些困难，如强烈的光照变化和海雪使得 视觉感知问题很大。为了克服这些困难，r i c h a r dlm a r k s 等人【5 l 选择使用高斯一拉普 拉斯算法的相关硬件，提供了鲁棒的实时光流和不同立体测量。这种方法已被用于几 种有代表性的水下机器人任务中，包括：目标跟踪、静态保持、图像镶嵌和导航。 1 5 水下图像处理方法研究 水下图像处理是非常困难的，因图像是通过水下机器人使用摄相机在海底获取 的，由于水对光的吸收和散射等不确定因素影响，使得获取的图像缺乏满意的特征， 感兴趣的区域模糊不清缺乏明显特征和非结构化等。而且，在有限的范围内被迫使用 人造光，从而引入新的外界干扰，如低对比度和不均匀光照变化。c j f u l l l 【等人【6 】早 在1 9 7 2 年就对水下图象处理系统进行了研究，认为考虑水下图像的低对比度特点，图 像预处理阶段的工作应该以提高图像的对比度为主：图像特征提取的方案应该是围绕 边缘、区域和纹理三种图像的基本特性进行。 水下图像目标大多是自然对象( 如海底烟囱、暗礁或生物等) ，具有一定的纹理 特征，但由于水下远距离成像比较模糊，其纹理特征的提取很困难。特别是水下烟囱 的非结构化特征及其随机性分布，检测识别优为困难。研究者们提出了诸如模糊分类， 区域匹配、纹理分析等各种方法，力求有效分割目标区域。另外，不均匀光照变化下 华中科技大学硕士学位论文 运动目标的光流估计方法，也被受关注，可更有效地消除干扰，识别运动目标。 1 6 论文的主要内容 本文源于国家自然科学基金项目( 6 0 4 7 5 0 2 4 ) “海底地形三维感知和三维重建研 究”和8 6 3 计划国家重大专项“7 0 0 0 米深海载人潜水器的研制”专题任务水下热 液喷口目标识别技术。 论文分析了水下图像特点，介绍了水下图像信息模型和一种水下视觉清晰化方 法，介绍了水下机器人视觉感知方法及其在水下任务中的几方面应用。针对特定水下 场景图像目标进行纹理特征分析，研究了从海底烟囱序列图像中提取出烟区域的有效 方法( 运动目标) ，以及不均匀光照变化条件下运动目标的精确光流估计算法，并通 过试验有效获得了运动目标的分割。各章主要内容安排如下： 第一章概述了水下机器人和水下机器人视觉的发展情况，简要介绍了水下图像清 晰化方法和水下视觉感知方法，结台课题研究内容，提出了在水下图像处理中的两种 应用方法。 第二章介绍了水下图像信息模型和图像获取方法，重点介绍了一种基于逆退化模 型的水下视觉清晰化方法。 第三章讨论了水下机器人的两种视觉感知方法，并结合实际任务( 水下机器人定 位、相对地形的静态保持、海底镶嵌和基于镶嵌的导航) 给出了较为详细的应用。 第四章研究了水下特定条件下的图像处理方法，针对水下热液喷口图像的纹理特 征，提出了一种基于区域匹配和相似性测量的海底烟囱识别方法。并通过实验验证了 该算法的有效性。 第五章研究了光照变化情况下运动目标的检测方法，提出了一种不均匀光照变化 下的目标运动的精确光流估计方法。通过实验验证，此方法可以大大改善了图像的光 流估计。 第六章是对全文的工作总结和今后工作的展望。 4 华中科技大学硕士学位论文 2 1 引言 2 水下图像信息模型及视觉清晰化方法 计算机视觉方法在各种水下成像中得到了广泛应用i ”，如水雷探测、水下电源和 电缆、管道、核反应堆等安全检查。水下计算机视觉在商业上也得到了应用，如游泳 安全保障系统。水下成像还用于海洋生物学、考古学和绘图领域的研究。而且，水下 摄影技术也将变得更加大众化。 水下视觉由于可见度差而使我们感到很苦恼【7 ，8 一。大多数计算机视觉方法不能直 接用于水下，比如基于立体三角测量或运动构造的方法。这是由于特别具有挑战性 的周围环境，导致图像匹配和分析很复杂，因此重要的是如何改善可见度问题。为了 面对挑战，考虑图2 1 所示，在水下大约2 5 米处给出了一个考古学的场景，很容易 看出可见度退化结果与观察距离有关纠。因为视域中的物体在照相机的不同距离下， 图像退化发生空间上的变化。这种情形就像是差劲的天气( 有雾或薄雾) 时的户外视觉。 和这一事实相反，传统的图像增强工具，如高通滤波器和直方图均衡化是典型的空间 不变量。既然他们不能模拟依赖于距离的空间变化，因此传统的方法在提高可见度方 面是很有限的1 1 0 , 1 1 】。 图2 1 地中海水下考古学场景 在研究中，y o a vy s c h e c h n e ra n dn i rk a r p e l 发展了一种在自然光照下，基于物 理学的水下场景成像可见度恢复的方法帆由于它以图像信息模型为基础，通过调整 偏振滤波器的不同状态依赖于原始图像，此方法自动地解决了物体距离上的依存关 华中科技大学硕士学位论文 系。有趣邋是，研究者们已经注意封海洋动物正是利用偏振现象改善视觉的( 7 , t 2 1 。 通常人们使用专门的有效发光器件来改善水下可见度i s , 9 1 。与此相比，y o a vy s c h e c h n e ra n d n i t k a r p e l 使用了一种被动的计算机视觉方法【4 】在自然光照下，水下偏 振与我们希望去除的主要可见度扰动有关( 称为后向散射) 。把此方法转化为物理模型， 这样恢复出来的图像与可见度清晰的图像很相似。为了论证这种方法，他们建造了一 个水下成像系统，描述了其系统结构。使用这种方法在海洋中进行了实验，对比度和 彩色得到了很大改善，恢复出来的图像可见度范围大约是原来的两倍。 2 2 水下图像信息模型 水下和露天成像条件有很大差别，在露天环境下，太阳光是主要光源。相比之下， 水下自然光照来源于景物上面一个有限的圆锥体区域，如图2 2 所示。这种现象是由于 照明光线通过水面的折射所致，被称为光学入孔或s n e l l 窗d t l 4 1 。在水下，自然光照受 到很强的色衰减，结果使光线主要变成蓝绿色，即所看到的图像色调。然后，这部分 光相互作用呈现可视景物。 图2 3 场景通过偏振滤波器的水f 成像原理图 华中科技大学硕士学位论文 如图2 3 所示，水下成像时我们会感觉到两种光线来源。第一种来源于场景中距 离为z 的物体，光被水的吸收和散射消弱，还有些模糊不清，图像符合信号退化原理； 第二种来源于周围照明，部分光线通过水中微粒向照相机散射，它被称作光的后向散 射【9 , 1 5 , 1 6 l 。下面对各个部分进行分别描述。 2 2 1 直接传播 信号由直接传播和前向散射二部分组成 9 j 5 , 1 6 l 。当光线从物体反射到照相机时，它 的大部分能量由于散射和吸收被损耗，只有小部分能量直接传播到照相机。 d = l 蛳b 1( 2 1 ) 其中，叩是衰减系数；乞。为感觉到的物体照度，是沿着视线没有散射和吸收的部分； 衰减系数叩一口+ 卢，a 是吸收系数，卢是水的总散射系数。散射系数卢表示水分子在 各方向上总的散射能力，其定义为： 卢。矗芦( 画p qt 缸芦( 8 ) s i n ( 8 ) d 口 ( 2 2 ) 其中，口是相对于传播方向的散射角，而且芦p ) 是这个角的散射系数：可变的口，卢( p ) ， ，7 和k m 。t 是所有波长a 的函数。 2 2 2 前向散射 前向散射与直接传播很相似，它表示与视线有关的小角度向前散射。下面给出了 通过卷积产生的图像模糊度： f = d + g ：( 2 3 ) d 通过式( 2 1 ) 给出，g ：是一个点扩展函数( p s f ) 。p s f 是通过距离z 参数化的函数， 物体越远，所支持的模糊核越宽。 在文献 1 5 ，1 7 q 6 ，给出了几种水t p s f 形式模型。由于p s f 依赖于水中悬浮的多点， 这些模型通过各种经验常数参数化。比如文献【9 ，1 5 】给出的模型： g ：= ( e 7 一e - q z ) ，。 q ) ，其中g z = e 一“ ( 2 4 ) 当k ，0 和y 是经验常数时，j f 。是傅立叶逆变换，而且是图像平面的空间频率。g z 是低通滤波器，它的有效频率宽度与z 成反比，表示远处物体空间模糊度增加。在 华中科技大学硕士学位论文 式( 2 4 ) 中，以经验为主获取的p s f 模型，通过数值模拟【1 5 ，1 7 】不能保存z 中光传输的 能量。因此前向散射是种模糊消弱形式。 根据直接传播( 2 1 ) 式和前向散射( 2 3 ) 式，定义信号为： s d + f ( 2 5 ) 定义有效物体的照度上0 2 字为： 霹黔；l 蛳+ l 帅+ g ：( 2 6 ) 它是k b i 。t 的一个微模糊形式。从式( 2 1 ，2 3 ，2 5 ) 得到信号为： s e 1 。碟警( 2 7 ) 2 2 3 后向散射 后向散射不是直接来源于物体，而是周围环境光通过悬浮微粒向照相机方向散 射，如图2 3 所示。首先分析单一光源的影响，光源照射到相对于视线方向一r = ，声) 的 粒子上时，光源的亮度为，该光源对后向散射的贡献是f 9 ，1 5 】： 占( f ) 一卢( 口) f 一( f ) e 刮 1 一，似+ 乇) 】2 棚 ( 2 8 ) 其中，是照相机的焦距，乇是镜头到水下窗口的距离。这部分说明了随距离z 的散 射衰减，它还说明探测器通过比率，( f + f 0 ) 发生的几何散射。 在式( 2 8 ) 中的指数表示水中典型的衰减距离f 一卵。一般 ，( 叩一1 + f 0 ) c c l ，f ( 1 + 厶) 的影响非常小。考虑各种i = ，芦) 值的典型范围： t 7 - 1 【锄，l o r e 】，f 2 0 m m ，5 0 r a m 】，l o - 8 0 r a m ，物体的距离以米来计算。将式( 2 8 ) 进行简化为： 口( f ) - 后( ，) 卢( j ( 尹) j ：e 叫d l ( 2 - 9 ) k ( f ) 是通过照相机镜头焦距确定的恒定参数。，= 2 0 r a m 对应k = 1 0 6 。由式( 2 9 ) 徽l j 曰( 芦) 一疋( f ) ( 1 一s 1 。) ( 2 1 0 ) 其中 母。( 尹) ；灯”( 芦) 卢( 口) 7 ，7 ( 2 1 1 ) 华中科技大学硕士学位论文 视线中的后向散射在水中无限扩充。考虑来自各方向光源的贡献，总的后向散射为： b ；j ；占( i p ( f ) = 玩( f ) ( 1 一e 1 。) ( 2 1 2 ) 其中 玩；正鼠( f ) 万 ( 2 1 3 ) 是一个依赖于九的标量。 再来分析图像退化过程中后向散射的重要性。总的图像照度是： ，一s + 占= e 瑶窘+ 口( 2 1 4 ) 为了得到关于每部分贡献直觉上的认识，从一个水下成像模拟实验可以得到直观 的感觉，其结果如图2 4 所示。使用一个海水的模型【埘，用低浓度的叶绿素和中等浓 度的水溶胶模拟水的效果。在照度l 帅下物体的颜色如图2 4 所示，它表示为上：嚣窘， 是前向散射导致模糊的原因。由于式( 2 1 4 ) 包括一个衰减因子，波长隐性地依赖于它， 因此颜色的稍微改变也归因于前向散射。 ( a ) 原始物体照度 ( b ) 有效物体照度( 模糊)( c ) 感知图像的总亮度 ( 包括衰减、模糊和后向散射) 图2 4 模拟水f 图像效果图 考虑后向散射和衰减总的影响，图像，“的可见度恶化很严重。现在，即使在中 等距离下，物体在蓝光的面纱中也会被淹没或变的朦胧。后向散射影响颜色和近距离 目标的对比度。与空气中关于视觉退化的结论相似，环境光散射到视线中是空间图像 退化的重要原因【1 8 1 ，并非模糊f 1 9 1 。心理学的研究表明，人类对“空气”的感知是基于 各种后向散射总的附加贡献。与此相似，后向散射也是导致水下图像退化的主要因素。 2 2 4 极化 水下散射还包括极化影响，利用这些影响可以补偿水下可见度退化。考虑一个窄 华中科技大学硕士学位论文 2 = = = = = = = = = = = = = = = = = = = = = 2 = = = = = 一= = = ： 光源，光源照射停留在视线中的散射粒子。光源和视线形成一个入射平面如图2 3 所 示，后向散射的光被部分地垂直极化到这个平面。前面谈到的自然光照下，由于光线 折射成一个环绕竖轴的圆锥体【1 4 1 ，如图2 2 所示。因此，水下本来的后向散射部分被 水平极化f 1 4 ，捌。 为了感知不同的极化组成，通过极化滤波器映射了那个场景，如图2 3 所示。由于 本来的后向散射被极化，它的亮度依赖于滤波器光轴的方向。偏光器的两个正交方向 对它的后向散射光的传输达到极值b m a x 并d b m n 。亮度由两个线性的后向散射极化组 成。也就是： 口a b 4 “+ b “ ( 2 1 5 ) b 由式( 2 1 2 ) 给出。后向散射d o p 是： p ( b 。“一口“4 ) 曰 ( 2 1 6 ) 2 3 图像获取 当偏光器被安装好后，在每个图像象素上感知的亮度随滤波器方向角的余弦函数 而变化。同样后向散射光有二个正交的偏光器对应亮度的极值i m a x 和l m i n ， j “- j 一+ ，“。 f 2 1 7 ) 1 1 0 伽f l 拭( 2 1 4 ) 给出。假定信号极化是不重要的，偏光器调整了后向散射。因此，原始 图像对应亮度测量极值是： ，m x 。s 2 + 8 m u 和i i n 。s 2 + 占m h ( 2 1 8 ) 注意到i m i n 是在偏光器“最佳状态”下图像亮度最小值，后向散射的干扰也最 小l 埘。另一方面，i m a x 是在偏光器“最差状态”下图像亮度最大值，此时后向散射 也最大。 l o 华中科技大学硕士学位论文 图2 5 水下偏光器 ( 左边是偏光器的分体结构，右边是装好在三脚架上的完整系统) y o a v y s c h e c l m e r a n d n i r k a r p e l 建造了一个自定义的水下偏光器成像系统，称水 下偏光器 2 0 l ，如图2 5 所示。他们潜入到以色列海( g r 海) 0 7 2 6 米深的一个带珊瑚暗 礁的区域，获得偏光器在两种状态下的图像。原始图像对比度很低，如图2 6 所示，并 且两幅图像的微小差别通过一种精确算法实现了可见废改善( 详见2 4 节) 。 ( a ) 偏光器最差状态下l m a x 偏光器最佳状态下l m i n 图2 6 水下2 6 米深处的一个场景 2 4 基于逆退化模型的水下视觉清晰化方法 可见度恢复算法是为了克服由于后向散射引起的“面纱”效果【1 2 1 ，通过对结果进 行补偿揭开“面纱”之后，再进行水t n n 彩色纠偏。 假定在某一瞬间，对参数b 。和p 进行整体估计。从式( 2 1 5 ) 、( 2 1 6 ) 、 ( 2 1 8 ) 来看，估计后向散射为： 矗；( ，一一i 伽 ( 2 1 9 ) 华中科技大学硕士学位论文 把这一估讣代入式( 2 1 2 ) 、( 2 1 4 ) 、( 2 1 7 ) ，获得一个“去除面纱”的物体照度 估计： 罄= ( j 一雪沪其中，t = 1 一啦 ( 2 2 0 ) t 是水的传输估计，它与物体的距离z 有关。 f c x p ( 一r z )( 2 2 1 ) 用这种方法独立地处理每种彩色通道。 由于揭去面纱的图像是上：2 警的一个估计量，因此不要为图像模糊进行补偿，只 需对后向散射引起的“面纱”效果和衰减进行补偿。揭去面纱的图像是图像信息处理 的逆过程，代表着物体的复原，相比之下，此方法应用d o p 的特殊表达式更适合暗淡 图像的增强。 为了执行恢复，需要估计整体参数玑和p ，这些是水和照明的本质参数。这种估 计和露天成像的方法类似。通过测量相对于“无限大”物体的象素获得这些估计量， 也就是在水中很远处，由于衰减，其信号可以忽略。在测量p 之后，在式( 2 1 9 ) 、 ( 2 2 0 ) 中使用p 之前，通过执行p e p 并稍微增加它，这里1 ss c l p 。根据式 ( 2 1 9 ) 、 ( 2 2 0 ) 运算增加了f 。因此，在t 一0 时，相对很远的物体也能稳定的恢 复。使用s ，1 1 3 。式( 2 1 9 2 2 1 ) 反映了空间变化时可见度退化影响的逆过程，这适 当补偿了照明彩色偏色。 图2 7 最好的原始图像和已恢复图像对比效果图 华中科技大学硕士学位论文 使用完整场景恢复算法的实验结果如图2 7 右半部分所示。与图2 7 左半部分没 有揭去“面纱”的图像相比，很显然，己恢复的图像在对比度和彩色方面有了很大改 善。在一个如此水深自然光照下看到这样色彩的物体，其能力非凡。恢复图像显示出 了输入图像不可见的细节，更好地显示了远处的物体。 2 5 小结 本章阐述了一种在水下视觉中克服图像退化影响的方法。它是以偏光器图像获取 分析为基础，采用逆退化模型的水下视觉清晰化方法。我们相信它能成为水下摄影、 水下研究和水下科技应用的有用工具。 华中科技大学硕士学位论文 3 1 引言 3 水下机器人视觉感知方法和应用 水下机器人实现自动控制的最大问题之一是缺乏足够的感知能力。不像在陆地空 间中可以使用g p s ，在水下没有g p s 【2 。在许多情况下使用长基线或其他音速照明系 统；然而这些系统只能覆盖有限的区域，并且对于许多应用缺乏精度和更新速度。因 此，局部感知器得到了发展。 利用局部传感器精度和带宽不成问题。另外，局部传感器最重要的特征之一是他 们具有直接测量兴趣参数的能力，他们所做的有关测量更适合从全局量来推断有关信 息。通常限制了误差来源、系统延时和采样控制，不需要全局模型而对局部结果起作 用。水下机器人局部感知具有代表性的实例是视觉感知。本文描述了水下机器人视觉 感知的几种方法，并介绍了在海洋环境中完成有用测量的应用方法。 3 2 水下机器人视觉感知方法 3 2 1 水下环境 针对水下应用标准的视觉感知很少与其他感知策略进行比较。这主要是因为水下 光学图像包含有限的范围、不均匀光照和海雪等几方面问题。下面来描述这些问题， 并分析每部分对视觉感知的影响。 ( 1 ) 有限的范围 如前第2 章所述，多种物理因素影响限制了水下视觉感知可达到的范围。在水中 悬浮物质使光的吸收和散射相结合引起了光的衰减，导致反射光的总量随距离的函数 指数衰减。应该指出光通量增加并不能使照相机系统的可见度范围增加，这是因为这 些系统由于后向散射往往对比度很有限 4 , 2 2 1 。 ( 2 ) 不均匀光照 在水下场景，光照不均匀有几种常见的原因：光照作为距离的函数衰减，导致物 体越远看起来越暗；在指定深度内由于只有很少的周围环境光，因此必须提供人照光 华中科技大学硕士学位论文 源；光源具有方向性，没有均匀地照亮整个场景。水下场景普遍存在的光照不均匀程 度的实例如图3 1 所示。 图3 1 不均匀光照和海雪出现时的水f 图像场景 侣1 海雪 海雪是用来描述在水下图像中经常出现可观察到的小悬浮微粒的一个术语，如图 3 1 所示。这些微粒和水柱一起运动，但是一个小的干扰都能引起他们以接近随机方 式盘旋。随着微粒的运动，其可见度迅速变化。出现的这些微粒通过感知系统影响视 觉感知测量。 3 2 2 视觉感知方法 针对上述问题，本文描述了一种视觉感知的方法。它包含两种基本思想：计算机 视觉图像滤波和图像相关性。图像滤波用来保证图像具有某种特性。例如，高斯滤波 器能用来平滑一幅图像，它是通过消除某一级的空间频率信息实现的。图像相关性常 用来测量图像块之间的相似性，通常为了建立对应关系，图像块相同的时候产生最大 相关性。下面来详细描述图像滤波和相关性方法，及其被选择的原因。 3 2 2 1 高斯一拉普拉斯二值滤波器 这种方法应用在图像变化很大时，单一的处理方法很难成功地完成对所有图像的 处理。为了解决这个问题，一幅图像信息内容首先通过滤波来提取特别感兴趣的信息。 常用的滤波器有：高斯滤波器对图像中空间频率实现低通滤波；索贝尔滤波器实现空 华中科技大学硕士学位论文 间频率带通滤波；边缘检测器是用来提取亮度变化明显的位置。这里使用高斯一拉普 拉斯二值滤波器： ，u ，y ) = s g n 型 v ：t 等。m ，y ) h 盯2 、“7 ( 3 1 ) ， ，) ，) 对应原始图像亮度，j 协，_ ) ) 对应输出图像亮度。高斯卷积平滑了图像，相 当于一个低通滤波器，限制了空间频率范围。模糊度通过d 来调整，即高斯宽度。增 加宽度将减小滤波器通过的频率范围，噪声滤波效果也越好，但同时也丢失了重要的 边缘信息，影响了边缘检测器的性能。o r 取值小时，可能平滑不完全，留有太多噪声。 一般来说，使用大盯值的滤波器产生鲁棒边缘，小盯值的滤波器产生精确定位的边缘； 二者有效结合，能检测出图像的最佳边缘。 拉普拉斯滤波器是一个高通滤波器，它完全消除了直流和线性变化的亮度信息。 拉普拉斯对亮度梯度大小局部最大值估计为0 。高斯一拉普拉斯过零检测经常被用于 图像边缘检测【矧。在噪声出现时，过零性质比其他简单图像性质在局部更加稳定，这 就使得他们在跟踪和模式匹配方面成为有利的特征。 。飞，、l fl ( a ) 一维情形 f o ) 二维情形 图3 2 高斯一拉普拉斯滤波器 ( a ) 原始图像( b ) 离斯滤波图像 华中科技大学硕士学位论文 ( c ) 高斯拉普拉斯滤波图像( d ) 高斯一拉普拉斯二值滤波图像 图3 3 图像滤波 滤波器最后一部分是二值函数。这个有效的二值图像映射出高斯一拉普拉斯滤波 后的图像所有的正值为白，所有负值为黑。高斯一拉普拉斯过零产生了白黑边界，出 现了图像边缘信息。在噪声出现时，这些区域比真实边缘更容易精确跟踪。 图3 2 描述了高斯一拉普拉斯滤波器的一维和二维情形，图3 3 描述了高斯拉 普拉斯二值滤波器的3 个滤波步骤。( a ) 为原始图像，嘞为高斯滤波图像，( c ) 为高斯 一拉普拉斯滤波图像，( d ) 为高斯一拉普拉斯二值滤波图像。 3 2 2 2 相关性 在许多计算机视觉应用中出现对应问题【州。相关性被认为解决此问题的公认技术 之一，相关性也被考虑应用于计算图像块之间的相似性判决。一个图像块和许多其他 图像块有关就产生了相关面，通过检测相关面决定最大相关性的块。图3 4 显示了一 个普通的相关性实例。在第4 章给出来了本文提出的详细应用算法。 ( a ) 第一个睡像块嘞第二个图像块 x m a x c o r ( c ) 一维相关面 图3 4 相关性技术原理图 华中科技大学硕士学位论文 对于通过式( 3 1 ) 滤波后获取的二值图像，两个图像块之间的相关性操作是简单 地求像素的异或运算和。相关性常用于确定许多图像信息的有用块，下面分别描述通 过图像相关性获取的三类信息。 ( 1 ) 立体不一致( 搜索) 相关性最普遍的应用之一是立体搜索【2 5 】。例如，两个平行的照相机在图像中不同 的水平位置感知物体，如图3 1 5 所示。位置的区别被称作不一致，相应地与照相机到 物体的距离有关。相关性搜索是个一维块匹配问题，用照相机几何函数来表示的一 条曲线( 称c p i p o l a r 线) 。照相机平行安装显示了印i p o l a r 线对于所有块是水平的， 这一几何约束大大减少了要求立体搜索的相关数量。 照相机10 邑三壬= 二二重二= 二二：二二二二： 照相机2 口 ( a ) 照相机在不同位置感知物体图 园田国 ( b ) 照相机1 获取的图像( c ) 照相机2 获取的图像( d ) 计算出来的不一致 图3 5 立体感觉不一致 ( 2 ) 光流 相关性还常用于计算图像的光流。光流作为一个2 d 运动场( 3 d 速度场在成像表 面的映射) 的近似值是图像亮度时空模型的最好描述【2 6 1 。为了计算光流，暂时分割有 关图像。不像立体相关性，它不存在几何约束来限制搜索区域到一维。然而，一般需 要对图像块的最大速度作个假设。对于有足够小的时间差或足够慢的运动图像来讲， 研究区域的大小应保持容易处理。光流的实例如图3 6 所示，在第5 章有详细描述。 华中科技大学硕