（控制理论与控制工程专业论文）水下摄像机的建模与标定技术研究.pdf

水下摄像机 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含未获得( 洼；勉遗直基丝盏塞挂型 声明的，本栏可空) 或其他教育机构的学位或证书使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：鲁乡参考签字日期：驾易年户月1 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人 授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国科学技术信息 研究所将本学位论文收录到中国学位论文全文数据库，并通过网络向社会公 众提供信息服务。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：冬彰参考 签字日期：乃夕年铲月1 ，日 导师签字： 船以 签字日期：二。扣年s 月诊日 水下摄像机的建模与标定技术研究 捅要 本文针对水下视觉测量技术对水下摄像机的建模与标定的需求，建立了一种 水下摄像机模型，并提出了水下摄像机的标定方法。首先对线结构光三维测量技 术进行了深入探讨：其次，通过分析水下摄像机的工作原理，建立了水下摄像机 模型；然后分析了影响水下摄像机测量精度的主要参数，提出了水下摄像机的标 定方法；最后设计了一种水下线结构光自扫描三维精确测量的方法，通过水下测 量实验验证了水下摄像机模型及标定方法的可行性。本文的研究内容主要有以下 几个方面： 1 在理想的针孔透视变换模型的基础上，提出了考虑折射的水下摄像机模 型，建立了二维摄像机像面坐标系与三维世界坐标系之间的转换关系，并确定了 需要标定的参数。 2 提出了基于径向角度排列约束的水下摄像机标定方法，通过计算光线由 水中的被测物体传入摄像机过程中受折射影响而产生的传播方向变化，建立了水 中世界坐标系下的点与c c d 像面点的非线性对应关系，利用平面网格靶标获取标 定点，完成摄像机参数的标定。 3 提出了水下自扫描三维测量方法，采用振镜将激光面反射到被测空间， 激光面与被测物体相交形成光条并被摄像机拍摄，根据像面上光条中每一点的位 置计算出该点由于折射产生的偏移的大小，利用折射定律及激光三角法原理进行 补偿。再利用考虑折射后的光平面水中部分在振镜坐标系下的方程，求出了物体 表面的三维坐标。 4 在w i n d o w sx p 系统平台上，运用v i s u a lc + + 6 0 软件开发环境，结合各 硬件驱动程序开发了水下摄像机的标定及自扫描三维测量系统的控制软件，并进 行了水下标定与测量实验。 本文的创新之处在于建立了一种考虑折射的水下摄像机模型，提出了针对该 模型的水下摄像机标定方法，设计了水下自扫描三维测量方法并通过实验验证了 水下摄像机模型及水下标定方法的可行性。 关键词：三维测量；线结构光；水下摄像机模型；水下摄像机标定；自扫描测量； 折射 ? s t u d yo nm o d e iin ga n dc aiibr a tio nt e c h n oio g yo f u n d e r w a t e rt a m e r a a b s t r a c t a c c o r d i n g t ot h ed e m a n df o ru n d e r w a t e rc a m e r am o d e l i n ga n dc a l i b r a t i o n t e c h n o l o g yo fu n d e r w a t e rv i s i o nm e a s u r e m e n t ，am o d e lo fu n d e r w a t e rc a m e r ai s e s t a b l i s h e da n dam e t h o do fu n d e r w a t e rc a m e r ac a l i b r a t i o ni sp r e s e n t e d f i r s t ，n o r m a l l i n e s t r u c t u r e d l i g h tm e a s u r e m e n t m e t h o di st h o r o u g h l yd i s c u s s e d s e c o n d ， u n d e r w a t e rc a m e r am o d e li se s t a b l i s h e db ya n a l y z i n gt h ep r i n c i p l eo fu n d e r w a t e r c a m e r a t h i r d ，t h em a i np a r a m t e r st h a ti n f l u e n c et h ea c c u r a c yo fu n d e r w a t e rc a m e r a i s a n a l y s e da n dt h ec a l i b r a t i o nm e t h o di sp r e s e n t e d f i n a l l y , a nu n d e r w a t e rl i n e s t r u c t u r e d l i g h ts e l f - s c a n3 dm e a s u r e m e n tm e t h o di s d e s i g n e d t h ef e a s i b i l i t yo f u n d e r w a t e rc a m e r a m o d e la n du n d e r w a t e rc a l i b r a t i o nm e t h o d i sv e r i f i e d b y e x p e r i m e n t a lm e a s u r e m e n tr e s u l t s t h em a i nw o r ki nt h ed i s s e r t a t i o nc a l lb e s u m m a r i z e da sf o l l o w s ： 1 b a s e do ni d e a l p i n h o l ep e r s p e c t i v et r a n s f o r m a t i o nm o d e l ，am a t h e m a t i c a l m o d e lo fu n d e r w a t e rc a m e r a , i nw h i c ht h er e f r a c t i o nh a sb e e nc o m p e n s a t e d i sb u i l t t h et r a n s f o r m a t i o nr e l a t i o n s h i pb e t w e e ni m a g e - p l a n ec o o r d i n a t es y s t e ma n dw o r l d c o o r d i n a t e s y s t e m i s e s t a b l i s h e d ，a n dp a r a m e t e r st h a ts h o u l db ec a l i b r a t e da r e d e t e r m i n e d 2 a nu n d e r w a t e rc a m e r ac a l i b r a t i o nm e t h o db a s e do nr a n g ea n g l ea r r a n g e m e n t c o n s t r a i nm e t h o di sp r e s e n t e d b yc a l c u l a t i n gt h e c h a n g e so fp r o p a g a t i o nd i r e c t i o no f l i g h tw h e ni t t r a v e l sf r o mw a t e rt o a i r , t h en o n l i n e a rc o r r e s p o n d i n gr e l a t i o n s h i p b e t w e e np o i n t si nw a t e ra n dp o i n t so nc c d i m a g ei se s t a b l i s h e d ap l a n a rg r i dt a r g e t i sa d o p t e dt og e n e r a t ec a l i b r a t i o np o i n t s t h e nt h e c a l i b r a t i o np r o c e s so fc a m e r a p a r a m e t e r si sd o n e 3 t h eu n d e r w a t e rl i n e s t r u c t u r e d - l i g h ts e l f - s c a n3 dm e a s u r e m e n tm e t h o di s p r e s e n t e d ag a l v a n o m e t e ri sa d o p t e dt or e f l e c tl a s e rp l a n eo n t oo b j e c t ss u r f a c e t h e l a s e rp l a n ei n t e r s e c t st h es u r f a c eo fo b j e c ta n da l i g h ts t r i p ew h i c hi sp h o t o g r a p h e db y ac a m e r ai sf o r m e d a c c o r d i n gt ot h ep o s i t i o no fe a c hp o i n to fl i g h ts t r i p eo ni m a g e ， t h eo f f s e tc a u s e db yr e f r a c t i o ni sc a l c u l a t e da n dc o m p e n s a t e db yl a wo fr e f r a c t i o na n d l a s e rt r i a n g u l a t i o nm e t h o d t h e nu t i l i z i n gt h ee q u a t i o no fl a s e r p l a n ei nw a t e r , a c c u r a t e3 dc o o r d i n a t e so fd e t e c t e dp o i n t sa r ea c c u r a t e l yc a l c u l a t e do u t 4 as o f t w a r eo fc a l i b r a t i o na n dm e a s u r e m e n tp r o c e s si s d e v e l o p e di nv i s u a l k e y w o r d s ：t h r e e dim e n s io nm e a u r e m e n t ：lir es t r u c t u r e d iig h t ：u n d e r w a t e r c a m e r am o d ei ：u n d e r w a t e rc a m e r ac ai ib r a tio n ：s eif s c a nm e a s u r e m e n t ： r e f r a c t i o n 目录 l 绪论 1 1 引言 1 2 水下探测技术概述 1 2 1 声纳探测技术 1 2 2 视觉探测技术 1 2 3 条纹管激光测距技术 1 2 4 其他水下探测技术 1 3 水下视觉探测技术及研究现状 1 3 1 水下双目立体视觉方法 1 3 2 水下结构光方法 1 3 3 其他水下视觉探测方法 1 4 本课题研究的意义和主要研究内容 2 线结构光自扫描系统概述 2 1 系统组成和工作原理1 1 2 2 系统硬件构成1 3 3 自扫描测量系统的常规标定与测量 3 1 常规摄像机的标定1 6 3 1 1 摄像机模型的建立1 6 3 1 2 摄像机参数的求解1 7 3 2 光平面参数的标定1 9 3 2 1 振镜角度的确定1 9 3 2 2 空间光平面位置的确定2 0 3 3 二维到三维数据的转换及标定精度的验证2 2 3 3 1 光平面坐标系的转换2 2 3 3 2 三维坐标的求解2 3 3 3 3 自扫描测量系统陆上测量结果2 3 4 水下摄像机的标定 4 1 水下摄像机系统模型2 5 4 2 标定点的获取2 7 4 2 1 靶标的设计与标定点的提取2 7 4 2 2 标定点的提取2 8 4 2 3 亚像素精度的光条中心提取方法2 9 4 3 水下摄像机标定方法3 0 4 3 1 水下摄像机参数的构成3 0 4 3 2 径向角度排列约束的基本原理3 1 4 3 3 径向角度排列约束的两步标定过程3 2 4 4 水下摄像机参数标定的实验3 5 5 水下线结构光自扫描系统的实现 5 1 水下线结构光测量系统模型3 7 5 2 摄像机光路的追踪3 8 5 3 水下光平面的求解3 9 5 4 被测点三维坐标的求解4 0 5 5 水下自扫描系统测量实验及误差分析4 l 5 5 1 标定与测量流程4 l 5 5 2 测量精度实验4 2 5 5 3 误差分析4 4 5 5 4 复杂物体的测量实验4 5 6 结论及展望 6 1 结论4 7 6 2 展望4 8 参考文献4 9 水下摄像机的建模与标定技术研究 1 绪论 1 1 引言 海洋在人类发展的过程中起到了重要作用，对海洋的开发利用关系到一个国 家经济社会发展的兴旺程度，在世界各国的经济社会中占据着越来越重要的地 位。因此与海洋密切相关的课题，如海岸工程、海洋资源的勘探与开采、海底地 形地貌的重构等成为了研究的热点，与之相关的各种技术也在蓬勃发展。由于海 洋及海底环境的复杂性，难以直接从陆上获取海底物体的各种信息，为了更好地 利用海洋资源，先进的水下探测技术必不可少，因此水下探测技术成为了当前重 点研究的技术，并在海洋开发利用的过程中扮演着重要的角色，例如在海洋港口 航道建设、海洋平台建设、海底矿产开采、海底导航、海底管道等水下物体的探 测与探伤等方面，都离不开水下探测技术。 1 2 水下探测技术概述 由于水下探测技术的重要性，世界各国都十分重视水下探测相关技术的开 发。目前，应用广泛且比较成熟的技术主要是声学探测技术和视觉探测技术，声 学探测技术一般指声纳技术【l 】，多用于水下目标定位及大范围海底地形测量等方 面；视觉探测技术种类较多，一般应用于较近距离的高精度探测。另外，针对海 洋工程的某些特定对象和特殊需求开发了多种探测技术，例如超声波检测技术主 要针对水下建筑、管道等水下物体的内部探伤；激光雷达技术【2 j 主要用于浅海大 范围的海底地形地貌的测量，另外还有水下红外探测技术1 3 j 、电磁探测技术1 4 j 等 等，这些技术涉及了多个领域和学科，并在各自的优势领域得到了应用。 1 2 i 声纳探测技术 声纳探测是水下目标探测传统且有效的方法，声纳按其工作方式可分为被动 式声纳和主动式声纳，现在的综合声纳兼有以上两种形式。 被动式声纳【5 】又称为噪声声纳，主要由换能器基阵( 由若干个换能器按照一 定规律排列组织组合而成) 、接收机、显示控制台和电源等组成。水中目标( 潜艇、 鱼雷、水面舰艇等) 在航行过程中，其推进器和其他机械运转产生的噪声，通过 海水介质传播到声纳换能器基阵时，基阵将声波转换成电信号传送给接收机，经 放大处理传送到显示控制台进行显示并提供听测定向。被动式声纳主要通过搜索 水下摄像机的建模与标定技术研究 目标的声波进行探测，其特点是隐蔽性和保密性好，识别目标能力强，探测距离 远，缺点是不能侦察静止无声的目标。 主动式声纳【6 j 又称回声声纳，主要由换能器基阵、发射机、接收机、收发转 换装置、终端显示设备和系统控制设备等组成。在系统的控制下，发射机产生以 某种形式调制的电信号，通过换能器变成声信号发送出去，当声波信号在传播途 中遇到目标时，一部分声能被反射回接收换能器并被转换成电信号，送入接收机 进行放大处理，根据声信号反射回来的时间和频率来判断目标的方位、距离和速 度，并在终端显示设备上显示出来。 传统上声纳主要适用于大范围远距离的目标探测，确定目标的位置和估计目 标的大致大小，而不是对目标进行精确的测量。高分辨率成像声纳( _ 7 1 ，可以获得 水下目标物的外形轮廓，提供较高分辨率的图像；多通道全数字声纳成像系统【8 】 不仅可以提供高分辨率的图像，而且通过数据融合还可获得目标的三维结构模型， 但由于声波波长较长，使得声纳的测量精度难以达到近距离精确探测的要求。 1 2 2 视觉探测技术 视觉探测技术是最新发展起来的高精度高速度探测技术，利用环境光、激光 束等作为照明光源，以各种成像系统作为输入手段，通过接收目标物体的反射光 获得区别于背景的目标强度图像、距离图像或多普勒( 速度) 图像，并对图像或 数据进行处理和解释来观察和理解世界，并最终获得自主适应环境的能力1 9 j 。根 据照明光的来源不同，视觉探测技术分为主动视觉技术和被动视觉技术，主动视 觉技术i lo j 是指系统主动地发出特定模式的照明光照亮被测物体的全部或部分区 域，由成像系统拍摄获得图像，再对图像进行处理和分析的技术手段，主要有距 离选通法、同步扫描法、水下结构光技术等；被动视觉技术【l l 】是指利用环境光作 为照明光源直接由成像系统获得图像，如水下摄影、双目立体视觉等。 在主动视觉探测技术中，水下结构光测量技术作为一种新兴的适用于水下高 精度三维测量技术，在海底结构物测量、水下a u v 导航、河底泥沙测量等方面 具有广阔的应用前景。 1 2 3 条纹管激光测距技术 条纹管激光测距技术1 2 1 通过发射脉冲激光，并利用时间分辨条纹管作为接 收装置获取脉冲激光的往返时间，从而计算到出被测点的距离。发射器发射一个 偏离轴线的扇形光束，用平行板电极对从光电阴极逸出的光电子进行加速、聚焦 和偏转，同时垂直于扇形光束方向有一个扫描电压能够实时控制光束偏转，并使 系统的脉冲重复频率与平台的前进速度同步，以压式路刷方式扫过扫描路线，然 2 水下摄像机的建模与标定技术研究 后成像在条纹管的狭缝光电阴极上，采用传统的c c d 技术对这些距离和方位图像 进行数字存贮，这样就能得到每个激光脉冲的距离和方位图像。由于激光脉冲的 发射角度可控制且已知，这样被测点的三维坐标可以被计算出来。 条纹管激光测距技术主要应用于激光雷达( l i d a r ，l i g h td e t e c t i o na n d r a n g i n g ) 。激光雷达技术【1 3 1 是一种结合了激光测距技术、全球定位技术( g p s ) 和惯性导航系统( i n s ) 的测量技术。激光器以一定频率发射大功率激光脉冲， 脉冲投射到物体上发生反射并被接收装置接收，计算激光器射出的光返回接收器 的时间，便可以计算出被测物体的距离。通过控制激光脉冲投射方向进行横向扫 描，由飞行器向前的运动进行纵向扫描，结合g p s 得到的激光器位置坐标信息及 i n s 得到的激光方向信息，就可以准确地计算出每一个激光点的坐标，大量的激 光点组成点云，就得到了高密度的三维点云数据，其中激光测距的关键技术是用 以得到反射的激光脉冲的时间信息和目标物体的距离信息的时间分辨条纹管。目 前美国实用化m s t l 激光雷达应用在大气环境中，其中二极管泵浦y a g 激光器和 倍频装置m s t l 即能够给出高分辨率的强度像，还能给出高精度的三维几何图像， 同时获取4 d ( 3 d + 强度) 信息。 当前激光雷达在海洋探测领域中的应用主要在于利用机载激光雷达系统对 浅海领域进行海底地形地貌的绘制【i 引，激光雷达从空中向海底发射激光脉冲， 通过分别接收海面及海底的反射脉冲能够计算处海底的深度。根据不同的航高， 机载激光雷达的平面精度可以达到0 1 5 m 至1 m ，高程精度可达到1 0c m 至3 0c m 。 但此项技术一般用在大型设备上，实现对较大的目标或大范围地形的三维测量， 由于分辨率为厘米级，并不适于提供精确的近距离的三维信息，且系统的体积较 大、价格昂贵，应用条件受到了较大的限制。 1 2 4 其他水下探测技术 除了以上介绍的水下探测技术外，还有其它多种多样的水下探测技术，如超 声波检测技术、红外探测技术、偏振光成像技术i l5 1 、水下摄影技术等。这些技 术都有各自的特点，并在相应的领域得到了应用，如磁探测一般用在对水下铁磁 性目标进行定位，根据目标物体的磁场和地磁场的分布，通过磁力仪探测相符的 磁场得到物体的位置；水下摄影可以对管线等水下物体进行精细探测，但需要人 力进行水下操作，成本及危险性较高；其他水下探测技术都对被测物体表面有一 定的要求，这些技术难以满足近距离水下物体外形外貌三维精确测量的需求。 1 3 水下视觉探测技术及研究现状 在海洋探测技术涉及到的众多领域中，获取水下物体的外形外貌信息是一个 水下摄像机的建模与标定技术研究 非常重要的课题，在水下目标发现、海底矿产探测、海底三维重构及海洋地理工 程中具有广泛而重要的应用价值。通过对海洋中物体的外貌进行测量和重构，能 够还原出物体精确的外形，对外形进行特征分析可以获得所需要的信息，例如通 过外形辨识物体的种类和大小、损伤的程度、受力状况等等，可以完成对水下目 标的发现及精确测量，对海底海床表面的矿产进行探测及分析，重构海底三维模 型并用于导航、海底施工等工作，以及辅助海底管道等人造物的铺设并进行例行 维护和探伤工作【1 6 】等等，具有重要的应用价值。声纳探测技术和视觉探测技术 都能比较好地实现这一任务，其中水下视觉探测技术在近距离高精度实时性作业 场合有着独特的优势，在海洋探测领域中占据着重要的地位。与声波相比，光波 由于在水介质中受散射、吸收等影响较大，传播距离要短得多，但是激光以其亮 度高、脉冲短、准直度高等优点l i ，用于水下目标探测中可以获得声纳难以实 现的成像、测距和定位等效果。 由于水下光学高精度测量的重要意义，近年来水下光学探测技术得到了较快 发展，国内外提出了若干种基于视觉的近距离高精度探测的方法，主要有激光三 角法、距离选通技术、同步扫描技术、偏振光成像技术、双目立体视觉技术和结 构光技术等等，其中主要的是水下双目立体视觉方法和水下结构光方法。 1 3 1 水下双目立体视觉方法 双目立体视觉是建立在计算机视觉理论上的三维测量方法，直接模拟人类双 眼处理景物的方式，具有简单、可靠、灵活、使用范围广等特点，是一种常用的 实现精确三维测量的方法。利用两台相对位置固定的摄像机，从不同角度同时获 取同一景物的两幅图像，或者由单摄像机在不同时刻从不同角度获取周围景物的 两幅图像，通过计算空间点在两幅图像中的像差来获得其三维坐标值，从而恢复 出物体三维几何信剧博j 。 国内外对双目立体视觉的研究主要集中在摄像机的标定和双目匹配两个方 面，摄像机标定可分为三维靶标标定和二维靶标标定。因二维靶标具有结构简单、 加工精度高等特点而被广泛采用，最有代表性的标定方法是t s a i 1 9 1 和z h a n g 2 0 】 的两步法。常用的双目匹配算法有基于特征点的匹配方法、基于区域的匹配方法 和基于相位的匹配方法。根据这些匹配方法，结合全局约束算法，如极线几何约 束等，可以确定对应的匹配点。 双目视觉用于水下三维探测的技术继承了常规双目视觉的理论和方法，水下 双目匹配一般采用基于特征点的匹配方法结合极线几何约束的方法，但由于受折 射影响，极平面已经不再是一个平面，极线几何约束不再准确【2 1 1 ，因此极线几 何一般不用于水下匹配，而是在匹配完成后剔除较明显的误匹配点对。因此水下 双目视觉会受到折射的影响而带来匹配率低，测量精度低两个突出问题，受光照 4 水下摄像机的建模与标定技术研究 条件和水下各种干扰的影响，水下双目匹配变得更加困难、误匹配率也更高。目 前，水下双目立体视觉技术一般用于测量水下带有明显特征的物体的长度、厚度 等几何尺寸，如特定鱼类的头到鱼尾的长度，某种矿石的大小等；也可以在 r o v 等水下航行器的带动下比较粗略地测量一定区域的海底的三维地形地貌。 1 3 2 水下结构光方法 结构光测量技术是一种有效的三维测量方法，具有大量程、大视场、较高精 度、光条图像信息易于提取、实时性强及主动受控等特点，目前常规的结构光测 量技术已经比较成熟，在工业领域中获得了广泛应用。 结构光三维视觉测量方法基于光学三角法测量原理，由激光投射器和c c d 摄像机共同作为结构光图像传感器。激光投射器根据测量需要将一定模式的结构 光投射于物体表面形成特征点，由c c d 摄像机拍摄到图像。利用三角法测量原 珲求得特征点与c c d 摄像头主点之间的距离，即特征点的深度信息。在标定出 激光投射器和c c d 摄像机在世界坐标系中的空间方向、位置参数后，即可求得 特征点在世界坐标系中的三维坐标【2 3 1 。根据激光投射器所投射的激光束的不同， 结构光三维视觉测量方法又可以分为点结构光方法、线结构光方法和多线结构光 方法等。 在点结构光方法中，激光器发出的光束投射到被测物体表面上产生一个光 点，光点的部分反射光通过摄像机镜头，在c c d 的像面上成像。如果被测物体 沿着激光束方向发生位移，则c c d 像面上的像点位置也会随之移动，根据像点 的移动距离和经过标定后的激光器与c c d 器件之间的相互方向、位置参数，即 可求出被测物体表面的移动距离。点光源是最常见的光源，该方法从光源制作到 图像算法都比较简单。但由于每幅图像只能得到一个点，故测量效率低，不适合 大规模快速测量【2 4 1 。如果要得到被测物体的整体三维数据，需要配备复杂的三 维扫描装置，从多个角度对物体进行测量。 线结构光方法也是基于三角法测量原理，但是采用线光源代替点光源，这样 可以减少对被测物体表面的扫描时间。该方法只有一条光条，不存在匹配问题， 图像处理算法比较简单，一次能够获取光条上所有点的三维信息，与点结构光方 法相比，获得的信息量大大增加。 多线结构光方法是线结构光模式的扩展。由光学投射器向物体表面投射多条 光条，其目的一方面是为了在一幅图像中可以处理多条光条，提高图像的处理效 率，另一方面是为了实现物体表面的多光条覆盖，从而增加测量的信息量，以获 得物体表面更大范围的深度信息。这种方法也就是所谓的“光栅结构光法”，多 光条可以采用幻灯投影仪产生光栅图样，也可以利用激光扫描器来实现。后者可 以使用可控的激光平面扫过视场，旋转镜的每个位置上都可得到光条图像以供分 水下摄像机的建模与标定技术研究 析，通过该过程即可获得覆盖视场的激光线栅。较之线结构光模式，多线结构光 方法的测量效率提高、范围增大，但同时引入了标定的复杂性和光条识别的问题 2 5 1 0 基于结构光在三维精确测量中的优势，国内外诸多科研机构开展了将结构光 应用于水下测量的研究工作。哈尔滨工程大学的王宗义等【2 6 l 采用线结构光进行 水下三维测量，采用了常规摄像机标定和结构光标定方法，并进行了折射修正， 分别研究了对平面密封罩和半球形密封罩进行折射补偿的数学方法，但没有建立 水下考虑折射时的摄像机模型以及水下摄像机和结构光的标定方法，文中也没有 提出确定摄像机光心到折射面的距离、光面反射面轴线到折射面的距离等主要几 何尺寸的方法。 美国哥伦比亚大学的s r i n i v a s ag n a r a s i m h a n 等人在实验室条件下采用线 结构光方法在模拟的浑浊水域中进行了三维测量的实验【27 1 。系统中摄像机位置 固定，激光器在电机带动下旋转，投射出一条光平面到水中的被测物体上形成光 条，被摄像机接收全i j 并求解出三维坐标。在此文中详细地论述了在模拟的浑浊水 中激光面的传播特性，以及接收到的图像光强的变化规律，给出了光面在浑浊水 域中传播的模型。建立了简单的激光三角法原理的几何关系模型，并采用密集的 方格靶标粗略地标定了光平面，并测出物体的三维形状，但没有对摄像机进行标 定。瑞典l i n k o p i n g s 大学的c h r i s t e rn o r s t r s m 采用了线结构光进行水下三维 扫描，系统的摄像机和激光器相对位置固定，该系统需通过外界载体的电机带动 旋转以实现对周围场景的扫描，能够获取周围景物的三维信息。系统采用步进电 机进行旋转，体积较大、成本较高，应用场合很受限制，且扫描速度和测量精度 均取决与电机的性能；没有提出摄像机和结构光的标定方法，系统的几何尺寸和 安装尺寸靠加工来保证。美国加利福尼亚大学的k a r ld m o o r e 2 8 】研究了激光三 角法水下测深技术折射的影响并分析了折射补偿的理论方法。西班牙 u n i v e r s i t yo fac o r u n a 大学的e n r i q u ep e n ag o n z a l e z t 2 9 】等人采用线结构光 技术进行河流水力学的实验，系统由激光器和两个摄像机组成，由导轨带动该系 统在水中运动实现了对水下泥沙类河床剖面的三维检测。 华南理工大学的张为民、王国荣等人提出了利用结构光进行水下焊接熔池宽 度的在线检测【3 0 】。将装有防水罩的激光结构光视觉传感器安装在焊枪之后置于 水下，光面与摄像机位置固定。焊接时光面打在被焊接物体的缝隙上形成断条， 由摄像机接收后计算光条断开的长度得到物体裂缝的宽度。但这种方法只实现了 一维测量，适用范围较窄。 1 - 3 3 其他水下视觉探测方法 在水下视觉探测领域中，除了水下双目立体视觉和水下结构光方法，比较常 6 水下摄像机的建模与标定技术研究 用的还有距离选通法和同步扫描法。 距离选通法1 3j j 是有效克服激光后向散射的手段之一，主要的工作原理是： 采用大功率脉冲激光照射目标，反射的脉冲激光在进入接收器以前，光接收器一 直处于“关闭”状态。只有当某一距离上被测目标的反射光到达接收器的一瞬间， 光接收器才“打开”，使该距离上目标的反射光进入接收器成像，而在其他距离 上物体的反射光则不被接收到，从而抑制了大部分激光后向散射光对接收器的影 响，提高了成像的距离和质量。距离选通技术的水下成像系统观测视场比较窄， 典型的视场角为1 2 。到1 3 。，一方面是受系统中接收器视场的限制，另一方面 是由于激光必须同时照亮整个视场，为了增大探测距离，必须使用高能激光脉冲 集中照射在较小的区域内，以达到窄视场条件下成像的图像清晰。 同步扫描法i j 2 j 是把激光器与接收器置于两个相距一定距离的地方，采用窄 的瞄准光束扫描整个视场而窄视场接收器与发射光同步扫描被测物体，接收器只 能观察由发射光源照亮的较小水域，使照明光束扫描线与接收器视线在被相交区 域形成个较小的角度，从而使后向散射光尽量少地进入接收器中。这种方法能 有效地提高成像距离并改善成像质量，其关键技术在于光源和接收器之间的调整 及光源和接收器之间的相位同步。这种同步扫描方式能扫描较宽区域，有效视场 可达7 0 。，同时图像分辨率也优于距离选通技术。 虽然距离选通技术和同步扫描技术已经比较成熟，且能得到比较理想的图 像，但这两种方法依然存在较大的局限性。距离选通技术的水下成像系统的观测 视场比较窄，为了增大探测距离，必须使用高能激光脉冲集中照射在较小的区域 内，以达到窄视场条件下成像的图像清晰。同步扫描技术实现扫描光束与接收器 视线同步的难度较大，且设备复杂，价格昂贵。另外，这两种成像技术产生的都 是二维图像，主要在于研究如何让摄像机看得更远更清楚，即提高成像的距离和 清晰度，获取清晰的二维水下图像，而难以实现场景的三维重构。 1 4 本课题研究的意义和主要研究内容 目前很多国家开展了水下视觉探测技术的研究工作，并发展了多种水下视觉 探测技术，但无论是主动视觉还是被动视觉，都离不开成像系统，即摄像机的应 用，而在对摄像机进行应用之前必须对其进行标定才能得到精确的测量结果。 与空气中视觉探测技术的环境不同，水下视觉探测技术面临着更多复杂的问 题，主要在于水下环境中水介质具有强散射效应、衰减的特性和折射的影响。其 中强散射效应和衰减的特性可以通过改进光源和采用图像处理的方法来克服，而 折射的影响是影响系统精度的最主要的方面。 对于水下视觉系统，摄像机密封在玻璃罩内，并将整个系统置于水中进行测 水下摄像机的建模与标定技术研究 量。由于水、玻璃和空气的折射率不同，光线由水中传入摄像机时需要经过玻璃 罩内外壁的两次折射，由于折射的影响是非线性的，传统的基于透视投影的模型 已不在成立。如果不对折射的影响加以补偿，对水下物体表面的测量会发生明显 的扭曲，因此陆上普通的结构光方法难以直接应用。 美国加利福尼亚大学的k a r ld m o o r e 、西班牙ac o r u n a 大学的g o n z a l e z 、 南京航空航天大学的丁万山等人针对各种水下测量系统研究了补偿了折射的影 响的方法1 3 引，能够根据系统的模型及已知的参数，应用折射定律对被测点进行 折射的修正补偿，并能比较有效地探测水中物体。但是虽然这些研究的重点在于 如何解决折射问题，却并没有采取比较合适的方法对这些参数进行标定。国内哈 尔滨工程大学王宗义采用常规的标定方法将摄像机进行标定，然后在用密封罩密 封后进行水下测量的方法。标定时未考虑折射的影响，而是在测量过程中应用激 光三角法的原理对折射进行补偿，将摄像机看到的被测物体的虚点补偿到实际的 三维坐标下。这种方法实现简单，但依然没有实现水下标定，不能精确求解系统 中的若干几何参数。 由于缺乏合适的水下摄像机标定方法，水下视觉系统的几个关键参数只能通 过机械加工来保证精度，这样不仅成本高、效率低，而且由于视觉测量系统的复 杂性，有些参数难以精确测量。例如摄像机光心到玻璃折射面的距离就是一个非 常重要的参数，对测量结果有很大的影响，虽然可以精确地求出摄像机的焦距， 但却无法知道光心的具体位置，因此也就无从测量摄像机光心到折射面的距离， 这样会产生较大的误差，最好的手段是参用视觉非接触的手段来将这些参数精确 地标定出来。因此如何标定这些参数是提高水下结构光测量系统精度的重要问 题。 针对目前缺乏水下摄像机标定方法的现状，本文提出了一种基于径向角度排 列约束的水下结构光系统的摄像机参数的标定方法。该方法采用平面靶标，通过 计算光线由水中的被测物体传入摄像机过程中受折射影响而产生的角度变化，确 立了水中任意点同c c d 像面点的非线性对应关系，并据此标定出了系统模型的结 构参数，实现了对水下结构光系统中摄像机参数的标定。并利用摄像机、激光器 和振镜等设计了水下线结构光自扫描测量系统。该课题的意义在于通过建立系统 的水下摄像机的模型及水下摄像机的标定方法，为水下视觉三维测量提供理论依 据；同时所提出的自扫描测量原理能实现不依赖水下载体的高精度三维测量方 法，为水下目标精确的三维探测和识别提供有力的技术支持。 本课题得到了国家自然科学基金水下结构光自扫描三维探测技术研究的 资助。 主要研究内容如下： 一、建立了考虑折射的水下摄像机模型 水下摄像机的建模与标定技术研究 对于水下视觉测量系统，水下摄像机密封在容器内并透过玻璃窗口拍摄水中 物体。由于光在空气、玻璃和海水这三种介质之间传播时存在折射的问题，常规 的基于透视投影的模型已不再成立，因此提出了考虑折射的水下摄像机模型。 首先，在常规的针孔成像透视变换模型的基础上，考虑了当玻璃窗口为平面 时光由水中传播到空气的过程中所受折射的影响，并建立了水中三维点与对应的 摄像机像面点的对应关系。 其次，建立了摄像机像面二维坐标系、摄像机坐标系和三维世界坐标系，确 立了三个坐标系之间的转换关系及需要标定的参数。在此系统中，需要标定的参 数有摄像机焦距厂、摄像机光心到玻璃面的距离h 。、玻璃面的厚度d 、水中光平 面在摄像机坐标系下方程的系数等。 二、提出了基于径向角度排列约束的水下摄像机参数标定方法 针对目前水下摄像机标定手段缺乏的问题，提出了基于径向角度排列约束的 水下摄像机标定的方法。 光由水中传播到空气中时会在水一玻璃界面及玻璃一空气界面发生折射，然后 传入摄像机中被接收。根据像面成像的点在摄像机像面坐标系下的坐标，得到光 与摄像机光轴的夹角，再根据折射定律计算出光在水一玻璃界面及玻璃一空气界面 入射角与折射角的大小，这样光由水中到摄像机中的传播路径就被唯一的确定下 来，并由此建立了水中的三维点同摄像机像面点的非线性对应关系，再利用靶标 上的特征点在世界坐标系下的坐标及对应的在像面上的二维点坐标求解出摄像 机模型中的未知参数。 根据标定的需要采取了平面网格靶标，避免了三维立体靶标制作成本高、加 工精度受限的问题，保证了标定简单、便捷的要求。实验中将平面网格靶标置于 水中提取标定点，利用基于径向角度排列约束的方法对摄像机参数进行标定。实 验表明，此标定方法有效地克服了由于折射产生的非线性影响，能够比较精确的 标定出摄像机参数，满足水下结构光测量系统对水中物体进行高精度三维测量的 需要。 三、设计了线结构光水下自扫描测量系统 为了实现对水下物体进行高速度、大范围三维测量，并验证提出的水下摄像 机标定方法，提出了水下线结构光自扫描三维测量系统。 系统由摄像机、激光器、振镜及控制装置构成。激光器发射出的光平面投射 到振镜平面上，通过精密的步进电机控制振镜的转动，在系统其余部分固定不动 的情况下，由振镜反射激光平面到被测物体空间中，同被测物体相交形成被物体 表面调制的光条，摄像机拍摄到此光条，根据像面上光条的每一点的位置计算出 光线的传播路径，利用折射定律和激光三角法补偿折射产生的偏移，再根据考虑 9 水下摄像机的建模与标定技术研究 折射后的激光平面在水中的位置可以求出每一点的三维坐标。通过振镜的转动可 以使光条扫过被测物体的表面，能够得到被扫描的物体表面点的坐标，从而达到 对水下物体进行快速大范围高精度测量的目的。该系统能够解决目前水下测量领 域中缺乏对各种物体、水底地形、泥沙横断面等进行精确、完整的三维测量手段 的问题。 水下摄像机的建模与标定技术研究 2 线结构光自扫描系统概述 2 1 系统组成和工作原理 从二维图像到三维空间重构，主要是指对二维图像中像素点的三维信息的恢 复，尤其是深度信息。双目立体视觉的三维重构基于视差原理，采用两个摄像机 由多幅图像获取物体三维几何信息的方法，线结构光三维测量则使用激光器代替 一个摄像机，由光平面方程提供深度信息。 水下线结构光自扫描三维测量系统系统的结构示意图如图2 1 所示，所需的 主要硬件设备有摄像机及光学镜头、线激光器、振镜、图像采集卡、d a 控制卡 及控制装置等构成。同时开发了与硬件系统相匹配的控制软件，通过计算机控制 系统进行标定与测量工作。 图2 2 为水下测量实验的实验设备示意图，图2 3 为自扫描测量系统及水下 测量实验设备的实物图。激光器发射的光平面被振镜反射到被测物体空间，激光 平面经玻璃窗口的折射后投射入水中，与被测物体相交形成一条包含有物体表面 的形状信息的光条，c c d 摄像机透过玻璃窗口拍摄到此光条形成光条图像，通 过分析光条图像上的点在像面坐标系下的坐标，根据折射定律计算出折射产生的 偏移并加以补偿，建立了能够表达光从水中传播到空气中的路径的方程。再利用 已知的振镜转角的信息，可以确定在此位置下反射光平面在摄像机坐标系下的方 程，然后再联立求解以上所得到的方程即可得到该点在摄像机坐标系下的三维坐 标。控制振镜的转动可使光平面扫过摄像机的整个视场区域，这样便能获取视场 内物体表面点的三维信息，从而实现对水下物体进行高速高精度大范围测量的目 的。 j 激光平面 、j 图2 一l 线结构光自扫描测量系统结构图 水下摄像机的建模与标定技术研究 图2 2 水f 自扫描测量实验设备 在进行测量之前首先要对摄像机及系统进行标定。摄像机标定是指建立摄像 机图像像素位置与场景点位置之间的关系，其途径是根据摄像机模型，由若干已 知标定点的图像坐标和世界坐标求解摄像机的模型参数。摄像机参数标定的精度 对线结