（信号与信息处理专业论文）规则形状几何物体的散焦测距算法研究.pdf

哈尔滨 + 程人学硕十学位论文 摘要 在数字图像的分析h 景深信息的取得，是一项重要的课题，它是三维 空间( 3 d ) 中运动分析的1 础。在3 d 空间中，若缺乏图像上的景深信息，则所 得到的运动分析将只是陶像中像素点的移动变化，其只能应用于二维空间的 场合，并不足以描绘、重构3 d 空间中的整个环境信息。因此，为了获得景深 信息，本论文研究了散焦测距的几种视觉模型。散焦测距是计算机视觉领域 中非常重要的视觉模型。散焦测距的方法最早是在1 9 8 7 年由p e n t l a n d 提出的， 它最少只需要两张不同镜头设定下所拍摄的图像就可以计算出距离信息。 散焦测距系统大致上分为两个处理的阶段，第一阶段主要是摄像机的校 正工作，第二阶段为深度重建的工作，本论文在标定出计算机的透光率参数k 的基础上，利用两幅规则形状物体的灰度图像，基于散焦测距的理论基础， 讨论了散焦测距的三种箕法。本论文的主要成果有如下几点： 首先，本文研究了旗于数字图像处理深度恢复的基本理论与方法一散焦 测距法。散焦深度法估计物体距离或者进行图像恢复的依据是成像系统的点 扩散函数及它所产生的模糊圆。 其次，为了简化计算，基于p e n t l a n d 的算法，把图像直角坐标系下的傅 立叶变换转化成极坐标下的傅立叶变换。通过仿真实验，探讨并证实了用模 糊图像恢复出物体深度信息的可行性。实验结果给出最大测量误差为4 3 。 再次，本论文中引入了一种d y n a m i cr e f e r e n c i n gt e c h n i q u e 技术来对 s u b b a r a o 的算法进行了改进，这种改进通过高斯卷积的d u m m yb l u r r i n g 来实 现。改进后的算法计算 b 的深度信息与物体表面的纹理无关。另外，根据 p a r s e v a l 定理，用傅立叶的能量来代替对图像的每一个像素点都进行傅立叶 变换，从而在实际的应j 月中易于实现系统的实时性。 最后，利用矩保持原理，提出了基于散焦图像边缘的深度估计，该方法 不需计算镜头的点扩散函数，通过测量景物图像边缘的模糊半径来估计摄像 机镜头到物体的距离。仿真结果证明了该方法有很好的实时性和有效性。 关键词：计算机视觉：散焦测距：模糊半径：深度信息 哈尔滨工程大学硕十学位论文 a b s t r a c t t h ed e p t hi n f o r m a t i o np l a y sa ni m p o r t a n tr o l e i nt h ed i g i t a li m a g e p r o c e s s i n g ( d i p ) b e c a u s ew ec a n n o tr e c o n s t m c tm o v e m e n t sa n df e a t u r e so ft h e o b j e c t si n t h et h r e e d i m e n s i o n a l ( 3 d ) s p a c ei fm e r ei sn o ta n yd e p t hd a t a t h e r e f o r e ，i nt h i st h e s i s ，t h r e ei m a g ep r o c e s s i n ga l g o r i t h m sa r ep r o p o s e db a s e d o n t h ed e p t hf r o md e f o c u s ( d f d ) t oo b t a i nd e p t hi n f o r m a t i o n d f di sav e r y i m p o r t a n tv i s u a lm o d u l ei nt h ef i e l do fc o m p u t e rv i s i o n i tw a sf n s ti n t r o d u c e db y p e n t l a n di n1 9 8 7 t h ed f dt e c h n i q u er e q u i r e so n l yt w oi m a g e sa c q u i r e da tt w o d i f f e r e n tl e n ss e t t i n g st oc o m p u t ed e p t he s t i m a t e s i ng e n e r a l i m p l e m e n t i n gad f d s y s t e mi n v o l v e gt w om a j o rt a s k s ，n a m e l y , c a l i b r a t i o no ft h ed f ds y s t e m ，a n dd e v e l o p m e n to fa na c c u r a t ed e p t he s t i m a t i o n m e t h o d t 五i sw e r ki sm a i n l yr e l a t e dt ot h es e c o n dt a s k t h i sd l s s e r t a t i o na c h i e v e s an u m b e r so fo u t c o m e sa sf o l l o w s ： f i r s t l y , b a s i ct h e o r i e sa n d m e t h o d so fd f db a s e do ni m a g ep r o c e s s i n ga l e s t u d i e di nd e t a i l i nt h ea l g o r i t h m sd f do ri m a g er e c o n s t r u c ta r eb o t hb a s e do n t h es y s t e m sp o i n ts p r e a df u n c t i o no s f ) ，i e t h er a d i u so ft h ei m a g ep o i n t sb l u r e i r c l e s e c o n d l y , b a s e do np e n t l a n d sa l g o r i t h m ，t r a n s f o r mi m a g er i g h ta n g l e c o o r d i n a t es e r i e s sf o u r i e rt r a n s f o r mt op o l a rc o o r d i n a t e ss e r i e s sf o 谢e r t r a n s f o r n l t h ee x p e r i m e n tr e s u l t si n d i c a t et h a tt h i sm e t h o di sf e a s i b l ea n dt h e m o s ts e n s i n ge r r o ri s4 3 t h i r d l y , t h i sd i s s e r t a t i o ni n t r o d u c e sad y n a m i cr e f e r e n c i n gt e c h n i q u ew h i c h d o e sc a l i b r a t i o no ft h ev a l u eo fw 2 + v b yd u m m yb l u r r i n go b t a i n e db yag a u s s i a n c o n v o l u t i o n t h ei m p r o v e dm e t h o di si n d e p e n d e n to ft h et e x t u r eo ft h eo b j e c t i n a d d i t i o n t h ec a l c u l a t i o no ff o u r i e rt r a n s f o r i l l sa te a c hi m a g ep o i n ti s t o o e x p e n s i v ef o rap r a c t i c a lt e c h n i q u e t h e r e f o r e ，w en e e do n l yt h ef o u r l e rp o w e r a c c o r d i n g t op a r s e v a l st h e o r e m f i n a l l y , an e wm e t h o df o rd c p t he s t i m a t i o n f r o md e f o c u sb a s e do n m o m e n t p r e s e r v i n gj sp r o p o s e d t h i sm e t h o dd o e s n tn e e dp o i n ts p r e a df u n c t i o n o fo p t i c a ls y s t e m t h ee x p e r i m e n tr e s u l t ss h o wt h a tt h i sm e t h o di sr e a l - t i m ea n d e 彘c t i v e k e y w o r d ：c o m p u t e rv i s i o n ，d e p t hf r o md e f o c u s ，b l u r r i n gc i r c l e ，r a n g es e n s i n g 哈尔滨工程大学 学位论文原创性l 声明 本人郑重声明：本论文的所有工作，是在导师的指 导下，由作者本人独立完成的。有关观点、方法、数据和 文献的引用已在文中指出，并与参考文献相对应。除文中 已注明引用的内容外，本论文不包含任何其他个人或集体 已经公开发表的作品成果。对本文的研究做出重要贡献的 个人和集体，均已在文中以明确方式标明。本人完全意识 到本声明的法律结果由本人承担。 作者( 签字) ：孙玲 日期：2 0 0 5 年2 月j 8 目 哈尔滨工程大学硕士学位论文 第1 章绪论 1 1 课题研究的背景及意义 成像是通过一个光学成像光学系统将客观三维世界中的景物变换到二维 成像平面的过程。1 。在成像平面上用光化学材料作为图像的接收媒介就成为 传统照相系统，该系统的特点是用像平面的光强分布和色度分布控制胶片上 光化学反映的进程，以胶片曝光的方式记录影像。在成像平面上用c c d 或 c m o s 等光电面阵器件接收图像信息就成为数字成像系统。c c d 或c m o s 由数十万、数百万甚至数千万的光电像素列阵组成成像平砸，将图像光强分 布和色度分布转化为以空间像素为取样单位的离散电信号，然后通过a d 转 换将电信号数字化，并用数字图像的方式压缩和存储图像信息。数字成像技 术彻底取消了传统的照相系统中的化学处理步骤，使摄影过程更为便捷，与 计算机系统的信息交换更为方便迅速。 恢复图像中物体的三维信息一直以来都是计算机视觉研究领域中非常重 要的一环，而估计目标物体的景深信息又是三维重建领域中非常重要的一环。 目前，有许多恢复图像中物体深度的方法，例如：立体视觉( s t e r e ov i s i o n ) ”，由运动估测物体的三维结构( s t r u c t u r e f r o m m o t i o n ) 。1 ，散焦测距模型( d e p t h f r o md e f o c u s i n g ) ”1 等，这些方法都已经在许多国际上的文献被验证过了，这 些技术可以应用到三维空间的重建，图像中物体的辨识等许多的方面，并且 带给我们非常多有用的帮助。 本课题意在通过对所获得图像进行处理及分析，探求成像镜头参数、成 像位置对图像清晰度的影响，研究散焦测距手段和算法，做散焦理论及实验 研究，为这一技术的实用化作初步探索。 1 2 恢复图像中物体距离的方法 1 2 1 测距方法的分类 在计算机视觉研究领域中，测距的方法可以划分为三大类：有源测距法、 无源测距法以及有无源结合的测距法。在有源测距法中，利用超声波、无线 电波或激光、可见光、红外线以及其它形式的波来确定波源与物体之间的距 哈尔滨工程大学硕士学位论文 离。所有的有源测距法都是向物体发射能量，然后接收反射能量，所以能利 用能量的传输时间、传输速度的差别测量出距离。例如精密的雷达测距装置 和激光测距器就属于这类有源测距法。 无源测距法中，利用立体视觉、相位差、散焦差异、聚焦信息以及其它 任何来自物体的差异，来测量从视点到被视物体的距离。例如，立体摄像机 测距法，聚焦测距法和聚焦测距仪都是众所周知的无源测距法。在其它的方 法中，把有源的和无源的测距法结合在一起以便获得某些特殊的测距结果或 用于某些特殊的场合。 上述的测距法中，都有它们各自的优缺点。 有源法虽然可获得更精确的数据，但存在以下缺点：1 、需要发射大量的 能量，而某些发射波对人体是相当有害的；尤其是在军事上还容易暴褥了自 己；2 、设备的造价昂贵，额外测距装置成本将随着测距装置的分辨率上升； 3 、体积较大，在高放大倍率的应用场合，如半导体工业及系列化科学应用的 场合，镜头和物体之间的距离甚小，而测最装置又需要与镜头平行，能容纳 测距系统的设计日益困难。4 、立体景物对焦困难，测距时，所测得的是物体 上某一点与镜头的相对位置，镜头所呈现的图像不一定是最清晰的图像。 无源测距法主要分为对焦深度测距和散焦深度测距。对焦深度法简称 d f f ( d e p t hf r o mf o c u s ) ，是一种建立在搜寻过程上的对焦方式。它通过一系 列对焦逐渐准确的图像来确定物点至成像系统的距离。这个搜寻过程需要不 同成像参数下的很多幅图像( 一般为1 0 幅以上，所用图像越多则对焦精度越 高1 。理想的对焦评价函数要求是单峰值的，单调的，在最佳对焦位置获得最 大值。为了能准确地探测峰值的位置，减少由于噪声产生的局部极值以及边 缘凸出效应的干扰，可以使用f i b o n a c c i 搜寻法以及高斯曲线拟合法。散焦深 度法简称d f d ( d e p t hf r o md e f o c u s ) 是一种从散焦的图像中获得物体深度信 息的方法。在d f d 方法下，需捕获2 3 幅不同成像参数下的图像，它们之间 存在一定的相对模糊量，对图像的局部区域进行处理和分析，可确定其模糊 程度以及深度信息。这种方法还要求根据成像参数建立正确的散焦模型及需 要成像系统的精确校准。 散焦测距技术对研究人员是很有吸引力的，该方法通过像机光圈的不同 大小而产生不同的景深映射，只需单眼拍摄图像，对景物采集两幅散焦程度 不同的图像，即可估计出景物到像机的距离，即避免了大量图像信息的采集 和存储，实现实时测量，也避免了图像间的位置校准和匹配问题，因此实用 性较高。但目前也有许多难以解决的问题，如测距精度不高的问题。 对焦测距模型和散焦测距模型同样对近距离深度信息测量有优异的表 现。它们的不同处在于散焦测距模型只需要两张不同模糊程度的散焦图像就 可以计算距离信息：而聚焦测距模型需要搜索整个镜头设定值来求得距离信 息，这两个视觉模型遵循不同的演算法，前者快而准确度稍低：后者准确度 较高，不过需要经过大量的计算，而且计算后所得的资料又大半被弃置不用。 2 哈尔滨工程大学硕士学位论文 问题，开始以非线性搜索方法减少搜索的时间，它们的办法是利用费式搜索 法将最佳成像点大略找出，而后假设在最佳成像点附近，图像清晰度相对于 镜头的位置可以利用一个二次多项式来拟合。而利用二次多项式的内插就可 以求出最佳成像点的位置。 1 2 2 散焦测距方法的提出 过去在计算机视觉重建三维空间的研究领域中，运动物体参数测量大都 是基于对焦图像进行的，采用方法也多以立体视觉和运动视觉为主。但是利用 这些方法重建三维空间时，如果物体距离摄像机太近，就会因为立体影像中 物体间的视差过大，而导致立体对应点匹配计算结果容易出错的问题。而且 对焦图像虽然测量精度高，但也存在测量过程复杂和计算量大等缺点，因此实 时f 生不好， 艮难满足一般运动物体的测量要求。 基于散焦图像的测距原理是根据物体所处位置如果偏离摄像机聚焦平面， 就会在像检测器上形成模糊的散焦图像，且偏离距离越大，图像的散焦模糊程 度也越强，利用这一图像变化特点并结合少量预知参数就可计算获得物体的 距离信息。由于散焦测距模型在近距离时优异的表现，并且演算法简单、只 需处理单眼影像，所以散焦测距这个视觉模型一直是计算机视觉研究领域中 非常受到重视的视觉模型。因为演算法简单，所以运算速度比其它同精确度 的视觉模型还要快，而且只需要单眼图像，所以可以很容易地避开目前仍无 有效解决方法的立体对应点匹配问题；同时也可以用在处理具有镜面材质的 物面重建工作上。虽然在处理远距离的物面重建工作时误差会变得比较大， 但是这些远距离测量值也可提供立体视觉或其它的视觉模型作为初始值用。 另外在近距离时，由于摄像机镜头的景深会变的非常浅，因此仅能有部分的 图像区域可以清晰地聚焦，此时散焦测距便可以提供非常精确的三维测量值 ( 在某些特殊的应用中，散焦测距甚至可以提供解析度高达s u m 的距离信 息) 。 19 8 7 年，p e n t l a n d m ，是最早提出散焦测距算法的研究者，他的散焦图像取 样方法是将摄像机镜头光圈调到最小取得第一张图像，接着将光圈放大摄取 另一张不同模糊程度的图像，并且以逆滤波( i n v e r s ef i l t e d n g ) 的方法来计算 近似为高斯函数的点扩散函数p s f ( p o i ms p r e a d f u n c t i o n ) ，并由此估测出目 标物体到镜头的距离。1 9 8 8 年，s u b b a r a o “4 傲宽了p e n t l a n d 方法中的一张图像 必须使用针孔像机取像的限制，允许可以同时变动不同的镜头设定( 焦距， 光圈) 来估测深度信息。1 9 8 9 年，h w a n g “1 等人基于p s f 为高斯函数的假设下， 在空间领域中发展估算模糊参数的演算法，他以微幅改变摄像机参数的方式， 计算出摄像机参数的微分近似值，并推导出其与图像的l o g 模糊程度的关系 式，从而求解出图像中物体的深度。t 9 9 3 年，e n s 和l a w e r e n c e t l 0 j 提出了利用 哈尔滨工程大学硕士学位论文 查出这个滤波器对应的深度。这个方法的优点是建表过程不信赖任何特定的 p s f 模型，可以适用于多种不同的成像系统。1 9 9 3 年，s u r y a 和s u b b a r a o t m 用一 个空间的s 转换的运算方式重建出散焦图像中物体的深度。1 9 9 3 年，y a l i n x i o n g 和s t e v e n a s h a f e r “”提出了利用g a b o r t r a n s f o r m 中的短时傅立叶变换 ( s h o r tt i m ef o u r i e rt r a n s f o r m ，s t f t ) 排除窗1 2 边界产生的寄生高频分量干扰 的方法，建立相关的模糊函数，并给出了最大似然估计( m a x i m a lr e s e m b l a n c e e s t i m a t i o n ) l 拘鲁棒性( r o b u s t ) j 塞代算法，提高了估计深度信息的精度。1 9 9 5 年， k l a r q u i s t “”等人提出了利用多张散焦图像作散焦测距的最大似然估计算法。 1 9 9 5 年，r a j a g o p a l a n 和c h a u d h u r i n m 将图像分成数个子图像，其中各临近子图 像互有重叠，再以位移变动的区域作计算，解决因为p s f 在图像的临近区域 间造成重叠的问题。另外，1 9 9 8 年，他们在图像为自回归【i5 】过程的假设下以 c r l b l l 6 计算出散焦测距模型最佳化的像机参数值。1 9 9 9 年，s c h e c h n e r 和 k i r y a t i 提出了使用灵敏度分析法探讨使用p i l l b o xp s f 估计误差与不同频率成 分的关系，并提供了使d f d 的估计更为精确的指导方向。但是s c h e c h n e r 和 k i r y a t i 所使用的p s f 较适用于计算散焦程度严重的图像，其分析结果无法适用 于散焦轻微的图像。而r a j a g o p a l a n 和c h a u d h u r i 所使用的p s f 虽然较适用于轻 微图像的失真，但是他们是假设图像为a r ( a u t o r e g r e s s i v e ) 模型所产生，因 此计算出来的c r l b 与图像内容相关。 由许许多多的研究者投入散焦测距的研究看来，更加显示出这方面相关 研究的重要性。综合以上的文献探讨，可以发现即使在经过十多年的研究， 并且已有大量d f d 计算法被提出的情况下，目前的主要问题是d f d 精确度仍 然解决不好的问题。 1 2 3 散焦测距的发展趋势 我们认为散焦，对焦测距应该可以被整合成一个又准确又快速的视觉模 型。随着科学技术的不断进步，可以预期会有越来越多的电控镜头出现，从 而缩短在不同镜头设定下取得不同模糊程度图像的时间，因此我们可以利用 多一点的图像来提高三维估测的准确度，不再限制自己只能取两张图像作散 焦测距。如果我们可以事先知道最佳化的像机参数值，并且通过精密的校订 程序而得到图像的模糊程度与镜头位置之间的关系，因此就能知道需要哪几 张图像即可得到精确的最佳成像点，那就避免了类似聚焦测距模型中搜索整 个镜头设定空间来决定最佳成像点的问题。 4 哈尔滨工程大学硕士学位论文 1 3 课题的主要研究内容 本论文结合以往散焦测距的方法，针对散焦测距存在的一些问题进行深 入研究，并通过一系列的实验来比较各种方法的优劣，给出仿真结果。 本论文完成的主要工作有： 1 在p e n n a n d 的算法中，为了简化计算，把图像直角坐标系下的傅立叶 变换转化成极坐标下的傅立叶变换。通过仿真实验，探讨并证实了用模糊图 像恢复出物体深度信息的可行性。实验结果给出最大测垂误差为4 3 。 2 引入一种d y n a m i cr e f e f e n c i n gt e c h n i q u e 技术来对s u b b a r a o 的算法进行 改进，这种改进是通过高斯卷积的d u m m yb l u r r i n g 来实现的。改进后的算法计 算出的深度信息与物体表面的纹理无关。 3 利用矩保持原理，提出基于散焦图像边缘的深度估计，该方法不需计 算镜头的点扩散函数，通过测量景物图像边缘的模糊半径来估计摄像机镜头 到物体的距离。仿真结果证明了该方法有很好的实时性和有效性。 1 4 课题内容的具体安排 本论文的具体内容如下： 第1 章介绍课题研究的背景及意义，综述了国内外有关散焦测距研究的 方法，分析该领域存在的问题。 第2 章研究基于数字图像处理的散焦测距的基本理论与方法。介绍点光 源通过薄透镜的成像模型。通过对薄透镜系统的点扩散函数的分析可知镜头 系统等价于一个低通滤波器，散焦测距法估计物体深度或者进行图像恢复的 依据是点扩散函数及它所产生的模糊圆。接着给出系统所用远心镜头的介绍 及摄像机参数k 的标定。 第3 章是图像预处理。介绍了图像中噪声的来源及图像系统中常见的噪 声，并给出本课题中对噪声的处理办法。接着介绍图像的边缘检测，为以后 的散焦测距做前期的准备工作。 第4 章是本论文的重点。对三种散焦测距算法分别进行研究，改进，并 都进行系统仿真给出实验结果。 第5 章总结全文的研究内容，对课题的后续研究进行展望。 5 哈尔滨工程大学硕士学位论文 第2 章散焦测距的理论基础 图像的生成是因为物体上有难以记数的点光源，这些点光源散发出的光 线穿过像机镜头，落在图像平面上最后形成图像。为了知道这无数个点光源 的成像原理，就必须先知道一个点光源的成像情况，下面首先先讨论一个点 光源经由像机镜头的成像模型 1 7 】。 2 1 点光源成像模型 o i 8 一、 弋 u o l uo、。， v o f 图2 1 点光源的成像模型 图2 1 是点光源的成像示意图，l l 为点光源0 所发出的平行于透镜轴心 的光线穿过透镜后折向焦点的光线，l 2 为点光源穿过镜心的光线，l 1 和l 2 的相交点就是o 的最清晰成像点o | 。假设此透镜的焦距长度为f ，点光源距 离透镜中心u o ( 物距) ，最清晰成像点0 距离透镜中心为v o ( 像距) ，可以列 出透镜成像的关系式： 一i 十一i 1 ( 2 一1 ) “ov 0 f 在本论文中将像距v o ( 对应的点) 称为“最佳成像点”，若将图像传感器 放置在这个最佳成像点时可以得到最清晰的点光源图像。如果像机焦距长度 与最佳成像点v 。的位置都为已知，就可以算出想要得到的空间深度值u o ： “：_ 7 f - u( 2 2 ) “。v n f l z zj v n 一， 哈尔滨工程大学硕士学位论文 2 2 光源的分布函数 在2 1 节给出了一个点光源成像的方式，可是在实际的情形中即使不考 虑透镜的球面像差( s p h e r i c a la b e r r a t i o n ) 、色差( c h r o m a t i ca b e r r a t i o n ) 且在 最佳成像点的地方取像，所得的图像还是会有些许的模糊现象。在这一小节 里讨论影响图像模糊的因素。 1 光学转换函数( o t f ) ：般称一个较佳的光学系统指的是这个光学系 统有较高的分辨率，然而大多数的透镜都呈圆孔状，图像分辨率高低的主要 因素也就是因为圆孔绕射的现象。物体上两个距离相近的点光源o ，o ，散 发出的光线经过透镜，产生圆孔绕射的现象，投射在图像平面后形成o ：、o ： 两个绕射图像点，当o ，o ，的距离越接近( 频率越高) ，或透镜孔径越小时， o ；、o ：两个点的范围就会变大，进而产生重叠现象，这时已经不能分辨出 由透镜所产生的图像o ，o ，了。所以在分辨率允许的范围下才能够分辨出 相近的不同点光源。通常以角度吼来表示分辨率的高低： 岛= 1 2 2 ；三1 - ( 2 - 3 ) 其中五为光的波长，上为透镜的直径，由式( 2 - 3 ) 知道分辨率和光波的波长 成正比例关系，和光圈的大小成反比例关系。在分辨率的范围限制下，将点 光源经由圆孔绕射后的成像关系式( 光学转换函数) 在频率领域中以下式表 示： 脚加_ 意鼍嚣1 2 + 铲喙 ( 2 _ t ) 其中从空间域坐标转换成频域中的坐标以( 珥v ) 表示，f 为镜头的焦距，三 为镜头的直径，其数值由镜头生产商所提供的f - n u m b e r 计算而得： 扛老 5 ) 式( 2 - 4 ) 式中的y 表示成： y = 2 c o s 。( 五。“2 + v 2 ) ( 2 - 6 ) 2 图像传感器的效应( i m a g es e n s o r ) ：图像传感器最主要的功能就是将 光线穿过镜头后的成像光子转换成电子，以供储存、处理或是显示。现今最 常用的图像传感器是c c d ( c h a r g e c o u p l e dd e v i c e ) 。c c d 像素有面积，像素 的光线效果互相叠加，使得c c d 传感器的解晰度有限。取得的图像会有些许 的模糊情形。这个效应在频域中可以由下式描述： 7 哈尔滨工程大学硕士学位论文 s ( u , v ) ：敛s i n ( m o ，u ) 缈。s i n ( m o y v ) ( 2 - 7 ) 7 1 0 ) 一 。 r 其中( 坼v ) 表示在频域中的坐标，0 2 , ，、出。为c c d 照像机中每个图像点 的长和宽。 3 图像失焦( d e f o c u s i n g ) ：前面两点使图像模糊的因素都是来自于硬件 的设备，它们是即使在最佳成像点处取像，所得的图像仍有些许模糊的原因。 另一使图像模糊的原因是图像失焦，也称为图像散焦。图像散焦是指在取像 的过程中由于调整像机的参数值( e f f c t i v ef o c a ll e n g t h ) 如光圈，致使成像平 面的位置发生变化。这个散焦模糊函数在频域中可表示为： 一厂i i 曰v ，占皿) ：盘警一z 掣生竖二! 兰) ( 2 8 ) 8 d , 4 u 2 + v 2 疗 其中u , v 为频域中的坐标，占口代表变动后图像平面位置和最佳成像点之间 的距离，代表一阶b e s s e lf u n c t i o n 。 综合以上三点因素所形成的模糊函数就是影响光源分布的函数( p o i n t s p r e a df u n c t i o n 简称p s f ) ，即点光源在图像平面上成像函数式，可表示为： p s f ( “，v ，s ) = 0 ( t , 1 ，v ；l ，f ) s ( u ，访- 及 ，v ，8 d ) ( 2 9 ) 其中s 为模糊参数。而在传感器上成像可以表示成原始点光源像与p s f 函数 的卷积运算： ( x ，y ) = i o ( x ，_ y ) + p s f ( x ，y ，s ) ( 2 - 1 0 ) 其中，为图像传感器测量到的光源光强度，厶为物体发出的光强度。 图2 2 所示为光学转换函数及图像传感效应在频域所造成的图像光强度 的变化情况，图2 _ 2 上方的是光学转换函数式波形( 假设j n u m b e r 为5 6 ) 取 其垂直方向的对数后观察在- - 2 0 0 m m 。至2 0 0 m m 1 间的分布变化情况；图2 2 下方是图像传感效应的波形( 假设空间中点的长和宽都是l o - 2 m m ) ，同样也 是取其垂直方向的对数后观察一2 0 0 m m 。至2 0 0 m m 。问的分布变化情况。由 图可以看出图像传感效应影响图像模糊的程度比光学转换函数的影响要高。 图2 _ 3 是将图像平面摆放在距离最佳成像点不同位置时( 假设图像平面 摆放位置分别为距离最佳成像点0 1 m m 及o 5 m m ) ，点光源在图像中( 空间 域) 变模糊后展开的波形切面图。当图像平面摆放距离最佳成像点越近，则 光源成像越清晰，点光源发散的亮度及分布范围是一个细长的圆柱；反之， 当图像平面摆放距离最佳成像点越远，则光源成像越模糊，点光源发散的亮 度及分布范围是一个宽扁的圆柱。 图2 4 则是图2 3 在频率域的对应，可以看到在空间域中较宽扁的模糊函 数，在频率域中主要的波段变得较窄，可通过的高频信号有限；反之在空间 域中较细长的模糊函数，在频率域中的主要波段变的较宽，大多数的信号都 可以通过。当光学转换函数式，图像传感效应及图像失焦这三个在频率域中 哈尔滨工程大学硕士学位论文 似于高斯函数，而且在实际的环境下，因光线的路径长短不一，所以模糊圆 的亮度呈现中间最亮，而向外逐渐变暗。因此p e n t l a n d 以二维高斯分布函数 h ( r ，占) 来描述模糊圆的亮度变化情况【1 8 】，函数表示如式( 2 1 1 ) ，面其图像 如图2 5 所示。 1 一纽： h ( r ，5 卜三了e2 ，r 2 = x 2 + y 2 ( 2 - 1 1 ) 图2 2 光学转换函数式及图像传感效应在频率域的分布情况 m 圈2 3 不同图像失焦在空间域的分布情况 哈尔滨工程大学硕士学位论文 图2 4 不同图像失焦在频率域的分布情况 图2 5 二维高斯分布函数 其中高斯标准差占表示模糊圆的模糊参数，若d 越大表示该圆的模糊程度越 高，其模糊圆半径也就越大，因此若假设模糊圆半径d 与此高斯分布函数的 模糊参数巧成正比，则可表示为： d = k - 万( 2 1 2 ) 其中k 与摄像机镜头的透光率有关。若将图像的成像过程视为线性非时变的 过程，则模糊图像f ( x ，y ) 的每一个像素，可视为一幅清晰图像g ( x ，y ) 与高斯 分布函数h ( r ，j ) 作卷积的结果，即： f ( x ，y ) = g ( x ，y ) h ( r ，j ) ( 2 - 1 3 ) 哈尔滨工程大学硕士学位论文 2 3 散焦测距原理 如2 1 节，摄像机内部可以视为一薄透镜模型，如图2 6 所示 膏d = 卅 图2 6 薄透镜成像模型 根据光学中的透镜公式，图2 6 必须满足 三：土+ 上 ( 2 一1 4 ) f v 0“o 其中v 0 代表像距，砌代表物距，f 代表镜片的焦距。假如p n 的位置上有一点 光源，则由式( 2 - 1 4 ) 可得知其必成像于c c d 幕上之一点。若将点光源由p 移至e ，则由式( 2 - 1 4 ) 可得知，成像将无法会聚于c c d 幕，而将是成像在 c c d 的前面，其结果便是在c c d 幕上形成半径大4 、为l d 的模糊圆。 根据图2 6 的几何关系可得： t a n o = 二( 2 1 5 ) 其中r 为透镜半径。此外，图2 6 的p l 点也需要满足透镜的成像公式 上：三+ 三 ( 2 1 6 ) fv“ 结合式( 2 - 1 4 ) ，( 2 - 1 5 ) ，( 2 1 6 ) 可得： “5 鬲而f p v o ( 2 一1 7 ) ，一，( r + d ) 、7 定义镜头的光圈指数( j ：n u m b e r ) ，= ，则式( 2 1 7 ) 可以改写为： “2竖一，“no(2-g 1 8 a ) o - - f - - 2 a f “ u 。，则式( 2 1 7 ) 中的d 为正值；反之，若u u o ，则d 为负值。因此 l l 南 萨 哈尔浜工程大学硕士学位论文 ( 2 - 1 8 b ) 式求得。 由2 2 节知，d = k 占，若能由模糊图像中求出模糊参数占的大小则景深 信息可通过式( 2 - 1 9 ) 求得：即 i ，, i ， 舻i 了五v 0 厨( 2 - 1 9 ) 2 4 远心镜头的成像原理 在测量系统中，物距常发生变化，从而使像高发生变化，所以测得的物 体尺寸也发生变化，即产生了测量误差：另一方面，即使物距是固定的，也 会因为c c d 敏感表面不易精确调整在像平面上，同样也会产生测量误差。为 了解决上述问题，可以采用远心物镜。其中像方远心物镜可以消除物距变化 带来的测量误差，而物方远心物镜则可以消除c c d 位置不准带来的测量误 差。 n a y a r u ”o j 提出了一个简易的方法可将一般镜头转成远心镜头，远心镜 头的好处是当改变图像平面位置时，只会影响到图像清晰度而不会影响到其 它的几何成像关系。本课题中采用的镜头为远心镜头，下面介绍远心镜头的 成像原理。 2 4 1 物方远心光路 物方远心光路是指将孔径光阑放置在光学系统的像方焦平面上，图2 7 示出，当孔径光阑放在像方焦平面上时，即使物距发生改变，像距也发生改 变，但像高并没有发生改变，即测得的物体尺寸不会变化；图2 8 清楚地显 示出物方远心光路的原理，其中孔径光阑位于像方焦面上，物方主光线平行 于光轴。如果物体b i b 2 正确地位于与c c d 表面m 共轭的位置a ，上，那么 它在c c d 表面上的像为m l m 2 。如果由于物距改变，物体b l b 2 不在位置a l 而在位置a 2 ，那么它的像b i b 2 偏离c c d 表面，b7 1 和b 2 点在c c d 表面 上投影为一个弥散斑，其中心仍为m l 和m 2 点，按此投影像读出的长度仍为 m 2 m i 。这就是说，上述物距改变并不影响测量精度。 2 4 2 像方远心光路 像方远心光路是将孔径光阑放置在光学系统的物方焦平面上，而像方的 主光线平行于光轴。如图2 9 所示。如果物体b l b 2 的像b l b7 2 不与c c d 表面m 1 2 哈尔滨工程大学硕士学位论文 b j b 2 。因此，不管c c d 表面m 是否和b7 1 b 2 相重合。它和标尺所对应的长度 总是b i b 2 ，所以没有测量误差【2 1 】。 p 。i n to pl ”t q ) b )一 图2 7 孔径光阑在像方焦平面时像高不发生改变的示意图 图2 8 物方远心光路的成像原理 一 一口! ：叫 ， 、l 夕吓 一 一曰厂、- 图2 , 9 像方远心光路的成像原理 哈尔滨工程大学硕士学位论文 2 5 摄像机标定 散焦测距( d e p t hf r o md e f o c u s ，d f d ) 是非常重要的视觉模型。这种散焦 处理系统大致上可分为两个处理阶段，第一阶段是摄像机标定工作，第二阶 段是深度重建工作。本节主要介绍一下与摄像机透光率有关的参数k 的标定 方法。 2 5 1 标定的定义 摄像机是视觉系统获得物体三维原始信息的最直接来源，图像上每一点 的位置和空间物体表面相应点的几何位置有关。这些位置的相互关系，由摄 像机成像的几何模型决定，该几何模型的参数称为摄像机参数，确定这些摄 像机参数的实验与计算过程称为摄像机标定。摄像机标定是从二维图像获取 三维空间信息( 欧几里得空间) 的关键和必要步骤。 2 5 2 最小平方法标定参数k b l a c k i m a g ea td i s t a n c ed w h i t e 图2 1 0 标定的黑白图像 如图2 1 0 所示，把一幅黑白图像放在摄像机前面合适的位置上。在适当 的光照下，理想的摄影图像为 e o ( x ，y ) = h + e ，i fx x o e o ( x ，y ) = h ，i fx t h r e s h 2( 3 1 0 ) s o b e l 算子和p r e w i t t 算子的不同就在于使用的模板不一样： f l 一2 1 f l o 一1 s = 10 00l 是= i - 20 - 2 ( 3 1 1 ) l 一1 2 1 jl l0 一l j 如果在每个点的噪声都相同，用p r e w i t t 算子比较好；如果靠近边缘的噪声是 沿着边缘的2 倍，用s o b e l 算子比较好。也就是算子的好坏取决于图像噪声 的结构。 5 0 1 0 0 1 5 0 2 0 0 5 0 1 0 0 1 5 0 2 0 0 2 5 02 5 0 5 01 0 0 1 5 02 0 0 2 5 0 5 01 0 01 5 02 0 02 5 0 图3 4 米粒原图像图3 5 米粒s o b e l 算子处理后的结果 5 口 1 0 口 1 5 d 2 0 0 5 0 1 0 0 1 5 0 2 0 0 2 5 0 2 6 0 5 01 0 01 5 02 0 02 5 05 0 1 口01 5 02 叩2 5 0 图3 6 米粒原图像3 7 米粒p r e w i t t 算子处理后的结果 ( 3 ) k i r s c h 算子 k i r s c h 算子使用8 个模板来确定梯度和梯度的方向。假设原来的3 x 3 子 哈尔滨工程大学硕士学位论文 图像如下： a 3 a2 a 1 、 a 。( i j ) a 。i ( 3 1 2 ) l a ， a 。 a ，j 梯度的大小为： m ( i ，j ) = m a x 1 ，m a x 1 5 s , 一4 t k ：k = o ，l ，7 ( 3 1 3 ) 其中 = 吼+ 吼+ 1 + q + 2 ( 3 - 1 4 a ) t k = a k + 3 + a k + 4 + + 唧+ ， ( 3 - 1 4 b ) 上面的下标如果超过7 就用8 去除取余数。注意到k = o ，1 ，7 ，其实就 是使用了8 个模板 ( 4 ) h u e c k e t 算子 h u e c k e l 算子的基本思想是：( 以一维为例，假设图像是m ( x ，y ) ) 利用图 像数据拟和一个理想的边缘模型s ( x ) 。 小) = 。+ b h i f 矿x ： ( 3 _ 1 5 ) 如果这种拟和比较精确，在这个位置就应该存在一个与这个理想边缘有 相同参数的边缘。也就是说如果图像与s ( x ) 的平均平方误差e 低于阀值，它就 是边缘。 e = f 【肘( x ) 一s ( 功】2d x ( 3 1 6 ) 南二l 二维情况更复杂，拟合曲面定义为 巾= 6 + b h 0 。c 脚o s o 。帅+ y s i n s i n o 脚 0 ，如果良 t 就认 为是它边缘，否则就不是边缘。 ( 6 ) m a n 和h i l d r e t h 的零交叉算子 前面都是利用边缘处的梯度取得最大值( 正的或者负的) ，也就是灰度图 像的拐点位置是边缘。在拐点位置二阶导数是0 ，如图3 9 所示： 哈尔滨工程大学硕士学位论文 o x 图3 9 阶梯边缘，局部极值与零交叉算子 所以可以通过寻找二阶导数的零交叉点来寻找边缘。二元函数f ( x ，y ) 的 l a p l a c i a n 变换定义为： v 2 厂_ ( 嘉畴小掣+ 掣z s ， 它是二阶偏导数的和。 和前面的梯度算子一样，在给定的噪声假设下选择一个模板，然后利用 模板进行卷积求离散l a p l a c i a n 变换，再通过寻找零交叉点来寻找边缘点。 最常用的模板是 f 0 1 0 1f 1 1 1 = 11 4 1 上= 二i1 8 1 ( 3 2 4 ) l o ，o j3 l - 1i j 显然，既然一阶导数对噪声敏感；那么二阶导数对噪声就会更敏感。所以在 做l 变换之前必需做平滑处理。 又因