（精密仪器及机械专业论文）基于双目立体视觉的物体三维形貌数字化测量.pdf

当壅整蕉盔堂亟堂位论文 摘要 摘要 随着现代工业的发展、产品多样化的出现以及人们生活水平的提高，过去传统的测 量内容和测量方式已经不能满足需要，物体的外形及外形数据的获取成为人们在测量领 域一个新的重要的研究方向。特别是不规则的自由曲面、形体的三维测量，如模具外形、 涡轮设计、发动机外壳、汽车外形等，如何快速、高精度地获取物体三维表谣数据成为 现代工业发展中一个亟待解决的难题。 论文根据现代测量技术的发展，针对3 d 轮廓测量技术的需求和应用，对3 d 轮廓 接触式测量技术和多种非接触式测量技术进行了比较和分析。双目立体视觉测量系统具 有速度快、精度高、非接触、非破坏性、操作简单、成本低等诸多优点。针对应用的需 要，分析比较了各种摄像机标定方法，提出了经过改进的张氏摄像机标定方法和一种精 确检测摄像机定标模板角点的新方法，建立了统一标定数学模型；分析比较了各种特征 点提取算子和立体匹配方法，采用有效的特征点提取算子和基于极线约束的立体匹配技 术，实现对物体三维形貌数字化测量。其内容既有方法上的也有理论上的，既有实验性 的也有工程应用上的问题，它涉及到坐标测量技术、计算机技术、图像处理技术和矩阵 理论等多学科领域。论文从理论上和实践上对双目立体视觉测量技术进行了深入细致的 研究与探讨，完成了部分实验论证工作。 关键词：双目立体视觉三维重建摄像机标定特征点立体匹配h a r r i s 角点 山东科技大学硕士学位论文 摘要 a b s t r a c t w i t ht h ed e v e l o p m e n to fm o d e mi n d u s t r y , t h ea p p e a r a n c e so fd i v e r s i f i e dp r o d u c t sa n d i m p r o v e m e n to fp e o p l e sl i v i n gs t a n d a r d ，t h et r a d i t i o n a lm e a s u r e m e n tc o n t e n ta n d m e t h o dc a n l t a l r e a d ym e e tt h ed e m a n d ，t h eo u t l i n ea n do u t l i n ed a t ao fo b j c c ti sb e c o m i n gan e wa n d i m p o r t a n tr e s e a r c hd i r e c t i o ni nt h em e a s u r e m e mf i e l d ，e s p e c i a l l yt h e3 dm e a s u r e m e n to f i r r e g u l a rf r e e d o mc u r v e ds u r f a c ea n ds h a p e ，f o ri n s t a n c e ，a p p e a r a n c eo ft h em o u l d ，t u r b i n e d e s i g n ，e n g i n eo u t e rc o v e r , a u t o m o b i l ea p p e a r a n c e ，e t c h o wf a s ta n dh i i g ha c c u r a t e l yt oo b t a i n t h eo b j e c t3 ds u r f a c ed a t ab e c o m e sad i f f i c u l tp r o b l e mt ob eu r g e n t l ys o l v e di nm o d e m i n d u s t r i a ld e v e l o p m e n t t h ed i s s e r t a t i o ni n t r o d u c e st h ed e m a n d sa n da p p l i c a t i o nd o m a i n so ft h r e e - d i m e n s i o n a l c o n t o u rm e a s u r e m e n tt e c h n o l o g y ,a n dg i v e sa n a l y s i sa n dc o m p a r i s o no fc o n t a c ta n d n o n c o n t a c t3 dm e a s u r e m e mt e c h n o l o g i e s i th a dm a n ya d v a n t a g e sf o rb i n o c u l a rv i s i o n s y s t e m ss u c ha sh i g hs p e e d ，h i g hp r e c i s i o n ，n o n - c o n t a c t , n o n d e s t r u c t i o n ，s i m p l eo p e r a t i o n a n dl o wc o s t t om e e tt h en e e do fa p p l i c a t i o n , z h a n g sf l e x i b l en e wm e t h o dt oc a l i b r a t et h e c a m e r ai si m p r o v e d ，a n dan e wa n da c c u r a t em e t h o df o rc a m e r ac a l i b r a t i o np l a n e sc o m e r s d e t e c t i o ni sp r o p o s e d ，a n du n i f o r mc a l i b r a t i o nm a t h e m a t i c sm o d e li se s t a b l i s h e d ；v a r i o u s f e a t u r ep o i n t sd e t e c t o r sa r ec o m p a r e da n de v e n t u a l l yt h e3 dd i g i t a lm e a s u r e m e mo fo b j e c t si s r e a l i z e dw i t ht h ee f f e c td e t e c t o ra n ds t e r e om a t c h i n gt e c h n o l o g yb a s e do ne p i p o l a rc o n s t r a i n t t h ed i s s e r t a t i o nd e a l sw i 也s o m ep r o b l e m st h a ta r et h e o r ya sw e l la sm e t h o d s p r o j e c t a p p l i c a t i o na sw e l l 嬲e x p e r i m e n t s a n di ti n v o l v e ss u c hm u l t i - d i s c i p l m a r yf i e l d sa sc o o r d i n a t e s m e a s u r e m e n tt e c h n o l o g y , c o m p u t e rt e c h n o l o g y , i m a g ep r o c e s s i n gt e c h n o l o g ya n dm a t r i x t h e o r y , e t c b o t ht h e o r e t i c a la n dp r a c t i c a lr e s e a r c h e sa n dd i s c u s s i o n sw e r et a k e n ，a n ds o m e p a r t so f t h ee x p e r i m e n t a lv a l i d a t i o nw e r ef i n i s h e d k e y w o r d s ：b i n o c u l a rs t e r e ov i s i o n , c a m e r ac a l i b r a t i o n ，f e a t u r ep o i n t s ，s t e r e om a t c h i n g ，h a r r i s c o m e r 山东科技大学硕f 学位论文 绪论 1 绪论 1 1 概述 自然界的物体都是三维的，人类是通过两眼分别同时获取物体的二维图像，然后经 过大脑的处理，而得到物体的三维立体信息。但一般的摄影系统只能把三维的物体以二 维的形式保存、记录下来，同时丢掉大量的信息。计算机立体视觉指的就是运用计算机 技术和光学手段在获取的一幅或多幅图像中还原出被摄物体的立体形状，获得三维数据 值。 计算机立体视觉技术是目前三维测量技术的重要组成之一，与传统测量方法相比具 有许多优点：成本低；非破坏性；检测速度快；测量精度高；数据处理易于自动化等。 这些优点使得计算机立体视觉技术在机器人视觉、医学整形和美容、工业产品的外观设 计、三维轮廓测量、艺术雕塑、建筑等领域有着广泛的应用前景，所以它是当今国际上 的热门课题之一。美国、曰本、德国、加拿大等发达国家早在6 0 年代末就开始投入大爨 资金进行这方面的研究，且提出了许多新的测量原理和方法。我国在近几年也开始有 些研究成果。 本课题是山东省科技发展计划项目“面向批量( m c ) 定制的快速制造集成系统” 的主要内容，旨在研制一套基于非接触三维图像检测与重构技术的快速建模系统，该系 统能够满足批量定制生产中快速制造建模技术【3 7 1 的要求，最大限度地提高制造的 快速响应性。 1 2 物体三维形魏测纛方法口0 2 1 综述 按照传统分类方法，三维钡9 量系统可分为接触式与非接触式两大类。 1 2 。1 接触式测量 1 坐标测量机”3 1 坐标测量机( c m m ，c o o r d i n a t em e a s u r i n gm a c h i n e ) 作为一种精密的几何量测量手 段，在工业中得到广泛应用。其特点是测量精度高，对被测物体的材质和色泽无特殊要 e f f 乐科技大学硕j 学位论文 绪论 求，对不具有复杂内部型腔、特征几何尺寸多，只有少量特征曲面的零件，c 删是一种 非常有效可靠的三维数字化手段。但是三坐标测量机价格昂贵，对使用环境要求商，测 量速度慢，测量数据密度低，同时测量过程需要人工干预，还需要对测量结果进行探头 损伤及探头半径补偿，这些不足限制了它在快速3 d 数据测量领域中的应用。 2 层析法 层析法是近年来发展的一种逆向工程技术，将研究的零件原形填充后，采用逐层铣 削和逐层光扫描相结合的方法获取零件原形不同位置截面的内外轮廓数据，并将其组合 起来获得零件的三维数据。层析法的优点在于任意形状，任意结构零件的内外轮廓进行 测量，但测量方式是破坏性的。 1 2 2 非接触式测量 非接触测量具有测量速度快、测量效率高、易于自动化和柔性好等优点而被广泛应 用。 1 莫尔条纹法1 自m e a d o w s 等1 9 7 0 年提出莫尔轮廓法以来，在此基础上提出了影像莫尔法、投影莫 尔法、扫描莫尔法，以及这些方法的改进方法，使莫尔等高线三维测量技术不同程度地 达到实用化程度。 影像莫尔法：原理如图1 1 所示，光源照射到鬣于被测物体上的主光栅，其影像投 在物体上，物体上e 与光栅上c 点的高度差w 为 w = x p t a n ( a 1 + t a n ( z ) ( 1 1 ) 式中为莫尔条纹的阶；如a d 包含m 条宽度为p 的线对，a b 包含n 条，则n = 肼一”。 影像莫尔法特点是原理简单，精度高，但由予制造面积较大的光栅很困难，故该方法只 适用于小物体的测量。 图1 1 影像莫尔法原理图 f i g1 1p r i n c i p l ef i g u r eo fs h a d o wm o i r e 投影莫尔法：这种方法是将光栅投射到被测物体上，然后在观察侧用第二个光栅观 2 山东科技大学硕士学位论文绪睑 察物体表面的变形光栅像，这样就得到莫尔条纹。分析莫尔条纹就可以得到物体的深度 信息。该方法的特点是适合于测量较大的物体。 扫描莫尔法：其投影侧与投影莫尔法相同，但在观察侧不用光栅来形成莫尔条纹， 而是用电子扫描光栅和变形像迭加生成莫尔等高线。它的优点是利用现代电子技术，可 以很方便地改变扫描光栅栅距、位相等，生成不同位相的莫尔等高线条纹图像，便于实 现计算机自动处理。其缺点是需要扫描机构，数据获取速度低、稳定性较差、对噪声敏 感。 2 干涉测量法 干涉测量法是利用光的干涉原理对物体进行测量的，它的基本思想是通过改变与被 测物体形状光学位相相关的灵敏度矩阵形成干涉条纹。随着激光技术的发展，出现了双 光束干涉、多光束干涉、外差干涉、全息等多种方法。传统的干涉测量法的特点是测量 精度高，达到n m 级，但测量尺寸范围小，对环境要求苛刻。而近期的研究表明双频外 差f 涉测量在1 0 0 州范围内可以获得0 1m m 的分辨率，并出现了受机械干扰很小的 s r o g r a p h y 法和锥光镜全息法。 3 飞行时间法 测量系统发射光脉冲至待测物面，经其反射而被传感器接收。通过测量光脉冲的匕 行时间，根据光速即可计算出其飞行距离。通过光信号束对整个形面的扫描，可得到三 维形貌信息。飞行时间法的分辨率较低，一般以毫米计，适合于较大距离的测量。为了 提高测距精度，必须提高测距系统的工作频率，乃至采用原子物理仪器中的精密测量仪。 若采用亚微微秒( s u b p i c o s e c o n d ) 激光脉冲，则可实现亚毫米( s u b m i i i i m e t e r ) 分辨 率。 4 几何光学聚焦法 对薄透镜来说，已知焦距和像距即可求得物距。在焦距是可调的情况下，焦距存变 化过程中，图像的某一部分处于最清晰位置，就可以很容易计算出这部分的距离( 物距) 。 这种方法要求使焦距连续变化，因此需要昂贵、复杂的硬件，同时处理速度也很慢，因 为在每个焦距位置都需要获取图像并对图像的各部分都进行分析。 5 结构光法“ 与莫尔形貌术相比，结构光技术是一种应用较为灵活的主动式三角测量技术。其原 理是以结构化光源如光点、光带等，对待测物面进行逐点或逐行扫描，以固态图像传感 器记录其在物面上的位移或变形，通过计算得到物面的三维形貌信息。为提高测量速度， 3 山东科技大学颈上学位论文 绪论 亦日j 采用全场方式的结构光源，但必颓对其进行编码。编码方式包括颜色编码、二进制 编蚂、位相编码等。全场方式结构光技术中，若只依靠单桢图像恢复面形，会使测量的 分辨率有所降低。采用位相编码并结合相移技术，可克服此缺点，并使测量的分辨率获 得很人的提高。 6 摄影测量术 属于被动式技术的摄影测量术，是机器视觉领域经常采用的技术之一”“。其中，立 体视觉技术( s t e r e ov i s i o n ) ，采用两台或多台摄像机纪录被测场景，根据其问的视差 恢复三维面形。同样是基于三角测量原理，与主动式方法如结构光技术相比较，一方面， 立体视觉技术中存在的不适定性和计算复杂性会限聿其使用；另一方面，立体视觉技术 列于材质颜色等物面性质及背景光强等环境冈索要求较低。同时，对于超大型三维形体 如建筑物等的测量，立体视觉技术也有其无可替代的优势。其他从纹理、明暗、光度立 体等恢复面形的技术( s h a p ef r o mx ) 中，隐含了三角测量原理。这些面形恢复技术的缺 点是：需要关于物面、光照等因素的先验知识，并且精度较低。 1 3 论文采用的测量控术 本课题主要通过图像作为输入，对场景中的目标物体进行测量，获得场景中物体的 深度信息，实现场景中物体表面的三维重建。所采用的测量技术是摄影测量中的双岿立 体视觉法，即用两个摄像机对物体从两个不同角度获取两幅图像，如同人的蹲个眼睛一一 枵。计算机通过对一个物点在两幅图像上不同的位置进行处理，得到物体的赢体信息。 该方法类似于人眼的体视功能，原理直观。 131 双目立体视觉原理： 用立体视觉方j 去进行三维重建，是指由两幅或多幅二二维图像恢复物体的三维几何形 状的方法。如图l2 ，对于空间物体表面任意点p ，如果用c i 摄像机观察，看到它的c 摄像机的图像点位于c ，但我们无法由只得知p 的三维位置。但是，如果我们用g 和c ， 两个摄像机同时观察p 点，并且如果我们能确定，在g 摄像机图像上的点只与在( 1 ：摄 像机图像上的点只是空间同一点p 的图像点，那么p 点的三维位置就唯一确定了。冈为 像机图像上的点b 是空间同一点p 的图像点，那么p 点的三维位置就唯一确定了。因为 4 山东科技人学硕士学位论文绪论 空蚓点p 即位于0 。e 上，又位于0 ：b 上，因此尸点是d l 鼻与。2 两条直线的交点，即它 的三维位置是唯一确定的。以上所述，就是立体视觉的基本原理。 p ，、 ，、 ，、 ， 、 ， 、 ，、 。艇鲟。： 图1 2 用双摄像机观察空间点 f i g l ，2o b s e r v et h ew o r l dp o i n t sw i t ht w oc a m e m s 1 3 2 测量设计流程及实施步骤 设计流程( 如图1 3 ) 图1 3 三维重建流程图 f i g1 3f l o wc h a r to f 3 dr e c o n s t r u c t i o n 实旌步骤： 个完整的立体视觉系统可以划分为六个模块“：图像获取、摄像机定标、特征提 取、立体匹配、3 一d 信息恢复及后处理。或者说为完成立体视觉任务需要进行六项工作。 1 图像获取 本课题是采用两幅图像作为输入，其目的是要完成物体表面1 8 0 。的重建。计算机 型查型垫查兰堡主堂堡堡塞 堕堡 视觉测量的工作对象是图像。图像采集由图像采集系统完成，它包括三个基本单元，即 成像系统、采样系统和量化器。其具体的实现过程如图1 4 所示。 盥线 图1 4 图像采集过程 f i 9 1 4p r o c e s so ft m a g ec o l l e c t i o n 2 摄像机标定 在三维视觉系统中，三维物体的位置、形状等几何信息是从摄像机获取的图像信息 中得到的。为了获取空间点到摄像机图像像素点的对应关系，摄像机的标定必不可少。 摄像机标定就是获得摄像机内部几何和光学特性，即内部参数，以及摄像机在世界 坐标系中的位置和方向，即外部参数。建立适当的数学模型，得到三维世界坐标与二维 计算机坐标之间的关系，可以快速计算摄像机的内外部参数的精确值。 3 。特征提取 特征提取是为了得到匹配赖以进行的图像特征，由于目前尚没有一种普遍适用的理 论可运用于图像特征的提取，从而导致了立体视觉研究中匹配特征的多样性。目前，常 用的匹配特征主要有点状特征、线状特征和区域特征等。一般来讲，大尺度特征含有较 丰富的图像信息，在图像中的数目较少，易于得到快速的匹配，但它们的定位精度差， 特征提取与描述困难。而小尺度特征数目较多，其所含信息较少，因雨在匹配时需要较 强的约束准则和匹配策略，以克服歧义匹配和提高运算效率。良好的匹配特征应具有可 区分性、不变性、稳定性、唯一性以及有效解决歧义匹配的能力。 4 立体匹配 在立体视觉测量中，为了求得物体在两台摄像机的投影平面上的位置变化，将一幅 图像中的一组结构作辨别，对另一幅图像作搜索，这种估计和分析的方法称为匹配技术。 图像匹配的方法很多，如金字塔法、外极约束法及相关法等。同时，一些基于处理器硬 6 型查型垫查堂堡主堂生堡苎 堡篓 件结构函数库的开发大大提高了其运算速度，促进了它在更广领域的应用。 5 3 d 信息恢复 当通过立体匹配得到视差图像后，便可以确定深度图像，并恢复场景3 d 信息。 6 后处理 经过以上各个步骤所得到的3 d 信息常因各种原因而不完整或存在一定的误差，需要 进一步的后处理。常用的后处理主要有三类：深度插值、误差校正和精度改善。 1 4 论文的主要研究工作及关键技术 1 4 1 论文主要研究的内容 l 、针对3 d 外形轮廓测量技术的需求和应用，对3 d 轮廓接触式测量技术和多种非 接触式测量技术进行了比较。 2 、采用了经过改进的张氏摄像机标定方法 t l ，提出了一种精确检测摄像机定标模板 角点的新方法，并建立了统一标定数学模型。通过实验分析验证了该方法的简单、快速 及精度较高，适用于传感器的现场标定。 3 、特征匹配：分析比较了各种特征点提取算子，采用h a r r i s 算子”：进行快速提取 角点；分析比较了各种立体匹配方法，利用灰度相关和极线约束实现图像特征点的匹配。 4 、采用立体视觉法，实现物体的离散点的三维重建。 1 4 ，2 论文解决的关键技术 l 、采用了经过改进的张氏摄像机标定方法，提出了一种精确检测摄像机定标模板角 点的新方法，并建立了统一标定数学模型。 2 、采用h a r r i s 算子进行快速提取角点；利用灰度相关和极线约束实现图像特征点 的匹配。 1 4 3 论文的结构安排 论文共由5 章组成，各章内容及组织结构如下： 第一章主要介绍了各种物体三维形貌溅量方法，本论文采用的测量技术及论文的差 要研究工作和关键技术： 7 i “乐科技大学硕士学位论文绪论 第二章建立了单摄像机成像的非线性模型及分析其求解方法，双目立体视觉系统定 标模型及分析其求解方法； 第三章分析比较了各种角点提取算予，采用了h a r r js 算予提取图像特征点，基于 叛发相关和极线约束实现图像特征点的匹配； 第四章在前面介绍的双目视觉摄像机标定和立体匹配的理论基础上，用m a t l a b 6 5 仿真实现物体的三维形貌数字化测量； 第五章总结了全文的研究工作，对该课题的进一步完善和研究方向进行了探讨。 山东科技大学硕士学位论文 双目立体视觉成像模型及摄像机标定 2 双目立体视觉成像模型及摄像机标定 双目立体视觉系统的任务就是从摄像机捕获的二维图像信息出发来计算三维空间中 物体的几何信息，并由此重建物体。空间物体表面某点的三维几何位置与其在图像中对 应点之间的相互关系是由摄像机成像的几何模型决定的。这些几何模型参数就是摄像机 参数，一般应通过摄像机标定计算得到。摄像机标定包括确定摄像机内部几何和光学特 性( 内部参数) 以及确定摄像机在一个世界坐标系中的三维位置和方向( 外部参数) 。本 章首先说明摄像机成像涉及到不同坐标系统之间的变换关系，建立摄像机的非线性模型， 然后介绍各种摄像机标定方法及本论文采用的改进方法。 2 1 单摄像机成像横型“列 摄像机成像涉及到不同坐标系统之间的变换。考虑到图像采集最终结果是要得到计 算机里的数字图像，在对3 一d 空间景物成像时涉及到的坐标系统主要有： ( 1 ) 世界坐标系统：也称真实或现实世界坐标系统x 。，匕，z 。，它是客观世界 的绝对坐标。一般的3 一d 场景都是用这个坐标系统来表示的。 ( 2 ) 摄像机坐标系统：以摄像机为中心制定的坐标系统t ，e ，z 。，一般常取摄 像机的光学轴为z c 轴。 ( 3 ) 像平面坐标系统：在摄像机内所形成的像平面坐标系统x ，y 。一般常取像平 面与摄像机坐标系统x 。t 平面平行，且z 轴与x 。轴、y 轴与t 轴分别重合，这样像平 面原点就在摄像机光轴上。 ( 4 ) 计算机图像坐标系统：在计算机内部数字图像所用的坐标系统u ，v 。数字图 像最终由计算机内的存储器存放，所以要将像平面的投影坐标转换到计算机图像坐标系 统中。 另外，齐次坐标“”是计算机视觉和计算机图形学中的一个十分有用的工具，利用它 可以统一完美地表达许多重要的几何变换。齐次坐标含有冗余信息：笛卡尔n 维空间中 的一点可以用齐次0 + 1 ) 空问中的一条直线表示。因而，对于一个笛卡尔空间的物理坐 9 山东科技大学硕士学位论文双目立体视觉成像模型及摄像机标定 标点，在齐次坐标系中不存在唯一的表示。例如，3 一d 空间中的物体点( x ，弘= ) 7 的齐次坐 标是一- i - 4 x 1 维矢量( 膏，k ，k ：，女) ，这里_ j 是一个非零的任意常数。而为了将一个用n 1 维矢量表示的点从齐次坐标表示变换到0 一1 ) 维的物理坐标，需要将全部分量除以第 t 个元素，然后消去第h 个分量，这样形成一个新的 - 1 ) 维矢量。同样，将2 1 物理矢 量维数增加一个比例系数，同时将物体的图像点坐标乘以这个非零系数，这样也可以， = j 齐次坐标来表示一个图像点。 摄像机成像为透镜成像原理，见图2 1 ，其中”为物距，为透镜焦距，v 为像距。 i 者满足下列关系： ! ：三+ _ 1 ( 2 1 ) 圈2 1 透镜成像模型 f i g2 1i m a g em o d e lb yt e n s 因为在一般情况下有h 厂，由式( 2 1 ) 得v m f 。所以实用中可以小孔成像模型 “2 l 米代替透镜成像模型。小孔摄像机成像模型满足严格豹透视变换关系，其基本变换计 算式是线性关系，可以直接采用解线性方程组的方法来求懈。但是由于实际的摄像机成 像原理并不是理想化的小孔成像，此外，摄像桃还存在有制造和装配误差，因此，实际 成像与理想的d q l 成像之间存在差异，这些差异称为畸变。摄像机镜头的畸变主要有径 向畸变和切向畸变两种，其中径向畸变起主要影响。 考虑到畸变的影响，从三维物体到数字图像的成像变换可看作由以下4 步组成( 见 圈2 2 ) ： 1 0 山东科技大学硕士学位论文 双目立体视觉成像模型及摄像机标定 区 叫乎口) 口 图2 2 从客观场景到数字图像的成像变换步骤 f i g2 2t r a n s f o r m i n gs t e p sf r o mt h es c e n e t od i g i t a li m a g e ( 1 ) 从世界坐标( x 。，r w ，z 。) 到摄像机3 一d 坐标( t ，i ，z ，) 的变换( 参考图 23 ) 。考虑物体的刚性，则变换可表示为： 阱巨 x ： ，r 。 乏 l = 瞄 + r ：丁莩 ( 2 2 ) ( 2 3 ) 月= i i i i a ， 丁= 阢0t r ( 2 5 ) 图2 3 坐标系及成像几何关系 f i g2 3c o o r d i n a t es y s t e ma n di m a g i n gg e o m e t r yr e l a t i o n l l 东科技大学硕士学位论文职目立体视觉成像模型及摄像机标定 ( 2 ) 从摄像机3 - d 坐标( x 。，t ，z 。) 到无失真像平面坐标( 五y ) 的变换是： 用齐次坐标表示为： 。：，墨 。z v ：r 量 。 。z z 黜y = 0f 摊0 式中：，为有效焦距，即成像平面到摄像机中心的距离。 ( 2 6 ) ( 2 7 ) ( 2 。8 ) ( 3 ) 从无失真的像平面坐标( 五y ) 到受镜头径向失真和切向失真影响而偏移的实 际像平面坐标( x 。，y ) 的变换“是： 径向畸变是关于摄像机镜头主光轴对称的，其数学模型为 露= x 。( 岛- p 2 + 七2 p 4 + 也p 6 ) ， ( 2 9 ) 哦，= y r ( 3 7 ) 式中，磊是核在二维图像中的位置，；模板内除核之外的一个点的位鼍，( ，0 p ) 为模 板中核的亮度值，( ；) 点的亮度，f 亮度差的闽值，c 亮度比较的结果。公式( 3 7 ) 的 更稳定可靠形式为 pp r l i r ) - l ( t o ) ) 6 c ( r ，r o ) = e 。 ( 3 8 ) 模板内所有点( 共一个) 与核亮度比较的和为： n ( i ) = c ( ；，：) ( 3 9 ) ； 然后栉与一个给定阈值g ( 称为几何阙债) 比较，得到图像的边缘响应 r ( 蠢) = j g i 口口 n ( r 。o ) ，如果n ( 五) 同时w l 时，该 像元为待选点。 ( 5 ) 选取极值点，以权值w 为依据在适当窗口中选择w 最大的待选点而去掉其余的 点。 ( 6 ) 利用法方程解出角点的准确位置，公式表示如下： 慝g ，爱e l y 小陵g 肼y x 麓：习 z 。， l g ，g ；j 。jl g ，+ g ；y j 其中，( j ，y ) 为窗e 1 中像元坐标。( x o ，蜘) 表示窗口内角点的精确定位坐标， g ：、g ，分别表示原图像在x 和y 方向的梯度图a 性能分析 精度高且运算速度快，但计算方法复杂。可以先用简单算法提取初选点，然后使用 f o r s t n e r 算在初选点周围的小窗口内计算兴趣值，选择备选点，最后提取极值点作为特 3 2 立体匹配 立体成像系统的一个不言而喻的假设是能够找到立体图像对中的共轭对，即能够求 解对应问题。然而，对于实际的立体图像对，求解对应问题极富有挑战性，可以说是立 体视觉最困难的一步。为了求解对应，人们已经建立了许多约束来减少对应点误匹配， 3 5 ，国。 m 一m 一 c ， 山东科技大学硕士学位论文 图像目标的特征提取与立体匹配 并采用各种匹配方法来最终得到正确的对应。下面我们特讨论几个最基本的约束和匹配 方法。 3 2 1 匹配应满足的约束条件1 1 外极线约束 对于两幅从不同角度获取的同一场景的图像来说，传统的特征点搜索方法是首先在 一幅图像上选择一个特征点，然后在第二幅图像上搜索对应的特征点。显然，这是一个 二维搜索问题。根据透视投影成像几何原理，一幅图像上的特征点一定位于另一幅图像 上对应的外极线上。因此，只要求得外极线，则在外极线上而不是在二维图像平面上求 解对应问题，这是一个一维搜索问题。如果已知目标与摄像机之间的距离在某一区间内， 图3 1 空间某一距离区间内的一条直线段对应外极线上的一个有限区间 f i g3 1f i n i t ea r e ai nt h ee p i p o l a rp r o j e c t e db yo n ef i n i t el e n g t hb e e l i n ei nt h ew o r l d 3 6 坐奎型苎查兰堡主堂垡丝苎 里堡! 堡塑矍堡丝坚量皇竺堕墼 则搜索范围可以限制在外极线上的一个很小区间内。如图3 1 所示。所以，利用外极线 约束可以大大地缩小寻找对应点的搜索空间，这样既可以提高特征点搜索速度，也可以 减少误匹配点的数量( 范围越小，包含误匹配点的可能性越小) 。由于摄像机位置及其方 向的测量误差和不确定性，匹配点可能不会准确地出现在图像平面中对应的外极线上| ； 在这种情况下，有必要在外极线的一个小邻域内进行搜索。 2 顺序一致性约束 两幅图像中同一极线上的对应匹配点的顺序是一致的，一般不能出现图像特征序列 和空间坐标序列交叉的现象。 3 唯一性约束 一般情况下，一幅图像( 左或右) 上每一个特征点只能与另一幅图像上的唯个特征 对应。 4 连续性约束 物体表面一般都是光滑的，因此物体表面上各点在图像上的投影也是连续的。它们 的视差也是连续的。比如，物体上非常接近的两点，其视差也十分接近，因为其深度值 不会相差很大。在物体边界处，连续性约束不能成立，比如，在边界处两侧的两个点， 其视差十分接近，但深度值相差很大。 5 视差范围约束 这起源于心理物理实验，它表明人类视觉系统只能融合视差比某个限度小的立体图 像。在人工的方法中，该约束限制了寻找对应点时的搜索长度。 3 2 2 对极几何和基础矩阵 前面提到，同一世界坐标系下的同一物体的图像间存在一种几何上的对极约束关系。 在立体视觉中，可以利用图像点的匹配来恢复这种几何关系，反过来，可以利用这种几 何关系来约束匹配，使得对应点的搜索范围由二维平面降低到对应一维极线，使得匹配 的鲁棒性、精度都得到很大提高。 对极几何关系在数学上可以用基础矩阵，来表示，因此，对极几何问题就转化为对 基础矩阵f 的估计问题。精确地计算f 对于标定、寻找精确匹配和三维重建都有重要意 义。 3 2 2 1 对极几何 3 7 山东科技大学硕士学位论文图像目标的特征提取与立体匹配 两图像间的对极几何关系如图3 2 所示。c 。，c 2 分别为摄像机在不同视点的光心位 霄，c 。在第一个像平面，。上的投影为e ，c 。在第二个像平面，：上的投影为e ，e 、称 为极点，像平面，( ，：) 上通过点“) 的直线称为极线。 对极几何约束的表述如下：像平面，。上任一点m ，它在像平面，：上的匹葺己点m ：必 位于二极线，t ：类似的，2 像平面上任。点m ：，它在像平面，。上的匹配点m 。必位于极线 ，j ：。 削3 2 光轴不平行的立体视觉 f i g3 2s t e r e ow i t hn o n - p a r a l l e li t x e s 3 2 2 2 基础矩阵m ” 根据第二章式( 2 2 2 ) ，使用原点在左摄像机中心的坐标系，可将两个摄像机的投影 方程写成如下形式： s 。扁，= k ，【，o 憎 ( 3 2 1 ) j ：痢：= k ：忸啦 ( 3 2 2 ) 其中，扁，= 【“，u1 7 ( f = 1 ，2 ) ，为图像坐标系下理想的左右图像坐标； 麝= i x 。r wz 。1 】7 ，为世界坐标系统中目标点3 - d 坐标的齐次坐标形式。 、： j c 山乐科技大学硕士学位论文 图像目标的特征提取与立体匹配 将庸：i x 。y wz 。1 7 记做露= m 71 r ，其中m = 陋。lz 。】7 ，则上两式可展开为 将j 二两式消去m 得 5 1 痢】= k 1 1 m 3 2 而2 = k 2 r m + k 2 丁 s 2 而2 一s t k 2 r ( k l d l 而l = k 2 t ( 3 ，2 3 ) ( 3 2 4 ) ( 3 2 5 ) 由于上式中两边是三维向量，包含了3 个等式，利用这3 个等式消去置和s ：后，就 而；i 7 r l r x , - 1 扁，= 0 ( 3 ，2 6 ) 上式就是极线约束，其中，口】。是3 3 的反对称矩阵，p l c = it 00 一瓦l 。该 t乃l 卜弓t 0 ，= k y p 】麒i 1 ( 3 2 7 ) 而e = p 】x r 称为本质矩阵。 而；确。= 0 ( 3 2 8 ) f h i 。是相应于，的极线；f 7 扁：是相应于州：的极线。 八点法原理如下：对于两幅图像之间的匹配点埘，、m ：，它们必然满足对极约束 m ，r f m = 0 ，该方程是关于f 的9 个未知参数的线性齐次方程，由于，在相差一个常数 山东科技 学硕士学位论文图像目标的特征提取与立体匹配 没码= l v i f ，m ：= i l r 分别是两图像中对应像点的归一化坐标，f 为基 础矩阵，则有7 f m ，= 0 ，令f = 茎墨至1 ，将f 写成由各元素组成的列矢量形式， 础矩阵，则有聊：7 ，= ，令f = l 工兀兀f ，将f 写成由各元素组成的列矢量形式， i f 即，= 阢 六五兀兀办 r ，则对每一对匹配点( m ，m ：) ，有 咖“v w v t “v1 】，= 0 ( 3 2 9 ) 则可以利用最小二乘法求解。将h0 8 ) 个这样的方程叠起来得到线性方程组 “i “。1 “l v 1”l叶“1v lv l“1v l 1 4 ：l ；ij；!； ! l ( 3 3 1 ) l u n u u n v “ v “ y , v v _ v “ v 1 j 是个n x 9 的矩阵。根据基础矩阵的定义，所有的解向量，之间只相差一个常数因子。 为了避免出现多余解，加一个约束条件i = 1 ，则，就是一7 a 的最小特征值所对应的特 征向量，设 a 的奇异值分解 ( s v d ) 为a = u d v 7， v = hv ：v ，v 4v ，v 。v ，hv ，r ，则厂= ，从而求出f 。 3 2 3 立体匹配方法 目前解决匹配问题的方法很多，大致可分为以下两类：( 1 ) 基于区域的匹配方法和基 于特征的匹配法。 3 2 3 1 蒸于区域的灰度匹配m 3 基于区域的灰度匹配算法是一种理论上比较成熟的通用算法。该算法使用了不同像 片的匹配区域具有相似灰度的假设，并将图像划分为若干小区域，然后对不同像片间的 i ! 查登垫查堂堡主兰垡堡壅 璺堡! 塑塑竺笙塑墼望皇堡堕堑 小区域计算其灰度相似性，据此建立起图像问的区域匹配关系。它是采用某种或几种相 关测度的方法计算搜索窗口内的灰度相关值，用来判断最佳匹配结果。相关测度有相关 系数最大、协方差最大、差的绝对值总和最小等。这些方法速度快，算法简单。但易出 现多个峰值，可靠性差。该方法仅对纹理稠密和视差较小的情形有效。 ： 2 3 2 基于特征的立体匹配“” 基于特征的对应方法使用显著的和易于找到的点或点集。在表示特性上，这些是在 边缘、线条、角点等上的像素，对应点要根据这些特征的性质来寻找，例如，沿着边缘 的方向，或者线片段的长度。基于特征的方法相对于基于亮度相关的方法的优点是： ( 1 ) 基于特征的方法由于可能的候选对应比较少，因而不确定性较小； ( 2 ) 所产生的对应较少依赖于图像的光度测量变化。 3 3 特征提取与匹配策略豹选取 本文在分析和改进现有文献方法的基础上建立了一个特征点的自动匹配算法，应用 在第四章介绍的三维重建系统中。本文采用两摄像机光轴平行的横向工作方式，即基线 与水平轴重合，极点移到无穷远处，在图像中极线是平行的并与图像的扫描线平行。这 样就可以使得在三维重构时的匹配搜索由二维降为一维，可以使得三维重构的计算费用 降低，提高计算速度。具体算法步骤为： 1 提取角点 本文采用前一章所提出的h a r r i s 算子作为本章匹配过程中的特征提取算子。 2 角点匹配侧 在检测出两幅图像的角点之后，需要找出两幅图像角点之间的对应关系即角点匹配。 这里以灰度相关为基础，利用极线约束、唯一性约束和顺序一致性约束实现角点的匹配。 具体实现步骤为：首先，如图3 3 所示，将图像，的作为参考图像，以参考图像上的 个角点m ，为中心取大小为( 2 n + 1 ) ( 2 m + 1 ) 窗口，以图像l 上一个角点为中心，选定 个尺寸大小为( 2 d 。+ 1 ) ( 2 d ，+ 1 ) 矩形搜索窗口，在选定的搜索窗口，计算所有在搜索窗 口内的特征点m ：与m 。的相关系数。选用灰度相关值s c o r e 作为相似性测度。如果s c o r e 的值大于某一阈值( 如0 5 ) ，则认为这两个角点是候选匹配点。这个搜索窗口的选择可 4 1 l i 东科技大学硕士学位论文 图像目标的特征提取与立体匹配 根据极线约束选定a 如图3 2 所示，像平面，上任一+ 点m 。，它在像平面，：上的匹配点m ： 必位于极线，上；类似的，：像平面上任一点m ：，它在像平面j 。上的匹配点m ，必位于极 线，。在实际匹配过程中，可以通过给定一定的误差范围，在这个范围允许内的极线带汹 卜搜索。 将图像，：作为参考图像并重复以上的步骤计算s c o r e ，如果s c o r e 的值也大于0 5 ， 说明这种匹配满足于一致性约束，最终得到匹配角点对。 v l 图3 3 相关性 f i g3 3c o r r e l a t i o n 对于二维数字影像，和，：，其灰度相关值可用归一化的互相关函数测度 s c o r e ( m l ，州2 ) = 【，。( 均+ f ，v 。+ - ，) ，：( “：+ f ，v ：+ 叫 f j f m 1 尼r 。 彤 k ( + f ，v ，+ 力】2 p ： ：+ f ，屿+ j ) 】2 l l j jl l n j = “ ( 3 3 2 ) ( 3 3 2 ) 式中，灰度相关值s c d 地( 柳。m ：) 的取值越大，点m 。与m ：越相似。在实际匹配 过程中，首先确定一个有效的相关值的阙值，当用某个点m ：计算出来的相关值 s c o r e ( m ；，m ：) 大于该阈值时，则可以认为该点m ：是点m 的一个候选匹配点。然后反过来 求出图像，。上所有角点在i ，中的候选匹配点。 山东科技大学硕士学位论文 实验及数据处理 4 实验及数据处理 在本章中，我们将在前面介绍的双目视觉摄像机标定和立体匹配的理论基础上，用 m a t l a b 6 。5 仿真实现物体的三维形貌数字化测量。 4 1 实验系统组成脚3 根据立体视差原理，我们在实验室欲搭建双目立体视觉原理实验测量系统，如图4 1 。 整个测量系统有两个普通的性能相同的c c d 摄像桃，采用双通道视频采集卡，视频采集图 像分辨率为6 4 0 4 8 0 ( 像素) 。 标定板 图4 1 实验装置原理示意图 f i g4 1s k e t c hm a po f e x p c r i m c n 纽ls op r m e i p l e 4 2 蒸缝姆定 本节根据前面的算法介绍通过使用m a t l a b 6 5 “7 “进行编程，实现单个摄像机内外 参数以及表征两摄像机位置关系酶旋转矩阵醢和平移矩薄t 。 我们采用二维标定靶作为已知的定标参照物，定标图案由9 列7 行方块组成，如图4 2 所示，每个方块实际大小为3 0 x 3 0 ( n 嘲) ，弗且要求黑自相嗣，这样目标点格状图形 ：的 交点可被精确定位。由于测量尺寸较小，因此在打印图形时要求很高，在这里欲我们采用 高分辨率，在