基于激光线扫描的双目立体视觉测量方法研究_图文

1、第22卷第4期2007年12月北京机械工业学院学报Journal of Beijing I nstitute ofM achineryVol.22No.4Dec.2007文章编号:1008-1658(200704-0001-05基于激光线扫描的双目立体视觉测量方法研究马廷昭,吕乃光,邓文怡,娄小平(北京机械工业学院电子信息工程系,北京100085摘要:为实现工业中汽车、飞机、骨骼和模具外形等物体的三维重建,介绍了基于激光线扫描的双目立体视觉三维测量系统。2个摄像机同时摄取一个扫描激光光条图像,经过图像预处理、光条特征点提取、图像匹配,利用视差计算出光条上所有点的坐标值,即光条处物体的三维信息。

2、通过坐标系之间的转换把各光条统一到同一世界坐标系下,得到整个物体的三维重建。利用该系统对一标定块进行测量,空间距离误差小于0.1mm,并对鼠标进行扫描测量,得到其表面的三维数据,基本满足逆向工程的要求。关键词:双目视觉;激光扫描;图像处理;坐标系转换;三维重建中图分类号:TP751.1文献标识码:AAcqu isiti on m ethod of b i n ocul ar stereo v isi onba sed on l a ser li n e scann i n gMA Ting2zhao,LüNai2guang,DE NG W en2yi,LOU Xiao2p ing(D

3、epart m ent of Electr onic I nf or mati on Engineering,Beijing I nstitute of Machinery,Beijing100085,China Abstract:I n order t o rebuild the shape of cars p lanes,bones and moulds etc in industry,a novel32D measure ment syste m of binocular stereo visi on based on laser line scanning is intr oduced

4、.The i m ageswith a laser stri p are cap tured by t w o ca meras at the sa me ti m e,by means of p r ocessing i m age,distilling the s pecial points of laser stri p and matching the i m age,all the32D coordinates of points on the scanning laser stri p can be obtained by the dis parity,na mely the32D

5、 infor mati on of the measured object on the stri p.I n traditi onal laser scanning measure ment system,the32D inf or mati on of an object in the scanned range can be obtained by shifting one of the32D coordinates of the object in a laser stri p parallelly.I n this paper,by transf or m ing the coord

6、inate syste m s,all the32D infor mati on of laser stri p s can be trans2 for med int o a public coordinate syste m,s o that the32D reconstructi on of the whole object can be a2 chieved.A standard dr one is measured with the syste m and the err or of s patial distance is less than0.1 mm.A mouse is al

7、s o measured with the accurate32D data of its surface,which satisfies the require ment of reverse p r oject on the whole.Key words:binocular visi on;laser scanning;i m age p r ocessing;coordinate syste m transf or m ing;32D reconstructi on三维激光扫描测量系统1,2是基于光学三角测量原理的非接触式测量系统,该系统主要由运动控制、图像采集、图像处理、三维重建等部

8、分组成。目前通用的三维激光扫描测量系统,三维传感器代替三坐标测量机上的接触式探头,测量臂带动传感器沿物体某一方向扫描测量,扫描方向平行于世界坐标系的某一轴向,根据扫描方向上光条之间的间距,对各光条在该方向的坐标进行平移,得到物体扫描范围内的三维信息。本文介绍了一种新型的三维激光线扫描测量系统的组成及各部分的工作原理,根据对物体扫描时不同位置下对应的不同坐标系,由物体附近若干标记点得到坐标系之间的转换关系,收稿日期:2007-10-23基金项目:国家自然科学基金项目(50475176;北京市属市管高等学校人才强教计划资助项目(PX M2007_014224_044674;北京市属市管高等学校人才

9、强教计划资助项目(PX M2007_014224_044655作者简介:马廷昭(1979-,男,山东德州人,北京机械工业学院电子信息工程系硕士研究生,主要从事机器视觉和图像处理方面的研究。北京机械工业学院学报第22卷进而由转换关系把各光条三维坐标统一到同一个世界坐标系下,得到整个物体的三维信息。1系统组成三维激光扫描测量系统如图1所示,硬件部分包括双CCD (Charge Coup led Device 数字摄像机,半导体激光器3 ,电控平移台以及步进电机控制箱。双摄像机与半导体激光器组成三维视觉传感器。控制箱控制步进电机使平移台在导轨上滑动,带动三维传感器对物体扫描拍摄。 图1测量系统结构组

10、成1.1三维视觉传感器半导体激光器发出的点光源照射在一柱状透镜上,在某一个方向进行准直,在另一个方向让它自由发散,在空间形成光平面,投射在被测物体上,则被调制成包含物体高度信息的光条曲线,作为被测光条。两个CCD 数字摄像机(包括两个焦距为12mm 的镜头成一定角度相对激光器对称放置,构成三维传感器。1.2移动扫描控制部分系统中用到精密电控平移台,它通过步进电机驱动,实现位移调整自动化。根据平移台控制箱设定的位移量和速度,可以控制滑块在导轨上滑动的距离及速度,即控制物体扫描的范围及密度。2系统工作原理和流程系统采用双目体式结构,与以往的测量方法不同,文中所述方法在被测物体两侧附近贴4个高度不同

11、的标记点,半导体激光器发出的线结构光在被测物体上形成一条变形光条,用两个CCD 摄像机同时拍摄此光条,并保证每次获取图像时,两个摄像机都能同时拍摄到光条和4个标记点。图像经过处理后,对两幅图像中标记点区域的中心和单像素光条的各像素点进行匹配,得到标记点中心与光条上所有像素点分别在两幅图像中的位置,利用视差,可以求得标记点中心与光条处各点的三维世界坐标。再通过各幅图像上标记点与第一幅图像上标记点之间的空间位置转换关系,把各光条的三维坐标统一到同一个世界坐标系下,就得到了被扫描物体的所有点的三维信息。系统的工作流程如图2所示。图2系统工作原理流程图2.1摄像机参数标定为建立有效的成像模型,必须对摄

12、像机进行标定。确定三维物体空间坐标系与摄像机二维图像平面坐标系之间的转换关系的过程称为标定4。摄像机标定要确定的内部参数表示摄像机的内部几何和光学特性,包括有效焦距f,一阶透镜径向畸变系数k,图像坐标系x,y 方向的比例系数N x ,N y ,由于扫描或抽样采集时延迟误差而引起的不确定水平方向比例因子S x ,以及图像中心主点坐标(u 0,v 0;外部参数表示摄像机坐标系相对于世界坐标系的三维位置与方向,包括一个旋转矩阵R 和一个平移向量T,这一过程包含6个独立变量,分别是侧倾角<、俯仰角和旋转角,以及平移参数T x ,T y 和T z 。目前标定方法很多,本文用到的是Tsai 提出的基

13、于径向对准约束关系(RAC 的两步法5,该方法具有精度高、高效和适应面广等优点。摄像机标定需要具体的标定块来实现,标定块也叫靶标。实验用到的靶标如图3所示,靶标的右上角作为世界坐标系的原点,靶标平面做为世界坐标系的X -Y 平面,每个黑色方块的规格为20mm ×20mm ,方块之间的间距也为20mm ,共有140个角点,每个角点的世界坐标可以自行设定。将靶标放置在2个摄像机的公共视场内,左右摄像机各拍2第4期马廷昭等:基于激光线扫描的双目立体视觉测量方法研究摄一幅图像,对角点进行检测,分别得到两幅图像中各角点的计算机图像坐标,同时编写序号。 图3标定时用的靶标图像由这140个特征点的

14、世界坐标与所对应的图像坐标建立方程组,通过两步法解线性方程组,用最小二乘法分别求得外部参数R 和T 以及内部参数f,k 。内部参数u 0,v 0以及N x ,N y 和S x 可预标定设定。这样就完成了对两个摄像机的标定。最终得到二维像素坐标(u,v 和三维空间坐标(x,y,z 之间的关系,如式(1所示。S uv 1=m 11m 12m 13m 14m 21m 22m 23m 24m 31m 32m 33m 34x y z1(12.2激光条纹和标记点的图像处理对物体进行扫描拍摄,光条图像可离线处理。图像处理是机器视觉软件的重要组成部分,是得出被测物体三维信息的前提和关键。图4是图像处理的几个阶

15、段对比图。 a 阈值分割后图像b 只剩光条的二值图像c 标记点边缘提取及椭圆拟合d 细化后图像图4图像处理的几个阶段对比图2.2.1滤波和阈值分割在扫描过程中,由于受到环境光和物体自身颜色反射光及摄像机内外部噪声的影响,摄取的激光条纹图像含有一些孤立的随机噪声点,因此采用一种非线性平滑滤波器6,即中值滤波器改善图像质量。图像的目标部分是激光条纹和标记点,采用阈值分割的算法可以较好的分离图像中的目标。系统采集的图像为灰度图像(灰度范围为0255,根据周围环境光与激光条纹和标记点的光强不同,给定一个阈值,将大于阈值的激光条纹和标记点用白色像素表示,将小于阈值的背景用黑色像素表示。经过阈值分割可以把

16、灰度图像转换为黑白二值图像,如图4a 所示。2.2.2检测标记点区域位置并确定标记点中心的图像坐标图像上的目标除了光条外还有标记点,圆形标记点在图像上是近似椭圆形状。光条用来重建物体在该处的三维信息,标记点是用来做各光条之间坐标系转换的依据,两者要分别进行处理。选用一适当的全1矩阵作为模板,在二值图像上逐行扫描,确定椭圆标记点在图像上所在的位置,即确定标记点上下边界行数和左右边界列数。则标记点区域范围之外的部分为只包括光条的图像,如图4b 所示。在每个标记点范围内,如图4c 所示红色方框内,对椭圆标记点进行边缘提取,以边缘各点的计算机帧存坐标为数据,对边缘各点进行椭圆拟合。椭圆的一般方程为:A

17、 x 2+2B xy +Cy 2+2D x +2Ey +F =0,将检测出的边缘坐标代入上式,组成超定方程组,然后用最优化方法解出最小二乘意义上的最佳拟合参数A,B ,C,D,E,F 。则椭圆中心(X 0,Y 0的坐标为:X 0=2(2CD -B E B 2-4AC,Y 0=2(2EA -BD B 2-4AC,则(X 0,Y 0为标记点中心点的计算机帧存坐标。3北京机械工业学院学报第22卷2.2.3激光条纹细化采集的图像中包含物体信息的是激光扫描线,图像经过滤波、二值化后光条宽度所占的像素数目不只一个像素,因此必须对激光光条图4b做细化处理,把光条细化成单一像素宽度。经过细化后的光条图像保持原

18、始光条图像的几何与拓扑性质,如图4d所示。对于细化方法,可以用基于二值形态学的细化算法,并且采取去毛刺算法消除光条两边可能出现的毛刺。2.2.4激光条纹和标记点中心的立体匹配在双目立体视觉测量中,为了求取物体表面激光光条处投射点的三维坐标,需要建立特征点之间的匹配关系,即将同一个空间点在左右两幅图像中的映像点对应起来。激光条纹匹配选择的匹配基元是像素点,根据匹配时遵循的极线约束7准则,一幅图像上的任意像素点,在另一幅图像上的对应像素点只能位于一条特定的被称为极线的直线上,同时又在一条激光光条上,该极线和激光条纹的交点就是要寻求的匹配点。经过以上图像算法处理以后,可以将两幅图像提取成两两对应的像

19、素点坐标对(u L,v L,u R, v R。2.3三维重建将图像匹配后得到的像素坐标点对(u L,v L,u R,v R代入式(1,并将式(1消去系数S,把矩阵方程改写为线性方程组的形式,如式(2所示。(u L m L31-m L11x+(u L m L32-m L12y+(u L m L33-m L13z=m L14-u L m L34(v L m L31-m L21x+(v L m L32-m L22y+(v L m L33-m L23z=m L24-v L m L34(u R m R31-m R11x+(u R m R32-m R12y+(u R m R33-m R13z=m R14-

20、u R m R34(v R m R31-m R21x+(v R m R32-m R22y+(v R m R33-m R23z=m R24-v R m R34(2带有上标L和R的参数分别为左摄像机和右摄像机的标定参数与像素点坐标,利用最小二乘法求解超限定方程组(2得到最优解,将最优解作为激光光条处物体某点的空间坐标和标记点中心的空间坐标。2.4坐标系转换由于标定后摄像机内外参数保持不变,世界坐标系相对摄像机位置固定,因此对物体进行扫描测量时,每个激光光条都是在不同的世界坐标系下获取,三维重建得到的各光条处物体的三维信息都是不同世界坐标系下的坐标值,因此需要把各光条三维坐标统一到同一个坐标系下。假

21、定标记点在每个世界坐标系下的齐次三维坐标依次为M,M1,M2,M3,M n(M0为标记点在扫描初始位置时空间坐标系下的三维坐标,存在转换矩阵(包括旋转矩阵和平移向量,H w01,H w02,H w03,H w0n ,满足M0 =H w01M1,M0=H w02M2,M0=H w03M3,M0=H w0n M n,解线性方程组求得转换矩阵H w01,H w02,H w03,H w0n,由三维重建得到的各光条在不同世界坐标系下的三维坐标为P,P1,P2,P3,Pn,把各光条统一到同一世界坐标系下的三维坐标:P=P0,P1=H w01P1,P2=H w02P2,P3=H w03P3, Pn=H w0

22、n P n,P n,因此同一个坐标系下的光条三维信息P,P1,P3,P2,Pn,可以反映整个物体扫描范围内的三维信息。3实验结果及误差分析使用该系统对一个鼠标进行三维重建,把鼠标放在双摄像机公共视场范围内,对其扫描拍摄,得到扫描范围内的鼠标表面三维信息,它是由许多三维扫描点(也称数据点云组成的。如图5所示。图5鼠标三维点云图像摄像机标定是视觉测量的关键和首要工作,因此为检验系统的精度,有必要检验标定结果的精度,用标定参数对靶标图像上的某些特征点进行匹配,计算其三维坐标,并计算特征点之间的距离,与实际距离相比较。表1是特征点测量距离与实际距离对比结果。由表1中的结果可以看出,特征点之间距离的测量

23、误差都在0.1mm以内。对一标准平面扫描测量,得到平面三维数据点云并做平面拟合,由每一4第4期马廷昭等:基于激光线扫描的双目立体视觉测量方法研究个数据点到拟合平面的垂直距离,可得平均距离为0.165mm ,标准偏差为0.263mm ,基本满足逆向工程的要求。如图6所示拟合平面,点云数据紧贴平面均匀分布在上下两侧。表1特征点测量距离与实际距离结果对比(标准距离40.00mm mm序号特征点1特征点2x yz xy z 特征点间距误差1160.1370.0800.095120.0750.065-0.07040.0620.0622160.129139.8580.328120.064139.930-0

24、.04840.0650.0653160.158179.9050.112120.090179.993-0.22940.0690.0694179.87680.0230.083179.889119.9290.20339.905-0.0955160.03580.0300.066159.999119.983-0.04339.954-0.0466139.83680.022-0.038139.893119.9940.11739.972-0.0277120.04380.0340.014120.095119.9910.01339.958-0.0428100.00080.0490.006100.102120.0160.00239.970-0.030 图6平面三维数据点云拟合平面影响视觉测量精度的因素有很多,其中主要的有摄像机标定误差,特征点检测误差以及匹配定位误差,因此为了满足逆向工程的要求,必须综合考虑各方面的影响。4结论随着逆向工程8在工业复杂曲面测量中的广泛应用,三维激光线扫描测量系统在其中发挥了越来越重要的作用。本文介绍的系统是综合采用计算机技术、激光技术、图像采集与处理技术。根据实验数据发现,该系统基本满足逆向工程的要求