视觉成像畸变的直线透视校正

1、第24卷 第6期2006年11月应用科学学报JOURNALOFAPPLIEDSCIENCESVol.24,No.6 Nov.2006文章编号:0255-8297(2006)06-0627-06视觉成像畸变的直线透视校正杨永跃, 邓善熙, 王训四(合肥工业大学仪器科学学院,安徽合肥230009)摘 要:针对视觉成像畸变,提出基于直线透视成像变形的畸变校正方法.无需任何预先参数,利用畸变曲线拟合逼近过中心的近似直线,通过两直线的交点求得图像对称中心.利用径向畸变的数学模型和参数分解的方法对变形量进行线性求解,求得的畸变因子代入成像过程,为最终理想线性透视模型的标定消除畸变对成像的影响.关键词:视觉

2、;成像;畸变;透视中图分类号:TB921 文献标志码:ACorrectionofAnamorphicVisionImagewithPerspectiveLinesYANGYong-yue, DENGShan-xi, WANGXun-si(SchoolofInstrumentScience,HefeiUniversityofTechnology,Hefei230009,China)Abstract:Anamorphicvisionimagesarecorrectedwithperspectivemodeloflines.Anapproximatelinepassingthroughthecent

3、erisapproachedbyanamorphiccurves.Intersectionoftwodifferentapproximatelinesisregardedastheimagecenter.Distortionisanalyzedwitharadialanamorphicmodel.Theanamorphiccoefficientiscombinedwiththevisionprocesstocorrectananamorphicimageforthefinalcalibrationofthelinermodel.Keywords:vision;image;anamorphic;

4、perspective 在进行视觉测量时,消除摄像机镜头畸变影响为高精度测量的关键过程.在摄像机成像标定的研14究中,大多是在标定成像时将畸变因子作为一个未知参量来构成一个高阶的非线性方程组,然后进行迭代求解.虽然此方法的执行过程简单,原理也不难理解,但是初始值的最优选择和稳定性很难保证.本文提出一种基于直线变形的直线校正法,直观地表示了畸变过程,并将畸变校正过程与理论成像过程分开,便于理论透视成像标定的线性求解.利用线性方程求解出的畸变因子进行图像校正.成像后仍为直线.由于成像镜头畸变的存在,导致直线成像后形成不同的表现形式.占主要成分的径向畸变,其体现形式如图1所示. 成像点径向畸变的数学

5、模型为2254ud=u+$u=u+u(k1r+k2r+,)vd=v+$v=v+v(k1r+k2r+,)4(1)式中,u、v为实际像素坐标,ud、vd为校正后坐标,$u、$v为径向畸变分量,r为径向畸变量,r=(u-u0)+(v-v0).因为成像点的连续性,所以在此点处的导数斜率为dvddvdPdu=duddudPdu(2)2221 直线成像模型在理想的摄像机小孔成像模型中,空间的直线收稿日期:2006-03-15; 修订日期:2006-06-05在理想成像时,过图像中心的直线在图像坐标基金项目:安徽省/十五0科技攻关重点项目(01022010);安徽省重点实验室建设项目(2004275)作者简

6、介:杨永跃,博士,副教授,研究方向:在线检测技术及应用、机器视觉和图像测量技术等,E-mail:jamoyang;邓善熙,教授,Escom628 应 用 科 学 学 报24卷图2 确定过中心直线的拟合法Fig.2 Thelinespassingthecenterareimitated图1 枕形畸变和桶形畸变Fig.1 Pillowyandtubbishaberrance实际过中心直线的逼近,可通过对实际成像曲线(因畸变引起的直线变曲线)的曲率分析来实现,当选取分布在中心线两边的两样本曲线后,如图2(3)中的L1和L2,利用最小二乘法拟合直线,根据拟合的非线性误差来优化循环,逼近过中心的近似直线

7、的坐标及方程.具体方法如下:(一)曲线逼近的情形分析(1)当曲线L1和L2为对称图像(相对对称中心)时,一次逼近拟合就能得到过对称中心的直线.(2)在曲线L1和L2非对称时,如果它的原始理想图像是平行直线,就必须由直线拟合误差最大的曲线慢慢拟合逼近至与另一条曲线对称的位置,然后执行第(1)步.(3)如果在理想成像下不是平行的两直线时,对曲线L1和L2进行拟合直线,根据两者误差的比较值.按一定比例K来计算第三条曲线各采样点的坐标值,然后根据凹凸性和误差值取代L1或L2,循环执行(3).直至获得的L1和L2曲线可以按第(2)或第(1)步的情况处理.(4)为保证经过一次直线拟合逼近后所得的两曲线的凹

8、凸性相反和直线性较好,应选尽可能小的步长.(二)实际操作的主要步骤(1)对畸变图像进行灰度分析,以获得目标曲线的灰度分布特性.(2)用不同的编号区分各曲线,选取两条最接近直线而且有着相反的凹凸性的曲线.3)6系中的形式可写成u=rcosHv=rsinH倾角,因此dvdd(k1r+k2r+,)sinHdvd =duddudd(k1r+k2r,)cosHdrdr=tanH=K(4)可见,直线通过图像中心点的成像保持原有的直线特性.而一旦偏离中心点,受镜头畸变影响,原有的直线性就遭受到破坏.利用这些特性,进行下面的直线法修正.在这里,先利用直线成像特性来对畸变进行校正,然后将这些校正参数带入理论成像

9、模型中去求解各理想成像参数,从而形成成像和畸变分离的预先校正法.35式中,r、H为该点相对于中心对称点的极径和2 直线逼近法求图像中心点根据畸变对成像直线的影响,当某直线在成像后仍旧保持直线,则该直线所成的图像一定通过图像对称中心点.两条具有相似特征的直线,在它们不平行的情况下,它们的交点就是图像的对称实际中心点.实际理想成像直线难以确定,这里采用直线逼近方法来拟合经过对称成像中心点的直线.如图2所示.6期杨永跃等:视觉成像畸变的直线透视校正629条纹进行亚像素识别,以获得识别数据点的精确位置(xj,yj)(j=0,1,2,).(4)利用数据点判断各曲线的弯曲程度.最小二乘法拟合直线yj=ai

10、xj+bi (i=1,2)N所以当A=PP2时,smin=$L,即选取两垂直的拟合直线交点作为成像对称中心点时误差最小.由于广角镜头的畸变比较大,在实验时采用AVENIR的CCTVLENS2.8mmF1.4的广角镜头对平行直线的靶标进行拍摄.靶标图案和所成图像见图4.(5)(6)用 Di=6(yij-aixij-bi)j=1(5)利用公式G=yi-2表示该曲线的弯曲程度,N为采样点数.(xi-xi-1)(yi+1-yi-1)(xi+1-xi-1)(7)的正负来分段判断此曲线每三点间的凹凸性,然后综合全部数据点所表示的凹凸性,分析估计曲线的凹凸性.(6)逼近第三条曲线坐标(x3,y3):y3=y

11、1+(y2-y1)D(D2P1+D2)(8)按照式(5)(7)计算其弯曲度D3和凹凸性.若D1<D2且凹凸性满足相反条件,用第三条曲线取代第二条曲线;反之取代第一条直线.(7)重复第(6)步,直到可以认为两条曲线已经重合.由经过两次以上相同步骤所确定的两条曲线的交点,作为图像对称中心.(三)过对称中心的两相交直线的选择与误差分析由两条经过对称中心的非重合直线的交点作为成像对称中心.由于实际拟合出来的直线存在一定偏差,造成交叉中心的误差.实际相交情形及关系如图3所示.图4 靶标及畸变成像Fig.4 Thetargetanditsanamorphicimage利用图4(b)中的竖直线条与每条

12、曲线的交点来识别曲线.分别取凹凸性相反的曲线对进行优化求解,相关数据见表1,表中R为拟合直线的直线度标准差.部分拟合前后曲线形状对照见图5.图3 相交直线位置关系Fig.3 Thelocationoftwocrossinglines图中(u0,v0)为理论成像中心,(uc0,vc0)为实际两拟合直线的可能交点.A为两直线夹角(0<APP2).当近似的$L1=$L2=$L时,可能交点与实际中心之间的误差距离s为9)图5 不同曲线及其逼近拟合直线Fig. by630 应 用 科 学 学 报24卷表1 不同曲线对的逼近直线Table1 Thelinesapproachedbydifferent

13、coupledcurves逼近后的拟合直线实验曲线对曲线9曲线11曲线1曲线20曲线7曲线14曲线8曲线16曲线10曲线12R2.35451.184110.485411.28157.28316.449412.304612.18631.71032.5393R0.05490.17980.04500.07000.0514a0.05750.041425.1715-35.6540-23.4198b263.3365269.20589949.714090.09303.8迭代次数单位:pixelsunit:pixels直线方向实验一实验二实验三实验四实验五506545201771水平水平竖直竖直竖直在获得至少

14、两条过对称中心的直线后,利用直线相交原理,就可得u0=-(b1-b2)P(a1-a2)v0=(-a2b1+b2a1)P(a1-a2)L1、L2的斜率和截距.利用公式(10)对表1中的拟合直线组进行交点求取,所得中心点P坐标见表2.表2 交叉直线对求得对称中心坐标(pixels)Table2 Thesymmetricalcentercoordinateobtainedfromcrossingcouplelines(pixels)实验一实验三实验四实验五384.9377,285.4129385.1768,285.5992385.0725,285.4782实验二384.9500,285.101338

15、5.1870,285.2353385.0866,285.1484(10)式中,(a1,b1)、(a2,b2)分别为两条相交直线图6 畸变因子引起的变形曲线Fig.6 Acurvecausedbyanamorphiccoefficient作用过程,应有vd=A+=uduuuA+B=udP(k1rc+k2rc+,)2BrcrcA+Bk1+Bk+,ududud2(12)由表2中6组图像中心点的数据可得到此CCD相面的实际成像对称中心P(385.0684,285.3292),重复性引起的最大偏差为(0.1307,-0.27).实际使用时,畸变因子在4次方项以后的数值已经很小,可以忽略.由于使用的是以中

16、心点为原点的坐标,而实际采用的像素坐标是以图像左上角为坐标原点.转换关系为u=uc-u0,v=vc-v0,ud=ucd-u0,vd=vcd-v03 曲线分析法求畸变因子由于畸变的存在,导致原始直线成像时变为曲线,曲线的弯曲程度和畸变成正比,与距对称中心距离也成正比,见图6.由式(1)可知,径向畸变的另一公式模型为ud=u+$u=u+u(k1rc+k2rc+,)vd=v+$v=v+v(k1rc+k2rc+,)22222(13)式中,uc、vc、ucd、vcd为理想点和畸变点实际对应的像素坐标值.在曲线上获取N个采样点后,依据式(12)列方程组(式中,rc=(ud-u0)+(vd-v0).以方便地

17、求解理论值(u,v),很明显,k6期杨永跃等:视觉成像畸变的直线透视校正631式中,kB1=k1B,kB2=k2B,按照最小二乘算法求解方程组即可得出相应的畸变因子k1、k2以及此曲线对应的原始直线的斜率A和截距B.根据所求出的对称中心坐标,利用式(13)和(14)对图4所拍摄的图像中曲线进行取点分析,就可得出相应的畸变因子k1、k2等7,8,数据表格见表3.表3 理论直线及成像畸变因子Table3 Linesintheoryandtheanamorphiccoefficients直线方向垂直方向试验曲线第9条第11条水平方向第11条第20条A-51.4572140.52970.05930.0

18、779B3.2122e+0036.5223e+00322.7058341.3440k1-2.3571e-006-2.3609e-006-2.2431e-006-2.6625e-006k2-3.8026e-013-3.5061e-013-3.6609e-013-3.2370e-0134 利用畸变因子进行校正利用式(14)求得的畸变参数因子,根据式(11)和(13)可知理想的(经过畸变校正后的)点坐标为u=v=ud-u0+u01+k1r+k2rvd-v0+v01+k1r+k2r的线性度来评价精确性.在这些校正拟合直线中,其拟合直线误差值如下:表4 拟合直线的误差值(pixels)Table4 Er

19、rorsofthesyntheticlines(pixels)直线Ri10.175160.145020.385170.098030.108680.175240.114390.320650.1266100.1930(15)直线Ri利用此非线性畸变参数校正图像的结果见图7.由于成像畸变的影响,图4中靶标图的直线组成像为曲线组.利用该非线性畸变校正方法以及根据表2和3的校正结果,就可以对该畸变图像或摄像机视野范围内所成的所有畸变图像进行校正.平面图形成像校正前后效果对照见图8.图7 成像畸变及其校正Fig.7 Anamorphicimageandthecorrectedone图7(b)中直线为(a)中相应畸变曲线校正后的结果,即理想成像中的直线.,图8 直线靶标畸变成像及其校正Fig.8 Ananamorphictargetimageandthecorrectedone632 应 用 科 学 学 报24卷3张全法,何金田.提高广角成像系统几何畸变数字校正5 结 语基于直线成像畸变的直线法直观地表示了畸变过程.不需要预设参数就可以直接标定出实际成像的对称中心.利用径向畸变的数学模型和参数分解的方法求得的畸变因子,消除径向畸变给成像带来的影响,进而采用理想透视几何模型的标定方法进行标定求解