一种多特征点自动身份识别方法

一种多特征点自动身份识别方法

在许多应用中，可以在测量对象的表面上分布一些具有明显特征和易于识别的元素作为标记点，如圆形和交叉雕刻线。一旦加载唯一身份信息，则可以编码标记点，识别图像中标记点的唯一身份，以便方便可靠地实现多个图像中标记点的对应匹配。这里没有编码的标记点被称为“非编码元”，编码的标记点被称为“编码元”。非编码元以圆形标记的应用最为广泛.因为圆成像后成为椭圆,椭圆所具有的几何特征使其易于实现特征提取的算法.椭圆提取的算法很多,包括Hough变换、遗传算法及最小二乘模板匹配等.Hough变换方法提取椭圆准确率及效率很低.遗传算法能够得到较准确的结果,但算法的实现非常复杂.最小二乘模板匹配方法是近景摄影测量中常用的椭圆提取方法,但是在实际图像中,往往存在一些呈椭圆状或与椭圆形状接近的非标记点目标,这些非标记点目标也可能被最小二乘匹配法提取出来,对后续的对应匹配及三维重建算法造成干扰.另外,最小二乘拟合方法虽然能够进行椭圆中心的亚像素定位,但其定位精度不如质心法、高斯最小二乘等算法.给标记点加载编码的方法大大降低了对应匹配的复杂度,为此不少学者作了这方面的研究.Schneider、VandenHeuvel、KeithsForbes以及Ahn等设计了各种不同的编码元.KeithsForbes所采用的编码元与Schneider的编码元类似,但是对Schneider的编码识别方案进行了改进,这种编码元基本不受旋转、缩放和变形的影响,应用非常广泛.本文在待测物体表面混合分布非编码元与编码元作为标记点.非编码元为近景摄影测量中常用的圆形标记,编码元为文献提出的编码方案,标记点特征的详细介绍见第1节.其中,编码元身份的唯一性方便建立多角度图像之间编码元的对应关系,用于确定各次拍摄时的相机姿态;非编码元黏贴于物体表面,用于物体表面点的重建.根据后续相机标定和三维重建的要求,本文标记点自动检测的任务是提取图像中的标记点、确定编码元的身份信息及所有标记点的中心位置.本文提出以下标记点自动检测算法.为保证标记点提取的准确性,本文全面结合标记点的尺寸、形状、灰度变化及位置分布等各种特征在最小二乘模板匹配的基础上添加一系列准则来排除图像中的非标记点目标.然后,在文献的基础上提出了一种改进的编码元身份识别方法,将非编码元与编码元分类.最后采用定位精度高且易于实现的质心法进行标记点的亚像素定位.1特征的标记分析1.1圆形标记成像法本文采用的非编码元如图1所示.内部圆形为待检测的“目标点”.利用前景(白色)与背景(黑色)之间灰度的强烈对比,易于实现“目标点”的自动识别.圆形标记成像后呈椭圆状,椭圆的中心对应于圆形标记的中心.文中所采用非编码元“目标点”的直径为5mm,背景所在圆环外径为10mm.1.2编码元的解码本文采用文献中提出的编码元.如图2(a)所示,编码元中心为圆形“目标点”.“目标点”周围为与其同心的分段环状区域,用来确定编码元的身份信息,称为“编码带”.该圆环按照角度平均分为15份,每份24°,相当于一个二进制位.每一位可以取前景色(白色)或背景色(黑色),相应的二进制码为“1”或“0”,如图2(b)所示.编码元的解码详见2.2节,编码元各部分尺寸如图2(c)所示.2编码元的分类本文的标记点自动检测算法主要包括以下3个主要过程:①标记点目标的提取;②编码元身份识别及非编码元与编码元的分类;③标记点中心的亚像素定位.前两步为标记点的识别,第三步完成标记点的定位.2.1标记点目标提取非编码元及编码元的“目标点”是自动提取的目标,两者为大小相同的圆形,经CCD成像后呈椭圆状.因此,标记点目标提取的任务就是从图像中提取满足标记点特征的椭圆目标.本节首先采用Canny算子进行图像分割,在图像中提取代表不同区域的轮廓信息,然后提出以下几个判断准则来提取满足条件的椭圆轮廓.(1)投影角度对系统轮廓长度的影响目标点成像后变为椭圆,投影角度(即标记点所在平面的法线方向与投影方向的夹角)在0°～70°之间时,图像中椭圆轮廓的周长P应满足Ρmin≤Ρ≤Ρmax(1)式中,Pmin、Pmax分别是投影角度在0°～70°之间时轮廓周长可能的最小值和最大值.需要指出的是,从不同角度对场景进行拍摄时,不可避免地会使某些标记点在某些图像中的投影角度大于70°,后续应用中一般不希望利用这些标记点,因为过大的投影角度不但使识别的稳定性降低,而且也使目标点的中心位置精度降低.因此,这里只考虑投影角度在0°～70°之间的周长变化.(2)pse41.5.2稳定边缘轮廓的提取首先,椭圆轮廓应为规则的凸性封闭轮廓.其次,当投影角度小于70°时,椭圆圆度Cellipse应满足1.0≤Cellipse4π≤1.5(2)最后,采用鲁棒性最小二乘椭圆拟合方法来匹配图像中剩余的轮廓.最小二乘拟合误差ε满足式(3)为候选椭圆ε≤εmax(3)式中,εmax为误差允许的最大值.图3(a)所示为放有标记点的显示器的局部图像,图3(b)为该图像经Canny边缘检测提取的边缘轮廓.图3(c)和图3(d)是按照顺序采用尺寸准则和形状准则对图3(b)过滤的结果.(3)椭圆e1、k本文采用的标记点目标前景(白色)与背景(黑色)对比度强烈.这是标记点目标区别于其他非标记点目标的显著特征.本节根据标记点的这种灰度特征来进一步排除非标记点目标,可将真实场景中一些具有椭园形状或者与椭园形状接近的非标记点目标排除.如图4所示,若E1为标记点中心圆形轮廓,E2为与E1同心、直径为10mm的圆.E′1、E′2分别为E1、E2成像后的椭圆.由于标记点所在区域的深度变化远小于它到相机的距离,其成像过程可用近似仿射变换来表示.因此,椭圆E′2的中心和旋转角度应与椭圆E′1相同,长短轴长度可由式(4)求得{aE′2=aE′1×kbE′2=bE′1×k(4)式中,k=rE2/rE1,rE1、rE2分别是E1、E2的半径,rE1=5mm,rE2=10mm,aE′1、bE′1分别表示已拟合的椭圆E′1的长轴和短轴长度,aE′2、bE′2分别表示椭圆E′2的长轴和短轴长度.显然,对所有标记点,椭圆E′1内部Sforeground区域为前景,像素点灰度趋向白色;E′1和E′2之间的环状区域Sbackground为背景,像素点灰度趋向黑色,且两者对比度应足够大.分别以Sforeground区域内像素点的灰度均值Mf作为前景灰度,Sbackground区域内像素灰度均值Mb作为背景灰度,则Mf和Mb应满足{Μf≥ΜtΜb≤ΜtΜf-Μb≥ΔΜt(5)式中,Mt为区分前景灰度与背景灰度的阈值,ΔMt为前景灰度与背景灰度之差应满足的最小值.方差表示的是区域内各像素灰度值与均值的偏差.若区域内像素灰度均匀,则各像素灰度值与均值的偏差应该很小,即方差足够小.因此,为保证均匀性,Sforeground区域内像素灰度的方差Vf及Sbackground区域内像素灰度的方差Vb应满足{Vf≤δfVb≤δb(6)式中,δf、δb分别为Sforeground和Sbackground区域内允许的最大灰度方差.对所有经最小二乘拟合出来的椭圆,都假设存在这样的两个区域Sforeground和Sbackground,计算这两个区域内像素灰度的均值和方差,满足式(5)和(6)方为候选标记点目标.图3(e)为将图3(d)中轮廓通过该准则过滤后的结果,可见,本例中非编码元与显示器表面之间的边界不满足该灰度准则,因而可以被排除.(4)标记点目标提取上述各准则的应用将大量不满足标记点目标特征的轮廓剔除,但是编码元周围“编码带”上的小块经常会满足以上各准则而无法将其排除(如图3(e)所示).这些小块的轮廓处于某个编码元的“编码带”上,因此轮廓中心与该编码元中心的距离较小.采用2.2节的方法将编码元与非编码元分类后,计算非编码元与编码元中心距离d,如果满足式(7),则剔除该目标点.d≤dmax(7)式(7)中,dmax取编码元“编码带”外边界上像素点距编码元中心的最大距离,即“编码带”外边界椭圆长轴的长度.需要注意的是,位置准则是在编码元的解码过程完成之后进行的,关于编码元的解码算法见稍后的2.2节.图3(f)给出了图3(e)经位置准则过滤的结果.在近景摄影测量中,要求标记点提取算法能够有效地排除非标记点目标.因为标记点提取作为近景摄影测量的首要步骤,该过程中被错误提取的目标将会影响后续的对应匹配和三维重建算法,从而产生不正确的三维重建结果.本节标记点目标提取算法的优点在于全面结合了标记点目标的各种特征,不仅包括标记点的几何特征(尺寸和形状),还包括文中采用标记点的灰度特征以及标记点在待测物体表面的分布情况,因而能够准确地提取标记点目标,更多实验分析见3.1节.2.2改进编码识别方法本节根据编码元编码带上的灰度变化,进行编码元的身份识别,同时将非编码元与编码元分类.如图5所示,若D为识别出的椭圆目标,A、C分别为对应于编码带外边界和内边界的椭圆,椭圆B位于A和C中间.文献将椭圆B映射为一个单位圆,使得单位圆上各像素的灰度与B上的像素灰度一一对应,然后在此单位圆上寻找一个起始点,每隔24°对各二进制位进行解码,从而获得编码元的ID.这种方法仅用单像素宽椭圆B上的灰度变化来确定编码元的编码,而没有考虑整个“编码带”的影响,受噪声等因素影响较大.如图6(a)所示为一个现场测量环境造成的表面带有污点的编码元图像,为便于观察,将该编码元“编码带”上的像素变换到图6(b)所示矩形上显示,椭圆B上像素对应图6(b)矩形在BB线上的像素.图6(c)中虚线表示了椭圆B上各二进制位的灰度值变化.由于污点的影响,第4位上大部分像素灰度更趋向于背景灰度,从而导致编码错误.本文在文献方法的基础上提出了一种改进的编码识别方法.如图5所示,直线OTB是椭圆B上的一个像素点TB与椭圆中心O确定的一条直线,OTB与椭圆A、C的交点分别为TA、TC,将线段TATC上所有像素按照灰度大小进行排序,取灰度值居中的像素灰度作为像素点TB的灰度,用式(8)表示,即ΙB=Ιm=median{fAC}(8)式(8)中,fAC表示线段AC上各像素的灰度值.这种方法相当于对点TB在一个线形窗口内进行一次中值滤波.采用中值滤波后椭圆B上新的灰度值来确定编码元每一位的二进制码,考虑了编码带内所有像素的灰度值,能够消除孤立噪声的影响.图6(c)实线所示为椭圆B上新的灰度值.可见,第4位的像素灰度正确,取中值的方法消除了噪声的影响.对大量的现场拍摄图像的处理结果表明,这一方法对提高编码元身份识别的鲁棒性十分有效.本文编码元识别算法的具体实现步骤如下:(1)采用2.1节的方法,根据拟合出的椭圆D(如图5所示)计算椭圆B、C的参数(包括椭圆中心坐标、长短轴及旋转角),并进一步获得椭圆B、C上各像素点的位置坐标.(2)以D所包围的区域内所有像素灰度的中值作为前景灰度,C和D之间区域内所有像素灰度的中值作为背景灰度.前景灰度与背景灰度的均值作为阈值,用于后续确定编码元各二进制位的码值.(3)采用以上讨论的中值滤波方法得到椭圆B上各像素点的新灰度值.(4)如图7所示,对坐标系xy中椭圆B上各点按照式(9)做逆仿射变换,使椭圆B对应坐标系x′y′中的单位圆.X″=[a-1b-1][cosαsinα-sinαcosα](X-Xo)(9)式中,X″是与TB对应的单位圆上点的坐标,X是点TB的坐标,Xo是椭圆B的中心O的坐标,a、b分别是椭圆B的长轴和短轴的长度,α是椭圆B的旋转角.(5)对单位圆上像素作二值化处理,取其中的一个边缘点作为起始点.(6)从起始点开始,按照顺时针顺序在该单位圆上每隔24°作为一个二进制位,计算各位内所有像素点的平均灰度值.若某位的灰度平均值大于阈值,则该位取二进制码为“1”;否则取“0”.从而可以得到编码元的一个二进制编码.选取的起始点不同,编码元所对应的二进制码也不一样,即每个编码元可能对应15种不同的二进制码,每个二进制码对应一个十进制数,取其中最小的十进制数为编码元的ID,本文将所有编码元的编号保存于查找表中.在查找表中查找该ID号,若存在说明该目标为编码元,否则为非编码元.2.3标记点的定位文献中对几种亚像素定位方法进行了比较,其中质心法是一种易于实现且精度较高的方法,本文采用这种方法按照式(10)来进行标记点的定位.式中,(xc,yc)为标记点中心坐标,Ii,j为区域内像素点(i,j)的灰度值.{xc=∑j∑ii⋅Ιi,j/∑j∑iΙi,jyc=∑j∑ij⋅Ιi,j/∑j∑iΙi,j(10)3实验数据及分析本文提出的算法已采用VC++实现.本节设计两个实验分别验证标记点提取算法和编码元识别算法.以下实验数据均为在主频2.6GHz、内存512MB的PentiumIV微机上的实验结果.文中实际图像从Nikon数码相机(分辨率4256×2848)获得.3.1标记点识别的准确性分析本节通过仿真图像和实际图像来验证标记点提取算法.以下识别率Prec指的是识别出的正确的标记点目标个数与图像中总的标记点目标个数之比,识别错误率Prec-error指误识别出的非标记点目标个数与识别出的非标记点目标总和之比.首先构造两个系列的仿真图像分别考察投影角度和噪声对算法的影响.仿真图像的大小均为480×320.第一系列分为8组,每组包括30幅图像(共240幅).该系列的图像用来考察投影角度的影响,各组分别为标记点的投影角度θ取0°～70°(间隔10°)之间各值的图像.图8表示了投影角度改变时识别率的变化趋势,可见,本文算法能保持较高的识别率.从图9(a)中的曲线可以看出随着噪声百分比Pnoise的增大,本文算法的识别率有所降低,但在噪声百分比为5%时,识别率仍在90%左右.从图9(b)中可以看出,本文算法受噪声的影响小,错误率很低,这是因为本文不仅考虑了标记点的几何特征,还考虑了标记点的灰度变化和位置分布特征,保证了识别的准确性.在目前已有的参考文献中,文献考虑了利用前景与背景之间的对比度来提取标记点目标,而未提出具体的应用方法,且没有考虑标记点目标前景与背景灰度的均匀性;其余的参考文献均未采用灰度准则和位置准则.本文还给出两个不同类型的实际场景来验证标记点提取算法.场景1在放置于水磨石地面的工程中常见金属材质零件表面分布标记点,场景2在放置于水磨石地面的显示器表面分布标记点.显示器顶部大量的散热孔及水磨石地面可能对标记点提取算法产生干扰,设计这两个场景在一定程度上可以考察本文标记点提取算法的准确性.本节对每个场景取不同角度的50幅图像(共100幅)进行识别.图10(a)为场景1在零件表面曲率较大的局部检测结果,图10(b)为场景2在显示器的一角受顶部散热孔和水磨石地面影响时的检测结果.表1对仿真图像和实际图像的识别率Prec、识别错误率Prec-error及运行时间进行统计.可以看出,应用该算法对图像进行标记点提取,能够达到很高的识别率,且产生错误的概率低.在不添加位置准则和灰度准则的情况下,则会产生许多不正确的识别结果.图11(a)为图10(a)不采用位置准则时提取的结果,编码元“编码带”上的小块(如Ⅰ、Ⅱ、Ⅲ处)被错误提取.如图11(b)为图10(b)在不采用灰度规则时的提取结果,水磨石地面的一些斑点如Ⅳ、Ⅴ和Ⅵ处被误认为标记点.表1的结果显示应用本文算法在仿真图像中检测标记点的速率很快.对实际高分辨率图像进行识别时,运行时间约为3s.表1的结果还表明本文算法能够正确对编码元和非编码元进行分类,分类的错误概率很小.3.2编码元识别算法在