立体零件加工质量的在线图像检测方法

1、立体零件加工质量的在线图像检测方法*史博，汪霖，曹建福（西安交通大学电子与信息工程学院西安710049）摘要：针对具有景深零件加工质量的在线检测问题，提出一种基于单摄像机的分层图像测量方法。结合改进的双线性插值和Robert边缘算子，对零件各层面在图像上投影直线边缘粗定位；再基于灰度矩的亚像素算法和最小二乘直线拟合，将边缘定位精度提高到亚像素级。在二步法图像边缘定位基础上，利用分层映射关系，获得零件形状和几何尺寸数据。本文方法应用于某种双层特种钥匙加工质量的图像检测中，实验结果表明，该方法实时性好，能满足机械零件加工质量的检测要求。关键词：景深；加工质量；亚像素；图像检测中图分类号：TP391

2、.41文献标识码：A国家标准学科分类代码：510.8040On-line image detection method for matching quality of three-dimensional partsShi Bo, Wang Lin, Cao Jianfu (School of Electronics and Information Engineering, Xian Jiaotong University, Xian 710049, China)Abstract：Aiming at the image detection of mechanical product with d

3、epth of field, we put forward an image detection method based on dividing image according to the depth of field with single camera. Modified bilinear interpolation and Robert edge detection operator are used to work out the rough location of all the straight edges on the image. And then a sub-pixel

4、edge detection algorithm based on gray moment and the least square fitting is used to improve the positioning accuracy of the straight edges to sub-pixel level. The suggested method has been applied to the image detection of product quality of certain double-layer special key. The results show that

5、this method has real-time characteristic and is suitable for image detection of mechanical product quality.Key words：depth of field; machinery quality; sub-pixel; image detection1引言基于机器视觉的测量技术已被广泛地应用到机械加工自动生产线上零件质量的在线检测方面，包括对零件的形状、几何尺寸的质量检测。现代精密制造生产线对视觉系统的检测精度要求较高，传统像素级精度的图像测量技术已不能满足实际需要，需采用亚像素级的图像处

6、理算法。由于亚像素图像处理算法计算时间较长，在实际应用时需解决视觉系统的实时性问题；同时，由于许多机械生产线生产的零件具有景深视差，因此对具有景深机械零件加工质量的实时图像检测算法的研究是一个非常重要的研究课题。Liguori等人1提出了一种双摄像机检测方法，通过立体匹配技术进行三维重建来实现有景深的图像处理，它使用的是像素级处理算法，其精度和检测率难以满足精密生产线的要求。徐博等人2提出了一种基于亚像素边界提取和圆拟合的双目立体视觉高精度测量方法，该方法通过边界提取、立体匹配、三维重建、边界拟合等过程完成测量，其计算过程较为复杂，该方法很难应用于机械生产线零件加工质量的实时检测。收稿日期：2

7、009-01Received Date：2009-01*基金项目：国家“863”计划（2006AA01Z126）资助项目本文提出一种新的分层图像测量方法，使用分层映射技术、图像插值、粗精两步边缘定位对现有处理方法进行改进，可对有景深零件质量进行在线检测。本文方法比Liguori方法1计算更为简单，对图像采集系统要求较低，更适用于自动化生产线的在线检测需求，其可靠性和准确度也明显提高。本方法在某种特种钥匙的图像检测中进行了实验，结果表明检测精度和实时性均能满足工业现场的要求。2零件参数分层图像测量高速数控生产线加工的许多机械零件，由多个不同景深、相互平行的层面垒叠而成。对视觉系统进行物面分辨率标

8、定时，可根据景深差异分割图像，通过边缘检测提取出的各个层面在图像中的分界边缘，把标准件的平面图像分割成若干区域，每个区域可以看作是立体标准件的一个景深层面在平面图像上的投影区域。由此建立了三维标准件与平面图像之间的对应关系，实现了立体零件各个层面到平面图像的映射。如图1所示，设零件共有n个不同景深层面，平面图像中区域Ai对应标准件上第i层。设Ai区域对应的第i层的两条平行直边缘a、b之间的垂直距离是Li。已知标准件上距离Li的实际长度，设为Di（mm）。然后利用边缘检测的结果，对Ai区域边缘直线a、b进行识别定位，利用检测到的Ai区域边缘直线a、b的相对距离，计算出Li在图像中的像素长度Pi（

9、pixel），零件第i层的物面分辨Bi率为： (1)式中：Bi单位是mm/pixel。用以上方法可以获取标准件n个景深层面各自所对应的物面分辨率Bi，i=0, 1, , n，。(a) (b)图1分层面测量示意图Fig.1 Layered measurement schematic diagram分层次标定完毕，利用Bi这组物面分辨率可以对零件上位于不同景深层面的几何尺寸进行分层测量。由待测几何尺寸在平面图像中的区域来判断所对应的景深层面。假设某待测直线位于第i层景深层面，检测出该线条在图像中的像素尺寸Pi,j，再由景深级别来确定选用相应的标定值Bi（mm/pixel），其实际尺寸Di,j（mm

10、）为： (2)由此，实现了图像像素尺寸到现实尺寸的映射，完成零件尺寸的测量。分层标定测量的关键在于精确定位各不同景深层面投影区域的边缘线，以此来划分层面投影区域，求解各个层面的物面分辨率和确定待测尺寸的层面归属，因此边缘线定位精度直接影响到检测精度。本文采用二步边缘定位算法来实现亚像素级精度的层面边缘线定位。3二步法图像边缘定位算法 为了提高图像边缘的粗定位精度，先采用双线性插值3对原始图像进行预处理。双线性插值放大可以很好地保留原始图像的边缘，且放大后图像的边缘平滑无锯齿。假设要在(x, y)点插值新的图像像素，该点处灰度值为f(x, y)，已知其左上、左下、右上、右下4个像素点：Q11(x

11、1, y1)、Q21(x2, y1)、Q12(x1, y2)、Q22(x2, y2)，各像素点处灰度值分别为f(Q11)、f(Q12)、f(Q21)、f(Q22)。步骤1：在X坐标轴上进行线型插值，设插值点为R1(x, y1)、R2(x, y2)，灰度值为： (3) (4)步骤2：利用上一步求得的两个点R1、R2在Y轴方向进行线型插值，插值点(x, y)处灰度值为： (5)由式(1)(3)得插值点(x, y)处的灰度值f(x,y)为：(6)根据式(6)可知，对每个插值点(x, y)要作12次加减法，14次乘除法，插值计算量较大，运算缓慢，而在线检测系统对实时性要求很高。经观察分析，机械零件灰度

12、图像上往往具有大面积的深色背景区域和在光源下呈白亮的零件表面区域，其特点是相邻像素之间灰度几乎没有差异，不能提供零件图像检测所需要的有用信息。因此，对于图像中这类区域中的像素点，使用式(6)进行双线性插值就显得毫无必要。为了减小插值运算量从而改善检测实时性，对传统的双线性插值作以下处理：步骤1：对于(x, y)周围的4个点Q11、Q12、Q21、Q22，首先用排序的办法求出其中灰度值最大和最小的2个点的灰度值f(Qmax)和f(Qmin)；步骤2：根据需要选择一个合适的阈值T，当满足时，按照就近原则，将(x, y)点的非整数坐标四舍五入得到整数点坐标值；步骤3：必定是Q11、Q12、Q21、Q

13、22中某点坐标，设之为点Q，则有f(x, y)=f(Q)。利用这种方法，一个像素点只需要作1次减法和9次比较运算即可完成插值计算，并避免了繁杂的浮点数乘除法运算。在运算量大幅减少的同时，仍具有双线性插值所具有的平滑自然的插值效果。图像插值前后效果对比如图2、图3所示。图2某种双层特种钥匙原图Fig.2 Original image of a double-layer special key图3插值后图像Fig.3 Image after interpolation机械零件边缘线多数是直线段或是由许多短直线段组成的曲线，在对图像边缘进行亚像素级的精确定位之前，首先需要将边缘粗定位，将边缘准确定位

14、到像素级。考虑到要处理的机械零件是精密磨削加工出来的，通过配备合适的光源，使图像边界的灰度变化比较陡峭，图像的噪声较小。像素级边缘检测采用Robert检测算子4。Robert算子是一阶算子，相对于Sobel、Prewitt、Krisch等二阶算子，模板简单，计算量小，速度快，Robert算子形式如式（7）所示： (7)式中：，是图像在(i, j)点像素值。Robert算子以为中心，度量了点处45°和135°方向的灰度变化，相当于用模板和对图像进行卷积。 (8)使用Robert算子对某种双层特种钥匙的边缘检测效果如图4所示。图4粗边缘定位后图像Fig.4 Image afte

15、r rough edge detection检测到像素级精度的边缘后，采用Hough变换的方法定位直线段边缘位置。Hough变换的核心思想是点-线的对偶性，即把图像中的边缘特征信息转化为图像参数空间中的聚类检测问题。设图像尺寸为N=W´H，图像上任意一点P，坐标为(x, y)，其中，设P点灰度值为f(x, y)。则P点在参数空间中对应着一条曲线： (9)式中：。设为对应于曲线参数的累加器。则Hough变换描述如下：对图像中每个灰度值不为零()的像素点，都要利用式(9)计算180个角度的值，实现累加器的计数，每个点要计算180次，每次涉及到2次浮点数乘法和1次浮点数加法，计算过于繁杂，

16、而在线检测系统对实时性要求很高，本文利用全整Hough变换法5-6的思想，制作Hough检索表对经典Hough变换的运算过程作优化。如表1所示，设，Hough检索表采用2M´180的二维数组结构，检索标号是角度()和坐标x, y（，），检索表中存放的数据是相应角度余弦和正弦值与坐标的乘积，再对该乘积作四舍五入所取得的整数值。检测系统初始化时导入Hough检索表，对图像作Hough变换时，式(9)中xcos的和ysin值无须计算，可以利用x（或y）和q 值直接在表中检索到。利用查询代替了浮点数乘法，每次运算只需要做两次查询和一次整数加法，运算量大幅度减少，缩短了Hough变换运行时间。

17、表1Hough检索表Table 1 Hough retrieval table坐标角度0°1°179°00´cos0°0´cos1°0´cos179°11´cos0°1´cos1°1´cos179°M1(M1)´cos0°(M1)´cos1°(M1)´cos179°00´sin0°0´sin1°0´sin179°11´

18、sin0°1´sin1°1´sin179°M1(M1)´sin0°(M1)´sin1°(M1)´sin179°利用经过改进的Hough变换对插值后图像作处理，可以获取各个景深层面在平面图像上的投影区域的直线段边缘位置，精度达到像素级，且速度较快。获取了像素级精度边缘粗定位后，为了将精度提高到亚像素级，本文采用了基于灰度矩的边缘定位算法。灰度矩亚像素边缘定位算法是由Tabatabai等人提出的一种利用图像前三阶灰度矩来对边缘进行亚像素定位的算法7-8，基本原理是假设实际图像中的实际边缘分

19、布理想阶跃边缘模型的灰度矩保持一致，即矩不变原理。一维边缘检测利用了一维理想阶跃边缘模型，它可以认为是由一系列具有灰度h1与一系列具有灰度h2的像素相接而构成的。这样的模型就可以用3个参数来确定：边缘位置k、边缘两侧的灰度值h1和h2。设u(x)为理想阶跃函数，则一维理想边缘函数可表示为： (10)假设p1和p2分别表示灰度值为h1和h2的像素点数在整个边缘上所占的比例，则两者满足如下关系：p1+p2=1。设单调序列gj(j=1, 2, n)为实际边缘点的灰度值，则该序列的前三阶灰度矩满足： (11)式中：n为实际整个边缘所占的像素数，进而有。由以上可以推出： (12) (13) (14)式中

20、：，可推得边缘位置为： (15)针对已进行粗定位的直线段边缘线，利用上述算法将边缘线上像素点的定位精度，精确到亚像素级。这样直边缘线就变成一系列离散的点集：P(xi, yi)，i=0, 1,，n。对这个近似按照直线分布的点集进行直线拟合处理，就可以获取定位精度在亚像素级的直边缘线。本文采用基于最小二乘的直线拟合法。设拟合直线的方程为y=Ax+B；测量点集P(xi, yi)，i=0, 1, n。按最小二乘法的要求，拟合直线与近似按直线分布的点集中各点的偏差的平方和为最小。数学表达式为： (16)式中：A、B是变量，对A、B分别求偏导数，得： (17)由以上方程组可计算出A、B值，则拟合直线方程y

21、=Ax+B解出，这条直线边缘是基于亚像素边缘点拟合而成。经过粗精二步边缘定位算法，获得了精度较高的边缘定位。4实验结果及分析本文的方法已成功应用到某种双层特种钥匙加工质量在线图像检测系统中。所检测的钥匙如图5所示，需检测双层钥匙高低两层19号钥匙齿底与钥匙下底边的距离尺寸和双层齿形。实验中，采用陕西维视的MV-3000UC工业摄相机、日本Computer公司8mm镜头，双探头LED光源。检测实验平台和环境为VC+6.0、Windows XP环境，主控计算机主要配置为：英特尔E8300 CPU（主频2.83 GHz），1GBDDR2 800 Mhz内存。图5钥匙实例及钥匙齿编号Fig.5 Too

22、th number on the real key实验中分别采用Liguori的方法1、徐博的方法2和本文方法对该特种钥匙的齿高度各检测10次，实验结果如表2所示。由表2可知，本文方法与徐博的方法2的绝对误差和标准差均在0.01 mm以内，两种方法检测精度相近，算法的稳定性也较好，都可以满足高精度测量的需要。但是徐博的方法2耗时明显高于本文方法，实时性较差，相比而言本文方法更适合作为工业生产线在线检测系统应用。虽然Liguori的方法1在检测速度方面优于本文方法，但是从其检测结果的绝对误差可知，该方法在检测精度方面没有本文方法精确，尤其是从3种方法标准差的比较可以看出，Liguori的方法1的

23、标准差较大，说明该方法检测结果不够稳定，无法满足高精度检测的需求。本文方法在保证高精度的同时，兼顾了实时性，同时相比另外两种方法，本文方法是固定单摄像机检测系统，比双摄像机检测系统具有更广泛的适用性，因此本文方法更适合在工业环境中实际应用。本文方法误差主要来源有：由于被测量的钥匙表面有一层电镀珐琅保护层，属于磨砂材质，导致相片上钥匙边缘凹凸不平，影响钥匙齿底边缘直线的第一次粗定位的精确度，造成测量误差；标定和测量时，没有考虑镜头畸变因素，也对最后检测结果造成误差。表219号齿高数据(毫米)及检测时间(毫秒)Table 2 Height data of No.1No.9 key tooth (m

24、m) and detection time (ms)钥匙齿编号123456789检测时间/ms实际值4.9004.8006.3005.4007.0004.2006.3004.2006.300本文方法测量均值4.9084.8046.2955.3977.0034.2096.3014.1986.298624绝对误差0.0080.0040.0050.0030.0030.0090.0010.0020.002标准差0.0020.0040.0030.0070.0060.0020.0030.0080.005徐博方法测量均值4.9104.8036.3075.4056.9914.2086.2944.2086.31

25、0990绝对误差0.0100.0030.0070.0050.0090.0080.0060.0080.010标准差0.0030.0060.0090.0040.0080.0030.0070.0110.003测量均值4.9354.8236.2805.4117.0274.2306.2854.2266.342Liguori方法绝对误差0.0350.0230.0200.0110.0270.0300.0150.0260.042485标准差0.0650.0720.0460.0380.0620.0580.0390.0410.0695结论本文提出的分层测量方法，可以用单摄像机对于有景深的机械加工零件进行图像测量，

26、该方法对生产线的工作环境要求不高，能满足高速机械产品生产线的实时性需要。从实验结果来看，对大约1 cm的物体拍摄测量，精度可以达到0.01 mm，可以满足绝大多数机械加工产品图像测量的需求。如果能再对摄像机内参数也进行标定，通过消除光学畸变，可以进一步提高检测精度。参考文献1 LIGUORI C, PAOLILLO A, PIETROSANTO A. An on-line stereo-vision system for dimensional measurements of rubber extrusionsJ. Measurement, 2004,35: 221-231.2 徐博,习俊通,

27、陈晓波. 基于亚像素的圆孔几何参数立体视觉高精度测量J. 航空计算技术, 2008,38(3): 94-96.XU B, XI J T, CHEN X B. High accurate stereo vision metrology for geometric parameters of 3D-hole based on subpixelJ. Aeronautical Computing Technique, 2008, 38(3):94-96.3 ARIF F, AKBAR M. Resampling air borne sensed data using bilinear interpol

28、ation algorithmC. Proceedings of the IEEE International Conference on Mechatronics, Taipei, Taiwan, 2005:62-65.4 QI D W, GUO F, YU L. Medical image edge detection based on omnidirectional multi-scale structure element of mathematical morphologyC. Proceedings of the IEEE International Conference on A

29、utomation and Logistics, Jinan, China, 2007:2281-2286.5 OLMA G, MAGLI E. All-integer Hough transform: performance evaluationC. IEEE International Conference on Image Processing, Thessaloniki, Greece, 2001:338- 341.6 韩秋蕾,朱明,姚志军. 基于改进Hough变换的图像线段特征提取J. 仪器仪表学报, 2004,25(4):436-439.HAN Q L, ZHU M, YAO ZH

30、 J. Line segment feature extract ion based on improved Hough transformJ. ChineseJournal of Scientific Instrument, 2004,25(4):436-439.7 TABATABAI A J, MITCHELL O R. Edge location to subpixel values in digital imageryJ. IEEE Trans. on Pattern Analysis and Machine Intelligence, 1984,6(2): 188-201.8 JENSEN K, ANASTASSIOU D. Subpixel edge