蕾丝花边的改进型纹理特征检索方法

蕾丝花边的改进型纹理特征检索方法曹霞;李岳阳;罗海驰;蒋高明;丛洪莲【摘要】针对传统的蕾丝花边检索主要依赖于人的视觉检测及文本检索，存在信息不稳定、效率低、检索效果不可靠的现象，提出了一种基于层次匹配下多特征融合的蕾丝花边检索方法.通过运用图案纹理特征标识图像，首先分别用灰度共生矩阵、灰度梯度共生矩阵、局部二进制算子提取纹理特征进行匹配.然后将3种提取纹理特征方法，分别结合形状特征、不变矩特征量进行逐层匹配.最后将层次匹配下各个纹理特征进行融合，弥补了单个匹配方法的不足，同时在蕾丝花边库中验证所用检索方法的正确率.分析结果表明，这种方法优于任意单个的蕾丝花边匹配方法，能较好地实现蕾丝花边检索,有效地提高图案检索的可靠度和准确率.【期刊名称】《纺织学报》【年(卷)，期】2016(037)006【总页数】7页(P142-147,154)【关键词】图像检索;蕾丝花边;纹理特征匹配;层次匹配;特征融合;特征提取【作者】曹霞;李岳阳;罗海驰;蒋高明;丛洪莲【作者单位】江南大学教育部针织技术工程研究中心，江苏无锡214122;江南大学教育部针织技术工程研究中心，江苏无锡214122;江南大学轻工过程先进控制教育部重点实验室，江苏无锡214122;江南大学教育部针织技术工程研究中心，江苏无锡214122;江南大学教育部针织技术工程研究中心，江苏无锡214122【正文语种】中文【中图分类】TP391.41近年来，由于蕾丝花型的多变性及蕾丝花边数据库的庞大，一般生产企业或中间商的数据库存储蕾丝花边多达几千到上万。传统的基于文本检索方法采用人工标注，其检索结果受主观因素影响大，从而导致检索准确度不高，效率低。如何快速、精确地实现蕾丝花边管理与检索是一亟待解决的行业难题。蕾丝花边经编链、衬纬形成地组织，再配合贾卡形成网孔变化不一的底布纹理，配合多把梳栉的不同垫纱运动，再通过局部衬纬、压纱及色纱线编织形成平坦、立体及绣花图案，呈现出不同的织物肌理，在数字图像处理领域表现为不同的纹理，因此本文运用纹理特征对蕾丝花边进行标注，提出一种新的基于内容的蕾丝花边检索方法。织物纹理特征可用一阶到高阶统计属性来进行描述，如平均值、方差、直方图、共生矩阵等［1］。研究表明，图像纹理特征与其周围的灰度变化规律密切相关，越平滑区域像素灰度变化越小，越粗糙区域像素灰度变化越大［2］。Haralick等定义了14个用于纹理分析的灰度共生矩阵(GLCM)特征参数，应用在织物编织图案上的识别率为80%［1,3］。Alvarenga等用灰度共生矩阵分析超声图像纹理特征，提高了夜间非接触式的温度估计方法的性能［4］。Hu等利用灰度共生矩阵分析织物纹理特征，即利用自适应选取纹理图像的主方向方法，描述出大量的纹理信息和旋转不变属性，提高了纹理特征的精度和非歧义性［5］。洪继光将图像梯度信息加入到灰度共生矩阵，使纹理具有方向特征，利用灰度梯度共生矩阵(GGCM)方法提取5类白血球样本纹理特征，进行分类检索后的识别率为77.8%［6］。Ojala等提出一种局部二值模式(LBP)纹理算子［7］，具有显著纹理特征描述能力。然而经试验得出，上述单一的基于全局或局部纹理特征匹配方法，仍然受花型纹理结构复杂和纹理周期截取误差的影响，导致最终匹配识别率较低。为解决上述问题，本文提出一种基于层次匹配下多特征融合的蕾丝花边检索方法，将3种基于不同的图像纹理特征的方法分别进行层次匹配并融合，优化现有识别性能，提高检索的准确率。1.1系统框图蕾丝花边检索包括2种模式：注册模式和辨识模式。其中注册模式由图像采集、图像预处理、特征提取3个功能模块组成；辨识模式由图像采集、图像预处理、特征提取、特征匹配和决策5个功能模块组成。注册模式指1008幅无重复蕾丝花边图案经过注册过程得到模板特征向量，存储到蕾丝花边数据库。辨识模式指蕾丝花边数据库中图案依次作为测试图案，与数据库中的蕾丝花边进行〃一对多匹配”，即待检测的蕾丝花边特征向量需要与特征数据库中所有样本特征向量进行匹配，最后按照特征向量间的相似度做出决策，即由大到小进行排序，检索出待测蕾丝花边，这2种模式图如图1所示。1.2蕾丝花边图像采集和数据库的建立为避免获取的样本图案发生畸变及外界光照等不利因素的影响，采用扫描仪获取蕾丝花边图案，保证试验外界环境一致。选取200dpi的分辨率扫描样品，将图片缩放至621像素x439像素，分辨率为96dpi。扫描时作如下优化操作，首先选择与花边颜色相对应的背景色，若蕾丝花边颜色较浅，背景选取为黑色；蕾丝花边颜色较深，背景选取为白色，处理结果如图2所示。其次由于蕾丝花边的纹理分布呈现周期循环，为提高检索的效率和准确率，本文利用图像预处理的方法，经过图像阈值分割，然后根据蕾丝花边中的一个完全组织2个参考点坐标进行图像矫正、截取出一个完全组织图案，得到最终的蕾丝花边数据库，如图3所示。式中H表示蕾丝花型的花高，W表示蕾丝花型的花宽。1.3图像特征提取与匹配方法1.3.1形状特征匹配方法蕾丝花边所呈现的不同肌理含有丰富的纹理信息，反映在图像处理领域即为纹理特征，分为局部纹理特征和全局纹理特征。为提高匹配方法的效率与准确率，首先获取测试图案花型的高Th与宽丁可，样本图案花型的高与宽由于扫描蕾丝花边时存在样本倾斜情况和截取花序循环存在误差，故取检验花型花高与花宽的阈值条件t=6，根据形状特征粗略的筛选出符合阈值条件的样本图案，筛选条件为即同时满足测试图案的花高与样本图案的花高差值不超过t，测试图案的花宽与样本图案的花宽差值不超过2t。其中Sk为满足筛选条件的样本图案的特征向量k=12...,n,n为样本图案的个数。1.3.2纹理特征匹配方法基于灰度共生矩阵的纹理特征匹配在图像纹理特征提取方法中，共生矩阵描述了图像灰度分布关于方向、变化幅度和局部领域的综合信息［8］。通过分析蕾丝花边图案的纹理特征，即图案的像素值分布规律，取图像中任意一点(x,y)及其位置方向成0。，45。，90。，135。)上另一点(x+M,y+9)，形成一个点对，其灰度值设为(i,j),即点(x,y)的灰度为i,点(x+M,y+9)的灰度为j。当以和△恒定时，遍历图像各个点(x,y)。为减少计算量和提高纹理特征的识别效果，将原图像的灰度级256量化为128，即L=128。统计图像中每对像素点在灰度共生矩阵出现的概率为Pij,其中［Pij］LxL为灰度概率联合概率矩阵，即灰度共生矩阵［9-10］。式中：#表示集合中元素的数目；Q表示总的灰度级对数目。基于GLCM的纹理特征中对比度和熵具有最大识别能力，其中角二阶矩、对比度、相关性是不相关的［11］，本文选取角二阶矩fasm、对比度fcon、相关度fcor、熵fent4个特征量来表示纹理特征。式中：N表示方阵Pi,j的行(或列)数；fmean_r为沿着归一化后灰度矩阵的行计算的均值；fmean_c为沿着灰度矩阵的列计算的均值；fvar_r和fvar_c分别为沿行和列计算的方差；以对比度为例进行分析分别对应像素对在不同方向下所计算出的对比度，其均值为pcon,标准差为ocon。对比度、角二阶矩、熵、相关度各个均值，方差，共同组成最终蕾丝花边图案的纹理特征向量。最后采用索引特征分别计算出测试图案特征向量和模板图案的特征向量然后进行属性归一化，定义测量距离为这里测量距离越小，则对应相似度越大。式中D为特征向量的维数表示测试图案的第i个特征向量表示样本图案的第i个特征向量。基于灰度梯度共生矩阵纹理特征匹配灰度梯度共生矩阵综合分析了像点灰度和梯度，将图像的梯度信息融入灰度共生矩阵，即图像灰度直方图与梯度直方图结合，充分地描绘出图像纹理灰度及梯度分布规律，即各像素点与其领域像素点的结构特征和方向性特征。取梯度图像灰度级Lg=32，图像灰度级L=256。选取灰度梯度共生矩阵［6］共有15个纹理特征，构成最终的索引特征，这里仅给出几个主要的特征:能量T1、灰度平均口1、梯度平均p2.混合熵T2、逆差分矩T3。最后采用索引特征分别计算出测试图案特征向量和模板图案的特征向量然后进行属性高斯归一化，同上采用欧氏距离测量特征向量间的距离。基于局部二进制模式的匹配方法局部二进制模式LBP主要分析图像局部纹理特征，定义局部区域纹理特征为T,T~(g0-gc,...,ge-1-gc),gc是局部区域纹理的中心像素灰度值，ge(e=0,...,E-1)对应以中心像素为圆心、半径为R的圆上均匀分布的E个点的灰度值。本文采用统一二进制模式，选取了特征维数少且旋转不变的算子［7］,统计各个图像的分布直方图，即所提取出的LBP纹理算子特征，记为fl。U(LBPE,R)=|s(ge-1-gc)-s(g0-gc)|+最后采用索引特征分别计算出测试图案特征向量和模板图案的特征向量采用卡方统计量进行相似性度量，相似度越大表示越相似，即1.3.3不变矩特征匹配方法考虑到图像的主要信息由图像的边缘轮廓提供，文献[12]证明了不变矩特征量具有尺度、旋转、平移不变特性，因此本文将不变矩作为图像的匹配特征量。首先采用Canny算子提取蕾丝花边图案的边缘特征，运用3x3Sobel模板算子进行滤波，低滞后阈值为3，高滞后阈值为9。选取图案边缘特征的7个不变矩特征量[13]h1~h7，式中的n是归一化矩。h2=(q20-q02)2+4q112h3=(r|30-3r|12)2+(3r|21-n03)2h4=(n30+n12)2+(n21+n03)2h5=(n30-3n12)(n30+n12)[(n30+n12)2-3(q21+n03)+(3n21-n03)(q21+n03)[3(n30+q12)2-(q21+n03)2]h6=(n20-n02)[(n30+n12)2-(n21+n03)2]+4门11(门30+门12期21+门03)h7=(3q21-n03)(n30+n12)[(q30+n12)2-3(q21+n03)2]-(n30-3q12)(n21+n03)[3(n30+q12)2-(q21+n03)2]最后采用不变特征量作为索引，分别计算出测试图案的特征向量模板特征向量相似性度量如下：1.4层次匹配算法基于多特征的层次匹配方法可显著地提高特征提取与匹配的效率，可在大数据库下由粗到精逐层实现图案特征匹配与识别，有效地提高匹配的效率和精确度[14]，因此针对不同的层次分别采用不同的匹配方法。层次1：形状特征匹配；层次2:纹理特征匹配；层次3:不变矩特征匹配。假设蕾丝花边数据库中有n个样本图案，即有n个模板特征向量，记为S1,S2，…,Sn。某个模板特征向量Sk,k=1,2，…,n,其对应的排序值定义为rk。首先按照具体节图像预处理方法截取蕾丝花边一个完全组织图案，采用形状特征匹配算法筛选出满足第1层形状特征匹配的蕾丝花边，然后采用上述第2层纹理特征匹配算法中各个纹理特征提取方法，计算出测试图案特征向量与经过第1层形状特征匹配筛选后蕾丝花边图案数据库中所有需要进行匹配的特征向量的距离，根据相似程度由大到小排序，相似度最大的模板特征向量所对应的蕾丝花边图案作为匹配的第1候选。然后按照实际测试图案与样本图案的对应关系，分别验证上述GLCM、GGCM、LBP纹理特征对所有模板特征向量排序的结果。假设实际与测试图案相对应的某模板的特征向量为Su，u=12...,n，Su的排序值为ru,当模板特征向量Su为非第1候选时，即ru/1，定义返回的模板特征向量为Sback={Sk|ru>rk},其中对Sback中模板特征向量进行第3层不变矩特征匹配，重新排序，得到3种层次匹配下的不同纹理特征的匹配结果，再分别用2种融合方法对3种层次匹配结果进行筛选、融合，得到最终的匹配结果，如图4所示。图中，D1<T1表示满足上述第一层形状特征匹配的筛选条件，D1指满足第一层形状特征匹配的候选蕾丝花边，T1指第一层形状特征匹配的阈值条件；同理D2<T2表示满足上述第二层纹理特征匹配的筛选条件，D2指D1中满足第二层纹理特征匹配的候选蕾丝花边，T2指第二层纹理特征匹配的阈值条件。1.5多特征融合方法为分析简便，定义有m个分类器用于融合，记作C1,C2，…,Cm,本文取m=3,C1到C3分别对应着层次匹配下GLCM、GGCM、LBP纹理特征匹配方法，如表1所示。对各个分类器Ci,根据相似性度量的结果进行排序，排序靠前的作为第—候选。m个分类器对某个模板特征向量Sk(k=1,z,...,n)进行排序得到m个排序值，记为其中分类器Ci对Sk的排序为层次匹配下多特征向量融合匹配方法，均以排序值作为匹配方法对模板图案的输出值，排序最高的模板作为第1候选，因此选用基于排序层次的匹配方法，本文在排序层次上选用基于Borda计数法的融合方法。1.5.1融合方法1第1种融合方法是基于Borda计数法的融合方法。定义分类器Ci对某个模板特征向量Sk的Borda数为排序值低于的模板特征向量的个数，即将m个分类器对Sk的Borda数排序中最高的2个排序值求和，作为融合后对Sk的排序输出值，即式中，min，min2分别表示中最小的2个值。对r1(Sk)由小到大重新排序，获取各个分类器融合后的所有模板特征向量的排序，排序最高的模板即为第1候选。1.5.2融合方法2第2种融合方法是基于加权的Borda计数法的融合方法。由试验结果发现，基于层次匹配下GGCM的匹配方法在单一识别效果上明显优于其他方法，故设置较大权值，其他2种方法识别效果较差，设置较小权值。设置与各分类器Ci相对应的权值如下：w1=0.05,w2=0.9,w3=0.05，满足wi>0，对每个分类器的Borda计数进行加权平均：重新排序，得到各个分类器融合后的所有模板特征向量的排序，排序最高的模板即为第1候选。利用1.2节方法获取到1008幅蕾丝花边图案，对这些图像进行预处理，将提取的每幅图像的一个完全组织的模板特征向量存储到蕾丝花边数据库来测试文中提出的算法。蕾丝花边数据库中图案依次作为测试图案，分别运用上述各种匹配方法进行测试，返回匹配效果最优的前M个模板作为候选。前M个候选中若含有实际与测试图案相对应的模板图案，即识别正确。识别率为正确识别的图案个数占测试图案总数目的百分比，定义评价指标有M=1,M=5,M=10,3种情况正确识别率、—幅蕾丝花边识别的平均时间，即一幅测试图案与数据库中所有的模板特征向量匹配得到识别结果的时间。综合各种匹配方法测试结果如表2所示。表2示出了3种单一纹理特征匹配方法、3种基于层次匹配下纹理特征匹配方法，以及2种基于层次匹配下多种纹理特征融合匹配方法对测试集合中图案进行检测的结果。从试验结果可发现，基于层次匹配下各种纹理特征准确率高于任一单一纹理特征匹配方法，其中基于层次匹配下GGCM纹理特征匹配方法效果最好。2种基于层次匹配下多种纹理特征融合匹配方法准确率较高于层次匹配下各种纹理特征匹配方法，其中基于加权的Borda计数法略好于第1种融合方法。在识别速率上，因蕾丝花边数据库中各个完全组织的花高与花宽的不同，所以要遍历样本图案每一个单位分块，提取LBP纹理算子特征进行匹配，导致LBP纹理算子特征的匹配速率明显比其他单一的蕾丝花边识别方法要慢。由于在单一纹理特征匹配方法基础上结合层次匹配及特征融合，存在重复的步骤，因此基于层次匹配下3种纹理特征匹配方法及2种多特征融合方法识别时间要略高于单一纹理特征匹配方法。本文针对单一纹理特征匹配方法识别率低下及提取纹理特征不全面的问题，分别运用GLCM、GGCM、LBP纹理算子提取纹理特征，结合形状特征与不变矩特征向量，进行逐层次匹配，得到层次匹配下各个纹理特征匹配的结果。又将层次匹配下各个纹理特征进行融合，提出了一种基于层次匹配下多特征融合的蕾丝花边检索方法，弥补了单个匹配方法的不足，增强了识别效果。分析结果表明，该方法优于任意单一的蕾丝花边匹配方法，能较好地实现蕾丝花边检索，有效地提高图案检索的可靠度和准确率。【相关文献】JEFFREYKuoChungfeng,SHIHChungyang,HOChengen,etal.Applicationofcomputervisionintheautomaticidentificationandclassificationofwovenabricweavepatterns[J].TextileResJ,2010,80(20):2144-2157.焦蓬蓬，郭依正，刘丽娟，等.灰度共生矩阵纹理特征提取的MatLab实现[J].计算机技术与发展,2012，22(11):169-172.JIAOPengpeng,GUOYizheng,LIULijuan,etal.Extractmatrixtextureofgraylevelco-occurrencebasedontheMatlab[J].ComputerTechnologyandDevelopment,2012,22(11):169-172.HARALICKRM,SHAUNMMUGAMK,DINSTEINI.Texturalfeaturesforimageclassification[J].IEEETransactionsonSystems,ManandCybernetics,1973,3(6):610-621.ALVARENGAAV,TEIXEIRACA,RUANOMG,etal.Influenceoftemperaturevariationsontheentropyandcorrelationofthegray-levelco-occurrencematrixfromB-modeimages[J].Ultrasonics,2010,50(2):290-293.HUY,ZHAOCX,WANGHN.Directionalanalysisoftextureimagesusinggraylevelco-occurrencematrix[C]//2008IEEEPacific-AsiaWorkshoponComputationalIntelligenceandIndustrialApplication.Wuhan:ACM,2008:277-281.洪继光.灰度-梯度共生矩阵纹理分析方法[J].自动化学报,1984,10(1):22-25.HONGJiguang.Analysistexturebasedongray-gradientco-occurrencematrix[J].ActaAutomaticaSinica,1984,10(1):22-25.OJALAT,PIETIKANINENM,MAENPAAT.Multiresolutiongray-scaleandrotationinvarianttextureclassificationwithlocalbinarypatterns[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2002,24(7):971-987.常利利，马俊，邓中民，等.基于灰度共生矩阵的织物组织结构差异分析[J].纺织学报,2008,29(10):43-46.CHANGLili,MAJun,DENGZhongmin,etal.Analysisfabricstructurevariancebasedongraylevelco-occurrencematrix[J].JournalofTextileResearch,2008,29(10):43-46.JEFFREYKuoChungfeng,T