颜色纹理特征融合的猕猴桃果实分割方法答辩

1、颜色纹理特征融合的猕猴桃果实分颜色纹理特征融合的猕猴桃果实分割方法割方法目录目录研究背景与意义研究方案研究结果与分析研究过程研究总结与展望一一. .研究背景与意义研究背景与意义u猕猴桃产业是西北地区主要农产业之一。然而往往人工采摘猕猴桃的猕猴桃产业是西北地区主要农产业之一。然而往往人工采摘猕猴桃的方式费时费力且效率低。机器人采摘技术不但可提升对猕猴桃采摘的方式费时费力且效率低。机器人采摘技术不但可提升对猕猴桃采摘的工作效率而且对促进产业发展具有重要意义。为了为猕猴桃采摘机器工作效率而且对促进产业发展具有重要意义。为了为猕猴桃采摘机器人的工作提供前期的技术支持。针对猕猴桃实际采摘中的问题，本文人

2、的工作提供前期的技术支持。针对猕猴桃实际采摘中的问题，本文以自然条件下的猕猴桃为研究对象，用纹理特征对猕猴桃果实进行分以自然条件下的猕猴桃为研究对象，用纹理特征对猕猴桃果实进行分割。割。二二. .研究方案研究方案1234Step 1Step 1Step Step 2 2Step Step 3 3Step Step 4 4猕猴桃果实通道显著性分析样本点纹理特征提取，训练二分类分类器利用训练好的SVM分类器进行果实的识别和提取对分割好的图像进行形态学处理三三. .研究过程研究过程 u猕猴桃图像的颜色特征分析猕猴桃图像的颜色特征分析 颜色颜色特征是图像的重要信息特征是图像的重要信息。传统的基于颜色特

3、征的图像分割中，。传统的基于颜色特征的图像分割中，待分割图像被转换到不同的颜色空间，对不同通道信号进行阈值分割。待分割图像被转换到不同的颜色空间，对不同通道信号进行阈值分割。其中其中OtsuOtsu方法是确定阈值的经典方法。本文方法是确定阈值的经典方法。本文对对RGBRGB颜色空间的颜色空间的R RB B分量分量、R RG G分量，分量，L L* *a a* *b b* *颜色空间的颜色空间的a a* *分量，分量，YIQYIQ颜色空间颜色空间I I分量以及分量以及HSVHSV颜颜色空间的色空间的S S分量，采用分量，采用OtsuOtsu方法方法进行自动阈值进行自动阈值分割分割。三三. .研究

4、过程研究过程 (a) 原始图像 (b) RB分量 (c) RG分量(d) a*分量 (e) I分量(f) S分量三三. .研究过程研究过程 u猕猴桃图像纹理特征分析猕猴桃图像纹理特征分析 自然条件下拍摄到的猕猴桃图像有着复杂的背景，利用颜色空间很自然条件下拍摄到的猕猴桃图像有着复杂的背景，利用颜色空间很难很好的将果实从背景中分割出来。背景主要有天空、土壤、枝干、树难很好的将果实从背景中分割出来。背景主要有天空、土壤、枝干、树叶、网架、人等，这些因素干扰了对果实部分分割的判断。叶、网架、人等，这些因素干扰了对果实部分分割的判断。(a) 树叶(b)地面(c)布(d)树干(e)天空(f)树枝(g)果

5、农(h)果实三三. .研究过程研究过程 u图像纹理特征提取图像纹理特征提取方法方法u实验方法实验方法本文从随机选取的本文从随机选取的1515幅自然条件拍摄的猕猴桃果实图像中人工选取幅自然条件拍摄的猕猴桃果实图像中人工选取100100个猕猴桃果实目标像素点与个猕猴桃果实目标像素点与150150个背景像素点。取个背景像素点。取以选取的点以选取的点为中心为中心，取，取N NN N的图像子块并将其灰度化。取该的图像子块并将其灰度化。取该N NN N图像子块的灰度共生矩阵图像子块的灰度共生矩阵dx,dy=0,1dx,dy=0,1、1,11,1、1,01,0的三个方向上的位移，在每个位移上均的三个方向上的

6、位移，在每个位移上均可计算出差分矩、熵、相关性、能量和对比度五种特征量，三个位移上可计算出差分矩、熵、相关性、能量和对比度五种特征量，三个位移上的的1515个特征量构成基于个特征量构成基于GLCMGLCM的的1515维纹理特征，分别计算出人工选取点的维纹理特征，分别计算出人工选取点的1515维纹理特征。构成维纹理特征。构成1515150150的背景数据的背景数据1515100100的目标数据。的目标数据。三三. .研究过程研究过程 u对比方法对比方法取以人工选取的猕猴桃果实与背景像素点为中心取如图所示的三个取以人工选取的猕猴桃果实与背景像素点为中心取如图所示的三个方向上的方向上的N NN N的

7、图像子块并将其灰度化。利用每个子块的灰度共生矩阵的图像子块并将其灰度化。利用每个子块的灰度共生矩阵分别求出五种特征量得到分别求出五种特征量得到1515个特征量构成个特征量构成1515维纹理特征，构成维纹理特征，构成1515150150的背景数据的背景数据1515100100的目标数据。的目标数据。提取子块方向三三. .研究过程研究过程 u基于基于SVMSVM的猕猴桃果实分类器的猕猴桃果实分类器构建构建猕猴桃猕猴桃果实分割可通过把每个像素分类为果实或背景来完成。根据果实分割可通过把每个像素分类为果实或背景来完成。根据猕猴桃目标与背景特征的不同，训练分类器对目标与背景进行分类识别猕猴桃目标与背景特

8、征的不同，训练分类器对目标与背景进行分类识别。在两分类问题中，支持向量机（。在两分类问题中，支持向量机（SVMSVM）获得广泛应用。利用提取过的）获得广泛应用。利用提取过的纹理特征训练纹理特征训练SVMSVM并用于猕猴桃果实的分割识别。选用并用于猕猴桃果实的分割识别。选用RBFRBF核函数训练分核函数训练分类器得到分类模型。类器得到分类模型。建立好的模型三三. .研究过程研究过程 u融合颜色信息的猕猴桃果实初识别融合颜色信息的猕猴桃果实初识别为了在像素分类过程中，充分降低背景噪声的影响，本文融合颜色为了在像素分类过程中，充分降低背景噪声的影响，本文融合颜色信息，进行猕猴桃果实分割识别。分别提取

9、待分割图像的灰度信息、信息，进行猕猴桃果实分割识别。分别提取待分割图像的灰度信息、RGBRGB颜色颜色RGRG分量信息、分量信息、2R-G2R-G分量信息，后对各分量图中的每一个像素分量信息，后对各分量图中的每一个像素选择一个选择一个N NN N子块，并分别提取子块，并分别提取1515维纹理特征，将特征向量输入训练好维纹理特征，将特征向量输入训练好的的SVMSVM进行识别并输出结果。针对不同的颜色空间分割的不同结果进行进行识别并输出结果。针对不同的颜色空间分割的不同结果进行分析。分析。三三. .研究过程研究过程 u分割图像的形态学处理与噪声的去除分割图像的形态学处理与噪声的去除由由SVMSVM

10、初识别后的结果有少量噪声。噪声分两种：（初识别后的结果有少量噪声。噪声分两种：（1 1）背景区域被）背景区域被误判断为目标区域；（误判断为目标区域；（2 2）目标区域误判为背景区域。首先扫描各个连）目标区域误判为背景区域。首先扫描各个连通区域面积值，设定一个阈值，将小于阈值的目标区去除。第二种误判通区域面积值，设定一个阈值，将小于阈值的目标区去除。第二种误判主要由目标内部的一些细小黑洞导致。最后应用形态学区域填充，填补主要由目标内部的一些细小黑洞导致。最后应用形态学区域填充，填补果实图像内部孔洞。果实图像内部孔洞。处理后处理前四四. .研究结果与分析研究结果与分析u图像采集及特征提取图像采集及

11、特征提取图像采集地点为陕西眉县某农户猕猴桃园。采用型号为图像采集地点为陕西眉县某农户猕猴桃园。采用型号为Sony DSC-Sony DSC-WS350WS350的数码相机，共采集了的数码相机，共采集了5454幅幅“秦美秦美”猕猴桃图像，图像尺寸大小猕猴桃图像，图像尺寸大小为为640640480480，真彩色，真彩色JPGJPG格式。不同条件下获取的猕猴桃图像统计如表格式。不同条件下获取的猕猴桃图像统计如表1 1所示。所示。 目标目标个数个数光照条件光照条件单个目标单个目标多个目标多个目标顺光顺光1613逆光逆光53侧光侧光62 表1 不同条件下获取的猕猴桃图像统计四四. .研究结果与分析研究结

12、果与分析u纹理分块大小确定纹理分块大小确定提取图像纹理特征时，以某像素为中心取一个提取图像纹理特征时，以某像素为中心取一个N NN N子块。在相同子块。在相同SVMSVM参数设置的情况下，参数设置的情况下，N N对图像的分割效果有影响。为确定最佳分块大小对图像的分割效果有影响。为确定最佳分块大小，分别对实验方法取，分别对实验方法取N=5N=5、9 9、1515、3131、5151，对比方法取，对比方法取N=5N=5、7 7、9 9、1313、1717对比图像子块大小不同时的分类正确识别率，结果如表对比图像子块大小不同时的分类正确识别率，结果如表2 2、3 3所示。所示。纹理分块大小纹理分块大小

13、5 55 59 99 9151515152121212131313131正确识别率正确识别率% %84.585.188.887.380.1误识别率误识别率% %9.28.97.68.812纹理分块大小纹理分块大小5 55 57 77 79 99 91313131317171717正确识别率正确识别率% %79.482.390.388.486.7误识别率误识别率% %13.410.35.37.48.4表2 正确识别率、误识别率统计表3 正确识别率、误识别率统计四四. .研究结果与分析研究结果与分析u对比实验：融合颜色信息的对比实验：融合颜色信息的SVMSVM猕猴桃果实的分割结果猕猴桃果实的分割结

14、果用前述方法，取用前述方法，取N N值为值为1515，提取图像的灰度图像、，提取图像的灰度图像、RGRG分量、分量、2R-G2R-G灰灰度图中每个像素的纹理特征并用训练好的度图中每个像素的纹理特征并用训练好的SVMSVM分类器进行分类，后进行分类器进行分类，后进行形态学处理得到最终结果，分别记为形态学处理得到最终结果，分别记为Gray+SVMGray+SVM、RG+SVMRG+SVM、2R-G+SVM2R-G+SVM。同时作为对比同时作为对比。同时作为对比，利用对比方法，取。同时作为对比，利用对比方法，取N N值为值为9 9，提取图像的，提取图像的2RG2RG分量灰度图中每个像素点的纹理特征并

15、用训练好的分量灰度图中每个像素点的纹理特征并用训练好的SVMSVM分类器进行分类器进行分类，后进行形态学处理得到最终结果，记为分类，后进行形态学处理得到最终结果，记为2RG+SVM12RG+SVM1。再对图像的。再对图像的2R-G2R-G灰度图直接使用灰度图直接使用OtsuOtsu分割进行形态学处理，将处理好的图像进行分分割进行形态学处理，将处理好的图像进行分析，分别记为析，分别记为2R-G+Otsu2R-G+Otsu。 四四. .研究结果与分析研究结果与分析u单个果实图像分割对比单个果实图像分割对比(b) R-G分量(a) 灰度图像(c) 2R-G分量(d) Gray+SVM二值图(e) R

16、G+SVM二值图(f) 2RG+SVM二值图四四. .研究结果与分析研究结果与分析u多个果实图像分割对比多个果实图像分割对比(b) R-G分量(a) 灰度图像(c) 2R-G分量(d) Gray+SVM二值图(e) RG+SVM二值图(f) 2RG+SVM二值图四四. .研究结果与分析研究结果与分析u与对比实验比较与对比实验比较(a) 原图像(b) 2R-G分量(c) 2R-G+SVM二值图(d) 2R-G+SVM1二值图四四. .研究结果与分析研究结果与分析u与对比实验比较与对比实验比较(a) 原图像(b) 2R-G分量(c) 2R-G+SVM二值图(d) 2R-G+SVM1二值图四四. .

17、研究结果与分析研究结果与分析u阴影与光照条件下分割情况阴影与光照条件下分割情况(b) 2R-G+Otsu二值图 (a) 原图像(c) 2RG+SVM二值图(d原图像(e) 2RG+Otsu二值图(f) 2RG+SVM二值图四四. .研究结果与分析研究结果与分析u结果分析结果分析（1 1）相比于其他颜色空间的分割结果，）相比于其他颜色空间的分割结果，2R-G2R-G分量可有效分割出在复分量可有效分割出在复杂背景中的猕猴桃果实，有效克服了光照与阴影等自然条件的影响。杂背景中的猕猴桃果实，有效克服了光照与阴影等自然条件的影响。（2 2）与对比实验相比较，实验方法对猕猴桃果实的分割更加准确且）与对比实

18、验相比较，实验方法对猕猴桃果实的分割更加准确且对边缘的分割更好。对边缘的分割更好。（3 3）在分割多个猕猴桃果实时不能准确的将多个猕猴桃果实分割出）在分割多个猕猴桃果实时不能准确的将多个猕猴桃果实分割出来，并且边界较粗糙。来，并且边界较粗糙。五五. .研究总结与展望研究总结与展望本文从自然环境下拍摄的本文从自然环境下拍摄的5454幅猕猴桃图像中随机选取幅猕猴桃图像中随机选取1515幅图像，并幅图像，并手动选取目标点手动选取目标点100100个和背景点个和背景点150150个；以这些样本点为中心，经实验确个；以这些样本点为中心，经实验确定取纹理分块大小为定取纹理分块大小为15151515的图像子块，提取基于的图像子块，提取基于GLCMGLCM的的1515维纹理特征维纹理特征构成特征矩阵并训练构成特征矩阵并训练SVMSVM分类器。测试阶段，对分类器。测试阶段，对RGBRGB图像的图像的2RG2RG分量灰分量灰度图像分量的像素点进行纹理特征提取并利用度图像分量的像素点进行纹理特征提取并利用SVMSVM进行分类。实验表明进行分类。实验表明，该方法可从复杂的背景中识别出猕猴桃果实，有效的减少由于光照、，该方法可从复杂的背景中识别出猕猴桃果实，有效的减少由于光照、阴影造成的分割噪