（农业机械化工程专业论文）识别桔子树干的图像处理方法研究.pdf

江苏大学硕士学位论文 摘要 基于视觉的自动导航研究一直是当今计算机视觉的热点之一。本研究是智能 柑橘收获机器人自动导航技术研究的一个基础部分，用桔子树干的存在和位置信 息代表果树的有无与位置信息。桔子树干图像分割和特征提取，是将摄像机采集 的图像中的桔子树干与所在周围环境分割，并且获取特征点数据的方法和技术。 本文在对常规的图像分割算法的研究和分析的基础上，针对桔子树干图像本 身的特点并结合先验知识，提出了适用于桔子树干图像分割的算法，初步实现了 桔子树干图像的计算机自动分割。本研究的主要内容和结论如下： 1 运用三种常规图像分割算法试分割桔子树干图像，分析对比三种算法的分 割效果，得出简单利用常规方法不能够满足桔子树干自动分割的要求。 2 提出了基于彩色图像分割的算法。本文通过对桔子树干图像分析，发现桔 子树干区域中的像素点的g 分量值与r 分量值的比值大约为0 9 。根据这一特征 选择初始颜色特征向量进行彩色图像分割，经过线性空间滤波、形状特征分割等 主要处理步骤，可以提取出桔子树干。采用数学形态学运算修复分割中产生的桔 子树干不连续区域，可以完全消除图像中的孔洞，对断裂区域的连接效果良好。 正确识别率达到了7 5 。 3 本文提出了适用于桔子树干分割的剥离算法。桔子树干图像可分为三部分： 桔子树干区域、绿色区域以及背景区域。算法思想是依次去除绿色区域和背景区 域，则保留下来的就是桔子树干区域，就可以精确的将桔子树干从图像中分割出 来。本算法通过对像素点亮度值的操作，成功的在彩色图像中完全去除桔子树冠 和杂草区域、天空背景及亮斑等区域，而几乎不改变桔子树干区域的信息。在二 值图像中，运用树干与土壤背景的之间的形态特征分别去除土壤背景。经过对 4 0 幅图像进行试验，该算法的识别正确率达到了9 2 5 ，桔子树干识别率平均达 到了8 6 2 ，平均处理时间为1 5 3 5 s 。将提取的桔子树干还原到原图像中，桔子 树干中轴线的定位误差平均为0 8 0 2p i x e l 。 总之，本论文所提出的识别桔子树干的图像处理方法，可以为我国的水果收 获机器人研究提供基础，本研究的成果及方法为推进其他水果机器人的自动化与 智能化进程提供了一种有效的新思路。 关键词：自动导航，图像分割，桔子树干，剥离算法，数学形态学 江苏大学硕士学位论文 a bs t r a c t t h er e s e a r c ho na u t on a v i g a t i o nb yv i s i o ni so n eo ft h ef o c u s e so fc o m p u t e r v i s i o ni nr e c e n ty e a r s t h i sp a p e ri sab a s i cp a r to fo r a n g eh a r v e s t i n gr o b o t sa u t o n a v i g a t i o nw o r k t h ee x i s t e n c ea n dp o s i t i o ni n f o r m a t i o no ft h eo r a n g et r u n ki n d i c a t e d t h o s eo ft h eo r a n g e t r e ei nt h i s p a p e r t h em e t h o do fo r a n g et r u n ki m a g e s e g m e n t a t i o na n df e a t u r ee x t r a c t i o ni st os e g m e n ta ni n d i v i d u a lo r a n g et r u n kf r o mi t s s u r r o u n d i n gi nt h ep h o t o g r a p h yi m a g eo ft h eo r c h a r d ，a n dm a r kt h ef e a t u r ep o i n t s t h i s p a p e r ，c o m b i n i n gt h ef e a t u r e so fo r a n g et r u n ki m a g es e l fa n dk n o w n k n o w l e d g e ，p r o p o s e st w on e wm e t h o d so nt h eb a s i so ft h ek n o w na r i t h m e t i ct h a ti s s u i t a b l et os e g m e n tt h eo r a n g et r u n ko u to fi m a g e a tl a s t ，a u t o m a t i cs e g m e n t a t i o no f o r a n g et r u n ki m a g e sw e r er e a l i z e d t h ef o l l o w i n ga r et h em 。a i nr e s e a r c hw o r k sa n d c o n c l u s i o n s 1 t r yt os e g m e n tt h eo r a n g et r u n ki m a g eb yt h r e em e t h o d so fk n o w ni m a g e s e g m e n t a t i o na l g o r i t h m s ，a n a l y z ea n dc o n t r a s tt h e i rr e s u l t s t od r a wac o n c l u s i o n ，i ti s u n s u i t a b l et oo r a n g et r u n ki m a g es e g m e n t a t i o nb ys i m p l e u s i n gt h ek n o w na l g o r i t h m s 2 an e wa r i t h m e t i cb a s e do nc o l o ri m a g es e g m e n t a t i o nt od e t e c to r a n g et r u n k w a sg i v e n a f t e rt h eo r a n g et n m ki m a g ea n a l y s i s ，t h er a t i oo fg l i g h t n e s sv a l u et or l i g h t n e s sv a l u eo fp i x e l si nt h eo r a n g et r u n kr e g i o ni sa b o u t0 9 b yi n i t i a l i z i n gt h e c o l o rf e a t u r ev e c t o rf o rc o l o rs e g m e n t a t i o n ，t h eo r a n g et r u n kw a se x t r a c t e db ym a i n p r o c e s s i n gs t e p s o fl i n e a r f i l t e r i n g a n d s h a p e f e a t u r e s s e g m e n t a t i o n t h e d i s c o n t i n u o u sr e g i o nw a sr e p a i r e db ym a t h e m a t i c a lm o r p h o l o g y , w h i c hc o m p l e t e l y f i l l st h eh o l e so no r a n g et r u n ka n dh a v eag o o de f f e c to nc o n n e c t i o nt h er e g i o no f f r a c t u r e r e c o g n i t i o ns u c c e s sr a t ei su pt o7 5 3 t h i sp a p e rp u t sf o r w a r dap e e l i n ga l g o r i t h m st h a ti ss u i t a b l et os e g m e n tt h e o r a n g et r u n ko u to fi m a g e a no r a n g et r u n ki m a g ec a l lb ed i v i d e di n t ot h r e ep a r t s ： o r a n g et r u n k ，g r e e nr e g i o na n db a c k g r o u n d t h ep e e l i n ga l g o r i t h mi d e ai st oh o l do n t h eo r a n g et r t m kr e g i o nb yr e m o v i n gg r e e nr e g i o na n db a c k g r o u n d ，t h eo r a n g et r u n k w a sa c c u r a t e l ys e g m e n t e df r o ma ni m a g e t h ea l g o r i t h m sh a v eb e e ns u c c e s s f u l l y a p p l i e di nr e m o v i n go r a n g ec r o w n , w e e d s ，s k yb a c k g r o u n da n dl i g h ts p o t sb yp i x e l p o i n tl i g h t n e s sv a l u eo p e r a t i o n ，b u th a r d l yc h a n g et h ei n f o r m a t i o no fo r a n g et r u n k r e g i o n o nb i n a r yi m a g e ，t h i sm e t h o dr e m o v e ds o i lb a c k g r o u n db yu s i n gc h a r a c t e r s 江苏大学硕士学位论文 一一 b e t w e e nt 九i n ka n ds o i lb a c k g r o u n da n dt r u c k t h ee x p e r i m e n t s h o w e dt h a t r e c o g n i t i o ns u c c e s sr a t e i su pt o9 2 5 ，r e c o g n i t i o nr a t eo fo r a n g et r u n k , o nt h e a v e r a g e ，8 6 2 ，a n dt h ea v e r a g ep r o c e s s i n gt i m e1 5 3 5 s a f t e rp u t t i n g t h eo 。a n g e t m n kb a c kt ot h eo r i g i n a li m a g e ，t h el o c a t i o ne r r o ro fo r a n g et r u n km e d i a l a x l s r e a c h e d0 8 0 2p i x e lo nt h ea v e r a g e t h i sr e s e a r c hg e t st h ei l e wm e t h o d so fo r a n g et r u n kr e c o g n i t i o n ，w h i c h c a l l p r o v i d et h e 附s e a r c hb a s ef o rc h i n e s eo r a n g eh a r v e s t i n gr o b o t i tp r o v i d e sa n e w i d e af o rp u s h i n gf o r w a r dt h ea u t o m a t i cs c h e d u l i n gf o r f r u i tr o b o t s k e y w o r d s ：a u t on a v i g a t i o n ，i m a g es e g m e n t a t i o n ，o r a n g et r u n k ，p e e l i n g a l g o r i t h m ， m a t h e m a t i c a lm o r p h o l o g y 1 1 i 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部 内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口，在年解密后适用本授权书。 不保密团 学位论文作者虢侃、扒丰 2 0 0 9 年6 月1 4 日 指导教师签名：乡够 2 0 0 9 年6 月1 4 日 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中己注明引用的内容以外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均己在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：佟。欤丰 日期：2 0 0 9 年6 月1 4 日 江苏大学硕士学位论文 1 1 引言 第一章绪论 中国是一个发展中的农业大国，农业问题始终是关系到中国经济社会发展的 根本问题。农业作为国民经济最重要的基础产业，对经济社会的发展和人民生活 起着极为重要的保障作用。2 0 世纪后半叶，我国以仅占世界7 的耕地养活占世 界2 2 的人口，其中农业科技作出了巨大的贡献。但目前随着人口的不断增长和 环境的不断恶化，加上农产品价格低、农业收益差，农业生产环境艰苦，我国的 农业发展正面临着严峻的考验。为使农业得到持续稳定的发展，技术替代资源的 发展道路将是2 1 世纪农业的必然选择【1 1 。随着计算机技术和电气技术的发展，智 能机器人在社会许多领域得到了广泛的应用。在农业生产中，由于作业对象和环 境的复杂性及多样性，研究发展农业机器人是目前农业机械发展的一个重要内 容，具有广阔的的市场f j 景和巨大的经济效益。 我国是世界上水果生产大国，目前水果总产量已超过6 0 0 0 万吨，约占全球 产量的1 4 。中国有多种水果产量居世界领先地位，其中柑橘产量居世界第三位， 占世界总产量的1 0 8 。就栽培面积而言，我国的柑橘栽培面积列世界第一位， 占世界总栽培面积的1 8 。然而就单产而言，世界每公顷平均产量为1 4 5 t ，最 高的为美国，达到3 6 9 t ，而中国目前的单产只有7 7 t ，约为美国的1 5 ，世界平均 水平的5 3 ，单位面积产量低是我国柑橘竞争能力提升的制约因素之一【2 1 。另外 一个不能忽略的问题是我国柑橘果品质量不高，据乐观估计，优质果率为3 0 ， 真正算得上优质的只占5 ，5 0 为大路货，2 0 为劣质果【3 1 。所以，在当前经济 全球化的今天，要提高我国柑橘竞争能力，必须走优质化生产、产业化运作的路 线。因而研究开发具有识别能力、视觉功能、作业柔性化、稳定可靠的智能化水 果机器人，提高生产力，保证水果品质，降低生产成本，增加整体效益，必然是 新世纪高科技农业发展的方向。 1 2 研究的目的和意义 智能化农业机器人有很多种，根据用途不同可以分为：收获机器人、植保机 器人、耕作机器人、田问管理机器人等等。其中，收获机器人是目前研究的一个 热点领域。下面图1 1 是一个典型的水果收获机器人作业流程图【6 q 。可以看出， 1 江苏大学硕士学位论文 水果收获机器人的作业流程可以分为三大部分：自动导航、水果识别定位、完成 采摘作业。自动导航部分，即图1 1 中用黑色矩形框出来的作业部分，是水果收 获机器人整个作业流程的基础。它体现了水果收获机器人本体与果树之间的相对 位置关系，功能是将收获机器人与果树问的距离保持在机械手的作业范围内。 图1 1 水果收获机器人作业流程图 树干是从根颈到第一主枝之间的茎段，也称主干【4 1 。识别树干是水果收获机器 人在自动导航阶段的必要工作，原因如下： ( 1 ) 在树木的有无这个问题上，树干可以代表果树。由于树干在地面以上 承接树冠和根部的作用，而且对乔木来讲，树干具有唯一性，即每株树木有且仅 有一个树干。所以，根据这种一一对应的关系可以得出，检测树干的有无可以代 表果树的有无。 ( 2 ) 在树木的位置这个问题上，树干的位置可以作为树木的位置。树干的 唯一性为定位提供了必要的前提条件。而相对于树冠，树干的位置比较低，有利 于视觉传感器信息的采集。树干本身的结构比较简单，具有一定形念特征，易于 实现自动识别。树干一般来讲都比较粗大，即使在恶劣的天气中，比如大风天气 等，树干的位移量要远远小于树冠的位移量，可以近似的认为位移不变。这种位 移不变性是自动导航目标的必要条件。所以，根据树干的唯一性和位移不变性， 可以认为树干的位置代表果树的位置。 2 江苏大学硕士学位论文 ( 3 ) 某些情况下，必须识别出树干。在一些具体的场合，树干是水果收获 机器人在果园内穿行的障碍物，树干之间的距离限制了水果收获机器人的通过 性。这种情况下，必须识别出树干并计算树干之间的距离，为水果收获机器人判 断的通过性提供信息。 本文的研究的目的是为水果收获机器人自动导航提供环境信息，对水果收获 机器人完成整个收获作业过程具有重大意义。本文利用视觉传感器采集桔子树干 图像，通过数字图像处理技术识别桔子树干。通过检测桔子树干的有无来判断果 树的有无，测量桔子树干的位置来定位果树的位置，从而为解决自动导航中树木 的有无和树木的位置这两个核心问题提供信息。 自动导航问题不仅存在于水果收获机器人中，更是多种智能机器人的作业基 础。本文的研究是一项基础性的研究，主要意义是为多种智能农业机器人，尤其 是果园机器人自动作业提供自动导航的基础信息。树干由于本身的特点，非常适 合作为智能机器人自动导航的目标物，所以研究树干的数字图像处理方法为自动 导航提供环境信息具有重大意义。另外，还可以为其他领域智能机器人自动导航 提供一个研究思路。 1 3 国内外研究现状及发展趋势 1 3 1 图像分割研究现状 从6 0 年代未开始一直到今天，图像的分割一直是图像理解、图像识别、计 算机视觉和人工智能研究人员的重要课题【5 1 。p a l 等对分割方法总结中提到有几 百种，但没有一种方法对所有图像都产生好的分割效果，不同种类的图像应采取 相应分割方法【6 1 。图像处理【7 】是针对性很强的技术，根据不同应用、不同要求需 要采用不同的处理方法。目前的图像分割中依据的特征主要是颜色特征、形状特 征、纹理特征等。另外还有采用近红外图像、光谱图像等进行图像分割的研究工 作。这里主要介绍一下应用最广泛的颜色特征和形状特征的国内外研究进展。 1 颜色特征 国外的图像分割算法主要集中在杂草识别领域以及自动导航领域。m o l l i s 和a s t e n t z 从机器视觉识别收获作物的边缘丌始智能收获机器人的研究【8 1 ，他们 采用r g b 分量比提取收割作物的边缘特征，然后用阶梯模型识别边缘，并提出 了用阴影补偿法剔除车辆本身投影影响边缘识别的问题1 9 1 。1 9 9 5 年，w o e b b e c k e 等在温室里自然光条件下采集各种杂草图片，按红色( r ) 、绿色( g ) 和蓝色( b ) 3 江苏大学硕士学位论文 三种成分进行分析，通过比较多种颜色特征组合，得到了超绿特征( 2 9 r - b ) 的 图像分割效果最好【1 0 l 。2 0 0 0 年，p e 7 r e z 等使用颜色特征( g r ) “g + r ) 分割杂草图 像f 1 1 】。2 0 0 4 年，m e y e r 等使用模糊算法综合超绿特征和超红特征识别小麦【1 2 j 。 s i c h o 等【1 3 。1 4 】采用黑白c c d 相机寻找果园内路径，同时采用模糊控制算法实 现果园喷药机器人的自动导航。s h i nb s 等1 1 5 】用视觉传感器获取路径，采用 w e b c a m e r a 和笔记本构成视觉系统，由单片机控制车辆的运动。t o r i i 等运用图 像的h i s 变换1 1 6 1 ，通过离线训练一在线查表法，对像素进行分类，分割作物与 背景。相阿荣同样利用h i s 彩色空间识别杂草和土壤m 。毛文华等通过颜色特 征提出了苗期杂草图像的实时分割算法1 1 8 1 。s o g a a r d 采用超绿色彩因子组合 ( 2 c r b ) 1 9 】分割图像，然后计算灰度重心确定作物位置，最后用h o u g h 变换提 取作物行参数。 2 形状特征 y o n e k a w a 等对紧密度、圆度、伸长度和拳h 糙度进行评价，认为利用这些简 单形状因子进行图像分割是非常有效的1 2 0 l 。l e e 等通过形状特征识别杂草开发 西红柿除草系统【2 1 】。b l a s c o 等根据作物和杂草面积的差异开发除草设备【2 2 l 。 s o g a a r d 利用形状模板进行杂草识别，达到较好的识别掣矧。纪寿文等2 0 0 0 年 利用投影面积、叶宽、叶长在玉米苗期识别出单子叶杂草刚。相阿荣通过杂草 区域的面积和质心识别麦田常见杂草，识别率为9 2 0 7 1 。龙满生将b p 网络用 于杂草形状识别【2 5 1 。b j o ma s t r a n d 用图像分割、h o u g h 变换算法识别甜菜行参 数1 2 6 1 。y u t a k ak a i z u 研究基于机器视觉的插秧机自动导航系鲥2 7 1 ，使用h o u g h 变 换算法提取导航线参数。沈明霞对农田景物图像信息的提取方法包括图像分割 【2 8 1 、基于纹理特征分析【2 9 j 、基于形态特征分割【删等农作物边缘检测研究。周俊 在图像分割方面【3 1 , 3 2 】，采取小波分解的方法，将图像分解到第4 个尺度后用阈 值分类法提取油菜行区域。 1 3 2 国内林木图像处理现状 目前国内主要有两组人进行林木图像处理的研究工作：北京林业大学的李文 彬等人和南京林业大学的郑家强等人。北京林业大学的研究是以树木的整枝抚育 为应用背景，南京林业大学的应用背景是精确喷雾。下面就介绍一下他们的具体 工作及相应的研究成果。 2 0 0 4 年，程磊【3 3 1 等提出了一种序列化的处理方法：首先综合运用基于色彩 和纹理的图像分割方法获得初步分割图像，然后应用数学形态学方法修正分割后 4 江苏大学硕士学位论文 的图像，最后对分割图像中的树冠和树干进行整株树的标记，初步实现了一类树 木图像的分割。2 0 0 5 年，杨华【蚓等人对单株立木图像信息的提取分别运用近景 摄影测量d l t 模型和双目立体视觉技术进行解算，解决了立木图像信息与立木二 维坐标之间的解算问题。2 0 0 5 年，孙仁山、李文彬【3 5 期等从工程应用角度出发， 应用二维小波分析技术对林木图像进行消噪、压缩等处理；提出一种用于工业用 材林自动整枝的立木枝干动态识别系统框架，对人工林侧柏的枝干进行了数字图 像采集及处理，同时提出了一种立木枝干计算机自动识别算法，提取立木图像枝干 形状、尺寸、弯曲度及相对空间位置关系基本生长特征，即利用模式识别技术验 算其与特征数据库的匹配情况，从而达到立木枝干自动识别的目的。2 0 0 6 年，阚 江明、李文彬等【3 7 1 针对智能整枝机视觉系统的需要提出一种以数学形态学为主 的图像分割方法，解决复杂背景下树木图像分割困难的问题。2 0 0 7 年，阚江明、 李文彬等【3 8 】利用已知大小的标定尺简化无线性畸变c c d 摄像机标定过程，经过 标定后统计立木枝干直径的像素数与每一个像素代表的实际尺寸相乘就可以很 容易地计算立木枝干直径。 1 9 9 8 年，童雀菊、华毓坤【3 9 1 对利用图像处理方法采集原木形状参数的过程 作了研究，提出了一种基本的图像处理在树干识别中应用的方法。2 0 0 4 年，葛 玉峰、周宏平等提出了基于相对色彩因子的树木图像分割算法。首先引入2 x g ( r + b ) 色彩因子分割绿色树木与其背景，再引入( r + b + g ) 3 因子去除图像中 的暗噪声或相对暗区。2 0 0 4 年，向海洙郑加强等【4 1 】研究了树木图像的实时采 集与识别技术，以及树木图像处理及分析软件系统的开发，并设计制作了室内模拟 实验系统。20o5 年，王雪峰、张超等【4 2 j 介绍由摄像机图像抽取林木直径的方 法、步骤，将度量误差模型算法应用到参数的求解当中，提出适合于林业野外作业 的内、外参数分离策略，最后对文中算法、策略进行实际验证。 综上所示，目前国内在林木图像处理工作主要集中在森林或者工业用林等方 面，研究也多停留在实验室水平上。对果树图像进行研究的工作尚未见报道。 1 4 研究内容及关键问题 1 4 1 研究内容 上述研究表明用机器视觉技术识别桔子树干是确实可行的，但仍有许多技术 难题需要解决，需进一步进行深入研究。如：由于树干形状、粗细及颜色的多样 性、室外光照条件的不稳定性等多种因素的影响，加大了基于自然光的机器视觉 5 江苏大学硕士学位论文 系统在进行桔子树干识别时的难度。本文的主要研究内容是以水果收获机器人的 自动导航为应用背景，探索一种适用于桔子树干识别的图像分割算法。主要的研 究内容如下： ( 1 ) 分析和对比目前现有的常规图像分割算法在桔子树干识别中的适用性， 是否满足桔子树干识别的要求。如果不满足需求，则探索一种适用于桔子树干图 像分割的图像处理方法。 ( 2 ) 分析桔子树干和土壤背景之间的差异性，探索将桔子树干从土壤背景 中分割出来的有效方法。 ( 3 ) 在不影响桔子树干的自i 提下，寻找一种分割树冠区域和天空背景的方 法，并消除太阳光直射造成的亮斑等影响。 1 4 2 关键问题 本文的关键问题有如下三个： ( 1 ) 消除土壤背景。桔子树干和土壤背景颜色相似又连接在一起，在图像 分割过程中非常容易混淆为同区域，造成误分割，影响图像分割的精度。因为 土壤背景和桔子树干在颜色上的相似性，使运用颜色特征进行分割变的很困难。 由于摄像机与桔子树干之间的距离的变化比较大且频繁，无法保证持续采集到含 有清晰纹理特征的桔子树干图像，所以运用纹理特征不具有很好的鲁棒性。如何 有效的去除土壤背景而保持桔子树干不受影响是本研究中的核心关键问题。 ( 2 ) 分割树冠和消除光线影响。树冠区域在图像中表现为绿色，目前比较 常用的分割绿色特征的方法就是采用超绿色彩因子( 2 r g b ) 提取绿色区域。 但是，在这一操作过程中，桔子树干的r g b 颜色向量也发生了变化，对后面进 一步的分割造成不良影响。另外，由于光线变化、叶子的反光而造成亮斑等都对 分割树冠产生影响。所以，在不影响桔子树干区域的前提下，如何有效的消除树 冠和光线影响也是本研究的关键i 、u 】题之一。 1 5 本章小结 首先由我国当前柑橘产业存在的问题引出了本课题的目的及意义，论述了桔 子树干图像识别的必要性。然后介绍了国内外图像分割和林木图像处理的研究现 状。最后归纳明确了本文主要研究内容和课题中的关键问题。 6 王【苏走学硕士学位论疋 第二章计算机视觉系统的组成及图像获取 21 计算机视觉系统的硬件部分 木论文的卡要珂f 究内容为桔r 树i 二的自动u 刖方法，j i i 算机! l 能处胖数 # 罔像，昕l = y - t 善 _ 机视觉系统的功能就是将 j 然界提供的其他彤式的恻像转揿成 为数一彤，e 。计算机视觉系统艘1 1 。和软件两部分组成。本节介绍计饽机视觉系 统的艘件部分的组成，备部件的助能，处圳j 分析桔予树数# 吲像的方法和软仲 将在随后的章节巾介纠。 计算机视觉系统硬什功能 要是图像f f j 授取和姓示e 构成汁算机视觉系统的 方式有多种，为满足实阱、牛产及d l k 化需篮，整个幽像采集及处理系统应馥同化 成一个f 2 序模块。系统硬件也括摄像机、图像采集l 、利i i 算机。系统硬什组成示 意刚如恻2 l 所示： 2 1 1 摄像机 图21 机器视觉系统硬件组成示意图 斟像的获舣般采用摄像机，它能寓时地慑舣运动的图像，把窖规世羿的，匕 学特忡变换成柏心的h ，信号，然届通过只有a d 转换功能的 晕| 像 转换成蛆一 堆数目【表小的数字阁像，并存放r 计算机内存l l 。摄像机足l f 锥机制觉系统中的 一个天键组件，选择介通的棚机也足训算机视箍系统啦；ic 的营要环竹，槲机的 选t i t d - 仪足l 接决定f j 7 采集到f r ：j 吲像分肼率、图像质艟等，川时也与整个系统的 运行模式1 1 接枷芙。 本系统粟川的摄像机足山奉s o n y 公司牛”的e v ii ) o o 型云台摄像机。此 7 江苏大学硕士学位论文 摄像机通过自身云台转动采集周围一定范围内的环境信息，拓展机器人的视野范 围，具有高速、在宽视场范围内旋转倾斜运作安静的特点，同时具有4 0 倍变焦 ( 1 0 倍光学+ 4 倍数字) 光学镜头。适用于室外条件下工作，可快速稳定地自动 聚焦及自动曝光来控制背光补偿，同时也适于用光线不好的条件下。该设备的主 要技术参数及性能n 3 3 如下： 表2 1 摄像机参数表 视频信号 n t s c 摄像传感器 1 4 t y p es u p e rh a dc c d 有效像素7 6 8 ( h ) x 4 9 4 ( v ) 水平分辨率 4 7 0 t vi i l e s ( w i d ee n d ) 镜头1 0 x o p t i c a iz o o m ，4 0 x w i t hd i g i t a iz o o m ，f = 3 1 3 1 水平视角 6 6t o6 5 0d e g r e e p a n t il th o riz o n t ai 10 0d e g r e e ，v e r tic ai 一+ 2 5d e g r e e 视频输出 v b s ，y c 电源 d c10 8 13 v 外形尺寸 113 ( w ) x l2 0 ( h ) x 13 2 ( d ) m 重量 8 6 0 9 2 1 2 图像采集卡 本课题中的机器视觉系统采用由v i e w c a s t 公司生产的o s p r e y 2 0 0 图像采集 卡，用以完成图像采集及储存转换工作。本图像采集卡可以实现视频、音频捕捉 二合一的功能。o s p r e y 2 0 0 图像采集卡的主要技术参数h 引如下： 表2 2 图像采集卡参数表 视频输入格式视频格式 n t s c m n s c j p ! a l b d g h i p 札m s e c a m p a c k e d ：r g b 3 2 ，r g b 2 4 ，r g b1 6 ，r g b1 5 g r e y 8 ，y u v 2 ( 4 ：2 ：2 ) ，( 4 ：1 ：1 ) p - a n a r ：y u v l 2 ，v 9 8 江苏大学硕士学位论文 2 1 3 计算机 处理和分析摄像机采集的图像。本研究所用的计算机为p e n t i u m 4 ， c p u i 8 2 g h z ，2 4 8 m 内存，8 0 g 硬盘，操作系统m i c r o s o f tw i n d o w s x p 。 2 2 计算机视觉系统的软件部分 本文的程序主要在两个平台下开发g 一、图像采集、云台控制程序是基于 m i c r o s o f t v i s u a lc + + 6 0 平台；二、图像处理程序是基于m a t l a b 平台开发的。 下面首先简单介绍一下丌发平台。 v i s u a lc + + 自诞生以来，一直是wind0ws 环境中最主要的开发系统之 一。v i s u a lc + + 不仅是c + + 的集成开发环境，而且与w i n 3 2 紧密相连，所以，利 用v i s u a lc + + 可以完成各种各样的应用程序的开发，从底层软件直到上层直接面 向用户的软件。而且v i s u a lc + + 强大的调试功能也为大型复杂软件的开发提供了 有效的排错手段。v i s u a lc + + 还是一个很好的可视化编程工具，使用v i s u a lc + + 环境来开发w i n d o w s 应用程大大缩短了开发时间，而且它的界面更友好，便于 程序员操作【4 5 1 。本文的图像采集程序和云台控制程序就是在v i s u a lc + + 环境中开 发的，实际应用证明程序运行稳定、可靠。 m a t l a b 是美国m a t h w o r k s 公司1 9 8 2 年推出的数学软件，它具有强大的数 值计算能力和优秀的数据可视化能力，一经推出就得到了全世界科研人员的广泛 关注。m a t l a b 软件针对各种学科相继推出了功能各异的工具箱，如图像处理 ( i m a g ep r o c e s s i n g ) 、控制( c o n t r 0 1 ) 等工具箱，这些工具箱由相关领域内的高 水平专家编写而成，其中的函数实现了该领域内最为常见和经典的方法。时至今 日，m a t l a b 已经发展成为适合多种学科的大型软件，其强大的拓展功能为各 领域的研究人员提供了有力的工具i 删。m a t i _ a b 到今天已经发布了很多版本， 本文的图像处理程序在m a t l a b 环境下开发，结合图像处理函数库开发相应函 数，程序在m a t i _ a b 6 5 、m a t l a b 2 0 0 7 a 、m a t l a b 2 0 0 8 a 三种版本中运行正常， 表现出非常好的兼容性和鲁棒性。 2 3 计算机视觉系统参数确定 2 3 1 视觉系统硬件安装 本文中研究的计算机视觉系统的最终将安装在a s r f 型野外履带式能力风 9 江苏太学硕士学位论吏 暴机器人上。此机器人 j 海广茂达伙伴机器人有限公- d 生产，足一种 u h 内 应用比较多的面向教学、研究、比赛和训练的电力马 i 动的膛带式移动机器人。 a s - r f 腥特，机器人的外形尺寸为7 7 0 r n m 5 5 0 m m 4 4 0 m m ( l q x 宽高1 。s o n y 摄像机虽终安装五i 意罔2 2 如下； 图2 2s o n y 摄像机安装示意图 罔像采集卡安装在a s r f 履带式机器人的中箱。中箱足机器人的控制系统， 为k 八边形，长4 2 0 r a m 宽3 4 0 t a r a ，高1 6 0 m m 。计算机l ：板水平放置在巾箱内， 图像采集卡安牧枉上板的p c i 插槽上。需要注意的是，a s r f 腔带式机器人的 士板是r 海广茂选伙伴机器人自限公司专门定制的，要求摄像机的图像聚集卡必 须立装在第用个p c i 插槽l ：l 罔像采集膏r m 束两条线，其中一条带有黄色插头 的线足视额信弓连接线，需要插入到摄像机所部的v i d e o 插孔中，米传输视频 信口；另荣带有插针插头的线是控制线，插入到摄像机后部的v i s c a i n 插孔 巾，通过v i s c a t m 规稃进行r s 一2 3 2 串联控制。机器人电源提供1 2 va 流电源 接入到摄像机后部的电源插孔中。试验过程q ，用个人计算机代杵机器人计算机控 制擞像机，其软件环境和机器人计算机的软件环境k t l 旧。 2 34 图像采集卡参数设定 图像乐集卡的参数包括信号的制式、蚓像的犬+ s - n 格式、图像信号的二个参 数等。为了达到较好的扣摄效果对齐个参数进行校正改定。 ( 1 ) 信呼的制式 奉文中视频输入信弓采片jp a l m 模式，视频信号模式为r g b 3 2 。 ( 2 ) 罔像文什格j 图像的空问采用r g b 2 4 。采集到的视频刚像倮存为a v i ；e f t ，图片保存为j p g 文件。 江苏大学硕士学位论文 ( 3 ) 图像信号的三个参数 图像信号的三个参数的包括：亮度( b r i g h m e s s ) ，饱和度( s a t u r a t i o n ) ，对 比度( c o n t r a s t ) ，每个参数的调节范围均为0 - 2 5 5 。经过视觉效果比较，最终确 定三个参数的值分别为：亮度1 2 6 ，饱和度1 2 0 ，对比度1 3 8 。 2 4 桔子树图像的采集 2 4 1 温州蜜柑简介【明 温州蜜柑，别名温州蜜桔、无核桔，我国各柑桔产区普遍栽培。温州蜜柑的 原种为我国浙江宽皮桔的地方品种，传入日本后经过实生变异选择而来，再经过 多年栽培，产生了许多品系类型。 树冠开张，枝梢长而有倒垂性，无棘刺，叶大，长椭圆形，肥厚浓绿。花大， 为宽皮柑桔中花径最大的品种，雌雄蕊异长，柱头明显露出花丝筒，花粉多败育。 果中等大，扁圆形，橙色；瓤瓣壁稍厚，汁胞柔软，多汁，味甘，无核或少核， 胚绿色，多胚。成熟期早晚不一，耐寒性强，丰产、稳产，除供鲜外，是糖水桔 瓣罐藏加工的优良品种。 温州蜜柑中熟品种最稀疏的栽植密度为：行株距：4 m 3 5 m ，每亩4 8 株； 最密集的栽植密度为：行株距3 m 1 5 r n ，每亩1 4 8 株。温州蜜柑早熟品种最稀 疏的栽植密度为：行株距3 5 m 2 5 m ，每亩7 6 株；最密集的栽植密度为：行株 距1 7 5 m x1 2 5 m ，每亩3 0 4 株【钙】。 目前已有的园林机器人研究中，柑桔收获机器人的研究也有较好到基础，所 以本文的研究对象选取温州蜜桔为果树的代表。 2 4 2 图像采集 图像采集时需要确定如下的参数：图像采集设备的配置方式及参数设定、镜 头的离地高度、采集时间、样本树种等。 图像采集设备已经在前面的章节介绍过了，在此就不再重复。某些场合下， 有研究者为了增加效果采用一些辅助设备，如遮光板等；因为本研究的对象是桔 子树干，株型比较大，株与株之间的差异也比较大，不太容易加工合适的遮光板 或者灯罩之类的辅助设备。另外本研究是为水果收获机器人的室外作业服务的， 光源为自然光，摄像机本身没有自带光源，所以本文研究中并不采用任何辅助设 备。 1 1 江苏大学硕士学位论文 采集设备离地面的高度也是非常重要的参数。因为本文的研究足以机器视觉 定位为目的，所以离地高度是定位的数学模型的一个重要参数，对定位精度具有 重要影响。如前文所述，摄像机最终布罱在a s r f 机器人上，经过测量机器人 外形尺寸，确定摄像机镜头的离地高度为4 4 c m 。 图像采集时间对图像质量的影响也很大。因为室外光线随着时i 日j 的推移而变 化，图像采集时选择了两个时间段：一个是上午9 ：3 0 1 0 ：3 0 ，另一个是1 4 ： 3 0 1 5 ：3 0 。主要考虑了如下两个方面的原因：一方面这两个时i 、日j 段的太阳光线 比较均匀，不是很强烈；另一方面这两个时间段也是主要的果园劳动工作时间。 拍摄地点选择为镇江市丹徒区江心洲果园场的一处果园内，采集的桔子树种 为温州蜜桔，树龄在5 年左右。 2 5 本章小结 ( 1 ) 本章主要是对计算机视觉系统的硬件组成、参数做了介绍。对于系统各个 部分在系统中的功能和配置方式进行了阐述。 ( 2 ) 介绍了摄像机控制软件开发的平台，同时介绍了图像处理的开发平台。 ( 3 ) 简单介绍了桔子树干品种温州蜜桔，试验中图像采集的具体参数以及采集 过程。 江苏大学硕士学位论文 第三章桔子树干图像分析及常规方法分割研究 3 1 引言 图像处理是实现机器视觉技术的基础，到目前为止已经有成千种图像分割算 法被提出。桔子树干图像分割是实现水果收获机器人自动化作业的基础性工作。 本章将介绍图像处理的一些基本概念，在此基础上对桔子树干图像分析，运用常 规方法进行图像分割。 3 2 彩色空间【4 9 】 3 2 1 彩色空间的基本概念 一幅彩色图像含有颜色信息，对于这些颜色信息的研究离不开颜色的定量表 示。目前，用于定量地描述颜色的模型有许多种，在数字图像处理有关的研究中 使用得最多的颜色模型是r g b 模型和h i s 模型。 1 9 3 1 年，国际照明委员会( c m ) 规定用波长为7 0 0 n m 、5 4 6 1 n m 和4 3 5 8 n m 的单色光作为红( r ) 、绿( g ) 、蓝( b ) 三原色。 任意彩色的颜色方程为： c = a ( r ) + ( g ) + r ( s ) 口，厂0 ( 3 1 ) 口、p 、y 是红、绿、蓝三色的混合比例，一般称为三色系数。 所谓颜色模型指的是某个三维颜色空间中的一个可见光子集。它包含某个色 彩域的所有色彩。任何一个色彩域都只是可见光的子集，任何一个颜色模型都无 法包含所有的可见光。 3 2 2 典型彩色空间 r g b 颜色模型 r g b 颜色模型基于人类视觉的三基色原理，是最基本的一种颜色模型。在这 种颜色模