重点资料柑橘采摘机器人成熟果实定位及障碍物检测研究

1、分类号 TP391.41 密级 公 开 UDC 519.688 编号 10299S0618014 学 位 论论 文柑橘采摘机器人人成熟果实定定位及障碍物检测研研究Study oon Matture FFruit Locattion aand Obbstaclle Detecttion ffor Ciitrus Pickiing Roobots周小军指导教师 蔡健荣 教授 院 系 江苏大大学食品与生生物工程学院院 申请学位级别 硕士 专业名称工程论文提交日期 2009年 4月 论文答辩日日期 20009年 6月 学位授予单位和和日期 江苏大学学 20009年 6月 答辩委员会主席席 评阅人 _2

2、009年6月月学位论文版权使使用授权书本学位论文作者者完全了解学学校有关保留留、使用学位位论文的规定定，同意学校校保留并向国国家有关部门门或机构送交交论文的复印印件和电子版版，允许论文文被查阅和借借阅。本人授授权江苏大学学可以将本学学位论文的全全部内容编入入有关数据库库进行检索，可可以采用影印印、缩印或扫扫描等复制手手段保存和汇汇编本学位论论文。保密 本学位论文属于于 ，在 年我解密后后适用本授权权书。不保密 学位论文作者签签名： 指导教师师签名： 2009年 月 日 22009年 月 日独创性申明本人郑重声明：所呈交的学学位论文，是是本人在导师师的指导下，独独立进行研究究工作所取得得的成果。

3、除除文中已经注注明引用的内内容以外，本本论文不包含含任何其他个个人或集体已已经发表或撰撰写过的作品品成果。对本本文的研究做做出重要贡献献的个人和集集体，均已在在文中以明确确方式标明。本本人完全意识识到本声明的的法律结果由由本人承担。学位论文作者签签名：2009年 月 日柑橘采摘机器人人成熟果实定位位及障碍物检测研研究Study oon Matture FFruit Locattion aand Obbstaclle Detectiion foor Citrrus Piickingg Roboots 专 业业： 农产品加工工及贮藏工程程 指导老师： 蔡健荣 教授 作者姓名： 周小军 2009年6

4、月月摘 要随着农业生产的的飞速发展和和农业劳动力力成本的迅速上上升，农业劳动力的匮乏将成为为许多发达国国家和发展中中国家共同面面对的问题。目前机器人技术在农业上应用研究越来越成为热门课题，与工业机器人特定的工作环境不同,农业机器人主要在自然场景下工作,要面对更为复杂多变的情况,有更多的问题需要解决。 本研究究作为柑橘采采摘机器人研研究的一部分分，利用双目目立体视觉技技术，研究自自然场景下的的成熟柑橘的的识别和定位位方法、障碍物(树树枝)的检测测方法，为未来开发收获获机器人采摘摘柑橘进行前前期视觉系统统方面的准备备工作，这部部分相关的研研究也是水果果收获机器人人实用化的关关键。本研究的主要内内容

5、和方法如如下：1. 成熟果实实定位果实定位主要通通过识别和匹匹配等步骤完完成。识别的的目的是把成成熟柑橘从背背景中识别出出来，为空间间定位做准备。本研究究利用对RGB颜色系统中的的色差分量22R-G-BB值进行迭代，自自动寻找阈值值的方法分割柑橘图像；将区域域分割后的彩彩色图像转化化为二值图像像；经过形态态学运算消除除噪声；对图图像进行区域域标记，根据据区域面积和和区域最小外外接矩形长宽宽比设定阈值值，去除小块块及非类圆形形干扰区域；进行区域填填充、轮廓提提取，并采用用优化圆形HHough变变换拟合出成成熟果实图像像中的圆心坐坐标、半径等等特征值；然然后以单个柑柑橘为匹配对对象，采用基基于特征

6、的立立体匹配方法法，加入柑橘橘的区域重心心、外接矩形形尺寸等特征征值作为匹配配约束来实现现左右两幅图图像中对应果果实的唯一匹匹配，研究结结果显示正确确匹配率达880%以上。最后后在对摄像机内内外部参数进进行了标定的的情况下，求求得柑橘的空空间三维坐标标，并利用激激光测距仪进进行了对比验验证，当测量量距离小于等等于1.5m时，平均误差不超过1%。2. 障碍物检检测为保持算法的可可执行性，障障碍物检测的的步骤和果实实定位基本相相同，采用对对图像2R-G-B和2G-R-BB色差分量值值进行迭代，并并结合图像灰灰度阈值法能能快速有效的的分割出图像像树枝区域，通通过图像二值值化、形态学学运算、区域域标记

7、、空洞洞填充提取出出图像树枝区区域；通过区区域细线化提提取树枝骨架架，并进行骨骨架修剪、恢恢复遮挡骨架架等处理；然然后找出骨架架中端点、分分支点等特征征点并记录它它们的连接关关系；最后通通过对特征点点的立体匹配配恢复障碍物的的三维信息。试验表明障碍物的正确识别率为67.3%，当障碍物实际距离大于1.5m时，识别误差增大。通过研究，在成成熟水果识别别、匹配和定定位方面取得得了较大进展展，提出了一一种果实收获获机器人的障障碍物检测方方法。本文的研究究内容对我国国开展农业收收获机器人视视觉识别技术术领域的研究究具有参考价价值，为进一一步的研究打打下了基础，对对提高我国农农业的国际竞竞争力有重要要的经

8、济意义义。关键词：识别，匹匹配，圆形HHough变变换，空间定定位，障碍物物ABSTRACCTWith thhe rappid deeveloppment of aggricullturall prodductioon, thhe cosst of agricculturre labbor foorce wwill bbecomee moree and more costlly. In reccent yyears, the aagricuulturaal appplicattion oof robbot teechniqque haave allreadyy becoome poopular

9、r issuue, beecausee of tthe shhortagge of the aagricuulture llabor forcee bothh in ddevelooped ccountrries aand deevelopping ccountrries. Diffeerent from indusstriall roboot, whhich wworks in paarticuular eenviroonmentt, thee agriicultuure roobot mmainlyy workks in the nnaturaal envvironmment, and t

10、the aggricullture robott has to faace moore coompliccated and uuncerttain ccircummstancce, thhus thhere aare moore prroblemms to be reesolveed.As a paart off reseearch on ciitrus pickiing roobots, thiss reseearch used binoccular stereeo vission tto ressearchhing oon reccognittion aand loocatioon mat

11、ture ccitruss, obsstaclee (braanchess) dettectioon undder naaturall enviironmeent. TThe maain coontentts andd methhods aare ass folllows:1. Matuure frruit llocatiionThe maiin steeps too compplete that are iimage recoggnitioon andd sterreo maatchinng. Thhe purrpose of immage rrecognnitionn is rrecogn

12、nizingg matuure ciitrus regioon froom imaage too makee prepparatiion foor loccationn. Thiis ressearchh usedd iterrate oon 2R-G-B cchromaatism compoonent in RGGB collor syystem to fiindingg threesholdd autoomaticcally to seegmentt origginal imagee. Theen thee segmmentedd imagges weere coonvertted too

13、 two-valuee imagges annd eliiminatted nooise by moorphollogicaal opeeratioon. Reegion labelling wwas doone annd eliiminatted reegion whichh was smalll or hhad grreat ddifferrencess fromm circcle byy defiining thresshold whichh baseed on area and llengthh to wwidth ratioo of tthe smmallesst cirrcumsc

14、cribedd recttanglees of each regioon. Thhen reegion filliing annd conntour extraactionn operrationn weree beenn donee and used improoved CCircullar Hoough TTransfformattion (CHT) to foound oout ciircle centrre andd radiius off eachh regiions approoachinng rouund. TThen uused ffeaturre-bassed maatch

15、aand addded eextra charaacteriisticss suchh as bbaryceenter of orrange regioon in the iimage, sizees of each regioons aapproaachingg rounnd to get ccorrecct mattch reesultss of eeach iimage pair. Expeerimenntal rresultts shoow thaat thee matcching accurracy ccan reeach oover 880%. FFinallly, affter

16、ccalibrrated the ccameraa inteerior and eexteriior paarametters, the 33-d sppace ccoordiinate of eaach orrange was bbeen oobtainned annd useed thee laseer rannge fiinder to veerificcationn and compaarisonn. Ressults show that the aaveragge errror raatio iis bellow 1% wheen thee meassuringg disttance

17、 is noo moree thann 1.5mm.2. Obsttacle detecctionTo ensuure exxecutaable oof alggorithhms, tthe stteps oof obsstaclee deteectionn are the ssame aas thaat of maturre fruuit loocatioon. Ussed itteratee on 22R-G-BB and 2G-R-BB chroomatissm commponennt, coombineed witth graay thrresholld metthod tto seg

18、gment imagee quicckly aand efffectiively. Got the bbranchh regiions by immage bbinaryyzatioon, moorphollogicaal proocessiing, rregionn labeeling and ffillinng. Extrractedd skelleton of obbstaclle by thinnning aand diid somme proocessees so as too prunning tthe skkeletoon andd recooverinng thee occll

19、uded skeleeton. Then obtaiined tthe feeaturee poinnts such as enndpoinnts and brancch poiints of thhe skeeletonn, reccordedd theiir connnectiing HYPERLINK /dict_result.aspx?searchword=%e5%85%b3%e7%b3%bb&tjType=sentence&style= reelatioonshipp. Finnally the 33D infformattion oof obsstaclee was restoor

20、ed bby stereoo matchiing onn featture ppointss. Expperimeental resullts shhow thhat thhe ideentifiicatioon acccuracyy of oobstaccle caan reaach 677.3%, the identtificaation errorr ratiio was inccreaseed wheen thee actuual diistancce of obstaacle iis morre thaan 1.55m.Throughh the reseaarch, some ach

21、ieevemennts haave beeen maade. SSuch aas matture ffruit recoggnitioon, maatch aand loocatioon. Thhis reesearcch alsso proovidess a meethod for ffruit harveest roobot tto dettect oobstaccle. TThe reesearcch ressults of thhis reesearcch havve refferencce vallue foor thee studdy on visuaal reccognittio

22、n iin thee fielld of harveest roobot iin ourr counntry. They also proviide a basiss for furthher sttudy aand haave immportaant ecconomiic siggnificcance to ennhancee inteernatiional compeetitivve powwer off our counttrys agricculturral. KEY WORRDS: recognnitionn, matchiing, circulaar hough transsfor

23、maation (CHT), spatiaal locatiion, oobstaccle目 录TOC o 1-3 h z u HYPERLINK l _Toc227044741 第一章 绪 论 PAGEREF _Toc227044741 h 1 HYPERLINK l _Toc227044742 1.1 研究究目的和意义义 PAGEREF _Toc227044742 h 1 HYPERLINK l _Toc227044743 1.2 国外外研究现状 PAGEREF _Toc227044743 h 3 HYPERLINK l _Toc227044744 1.3 国内内研究现状 PAGEREF

24、_Toc227044744 h 5 HYPERLINK l _Toc227044745 1.4 研究究内容和方法法 PAGEREF _Toc227044745 h 6 HYPERLINK l _Toc227044746 1.5 本章章小结 PAGEREF _Toc227044746 h 7 HYPERLINK l _Toc22270447747 第二章 双目立体体视觉系统简简介 PAGEREF _Toc227044747 h 8 HYPERLINK l _Toc227044748 2.1 硬件件组成 PAGEREF _Toc227044748 h 10 HYPERLINK l _Toc2270

25、44749 2.2 相关关图像处理软软件 PAGEREF _Toc227044749 h 12 HYPERLINK l _Toc227044750 2.3 本章章小结 PAGEREF _Toc227044750 h 12 HYPERLINK l _Toc227044751 第三章 成熟熟柑橘果实定定位 PAGEREF _Toc227044751 h 13 HYPERLINK l _Toc227044752 3.1 计算算机视觉中的的颜色表示 PAGEREF _Toc227044752 h 13 HYPERLINK l _Toc227044753 3.2 成熟熟柑橘区域提提取 PAGEREF _

26、Toc227044753 h 16 HYPERLINK l _Toc227044754 3.2.1 图像分割原原理 PAGEREF _Toc227044754 h 16 HYPERLINK l _Toc227044755 3.2.2 阈值分割 PAGEREF _Toc227044755 h 17 HYPERLINK l _Toc227044756 3.2.3 二值化处理理 PAGEREF _Toc227044756 h 19 HYPERLINK l _Toc227044757 3.2.4 形态学运算算 PAGEREF _Toc227044757 h 19 HYPERLINK l _Toc227

27、044758 3.2.5 区域标记 PAGEREF _Toc227044758 h 20 HYPERLINK l _Toc227044759 3.2.6 区域填充 PAGEREF _Toc227044759 h 21 HYPERLINK l _Toc227044760 3.2.7 基于面积和和最小外接矩矩形的目标区区域提取 PAGEREF _Toc227044760 h 22 HYPERLINK l _Toc227044761 3.3 果实实区域特征提提取 PAGEREF _Toc227044761 h 23 HYPERLINK l _Toc227044762 3.3.1 果实区域的的轮廓提取

28、 PAGEREF _Toc227044762 h 23 HYPERLINK l _Toc227044763 3.3.2 利用优化圆圆形Houggh变换提取取果实特征 PAGEREF _Toc227044763 h 24 HYPERLINK l _Toc227044764 3.3.3 实验结果及及分析 PAGEREF _Toc227044764 h 28 HYPERLINK l _Toc227044765 3.4 成熟熟柑橘区域立立体匹配和空空间定位 PAGEREF _Toc227044765 h 30 HYPERLINK l _Toc227044766 3.4.1 双目立体视视觉成像模型型 P

29、AGEREF _Toc227044766 h 30 HYPERLINK l _Toc227044767 3.4.2 双目立体视视觉的深度计计算 PAGEREF _Toc227044767 h 31 HYPERLINK l _Toc227044768 3.4.3 空间定位的的实现 PAGEREF _Toc227044768 h 32 HYPERLINK l _Toc227044769 3.4.4 立体匹配 PAGEREF _Toc227044769 h 33 HYPERLINK l _Toc227044770 3.4.5 成熟柑橘的的三维坐标恢恢复 PAGEREF _Toc227044770 h

30、 38 HYPERLINK l _Toc227044771 3.4.6 实验方案 PAGEREF _Toc227044771 h 39 HYPERLINK l _Toc227044772 3.4.7 实验所得数数据 PAGEREF _Toc227044772 h 39 HYPERLINK l _Toc227044773 3.4.8 结论及分析析 PAGEREF _Toc227044773 h 41 HYPERLINK l _Toc227044774 3.5 本章章小结 PAGEREF _Toc227044774 h 41 HYPERLINK l _Toc2270447775 第四章 障碍物检检

31、测 PAGEREF _Toc227044775 h 42 HYPERLINK l _Toc227044776 4.1 图像像树枝区域提提取 PAGEREF _Toc227044776 h 42 HYPERLINK l _Toc227044777 4.1.1 颜色分割 PAGEREF _Toc227044777 h 42 HYPERLINK l _Toc227044778 4.1.2 灰度阈值分分割 PAGEREF _Toc227044778 h 43 HYPERLINK l _Toc227044779 4.1.3 提取树枝区区域 PAGEREF _Toc227044779 h 44 HYPER

32、LINK l _Toc227044780 4.2 树枝枝特征提取 PAGEREF _Toc227044780 h 45 HYPERLINK l _Toc227044781 4.2.1 树枝骨架提提取 PAGEREF _Toc227044781 h 45 HYPERLINK l _Toc227044782 4.2.2 骨架特征点点提取 PAGEREF _Toc227044782 h 51 HYPERLINK l _Toc227044783 4.2.3 骨架修剪 PAGEREF _Toc227044783 h 52 HYPERLINK l _Toc227044784 4.2.4 恢复遮挡树树枝 P

33、AGEREF _Toc227044784 h 54 HYPERLINK l _Toc227044785 4.2.5 树枝半径提提取 PAGEREF _Toc227044785 h 56 HYPERLINK l _Toc227044786 4.3 立体体匹配 PAGEREF _Toc227044786 h 57 HYPERLINK l _Toc227044787 4.4 障碍碍物三维信息息恢复 PAGEREF _Toc227044787 h 57 HYPERLINK l _Toc227044788 4.5 算法法流程及结果果分析 PAGEREF _Toc227044788 h 58 HYPERL

34、INK l _Toc227044789 4.6 本章章小结 PAGEREF _Toc227044789 h 60 HYPERLINK l _Toc227044790 第五章 结论论与展望 PAGEREF _Toc227044790 h 61 HYPERLINK l _Toc2270447911 参考文献 PAGEREF _Toc227044791 h 63 HYPERLINK l _Toc227044792 致 谢 PAGEREF _Toc227044792 h 666 HYPERLINK l _Toc227044793 硕士期间发表的的论文及参与与的课题 PAGEREF _Toc227044

35、793 h 67第一章 绪 论1.1 研究究目的和意义义进入二十一世纪纪，我国的农农业和农村经经济发展正面面临新的机遇遇和挑战。一一方面，由于于加入WTOO，农业和农农村经济发展展正面临着世世界各地的冲冲击和挑战；另一方面也也给我国带来来了一次加快快农业和农村村经济发展以以及对农村经经济结构调整整的绝好的机机遇。随着农农业生产正朝朝着规模化、多多样化、精确确化方向发展展，农业劳动动力的成本必必然迅速上升升，劳动力不不足的现象也也会日趋明显显，因而作为为高科技的机机器人技术进进入农业领域域变得越来越越现实。柑橘作为世界第第一大类水果，20002全世界年年贸易额达到到82亿多美元元，是仅次于于小麦

36、和玉米米的第三大贸贸易农产品。过过去30年，世界柑橘橘产量增长了一一倍，据联合国粮农农组织预测，到2010年，全全球柑橘产量量将达66440万吨，中国具有发发展柑橘产业业得天独厚的的自然条件，适适宜栽培柑橘橘的地域广阔阔，20077年栽培面积积达191万公顷顷，产量达到到2059万吨吨，中国柑橘橘种植面积和和产量均跃居居世界第一。目目前，中国人人均消费柑橘橘鲜果10.5kg，比比1978年的的0.3kgg增加了35倍1。在柑橘的生产作业中中，收获采摘摘约占整个作作业量的40050%，由由于采摘作业业的复杂性，采采摘自动化程程度很低。由于本本世纪我国农农业劳动力将将逐渐向社会会其它产业转转移，而

37、且我我国面临着严重的的人口老龄化化问题，劳动动力资源不足足将逐渐变为为现实，我国国柑橘产量大，季季节性强，大大量的成熟柑柑橘如不及时时收获和保存存，由此造成成的腐烂和掉掉落将损失巨巨大，柑橘自动采摘摘机器人能够够降低人劳动动强度，提高高劳动生产率率和产品质量量，保证果实实适时采收，因因此，研究开开发柑橘采摘机器器人，具有重重要的意义。机器人技术的研研究和发展分分几个时代。第第一代机器人人很多是示教教再现型工业业用机器人，即即按预先规定定好的程序反反复动作，这这类机器人不不具备识别外外界状况的功功能。近几年年，利用各种种传感器技术术检测环境条条件并进行工工作的智能型型第二代机器器人研究迅速速展开

38、，在环环境条件受到到严格控制的的作业现场实实现应用。在在此基础上，研研究人员进一一步研究开发发具有计算机机人工智能和和推理功能的的第三代机器器人，并不断断走向成熟。由由于工作要求求不同、使用用行业不同，目目前机器人研研究领域形成成了几代并存存、共同发展展的局面。即即使是这样，将将现在的工业业机器人系统统直接应用于于农业，面对对田间作业现现场的不同环环境和多变条条件，还是无无法满足应用用要求。与工工业应用的人人工控制环境境截然不同，农农业用机器人人主要在自然然环境下工作作，要识别的的作业对象形形状、颜色等等特征会因生生长环境的不不同而变化。如如收获水果时时，机器人需需要从枝叶、地地面、空间等等杂

39、乱背景中中分辨出水果果，并根据其其成熟度有选选择地实施操操作，在不同同的光照条件件下，原本就就很复杂的问问题，又变得得更为复杂。因此，目前收获机器人存在的问题主要有果实的识别率和采摘率不高、果实的平均采摘周期较长等，解决收获机器人果实的识别和定位问题的关键是视觉功能的智能化。作为机器人的核心系统：即立体视觉系统的研究，成为机器人能否在农业上成功应用的关键，使机器人能像人一样，准确识别和定位目标，对实现机器人的智能化以及机器人升级换代起决定性作用，因此这方面的研究成为焦点。收获机器人主要要包括行走机机构、控制系系统和机械手手等几大部分分，其中机械械手是机器人人的主要执行行部件，其构构造复杂，造造

40、价昂贵，是是机器人的最最重要组成部部分。在采摘摘苹果、柑橘橘等高大果树树的果实时，机械手需要要较大的工作作空间2，但实际生生长的果树形形态各异、参参差不齐、许许多果实生长长在树枝后面面，或者在两两个树枝之间间，而且这些些果树的树枝枝较粗大，若若机械手与这这些树枝相碰碰撞将造成机机械手的损坏坏，要想使机机械手采摘到到这些果实，必必须避开树枝枝，所以对于于开发柑橘、苹苹果等收获机机器人，避障障研究是必要要的。要使机机械手自动避避障，必须先先使机器人准准确的识别障障碍物，得到到障碍物空间间三维信息，然后通过空间建模和机械手路径规划实现自动避障。目前在机器人导航以及汽车行业中，对机器人避障已进行了较广

41、泛的研究，但在收获机器人方面，对机械手避障的研究较少，目前开发出的收获机器人，如日本的茄子采摘机器人3,荷兰的黄瓜采摘机器人4,美国的柑橘采摘机器人等都没有机械手避障功能，所采摘的都是表层的无障碍的果实，因此目前果实收获机器人的应用范围较窄，在有坚硬树枝等障碍物存在的情况下，机械手的采摘较危险。为了增加收获机器人的实用性，提高采摘的安全性，机械手必须能自动避障，而如何准确的识别和恢复障碍物三维信息则是机器人避障必须首先解决的问题。综上所述，本研研究的两大主主要内容：柑柑橘采摘机器器人果实定位位和障碍物检检测，是实现现柑橘采摘机机器人自动、快速、准确确、安全采摘摘果实的关键键，是柑橘收收获机器人

42、发发展必须首先先解决的问题题。1.2 国外外研究现状 在果实实识别和定位位方面，国外外对计算机视视觉在农产品品收获中应用用的研究起步步很早，尤其其是在树上果果实的检测方方面做了很多多工作，为我我们的研究提提供了许多宝宝贵的经验。机器视觉技术在在果蔬收获机机器人中的应应用开始于11968年，美美国学者Scchertzz 和Brownn最早提出果果实自动化采采摘的想法。利利用果实和叶叶子在电磁光光谱的可见光光和红外区域域反射率的不不同来检测水水果5,6，在他们的的文章中，建建议果实的位位置可以通过过光度信息测测定，尤其是是利用叶子和和果实对可见见光或者电磁磁光谱红外部部分反光度的的差异。同时时文章

43、中也指指出了在果实实自动化检测测中必须考虑虑的问题：(1)不均匀匀照明；(22)枝叶遮挡挡使得只有770%到100%的果果实可以看到到。受Scherttz和Brownn想法的启发发，各种有关关果实自动化化采摘的研究究在世界各地地陆续开展起起来。Parrrish和和Gokseel在1977年据上述理理论，使用一一台B/W照相机和一个个用于增强红红色苹果和绿绿色叶子对比比度的红色光光学滤波器，构建了第一个较为实用的苹果识别视觉系统7，这项研究拓宽了收获机器人研究的思路。他们利用人造苹果树进行了一些试验，但是没有报道具体的检测结果。DEsnonn等人报道了了用于苹果检检测的第一套套彩色视觉系系统8。

44、通过对二二值图像的处处理能找到各各水果的区域域的中心。但但是这种系统统误识别率较较高，检测时时为了避免视视觉系统看到到未被树叶挡挡住的天空，要要求在果树后后面实施遮挡挡，防止产生生大量虚假目目标9。1987年，WWhittaaker10首先提出基基于形状信息息检测果实的的方法。他认认为基于局部部像素颜色值值的分析方法法不适用于建建立对颜色不不敏感的处理理系统，建议议基于形状信信息同时考虑虑局部像素颜颜色值和整体体颜色值的内内在关系，在在处理的过程程中用到了优优化圆形Hoough变换换。该方法虽虽然仅限于理理论上的探讨讨，但是开辟辟了果实识别别的一个新的的途径。Illingwworth等等人11

45、用一台黑白白摄像机拍摄摄得到灰度为为256级的灰灰度图像，经经过Sobel算子子处理得到每每幅图像的梯梯度矢量图，通通过阈值化得得到边界图像像和方向图像像。方向图像像包括每个边边界的矢量方方向和最大亮亮度变化方向向，运用优化化的圆形Hoough变换换（CHT）检检测图像中符符合西红柿轮轮廓的弧度。该该研究采用人人为给定阈值值的方法，不不能适用光线线变化。给定定阈值对结果果影响很大，最最好的检测准准确率为688%。本文采采用的迭代算法能根根据采集图像像的亮度变化化自动选择分分割阈值，很很好的解决光光线变化问题题。Harrelll等人对柑橘类采采摘机器人（CPR）进行了研究究1214。采用色调、饱

46、饱和度以及RRGB颜色信信息进行分类类，利用经典典的贝叶斯分分类器，这种种分类方法将将成熟的柑橘橘或其它水果果像素从背景中中分离比较有有效。但是需要人工照照明，并且当当背景颜色和和水果相似时时，如大片枯枯叶、地面等等杂物容易被被误识别成目目标，并且不不能检测有遮遮挡的果实。1990年，匈匈牙利和美国国科研联合基基金会15联合研制开开发出苹果收收获机器人。该该机器人用立立体视觉系统统自动检测苹苹果，给出检检测到的苹果果的空间位置置。试验结果果表明：可以以找到41的可视果实实，同时出现现了一些误识识别。他们认认为出现这样样的结果原因因有两方面：一是图像分分割时出现了了一些错误的的判断，图像像上有些

47、非苹苹果部分被判判定是苹果；二是利用立立体视觉寻找找果实上同一一部分在两幅幅图像上的对对应区域时，由由于遮挡、重重叠等缘故，当当果实在果树树深处时，没没有充分利用用匹配算法中中的约束条件件，如极线约约束、唯一性性约束、保序序性约束等，在在遍历搜索过过程中导致多多重匹配，出出现虚假目标标，采用基于于区域的匹配配算法，在灰灰度分布相似似区域匹配不不佳是该算法法的缺陷。为为此，本文采采用基于特征征的立体匹配配算法，运用用各种约束条条件，减少了了定位误差和和虚假目标的的出现。1995年，意意大利的Buuemi116开发了用于于温室柑橘采采摘的自动化化系统。该视视觉系统使用用彩色相机获获取图像，并并将颜

48、色转换换到HIS颜色系系统下，利用用色调和饱和和度对图像进进行分割，通通过对同一场场景两幅不同同的图像进行行空间匹配获获得三维信息息，试验结果果认为可以检检测到大约990的成熟熟柑橘，出现现的错误检测测，基本上都都是由遮挡问问题造成的。西班牙的Cerres17等认为使用用光学相机系系统，造成错错误检测的原原因是光照的的变化和场景景中同果实和和背景具有相相同颜色或形形状属性。11998年，他他们在西班牙牙AGRIBBOT工程中中提出使用激激光区域探测测传感器获得得图像，利用用形状识别果果实。他们把把检测的目标标近似看作球球体，把轮廓廓线、凸度、凸凸面、反射率率四种不同的的点阵用于估估计球体的参参

49、数：空间位位置、半径、反反射率。分别别利用人工树树和自然树进进行了测试，研研究表明800的可视果果实被探测到到，没有错误误检测。根据据他们的视觉觉识别系统，果果实的空间位位置可精确到到10mm。高桥照夫等人（2000）利用双目立体视觉对果园的苹果进行定位研究。以红富士苹果为采摘对象进行实验，结果表明，目标距离为14m的有效范围内测量误差较小；距离在1.23.5m时，误差在-42%之间；大于3.5m时误差在 -70%之间。系统要求的光线强度控制在190klx，果实的重叠度应小于0.5。荷兰农业环境工工程研究所(IMAG B.V.) (20002)研究开发了了一种移动式式黄瓜收获机机器人样机18，

50、该研究在在荷兰2hmm2的温室里进进行。实验结结果表明，高高峰期需要44台机器人。每每台机器人每每日工作188h，作业速速度为10秒/根，相当于于12个工人每每日6h的工作量量。蔬菜果实实收获自动化化可以节约果果实收获人工工费用，但要要满足商用产产品的各种要要求，还需对对样机加以改改进和完善。日本Shimaane大学（20000）构建了了一种收获机机器人视觉系系统19。Bulannon20（2002，日日本）根据颜颜色和灰度的的组合特征对对不同光照条条件下的Fuuji苹果进进行识别，成成功率88，他们认为影影响识别结果果的主要因素素是光照条件件。Limssiroraatana21等（20022

51、，日本）以以木瓜为对象象，利用椭圆圆傅立叶描绘绘子（Elllipticc Fourrier DDescriiptorss）根据形状状在图像上识识别果实，为为了优化识别别过程，采用用了快速傅立立叶变换（FFFT）和遗遗传算法(GGA)，最后后结果认为这这种方法是可可行的，但仍仍需进一步深深入研究。目目前，日本、荷荷兰、美国、以以色列等国都都开展了果蔬蔬收获机器人人方面的研究究工作，但是是研究大都停停留在理论或或实验阶段，还还没真正实现现商业化22。在机器人障碍物物检测方面，目目前在机器人人导航以及汽汽车行业中，对对机器人避障障已进行了较较广泛的研究究，但在收获获机器人方面面，对机械手手避障的研究

52、究较少，其原原因主要是农农业环境中由由于背景的复复杂性和光照照的不稳定性性，障碍物的的检测较复杂杂，因此这方面的的研究任重而而道远。本文文提出了一种种障碍物检测测的方法，在在收获机器人人障碍物检测测方面做了一一些基础性的的研究。1.3 国内内研究现状国内利用机器视视觉技术在农农业收获机器器人方面的研研究起步较晚晚。1997年，吉吉林工业大学学的杨秀坤等等23提出利用计计算机视觉对对果实表面缺缺陷进行检测测的方法。该该方法首先对对果实图像进进行滤波、增增强等预处理理，然后根据据像素颜色值值，利用自适适应特征聚类类神经网络和和模糊加权决决策树相结合合的方法对果果实表面缺陷陷进行检测。实实验结果认为

53、为该方法优于于传统的检测测方法。2001年，南南京农业大学学的张瑞合等等24对自然环境境下番茄的识别与与定位进行了了研究，他们们根据颜色特特征识别番茄茄，利用双目目立体视觉从从两幅二维图图像中恢复出出番茄的三维空空间坐标，实实验结果认为为当目标距离离为300400mmm时，深度误误差可以控制制在344。2002年，中中国农业大学学的孙明等25提出利用计计算机视觉识识别萝卜幼苗苗。该方法首首先突出图像像中各像素的的绿色颜色分分量，然后结结合亮度信息息，采用最大大方差自动取取阈值等方法法识别目标。2005年，江江苏大学的蔡蔡健荣等26将RGB颜色空空间转换到球球形HIS颜色系系统，并利用Otsuu

54、算法自动获获取分割阈值值，以成熟的的西红柿为对对象，根据水水果的颜色信信息和形态信信息能够识别别出成熟水果果，但对有遮遮挡或果实重重叠的情况研研究较少。综上所述，国内内对机器视觉觉在农产品收收获和加工中中的应用进行行了大量的研研究，但和国国外仍存在一一定差距，特特别是在农产产品收获应用用方面，国内内的研究很有有限。为了赶赶超国外先进进水平，早日日实现我国农农业生产自动动化，必须进进一步开展广广泛和深入的的研究。1.4 研究究内容和方法法根据国内外研究究状况，基于于双目立体视觉觉对自然环境境下植株上的的果实和障碍物进行识识别并确定其其位置的构想想是可行的，本本研究以柑橘橘为研究对象象，以两个光轴

55、平行的同型号号CCD摄像头头构成双目立立体视觉系统统，对大棚和和田间生长的的成熟柑橘分分别在不同时时间、不同天气下进进行图像采集集，基于VC+6.0平台台自行开发了了处理程序进进行图像处理理，运用相关关的图像处理理算法及空间间测距理论，对对处理结果进进行分析和计计算，从而达达到识别和定定位的目的。本研究的主要内容如下：柑橘果实定位选择合适的颜色色系统，对图图像中目标和和背景进行合合理分割，研研究受环境影响较较小的分割方方法；对分割割出的图像目目标区域，采采用有效的特特征识别方法法，力求准确确快速提取目目标区域特征征，为立体匹匹配和空间定定位做准备；使用正确的的立体匹配方方法对左右图图像的果实区

56、区域进行匹配配，根据匹配配的结果计算算果实的空间间位置，将计计算的结果同同实际位置相相比较，从而而调整相应算算法，以达到到准确定位。障碍物检测主要步骤和果实实定位相同，根据柑橘收获机器人机械手自动采摘过程中遇到的树枝等主要障碍物的特点，研究对于障碍物的分割和提取方法，针对树枝的多样性的特点，研究有效的特征提取、立体匹配和三维重建方法恢复树枝三维信息，本文提出了相应的解决方案。1.5 本章章小结本章首先介绍了了研究的目的的和意义，然然后对国内外外研究情况做做了介绍，最最后简要的提出了本研究的主主要内容。第二章 双目目立体视觉系系统简介众所周知，人们们从外界环境境获取的信息息中，80%来自于视觉觉

57、，其他来自自于触觉、听听觉、嗅觉等等感觉器官。当当人的眼睛从从自己周围的的环境获取大大量信息，并并传入大脑后后，由大脑根根据知识或经经验，对信息息进行加工、推推理等处理工工作，最后识识别、理解周周围环境，包包括环境内的的对象物，如如物体间的相相对位置、形形状、大小、颜颜色、纹理、运动还是静止等。计算机视觉就是用计算机模拟人眼的视觉功能，从图像或图像序列中提取信息，对客观世界的三维景物和物体进行形态和运动识别。计算机视觉研究的目的之一就是要寻找人类视觉规律，从而开发出从图像输入到自然景物分析的图像理解系统。目前许多计算机机视觉专家都都是在马尔(Marr)创立的视觉觉计算理论框框架下探索。美国麻省

58、省理工学院人人工智能实验验室的马尔教授认为为，视觉可分分为三个阶段段，第一阶段段是早期视觉觉，其目的是是抽取观察者者周围景物表表面的物理特特性，如距离离、表面方向向、材料特性性(反射、颜色色、纹理)等，具体来来说包括边缘缘检测、双目目立体匹配、由由阴影确定形形状、由纹理理确定形状、光光流计算等；第二阶段是二二维半简图或或本征图像，它它是在以观察察者为中心的的坐标系中描描述表面的各各种特性，根根据这些描述述可以重建物物体边界、按按表面和体积积分割景物，但但在以观察者者为中心的坐坐标系中只能能得到可见表表面的描述，得得不到遮挡表表面的描述，故故称二维半简简图；第三阶段是是二维模型，视觉信息处理的最

59、后一个层次，是用二维半简图中得到的表面信息建立适用于视觉识别的三维形状描述，这个描述应该与观察者的视角无关，也就是在以物体为中心的坐标系中，以各种符号关系和几何结构描述物体的三维结构和空间关系。 尽管马马尔视觉计算算理论在解决决具体问题时时遇到了困难难，但可以说说，计算机视视觉有了长足足的发展，其其主流是沿着着马尔所指出出的方向取得得的。根据以上的马尔尔视觉理论，可可以将计算机机视觉分为二二维视觉和三三维也就是立立体视觉。二二维视觉是把把输入图像转转换成具有所所希望特性的的另一幅图像像，例如滤波波、锐化、图图像相加等；或者提取图图像的某些特特征，例如边边缘提取、图图象分割等。立立体视觉研究究最

60、多的是马马尔提出的双双目立体视觉觉，由于立体体视觉很多处处理要以二维维视觉为基础础，如图象分分割、特征提提取等。因此此，可以认为为立体视觉的的研究包括了了对二维视觉觉信息的研究究，这里主要要介绍双目立立体视觉。双双目立体视觉觉是计算机视视觉的一个重重要分支，它它由不同位置置的两台或者者一台摄像机机经过移动或或旋转拍摄同同一幅场景，通过计算空空间点在两幅幅图像中视差差，获得该点的的三维坐标值值。马尔提出了了一种视觉计计算理论并应应用在双眼匹匹配上，使两张有视视差的平面图图产生有深度度的立体图形形，奠定了双目目立体视觉发发展的理论基基础。相比其他类类的体视方法法，如透镜板板三维成像、投投影式三维显