果树采摘机器人研究综述

1、果树采摘机器人研究综述何蓓，刘刚（“现代精细农业系统集成研究”教育部重点实验室，中国农业大学，北京，100083）摘 要：农业机器人作为农业智能控制技术研究成果中新一代生产工具，在提高农业生产力、改变农业生产模式、解决劳动生产力不足问题等方面显示出较大的优越性。其中，果树采摘机器人是当前农业机器人研究领域一个热点。果树采摘机器人可充分利用机器人的信息感知功能，对被采摘对象的成熟程度进行识别，从而保证采摘果实的质量，并能够提高采摘的工作效率。本文首先介绍了果树采摘机器人的特点、基本特征。从采摘机器人机械手的设计、末端执行器的设计、行走装置的设计、果实成熟度的识别和定位等方面，分析了国内外的研究现

2、状，并对国内外发展的情况进行了分析对比。针对目前果树采摘机器人商品化面临的诸多问题，如采摘效率低、采摘质量差、装置结构简单等，提出了相应的解决方法。关键词：果树采摘，机器人，研究现状，解决方法中图分类号：S240 引 言农业信息化是我国进入21世纪后建设现代农业的重大战略选择，是实现农业现代化的重要内容。实施数字农业，广泛应用农业机器人，以提高资源利用率和农业产出率，降低劳动强度，提高经济效益将是现代农业发展的必然趋势。现代农业技术和其它相关科学技术的发展，不但对农业机器的技术革命提出了要求，而且也奠定了相应的科学技术基础。农业机器人相对于传统农业机械能更好地适应生物技术的新发展，它的出现是现

3、代高科技在农业上综合运用与发展的结果，是农业现代化发展到一定阶段的必然产物。其中，果树采摘机器人的使用可以改善农业作业条件，降低劳动强度，提高劳动生产率和作业质量，解决劳动力的不足等问题。农业机器人的问世，有望改变传统的劳动方式，改善农民的生活劳动状态。因此，研究开发以果树采摘机器人为代表的新型农业机械，对我国农业的长远发展有着重要意义。1 果树采摘机器人的特点1.1 作业对象的非结构性和不确定性果树的果实生长随着时间和空间变化，其生长环境具有变化性、未知性和开放性等特点，除受不同的园地、 收稿日期： 修订日期：项目基金：863计划“基于机器视觉的果树采摘机器人的关键技术研究”（2006AA1

4、0Z255）作者简介：何蓓（1984），女（汉），浙江，学士，研究方向：电子信息技术在农业中的应用研究。通讯地址：北京市海淀区清华东路17号125信箱。邮编：100083。Email:chujining通讯作者：刘刚（1966），男（汉），河北，教授，博士，研究方向：电子信息技术在农业中的应用研究。通讯地址：北京市海淀区清华东路17号125信箱，邮编：100083。Email：pac不同的地域条件影响外，还受土地、季节和天气等自然条件的影响。这就要求果树采摘机器人不仅要具有与生物体柔性相对应的处理功能，而且还要能够顺应变化无常的自然环境，在视觉、知识推理和判断等方面具有一定的智能特性。1.2

5、作业对象的娇嫩性和复杂性果树的果实具有软弱易伤的特性，必须细心轻柔地对待和处理。其形状比较复杂，生长发育程度不一，相互差异较大。1.3 良好的通用性和可编程性由于果树采摘机器人的操作对象具有多样性和可变性，要求具有良好的通用性和可编程性。只要改变部分软、硬件，变更判断基准，变更动作顺序，就能进行多种作业。例如，温室果树采摘机器人，更换不同的末端执行器就能完成施肥、喷药和采摘等作业。1.4 操作对象和价格的特殊性果树采摘机器人的操作者，一般不是具有机电知识的工程师，因此要求果树采摘机器人必须具有高可靠性和操作简单的特点；另外，农业生产以个体经营为主，如果价格太高，就很难普及1。2 果树采摘机器人

6、的特征果树采摘机器人的工作对象是水果。果树采摘机器人应具有对所操作农产品及其所处环境特征信息的感知功能，以保证其在工作空间行为和操作的正确性。果树采摘机器人应具有对所操作果实的抓取(或采摘、搬运、移位及其它操作)功能。果树采摘机器人应是一个可编程的柔性系统，可根据自主或人机协同的控制程序，实现对其行为的控制，并可根据不同的工作目标修改程序。果树采摘机器人一般具有自行在特定空间中行走或移动的功能。3 果树采摘机器人的研究现状美国学者Schertz和Brown于1968年首次提出应用机器人技术进行果蔬的采摘2。1987 年Sistler在回顾自动化采摘领域的研究进展时指出，当时开发的采摘器人样机几

7、乎都需要有人的参与，因此只能算是半自动化的采摘机械3。目前，日本、荷兰、法国、英国、意大利、美国、以色列、西班牙等国都展开了果蔬采摘机器人方面的研究工作。涉及到的研究对象主要有甜橙、苹果、西红柿、樱桃西红柿、芦笋、黄瓜、甜瓜、葡萄、甘蓝、菊花、草莓、蘑菇等。我国在农业机器人方面的研究工作起步比较晚，但在近10年来发展比较迅速，有个别研究样机出现，但仍未有商品化产品推出。果树采摘机器人的研究还只限于机器视觉方面，总体与国外差距较大。3.1 机械手机械手又称操作机，是指具有和人手臂相似的动作功能，并使工作对象能在空间内移动的机械装置，是机器人赖以完成工作任务的实体。在采摘机器人中，机械手的主要任务

8、就是将末端执行器移动到可以采摘的目标果实所处的位置4。机械手一般可分为直角坐标、圆柱坐标、极坐标、球坐标和多关节等多种类型。机械手机构一般属于空间开式链。由于农业环境的复杂性、不确定性和果实分布的随机性，采摘机械手的选型既要遵循工业机械手的基本原则，又要考虑其作特殊性。要考虑使其具有最优的工作空间、较好的避障能力、机构结构设计合理、消除工作空间的奇异形位5。1980年，日本Kawamura等人采用了5个自由度的机械手应用于番茄采摘机器人，因为不是全自由度的机械手，所以采摘在空间上受到了限制。日本冈山大学的Kondo N等人研制的番茄采摘机器人，具有亢余度的7自由度机械手，能够更灵活的避开障碍物

9、6。冈山大学还研制了一种用于果园棚架栽培模式的葡萄采摘机器人。该机器人机械部分具有5个自由度的极坐标机械手，具有四个旋转关节（其中腰部1个、肩部1个、腕部1个）和1个棱柱型的直动关节。日本国立农业中心Murakami研制了极坐标机械手的甘蓝采摘机器人，采用极坐标机械手可以具有较大的工作空间。荷兰农业环境工程研究所研制出一种多功能黄瓜采摘机器人。机械手有7个自由度，采用三菱RVE26自由度机械手，在底座上增加了1个线性滑动自由度，该机械手很好的解决了机械手与茎干的碰撞问题7。在国内，东北林业大学陆怀民研制的林木球果采摘机器人，机械手由回转盘、立柱、大臂、小臂和采集爪等顺序联接而成，有6个自由度。

10、采集爪采用两片可开合的类似于人手的大型弯梳齿结构，便于采摘。浙江大学的梁喜凤等为分析并改善番茄收获机械手运动学特征，进行了番茄采摘机械手运动学优化与仿真实验，取得了较好的效果8。采摘机械手机构设计是机器人设计的关键环节，机构设计合理与否是影响机器人的工作效率和工作性能的重要因素。机械手机构的工作性能指标是评价机器人工作性能的主要参数。分析影响其性能指标的运动参数和结构参数，进行参数优化，可改善机器人的工作性能。机械手的性能指标研究是冗余度机械手运动参数合理选择的依据。机械手的自由度数直接决定了机器人的运动灵活性和控制的复杂性。3.2 末端执行器末端执行器是果树采摘机器人的另一重要部件，通常由其

11、直接对目标水果进行操作。因此，需要满足不同的规则，以便摘除水果并确保水果质量。通过对其进行改进，还可扩大作业范围9。末端执行器必须根据对象的物理属性来设计，包括形状、尺寸、动力学特性 (如抓取力、切割力、弹性变形、光特性、声音属性、电属性等)；水果的化学和生物特性也必须考虑。末端执行器的性能评估指标一般有抓取范围、水果分离率和水果损伤率等10。韩国庆北大学研制了苹果采摘机器人，采用三指夹持器作为末端执行器，内有压力传感器避免损伤苹果。日本冈山大学的Kondo N等人研制的番茄采摘机器人，其末端执行器设计有2个带有橡胶的手指和一个气动吸嘴，把果实吸住抓紧后，利用机械手的腕关节把果实拧下。日本国立

12、研究所采用了4个手指、2个吸嘴、2个诱导杆、气动剪子和光电传感器作为茄子采摘机器人的末端执行器6,11。图1 茄子采摘机器人末端执行器原理图Fig.1 General frame of the harvesting end-effector for eggplants1.光电传感器 2.引导杆 3.橡胶手 4.摄像头果实摘取的方式，一般采用机械摘除方法，也有电机切割和高压水喷切等新的方法。1996年，荷兰农业环境工程（MAG）研究所采用双电极切割法来摘取黄瓜，利用机械手将茎杆放到切割器的2个电极之间，利用电极产生的高温切割果实，还可以防止植物组织细胞细菌感染，是一种比较科学的摘取方式12。3.

13、3 行走装置在采摘果实时，需要机器人能够自主行走，所以机器人的移动机构也是不可或缺的部分。目前，移动式采摘机器人的行走机构主要有车轮式、履带式和人性结构等三种。车轮式行走机构最简单，应用也最为广泛。但其对松软的地面适应性较差，对安装在其上的机械手运动精度有较大的影响。同轮式结构相比，履带式行走机构对现有地面的适应性好，但由于转弯半径大，转向不灵活。在行走空间受到限制的场合，就不能选择这种移动机构。目前只有葡萄采摘机器人使用履带式行走机构。机器人采用两条腿行走，一直是人类的梦想。两条腿行走，对地面环境的适应性以及躲避障碍物的能力较强，是轮式和履带结构所无法比拟的。日本Ogasawara等人尝试将

14、人形机器人引入到移动式采摘机器人中，但这种技术目前还不成熟，且成本较高。今后，采用多种传感器获取环境信息，然后利用多传感器信息融合方法，如贝叶斯分类法、神经网络法等，进行障碍物判别，成为移动式机器人自主导航的主流技术13。日本Kawamura等人研制的番茄采摘机器人，其行走机构有4个车轮，能在田间自由行走，利用机器人上的光传感器和设置在地头土埂的反射板，可检测是否到达土埂，到达后自动停止，然后转向再继续前进。3.4 果实成熟度的判别和定位果树采摘机器人对果实采摘，其关键技术是要获得果实在空间坐标的准确位置和果实的成熟度，为机械手提供准确的空间位置参数，提高果实的采摘质量。果实的定位和成熟度判别

15、是果实采摘机器人的难点之一，定位和成熟度判别的准确性，关系到采摘机器人的采摘效率和采摘质量。机器视觉技术最早起源于1968年，美国学者提出了用光测信号对果实进行检测的技术思想，即利用果实和叶子在电磁光谱的可见光和红外区域反射率的不同来检测水果，后来的研究大都遵循了这一技术思想。1977年，Parrish 和Goksel就是据此构建了第一个较为实用的苹果识别视觉系统。但这种技术思想直到近20年来，由于计算机技术和传感器技术的发展，才得以真正成熟起来14,15。果实的识别和果实位置的确定主要有灰度、阈值、颜色色度法和几何形状特征等方法。其中，前两者主要基于果实的光谱反射特征，但在自然光照情况下，由

16、于图象中存在噪声和各种干扰信息，效果并不是很好。采用形状定位方式，要求目标具有完整的边界条件，由于水果和叶子往往容易重叠在一起，很难真正区别出果实的具体形状。检测果实成熟度的方法有敲打音法、近红外线分光法、气体传感器法等。果树采摘机器人视觉系统的工作方式通常是先获取果实数字化的图像，然后运用一系列的图像处理算法，实现果实与背景的分离。传感器是机器视觉系统最重要的部件，主要包括图像传感器和距离传感器等。图像传感器有CCD黑白摄像头、彩色摄像头或者立体摄像机，一般安装在机械手臂或末端执行器上。距离传感器有激光测距、超声、无线和红外传感器等16。Subrata (1995)等人研制的西红柿采摘机器人

17、，采用了波长为685nm和830nm的红光和近红外光的激光二极管，以及PSD传感器组成视觉系统。既可实现目标物三维图像信息的获取，又可从茎、叶中识别出成熟的红西红柿17。江苏大学机械工程学院的陈树人、尹建军等提出了基于彩色柱状图算法的番茄自动采摘机器人的视觉系统。在自然环境下拍摄番茄的照片，由于西红柿与其背景(叶子)的颜色有明显的不同，因此可以通过分析图像里每个象素的R、G、B值，将红色西红柿与其背景分离开来。实验结果表明，当RG>80时，得到的是西红柿象素。利用这种方法，在一幅无论是接近成熟或成熟的，还是未成熟的西红柿图像里，都能很快地将西红柿从背景图象里识别出来。果实的成熟度有的依靠

18、颜色进行判断，根据果实的色度和饱和度，来辨别果实的成熟度。另外，有的果实需要通过测量果实的直径和长度，决定是否采摘。目前所研制的果实采摘机器人，还没有十分理想的成熟度判别传感器，多数通过人工判断是否成熟。4 果树采摘机器人存在的难题及对策4.1 采摘果实目标的随机位置准确感知技术由于采摘果实的生长位置具有随机性，易受自然光线变化、风力变化等不稳定因素的影响，而且采摘果实往往是掩藏在树叶、树枝中间，果实之间存在相互重叠现象，如何解决果实的探测和定位不准确的问题，以提高采摘成功率。通过优化果实定位方法，提出修正误差算法，建立果实在轻微摆动中的快速定位模型，实现被树叶遮盖果实的有效探测。4.2 机械

19、臂的智能控制技术由于果树树冠高大，机械臂需要较大的作业空间，需要设计并解决最佳的自由度数量、关节种类和杆长等机构要素的合理匹配问题，以提高其柔性、灵巧性以及定位精度，实现智能路径规划和运动控制。在果树采摘机器人机械手的设计时不能简单地模仿人的动作，而要用最适宜的机械手结构形状并采用易于实现的动作来实现果实的自动化采摘。对于不同种类及特性的果实采取不同的机械手结构形式。4.3 末端执行机构的抓取力度和位姿控制技术考虑采摘果实的生物特性、机械特性和理化特性，避免碰伤果实，确定并解决手指数量、手指关节数量、采摘方式、控制方法与抓取成功率等问题，实现最优的抓取力度和位姿控制技术，以保证在采摘和传送过程

20、中不损伤果实。通过机械臂及末端执行机构的路径规划方法，实现果实采摘的路径最优化。4.4 果树采摘机器人的多传感器融合定位与导航控制技术在果园移动的采摘机器人，其定位和辅助导航技术受到地面的凹凸不平、意外的障碍、运动的振动、恶劣的自然环境等因素影响。利用GPS、电子罗盘、陀螺仪、车轮编码器、激光测距仪、GIS 等信息，通过信息融合技术，以实现比较精确的绝对定位或相对定位以及辅助导航功能。此外，基于多传感器模型的自适应卡尔曼滤波的信息融合方法，通过对数据融合技术研究，实现数据的快速、稳定融合，用于导航定位与图像信息处理。4.5 果树采摘机器人的开放式结构目前已有的果树采摘机器人一般采用两种实现方式

21、：采用工业机器人和独立设计的专用机电系统。这两种实现方式都是封闭式的结构，使得果树采摘机器人只能具有特定的功能，适用于特定的环境，通用性差，不便于对系统进行扩展和改进。开放式的机器人系统具有良好的扩展性、通用性和柔性作业能力。机器人的核心部分是其控制系统，因此具有开放式结构的果树采摘机器人的根本要求是具有开放式的控制系统。这样才能保证控制采摘不同果实的机器人的机械部分、末端执行器和传感器。5 结论当前，自动化及机器人技术的飞速发展，同时鉴于果树采摘作业中劳动者劳动量大和工作条件艰苦等现状，研究开发果树采摘机器人势在必行。但由于作业对象的各种复杂情况，使得商品化的产品无法推出，要求在机械手、末端

22、执行器、行走装置、果实目标感知和智能控制等方面做更加深入的研究，改进现有的方法。随着新的农业生产模式和新技术的应用，果树采摘机器人将越来越多地应用到农业生产中。由于果实生产的季节性、果实的价格、采摘作业的复杂性等特点对果树采摘机器人的性价比、智能提出较高的要求，成为制约果树采摘机器人研究应用的瓶颈问题。开放式结构的果树采摘机器人系统是解决这个问题的有效途径。将开放式结构的思想应用于果树采摘机器人的研究具有实际应用价值。参 考 文 献1 赵匀，武传宇，胡旭东，等. 农业机器人的研究进展及存在的问题J. 农业工程学报，2003，19(1)：2024.2 Harrell R C，Adsit PD，P

23、ool T A，et al. The Florida robotic grove2labJ.Transactions of the ASAE，1990，33(2)：391-399.3 Ceres R，Pons FL，Jimenez A R，et al. Design and implementation of an aided fruit harvesting Robot (Agribot) J. Industrial Robot，1998，25(5)：337-346.4 Van Henten E J，Van Dijk G，Kuypers M C， et al. Motion planning

24、 for a cucumber picking robotA. IFAC Modeling and Control in Agriculture，Horticulture and Post2harvesting ProcessingC. Wageningen，the Nether2 lands：2000. 39-44.5 Van Kollenburg2Crisan L M，Bontsema J，Wennekes P. Mechatronic system for automatic harvesting of cucumbers A. IFAC Control Applications and

25、 Ergonomics in AgricultureC. Athens，Greece：1998. 289 - 293.6 Kondo N，Monta M，Fujiura T. Fruit harvesting robot in JapanJ . A dv. Space Res.，1996，18(12)：181184.7 Van Henten EJ，V an TuijlB A J，Hemming J. Field test of an autonomous cucumber picking robotJ. Bio system s Engineering，2003，86(3)：305313.8

26、梁喜凤，苗香雯，崔绍荣，等. 果实采摘机械手机构设计与工作性能分析J.农机化研究，2004：133139.9 Monta M，Kondo N，Shibano Y. Agricultural robot in grape production systemA. IEEE International Conference on Robotics and Automation C. 1995. 2504 -2509.10 Pool T A，Harrell R C. An end2effector for robotic removal of citrus from the treeJ. Transa

27、ctions of the ASAE，1991，34(2)：373 - 378.11 Shigehiko Hayashi,，Katsunobu Ganno，Yukitsugu Ishi，et al. Robotic harvesting system for eggplantsJ. JARQ，2002,，36(3)：163168.12 Van Henten E J，Hemming J，Van Tuuijl B A J . An autonomous robot for harvesting cucumbers in greenhousesJ. Autonomous Robots，2002，13

28、：241 - 258.13 陆怀民. 林木球果采摘机器人设计与试验J. 农业机械学报， 2001，32(6)：5258.14 David C，Roy C. Color vision in robotic fruit harvestingJ. Transactions of the ASAE ，,1987 ，30 (4)：1144 - 1148.15 Jimenez A R ,Ceres R，PonsJ L，A survey of computer vision methods for locating fruit on treesJ. Transactions of the ASAE，2000

29、，43 (6)：1911- 1920.16 方建军.移动式采摘机器人的研究现状与进展J.农业工程学报，2004(2)：273278.17 Subrata et al.3D vision sensor for cherry tomato harvesting robot. Proceeding of Insternational. Symposium of Automation and Robotics on Bio-Production and Processing，1：13-20.18 汤修映，张铁中.果蔬果实收获机器人综述 J.机器人，2005，27(1)：9096.19 宋健，张铁中，徐

30、丽明，等.果蔬采摘机器人研究进展与展望J.农业机械学报，2006，37(5)：158162. 20 林伟明，毛罕平，王忠新，等.多光谱视觉技术在收获机器人中的应用J.农业装备技术，2004，30(6)：1518.21 梁喜凤，苗香雯，崔绍荣，等. 番茄收获机械手运动学优化与仿真试验J. 农业机械学报，2005，36(7)：96100.22 徐丽明，张铁中. 果蔬果实收获机器人的研究现状及关键问题J.农业工程学报，2004，20(5)：3842.The overview of fruit harvesting robotHe Bei, Liu Gang ( Key laboratory of M

31、odern Precision Agriculture System Integration Research Ministry of Education , China Agriculture University , Beijing 100083 ,China)Abstract: Agriculture robot as one of agricultural intelligent control technology research achievements , is a new generation production tool.It has demonstrated great superiority in improving agricultural productivity