（农业电气化与自动化专业论文）基于支持向量机苹果采摘机器人视觉系统的研究.pdf

江苏大学硕上学位论文堆子支持向量机苹果采摘机器人视觉系统的研究 摘要 研究果树采摘机器人关键技术，不仅对于适应市场需求、降低劳动强度、提高经济效 益有着一定的实用价值，而且对于跟踪世界农业新技术，促进我国农业现代化进程有着重 要现实意义。本研究得到了国家“8 6 3 ”高新技术发展计划基金( 2 0 0 6 a a l 0 2 2 5 4 ) 的支持， 以自然场景下成熟期苹果为研究对象，从收获的实际情况出发，利用其颜色、形状等特征， 结合支持向量机技术进行图像的自动分割、识别等研究。主要完成的工作有： l 、实验系统总体设计。构建采摘机器人视觉系统的硬件结构和软件平台；分析果同 实际环境和实验要求，设计了应用w i n d o w s 系统内部v f w 模块进行图像采集的方案，弥 补了传统采用图像采集卡方法中采集时间长、实时性不强等缺陷，将不同光照条件下采集 的苹果图像作为图像分析的主要数据。 2 、图像预处理。实际获得的图像存在噪声干扰，常用的高斯滤波、中值滤波等方法， 会使图像边缘模糊，特征淹没，给分析带来困难。本研究采用彩色图像矢量中值滤波法， 不仅能有效地去除噪声、突出前景苹果果实，同时克服了传统滤波方法不能保持图像边缘 的缺陷，很好地保持了边缘和细节；并且由于在滤波时，中心像素被窗口中距离矢量最小 值所取代，而不是由r 、g 、b 合成的矢量所取代，所以图像并不增加新颜色。这是本研 究的主要内容之一。 3 、图像的分割。在自然环境中，光照情况可分为向光、背光、果实在阴影中、阴天四 种。常用的分割算法多采用单一阈值，受光照不均影响较大，不能很好地将果实完整分割。 本研究采用基于h i s 颜色模型色调直方图统计的双阈值法和区域生长法，通过提取h i s 颜 色模型中与亮度无关的色度分量，完全排除了不同光照对图像质量的影响，算法简单，处 理时问短，分割区域完整。这是本研究的关键内容之一。 4 、特征提取和目标识别。常用的人工神经网络法需要大量的训练样本集，而模板匹配 法需要建立数据库及专家系统，工作量极大。支持向量机遵循结构风险最小化准则构造决 策超平面，能够在样本有限的情况下训练学习机，克服了神经网络需要大量样本的缺陷。 本研究采用支持向量机结合颜色、几何形状特征的模式识别方法，实验表明：其性能优于 普遍采用的神经网络方法，识别效果更好，j 下确率更高，对于小样本的学习表现出了优势； 综合采用颜色特征和形状特征的r b f 支持向量机识别方法对苹果识别的正确率高于只使 用颜色特征或形状特征的正确率。这是本研究的另一个关键内容。 江苏大学硕十学位论文基于支持向量机苹果采摘机器人视觉系统的研究 5 、实验验证。本研究分别从识别的准确性、实时性和稳定性三方面验证了算法的可 靠性和实用性，以理想状态下红色不套袋苹果、红色套袋节果以及黄色苹果为研究对象， 实验表明：基于支持向量机的苹果识别算法不仅对于红色苹果有很好的识别效果，而且对 于黄色苹果的识别也体现出了较之传统基于颜色特征识别方法的优势；准确性方面，能够 识别及定位图像中的成熟果实，识别j f 确率达到9 3 3 ；实时性方面，识别时间平均为 l o o m s 左右，完全满足采摘机器人实时性以及后续图像的自适应调整需要；稳定性方面， 在连续采摘过程中，采摘点位置坐标( 以采摘果实为参照物) 变化很小，保证了运动轨迹 最短且曲线平滑，体现了良好的鲁棒性。 关键词：机器人视觉；采摘机器人；节果识别；图像处理；支持向量机( s v m ) 江苏人学硕l ：学位论文皋于支持向肇机啦果采摘机器人视觉系统的研究 a b s t r a c t r e s e a r c h e so fc r i t i c a lt e c h n o l o g i e so nf r i j tp i c k i n gr o b o t n o to n l yh a v eac e r t a i nu t i l i t yv a l u et o a d a p tt om a r k e td e m a n d ，t or e d u c el a b o ri n t e n s i t ya n dt oi m p r o v ee c o n o m i cb e n e f i t ；b u ta l s oh a v e i m p o r t a n tp r a c t i c a ls i g n i f i c a n c ef o rt r a c k i n gn e wt e c h n o l o g i e si na g r i c u l t u r eo ft h ew o r l d ，p r o m o t i n g t h ep r o c e s so fa g r i c u l t u r a lm o d e r n i z a t i o ni nc h i n a t h i sr e s e a r c hi ss u p p o r t e db yt h en a t i o n a lh i g h t e c h n o l o g yr e s e a r c ha n dd e v e l o p m e n tp r o g r a mo fc h i n a ( 8 6 3p r o g r a m ，n o 2 0 0 6 a a l0 2 2 5 4 ) ，w e t a k em a t u r ea p p l e si nn a t u r a le n v i r o n m e n ta ss t u d yo b j e c t s s t u d yf r o mt h ea c t u a ls i t u a t i o no ft h e a p p l eh a r v e s t i n g ，u s i n ga p p l e sc o l o es h a p ea n do t h e rc h a r a c t e r i s t i c s ，c o m b i n i n gw i t ht h et e c h n o l o g y o fs u p p o r tv e c t o rm a c h i n et os e g m e n ta n dr e c o g n i z ei m a g e s ，a n dt h em a i nw o r kh a sb e e n a c c o m p l i s h e da sf o l l o w e d ： 1 d e s i g no fe x p e r i m e n ts y s t e m t h eh a r d w a r es t r u c t u r ea n ds o f t w a r ep l a t f o r mo ft h ef r u i t p i c k i n g r o b o tv i s i o ns y s t e mh a sb e e nb u i l t ；a f t e ra n a l y z i n gt h ee n v i r o n m e n to f t h i ss t u d y , t h e e x p e r i m e n tp r e c e p to fi m a g ea c q u i s i t i o nh a sb e e nd e s i g n e du s i n go fv r ，m o d u l e so fw i n d o w s s y s t e m ，w h i c hm a k e su pd i s a d v a n t a g e ss u c ha sl o n ga c q u i r i n gt i m ea n db a dr e a l t i m ep e r f o r m a n c e a n dw h i c ht a k e sa p p l ei m a g e sa c q u i r e di nd i f f e r e n tl i g h tc o n d i t i o n sa st h em a i nd a t ao f i m a g e a n a l y s i s 2 i m a g ep r e - p r o c e s s i n g t h e r ee x i s t sn o i s ed i s t u r b a n c e si na c q u i r e di m a g e s ，g a u s s i a nf i l t e r i n g m e t h o da n dm e d i a nf i l t e r i n gm e t h o dw h i c hi si nc o m m o nu s e 。c a nm a k et h ee d g ev a g u e ，f l o o dt h e c h a r a c t e r i s t i c s ，a n db r i n ga b o u td i f f i c u l t i e sf o ra n a l y z i n g c o l o ri m a g ev e c t o rm e d i a nf i l t e ra l g o n t h m u s e di nt h i ss t u d y , n o to n l yc a nr e m o v en o i s e ，h i g h l i g h tt h ea p p l ef r u i t ；b u ta l s oc a no v e r c o m et h e d i s a d v a n t a g es u c ha sb a dp e r f o r m a n c ei ne d g em a i n t e n a n c ei nt r a d i t i o n a lf i l t e r i n ga l g o r i t h m s ，t h a ti s 。 h a v eb e t t e rp e r f o r m a n c ei ne d g ea n dd e t a i lm a i n t e n a n c e ；f u r t h e r m o r e ，i nt h ep r o c e s so ff i l t e r i n g ，t h e c e n t r a lp i x e lo ft h ew i n d o wi sr e p l a c e db yt h ed i s t a n c ew h i c hi st h es h o r t e s t ，n o tr e p l a c e db yt h e s y n t h e t i c a lv e c t o r , s ot h e i rp r o p e r t i e sw i l lr e m a i nu n c h a n g e d t h i si so n eo ft h ec r i t i c a lt e c h n o l o g i e si n t h i ss t u d y 3 i m a g es e g m e n t a t i o n i nn a t u r a le n v i r o n m e n t ，t h e r ea r ef o u rl i g h tc o n d i t i o n s ：f r o n tl i g h t i n g ， b a c kl i g h t i n g ，f r u i ti nt h es h a d ea n dc l o u d y s i n g l et h r e s h o l dm e t h o d ，w h i c hi su s e da ss e g m e n t a t i o n a l g o r i t h mc o m m o n l y , i s n ti n f l u e n c e db yt h eh o m o g e n e i t yo fl i g h tal o t ，b u tc a n ts e g m e n tt h ef r u i t e n t i r e l y i n t h i ss t u d y , t h e h u e h i s t o g r a ms t a t i s t i cd o u b l e t h r e s h o l da l g o r i t h mb a s e do nh i s c o l o r - s p a c ea n dr e g i o ng r o w i n ga l g o r i t h ma r ep u tf o r w a r d ，w h i c h e x t r a c t st h e c h r o m a t i c i t y c o m p o n e n tt h a td o e sn o t h i n gw i t hi n t e n s i t yi nh i sm o d e l ，r u l e so u tt h ei n f l u e n c ef o ri m a g eq u a l i t y r e s u l t e df r o md i f f e r e n tl i g h t n e s s ，a n dt h ea l g o r i t h mi ss i m p l e ，t i m ec o n s u m i n gi ss h o r t ，s e g m e n t a t i o n r e g i o n sa r ec o m p l e t e t h i si sa n o t h e rc r i t i c a lt e c h n o l o g yi nt h i ss t u d y 4 。f e a t u r ee x t r a c t i o na n df r u i tr e c o g n i t i o n a r t i f i c i a ln e u r a ln e t w o r km e t h o dw h i c hi si nc o m m o n i i i 江苏人学硕一f ：学位论义 皋于支持向量机苹果采摘机器人视觉系统的研究 u s e ，r e q u i r e sal a r g ea m o u n to ft r a i n i n gs a m p l es e t s ，w h i l et h et e m p l a t em a t c h i n gm e t h o dn e e d st o e s t a b l i s had a t a b a s ea n de x p e r ts y s t e m ，s oi tw i l lr e s u l ti nah e a v yw o r k l o a d t h es u p p o r tv e c t o r m a c h i n ec o n s t r u c t s t h ed e t e r m i n e do p t i m a lh y p e r p l a n eu n d e rt h ep r i n c i p l e so fm i n i m u mf r a m e h a z a r d ，w h i c hc a nt r a i nt h el e a r n i n gm a c h i n ei nt h ec a s eo fl i m i t e ds a m p l e s ，a n dw h i c ha l s o o v e r c o m et h ed i s a d v a n t a g et h a tn e e d sal a r g ea m o u n to fs a m p l e si nn e u r a ln e t w o r km e t h o d i nt h i s s t u d y , t h em o d e lr e c o g n i t i o nm e t h o d ，w h i c hi sb a s e do ns u p p o r tv e c t o rm a c h i n ec o m b i n e dc o l o ra n d s h a p ep r o p e r t i e s ，i su s e d e x p e r i m e n t a lr e s u l t si n d i c a t et h a tt h ep e r f o r m a n c eo fs v mi ss u p e r i o rt o n e u r a ln e t w o r kt h a ti nc o m m o nu s e 。t h ee f l ：e c to fr e c o g n i t i o ni sb e t t e r , t h ea c c u r a c yr a t ei sh i g h e r , a n d i ts h o w sp r e d o m i n a n c ei ns m a l ls a m p l e s ；r e c o g n i t i o nr a t eo fa p p l ef r u i tb a s e do nr b fs v mo fc o l o r a n ds h a p ep r o p e r t i e si sh i g h e rt h a nt h a to fo n l yu s i n gt h ec o l o ro rs h a p ep r o p e r t i e s t h i si st h et h i r d c r i t i c a lp o i n ti nt h i ss t u d y 5 e x p e r i m e n t a lv e r i f i c a t i o n t h i ss t u d yv a l i d a t e st h er e l i a b i l i t ya n dp r a c t i c a l i t yo ft h ea l g o r i t h m s f r o ma c c u r a c y , r e a l t i m ea n ds t a b i l i t y ，t a k e sa p p l e s ，w h i c ha r er e dn o tb a g g e d 、r e db a g g e da n dy e l l o w i ni d e a ls t a t e s ，a st h er e s e a r c h i n go b j e c t s e x p e r i m e n t a lr e s u l t ss h o wt h a t ，a p p l er e c o g n i t i o n a l g o r i t h mb a s e do ns v mn o to n l yh a sb e t t e rr e c o g n i t i o ne f f e c tf o rr e da p p l e s ，b u ta l s or e f l e c t p r e d o m i n a n c ec o m p a r e dw i t ht r a d i t i o n a lr e c o g n i t i o nm e t h o db a s e do nc o l o rp r o p e r t i e sf o ry e l l o w a p p l e s ；f o ra c c u r a c y , t h i sm e t h o dc a nr e c o g n i z ea n dl o c a t et h em a t u r ef r u i ti ni m a g e s ，t h ec o r r e c t r e c o g n i t i o nr a t er e a c h e st o9 3 3 ：f o rr e a l - t i m e 。t h er e c o g n i t i o nt i m ei sa b o u t10 0 m s ，w h i c hc a nm e e t t h er e q u i r e m e n to ft h er e a l t i m eo fh a r v e s t i n gr o b o ta n dt h ea d a p t i v ea d j u s t m e n to ff o l l o w i n gi m a g e s ； f o rs t a b i l i t y , i nt h ep r o c e s so fc o n t i n u o u sp i c k i n g ，t h ec o o r d i n a t e so fp i c k i n gp o i n tc h a n g e sal i t t l e ， w h i c he n s u r e st h em o v i n gp a t hi ss h o r t e s ta n dt h ec u r v ei ss m o o t h ，r e f l e c t i n gag o o dr o b u s t n e s s k e yw o r d s - r o b o tv i s i o n ；h a r v e s t i n gr o b o t ；a p p l er e c o g n i t i o n ；i m a g ep r o c e s s i n g ；s u p p o r tv e c t o r m a c h i n e ( s v m ) i v 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部 内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存禾u t l ：编本学位论文。 本学位论文属于 学位论文作者签名： 保密口， 在年解密后适用本授权书。 不保密团。 上净i 、 签字日期：z o r 占月易同 新虢石彦发 签字r 期：汐夕年莎月占同 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容以外，本 论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本 文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：王津柬 日期：2 r p 年6 月l e t 江苏大学硕1 j 学位论文基于支持向量机苹果采摘机器人视觉系统的研究 第一章绪论 机器人是2 0 世纪人类的伟大发明之一，它是一门多学科交叉的技术，涉及机械、电 子、计算机、控制理论、仿生学、人工智能、传感器技术等学科领域，它的研制开发和应 用充分反映了机器进化和生产系统的发展方向。因此，机器人技术已成为当今应用广泛、 发展迅速和最引人注目的高新技术之一。 随着我国经济与科学技术的飞速发展，人们对农产品同益增长的需求和现代农业生产 力发展缓慢的矛盾r 渐尖锐，落后的农业生产严重阻碍了经济的发展。在此背景下，农业 机器人应运而生。本研究针对我国苹果业发展迅速但采摘劳动力效率低下的现状，重点介 绍了节果采摘机器人，并对其中的视觉系统部分进行了具体分析，提出了论文的研究内容 和预期目标。 1 1 机器人的发展历程 机器人的概念从古代神话就已存在，但直到上世纪中期的1 9 5 4 年，美国g c d e v o l 发 表“通用重复机器人”专利论文和c o n s o l i d a t e d 发表“数字控制机器人 论文，才揭丌了 现代机器人研究的序幕。它作为人类的新型生产工具，在减轻劳动强度、提高生产率以及 改变生产模式等方面显示出极大的优越性，并且正在逐步把人类从危险、恶劣的工作环境 中解放出来。目前，由机器人与其它设备组成的生产线极大地提高了企业的生产率和产品 质量，大大地缩短了产品更新换代的周期，机器人的出现和发展已使传统的生产方式发生 了根本性的变化。机器人不仅在工农业生产上应用越来越广，而且在社会服务、海洋开发、 原子能利用、空间探索、地下矿藏、抢险救灾、军事等领域也具有重要的实用价值n 2 1 。 从技术角度，机器人的发展经历了以下三代： 第一代机器人含义比较广泛，既包含固定程序( 上下料机械手) 和可编程( 可改变工作 程序) 的机器人，又包含具有记忆装置的示教再现型机器人，其特点是对环境没有感觉和 反馈，不能适应变化的环境，只能重复再现预定的工作。 第二代机器人是指那些具有视觉、触觉等传感器和摄像机、计算机组成的“手眼”协 调系统，它通过有关传感器和摄像机感知环境，并将环境信息通过计算机进行计算处理， 自动控制操作机器人进行运动和操作。因此，它具有智能特性，有触觉、感觉、力觉和简 单的视觉，能简单地修改运动及操作规则，以适应环境变化，保证操作质量。 第三代机器人是所谓智能机器人。这种机器人装有多种传感器，具有更多人的功能， 1 江苏大学坝i j 学位论文基十支持向量机苹果采摘机器人视觉系统的研究 不但具有触觉、感觉、力觉和视觉，还具有听觉，能用语言进行对话，并将多种传感器探 测到的信息进行“融合 ( 多传感器融合) ，有效地适应变化的环境，具有较强的自适应能 力，并具有自学习、自治( 自己管理自己、自主决策) 能力。 目前，从世界范围来看，各国都非常重视机器人的研究开发，特别是一些经济技术实 力比较雄厚的国家都制定了近期和长期的发展计划，如日本的a r t r a ( 极限环境作业机器 人) 计划，该计划从1 9 8 2 年开始，历时8 年，研制核安全机器人、水下机器人、油田救灾 机器人三种极限环境作业机器入。美国、法国、德国、英国也都制定了相应的计划，投入 了大量的人力物力，进行机器人技术的开发，取得了大量的成果。这些国家的机器人技术 水平最高，而且涌现出许多高水平的专业开发公司，如美国的t r c 、a l i a n t ，德国的i p a 、 d o m i e r ，英国的m o r f a x ，日本的e a s tj a p a n 、r e a l w a y ，法国的c y b e r b e t i x 、d m 等 6 3 。 我国机器人研究开始于1 9 7 0 年，但仅仅停留在样机的研制上，到1 9 8 5 年，国际上机 器人己经大量投入使用，计算机技术、伺服驱动技术已f 1 见成熟，并且国内工农业生产对 机器人提出了更多要求。在这种情况下，国家首次在“七五”科技攻关项目中立项支持。 在技术上，主要立足于国产机器人的研究、开发和应用上，将机器人技术与机器人用户紧 密结合起来，使中国机器人技术一起步就进入实用化阶段。国家“8 6 3 计划将机器人技 术作为重点资助的主题，国防科工委也制定了智能机器人的发展计划，包括空间机器人、 水下机器人、陆地自主车等，许多大专院校和科研机构都在进行机器人的研究开发，并取 得了一定的成果 1 。同时，一批以机器人技术为核心的新兴企业脱颖而出，如沈阳自动化 研究所的机器人技术国家工程研究中心、哈工大博实公司、北京机械自动化所机器人中心、 上海交大海泰公司等，它们作为国家“8 6 3 计划智能机器人主题的产业化基地，致力于 我国机器人技术研究开发和产业化，其研制的智能机器人基本达到世界同类产品的同期水 平。 1 2 苹果采摘机器人的研究目的及意义 中国是一个发展中的农业大国，农业问题始终关系到中国经济社会发展的根本问题， 农业作为国民经济最重要的基础产业，对经济社会的发展和人民生活起着极为重要的保障 作用。 随着科学技术的进步，我国农村经济高速发展，种植结构不断调整，人们对农业生产 的观念发生了很多变化，已从单纯追求产量、效率和效益变为对基于环境、生态、资源、 人口等协调的可持续发展的向往。自1 9 9 3 年开始，我国的果树种植面积一直高达8 0 0 9 0 0 力j 公顷，约占世界果树总面积的1 4 ，产值1 0 0 0 多亿元，水果总产量居世界第一位，其中 2 江苏人学硕i j 学位论文基于支持向量机苹果采摘机器人视觉系统的研究 以节果种植面积为最大。而在水果的生产过程中，需要人工不定时的对果实进行成熟度判 断和收获，并不时地移动梯子登高或弯腰进行作业，因此收获工作是一项劳动强度大、消 耗时问长、具有一定危险性的作业，而且随着农业生产的规模化、多样化、精确化，再加 上时令的要求，劳动力不足的现象越来越明显，在此情况下，人们自然不断地对农业提出 了新的要求，而这些要求又对农业机械不断地提出挑战，使得人们去研究开发性能更加完 善的农业机械，于是果园收获作业机械化、自动化成为广大果农们最为关注的热点问题， 采摘机器人便应运而生膪 9 3 。开展果树采摘机器人研究，不仅对于适应市场需求、降低劳 动强度、提高劳动生产率、解决劳动力的不足、提高经济效率有着一定的现实意义，而且 对于改善农业的生产环境、跟踪世界农业新技术、促进我国农业科技进步，加速农业现代 化进程有着重大的历史意义。 节果采摘机器人，作为一种农业机器人，有不同于工业机器人的特性，主要包括以下 这些方面0 | ：作业环境的非结构性，作业对象的个体差异性和随机性，作业对象的柔软、 易损性，操作要求简单性，采摘机器人成本方面的特殊性等。一般来说，采摘机器人要面 对的工作环境是随机的，非结构化的，工作对象也是不确定的，未知的，而主要的使用者 是农民，他们不具有或只有很少的机械、电子方面的知识，因此要求农业机器人必须具有 高可靠性和易操作性。另外，由于农业机器人以个体经营为主，并且农产品几乎都具有季 节性，如果不能满足价格低廉这个前提条件，就很难普及。采摘机器人的工作流程图如图 1 1 所示。 ( 传感器的作用)( 信息处理部分的判断和执行机构的控制) 树木的有无亡雪二二= 嚣薹炎套蒹 喜磊；薯鍪 机器人奉体精确移动 机器人奉体精确停止 摄像机继续拍摄 距果实的距离_ t + 需移动- 机械臂移动 l + 不需移动机械臂移动停止 图1 1采摘机器人的工作流程图 江苏人学硕十学位论文基于支持向量机节果采摘机器人视觉系统的研究 苹果采摘机器人本体结构示意图如图1 2 所示。 图1 2 节果采摘机器人本体结构示意图 概括起来，苹果采摘机器人在工作过程中主要解决三个问题： l 、怎样导航机器人在果树间移动； 2 、怎样识别和定位果树上的苹果； 3 、怎样摘取己被识别出的节果。 第一个问题涉及到机器人的视觉导航技术。视觉导航主要包括无线引导和有线引导两 种，以前者为主。一般机器人根据c c d 摄像机对周围环境实时探测获得信息，规划出所 需路径，并能够沿着该路径在没有人工干预的情况下，移动到预定目标。 第二个问题涉及到机器人的识别和定位技术，这主要依靠视觉系统。一般首先获取苹 果的数字化图像，然后再运用图像处理算法，最后确定苹果的位置。传感器是机器人视觉 系统最重要的部件，包括图像传感器和距离传感器等。图像传感器有c c d 彩色摄像机或 者立体摄像机等。苹果采摘机器人视觉系统主要分为基于二维和基于三维的，但是无论哪 种视觉系统，最基本的任务都是获取场景中各点的信息。基于二维的视觉系统一般采用一 个摄像机和一个距离传感器来获得苹果的位置，而基于三维的视觉系统一般使用两个相隔 一定距离的摄像机同时获取场景图像，这一对场景图像存在的一定的差别称为视差，然后 根据三角测距原理获得三维位置信息，所以归根到底，基于二维的视觉系统是基础。 为了简化计算机视觉理解的任务，通常将其分为两个层次：低层的图像处理和高层的 图像理解。低层计算机视觉技术通常指数字图像处理，在这方而己经有多年的实践经验了。 4 江苏人学硕i j 学位论文摹于支持向量机苹果采摘机器人视觉系统的研究 一般的处理步骤如下：由一个传感器，比如摄像机，获取一幅图像并将其数字化，去除噪 声；然后可以根据需要增强一些必要的物体特征；接下来可以进行边缘提取，再进行图像 分割等处理。高层的处理取决于知识、目标以及如何达到这些目标的计划，比如人工智能。 目前应用在节果采摘机器人视觉系统中的计算机视觉理解属于低层视觉。 第三个问题涉及到机械手的设计和控制。机械手又称操作机，它能代替人手做某些动 作，是机器人赖以完成工作任务的机械装置。对于采摘机器人，机械手的主要任务就是将 末端执行器移动到可以采摘的目标果实所处位置。机械手一般可分为直角坐标、圆柱坐标、 极坐标、球坐标和多关节等多种类型。机械手的自由度数是衡量机器人性能的重要指标之 一，它直接决定了机器人运动的灵活性和控制的复杂性，苹果采摘机器人往往工作于非结 构性环境中，工作对象常常是随机分布的，因此在机械手的设计过程中，必须考虑采用最 合理的设计参数，包括机器人类型、工作空问、机械臂数量以及机器人结构方式等。 1 3 机器人视觉的研究现状和发展趋势 机器人视觉也可称为计算机视觉，它是利用一个或多个图像传感器获取物体的图像， 然后将图像传送到计算机或特定的芯片等系统中，并利用系统中相应的程序模块来模拟人 的判断准则去理解和识别图像，从而达到分析图像和做出结论的目的；它是一门包括了数 学、光学、计算机科学、模式识别、数学形态学、人工智能、自动控制、c c d 技术等众 多学科综合组成的交叉学科。 2 0 世纪8 0 年代中期，随着电子技术和计算机技术的发展，特别是工业机器人技术、 计算机图像处理技术和人工智能技术的同益成熟，机器人视觉的研究有了进一步发展。以 日本为代表的一些发达国家，包括美国、法国、英国、西班牙、韩国等国家，在果树采摘 机器人方面做了大量的研究工作，实验成功了多种具有人工智能的果树采摘机器人。19 8 7 年由美国开发的柑桔收获机器人，对成熟柑桔的识别率达7 5 ，收获速度为3 7 秒个， 收获率为6 9 。1 9 8 7 年由法国丌发的果树采摘机器人，可以采摘苹果或柑桔，对于树冠外 部苹果的识别率达8 5 ，收获速度为2 4 秒个。1 9 9 8 年韩国研制成功苹果采摘机器人， 对于树冠外部苹果的识别率达8 5 ，收获速度为l o 2 0 秒个。日本从2 0 世纪8 0 年代初 期起，便在采摘机器人设计的诸多方面，进行了更为广泛的研究与实验，研制_ 丌= 发出各种 类型的采摘机器人。我国机器人视觉尚属于起步阶段，但国家“8 6 3 ”高新技术发展计划 已将智能机器人作为主题展开研究，并且将农业生产特种机器人列为鼓励研究领域。 在农业生产中，作业对象的复杂性和多样性，使得新概念农业机械农业机器人的 开发具有巨大的经济效益和广阔的市场前景，而其中的关键环节之一就是机器人视觉能否 气 江苏人学硕i j 学位论文 基十支持向量机苹果采摘机器人视觉系统的研究 满足实际需要，可以预见，2 1 世纪将是农业机器人以及机器人视觉在实际中广泛应用的世 纪。 1 3 1 国外研究现状和发展趋势 机器视觉技术最早起源于1 9 6 8 年，美国学者s c h e r t a 和b r o w n 提出用光信号对果实进 行检测1 ，即利用果实和叶子在电磁光谱的可见光和红外区域反射率的不同，进而检测水 果，但是由于这种方法要求测量环境的光强基本恒定不变，因此只能在实验室进行，无法 在自然环境下实现应用。 p a r r i s h 和g o k s e l ( 1 9 7 7 ) 首次利用计算机视觉系统开展苹果自动探测的研究n 引，系统 由黑白摄像机和红色滤光片组成，滤光片用于增强红苹果和绿叶的对比度以便区分。通过 阈值分割将图像二值化，将可能是苹果表面的高灰度( 红色) 部分从图像中分割出来；对 二值图像用形态滤波平滑，计算各区域圆度、质心和半径。区域的密度通过对圆形窗的填 充度求得，如果区域的密度大于一个设定的阈值，则认为是节果。这项研究拓宽了收获机 器人研究的思路。 d e s n o n 等人( 1 9 8 7 ) 首次采用彩色视觉系统对树上苹果进行检测n3 1 ，通过对彩色图 像分割得到二值图像后找到各水果区域的中心。然而，这种视觉系统误识率较高，检测时 为了避免视觉系统看到未被树叶挡住的天空，要求在果树后面实施遮挡，防止产生大量虚 假目标。1 9 8 8 年r a b a t e l 改进了视觉系统引，由三个彩色摄像机和三个不同波段的滤光片 组成，以获得三种互为补充的亮度图像。通过对可见光谱和近红外光谱进行研究分析后， 选择了9 5 0 n m 、6 5 0 n m 、5 5 0 n m 三个光谱段作为视觉系统采集图像的特征光谱。研究结果 显示在以9 5 0 n m 为中心的窄区域内，苹果树叶和几种节果( 节果颜色分别为黄绿色、红 色和绿色) 具有相似的反射率。分别计算5 5 0 n m 和6 5 0 n m 下的反射率与9 5 0 n m 下的反射 率的比值，根据两个比值的大小区分水果和叶子的像素点。利用该特征可以部分消除光照 变化对系统的影响，成熟的苹果即使是绿色也可以有效识别，识别准确率约为5 0 。但是 由于该方法对收获对象敏感，在采摘其它品种苹果时，必须针对实际对象重新研究特征光 ：蓝 旧o i l l i n g w o r t h 等人( 1 9 8 8 ) 用一台黑白摄像机拍摄得到灰度为2 5 6 级的亮度图像，经过 s o b e l 算予处理得到每幅图像的梯度矢量图，通过阈值化得到边界图像和方向图像n5 | ，方 向图像包括每个边界的矢量方向和最大亮度变化方向，运用优化的圆形h o u g h 变换( c h t ) 检测图像中符合番茄轮廓的弧度。但是由于该研究采用的是人为给定阈值的方法，不能适 应光线变化，给定的阈值对结果影响很大，最好的检测准确率为6 8 ，叶子的轮廓和果实 6 江苏人学硕r j j 学位论文基于支持向量机苹果采摘机器人视觉系统的研究 混淆是导致误判的主要原因。 s l a u g h t e r 和h a r r e l l ( 1 9 8 7 ) 首先研究了利用室外自然光条件下拍摄图像的色度和亮度 信息对桔子收获机械手进行导向，建立了一个利用彩色数字化图像中的颜色信息从桔树上 识别桔子的分类模型n 6 1 7 1 ，该分类器从果园自然环境中识别桔子的j 下确率为7 5 ，识别桔 子形心的误差率为6 。在1 9 8 9 年，他们把彩色摄像机采集到的r g b 三基色信息作为特 征参数，并用经典的贝叶斯分类器，将图像中水果像素信息从背景中分离出来n 8 1 。实践证 明，有7 5 的像素能正确分类，能探测到不被遮挡的水果。研究均用色调、饱和度以及 r g b 颜色信息进行分类，这种分类方法将成熟的桔子或其它水果从背景中分离非常有效。 但是由于该研究没有考虑水果的形状信息，因此与水果颜色近似的背景，如枯叶、地面等 也可能识别成目标像素，造成误判。 w h i t t a k e r a d 等( 19 8 7 ) 对环形h o u g h 变换进行了改进n9 l ，并用其对数字图像进行分 析，实验证明该方法可以根据形状来寻找番茄而不必依赖于番茄与叶子的颜色差异，而且 当存在大量的背景噪声干扰或番茄部分被叶挡住或部分重叠时也是有效的。k o n d on 等 ( 1 9 9 6 ) 研究了樱桃番茄的收获机器人啪1 ，提出了检测樱桃番茄位置的有效算法，实验结 果表明检测正确率为7 0 。 s i t e sp w 等( 1 9 8 8 ) 基于亮度信息，对成熟的苹果和桃子进行了识别研究乜，使用一 个黑白摄像机，为了增加水果和背景的对比度使用了滤色片，带宽为6 3 0 - - - 6 7 0 n m ，采用 人工光源。为明显地增强原始图像及“多果”、“单果”和“噪声”的几何差别，并去除许 多噪声，他们提出一套图像增强和特征信息的提取算法。对在夜间拍摄的成熟水果的检测 表明，不被遮挡水果的识别率为9 0 ，白天拍摄水果的识别率为8 4 。但是该系统是为检 测成熟水果设计，在白天自然环境下有许多问题有待解决，如透过果树可见的天空，会在 图像上产生亮点，极易误判为水果；光线强度变化时，分割阈值必须重新调整，否则会产 生大量误判；如果阳光直射树叶，则叶子的亮度将高于果实造成误判。 1 3 2 国内研究现状和发展趋势 中国农业机械化科学研究院王红永等人根据瓜果的形状，提出了一种适用于长形瓜果 的识别方法1 ，该方法运用图像处理技术和神经网络理论，以及图像处理与机器人技术对 其排种装置漏播的检出和补种方法进行了探讨。利用对播种前后的数字图像进行相减运算 来提取种子的尺寸和灰度特征，从而对种盘种穴内的漏播情况进行判断。实验证明，此方 法可精确地检出黄瓜及丸粒化的莴苣种子的漏播，同时利用检出的漏播信号控制辅助播种 机器人，能有效地对漏播的种穴进行补种作业。 江苏大学硕i ：学位论文基于支持向量机节果采摘机器人视觉系统的研究 江苏大学赵杰文等人研究了基于h i s ( h u e ，i n t e n s i t y ，s a t u r a t i o n ) 颜色特征的田间成 熟番茄识别技术乜3 l ，该方法比较了h i s 颜色空间转换的几种方法：球体法、柱体法和双锥 体法等，认为球形h i s 颜色转换系统产生较少的奇异数据而被采用。将图像的r g b 值转 换成色调、饱和度和亮度值，并将色调和饱和度结合产生融合图像，以消除地表、天空等 背景的影响。利用o t s u 算法自动获取分割阈值，提取目标区域。将提取的区域形态特征 进一步分割图像，去除与颜色类似的枯叶和其他背景，提取成熟水果区域。 浙江大学徐惠荣、应义斌等入提出了基于彩色信息和红外热成像技术的两种不同的树 上水果识别方法，并用于树上柑桔的识别实验妲4 l ，在对5 3 幅含有各种背景情况的可见光 彩色图像进行颜色特征提取和理解的基础上，利用柑橘、树叶、树枝在r b 颜色指标上的