（光学工程专业论文）基于视觉导航智能车辆设计与实践研究.pdf

基于视觉导航智能车辆设计与实践研究摘要a g v 是一种智能车辆。自行设计的视觉导航a g v 采用基于图像特征的视觉伺服控制系统，它以c c d 摄像机拍摄的道路图像中路面标识线的位置偏差和角度偏差为控制量，运用模糊控制方法，对a g v 的行驶位置不断进行调整从而完成对道路标识线的跟踪。视觉导航a g v 控制系统采用了上一下位机的分层控制结构，上位机负责道路标识线的识别，下位机负责对a g v 位置调整，上下位机之间通过串口进行数据通信。编写的上位机道路图像识别软件很好的解决了图像识别实时性和准确性的矛盾。图像识别算法通过运用最优阈值分割、图像边缘灰度信息检测等方法，达到了快速滤波去噪，实时准确提取标识线导航信息的设计要求。运行于下位机的电机驱动控制系统，可以稳定接收上位机发送的控制指令，运用p w m 方法对驱动轮电机进行加速、减速和制动等操作。为验证视觉导航a g v 控制策略的正确性以及设计的实验装置的实际工作效果，进行了不同路径的路面跟踪实验，实验结果表明自行设计的视觉导航a g v 具有较好的抗路面噪声干扰能力和较为可靠准确的跟踪效果。关键词：a g v 视觉导航图像识别跟踪控制t h er e s e a r c ho fv i s i o n - b a s e di n t e l l i g e n tv e h i c l ed e s i g na n dp r a c t i c ea b s t r a c ta g vi sak i n do fi n t e l l i g e n tv c h i c l e v i s i o n b a s e da g vd e s i g n e db yo n e s e l fa d o p t st h ev i s i o ns e r v oc o n t r o ls y s t e mo ft h ei m a g ec h a r a c t e r i s t i c i tu s e st h ep o s i t i o nd e v i a t i o na n da n g l ed e v i a t i o no ft h er o a db o u n d a r i e sa si n p u tc o n t r o lm e a s u r e ，m a k i n gu s eo ft h ef u z z yc o n t r o lm e t h o d p r o c e e d st h ea d j u s t m e n to fa g vp o s i t i o n sc o n t i n u o u s l yt of o r c ea g vf o l l o w i n gt h er o a db o u n d a r i e s v i s i o n - b a s e da g vc o n t r 0 1s y s t e mh a st w os u b s y s t e m s 0 n ei sr o a db o u n d a r i e si d e n t i f i e ds y s t e ma n dt h eo t h e ri sd r i v i n gw h e e lc o n t r o ls y s t e m t h et w os u b s y s t e m sa r ec o n n e c t e db vr s 2 3 2 t h er o a db o u n d a r i e si d e n t i f l e ds y s t e ms o l v e st h ea n t i n o m yb e t w e e nt h ea c c u r a t ea n dr e a l t i m ep r o c e s s i n go fi m a g ei d e n t i f i e d am e t h o da b o u ti m a g ep r o c e s s i n gi sp u tf o r w a r dw i t hs i m p l ep r i n c i p l ei n c l u d i n gt h ei m p r o v e di m a g es e g m e n t a t i o no fo p t i m a lt h r e s h o l d t h el i t t l ed a t a 。p r o c e s s i n gf i i t e rb a s e do nb o r d e rd e t e c t i o n d r i v i n gw h e e lc o n t r 0 1s y s t e mc a ns t a b l yr e c e i v et h ec o n t r o li n s t r u c t i o ns e n d i n go u tb yt h er o a db o u n d a r i e si d e n t i f l e ds y s t e m ，m a k i n gu s eo ft h ep w mm e t h o dt od r i v em o t o rp r o c e e dt h ea c to fa c c e l e r a t i n g ，d e c e l e r a t i o no rb r a k ea c c o r d i n gt ot h er e c e i v i n gc o n t r o li n s t r u c t i o n i no r d e rt ot e s t i f vt h ec o r r e c t n e s so ft h et r a c k i n gs t r a t e g ya n dt h ew o r k i n ge f h c to ft h ev i s i o n - b a s e da g v e x p e r i m e n t sa r em a d ei nd i f f e r e n tt r a c k i n gp a t h t h ee x p e r i m e n tr e s u l t ss h o wt h a tt h ev i s i o n b a s e da g vd e s i g n e db yo n e s e l fh a st h es t r o n gc a p a b i l i t ya g a i n s tn o i s ed i s t u r b a n c ea n dc a nc a r r yo u tt h ep a t ht r a c k i n ga c c u r a t e l ya n dr e l i a b l y k e yw o r d s ：a g vi d e n t i f yi m a g ev i s u a ln a v i g a t i o nt r a c k i n gc o n t r o l插图清单a g v 运用在汽车自动生产线a g v 在国外主要应用领域分布图t 轮式a g v 的分类一不变结构履带式a g v一采用电磁引导的叉车型a g v 采用激光引导的平台型a g v德国v a m o r s 所采用的计算机系统e m s v i s i o n吉林大学j u t i v 系列智能车国防科技大学研制的自主车清华大学研制的t h m r 5 自主车一运用机器视觉技术的履带式机器人机器视觉系统视觉导航a g v 示意图视觉导航a g v 跟踪示意图，基于位置的视觉伺服系统基于图像的视觉伺服系统道路标识线识别示意图- - 视觉导航a g v 控制算法自动引导车控制系统结构框图视觉引导a g v 系统硬件结构框图视觉导航a g v 跟踪总流程图一数字图像示意图l a p l a c i a n 算子的边缘检测结果图有路面噪声干扰下的拉普拉斯变换效果图最优阈值确定示意图基于噪声图像形态的滤波效果图标识线改进识别图像标识线图像导航参数提取简图一t图像采集卡工作流程图c f o r m v i e w 派生类创建过程图生成的主程序框架窗口，动态图像处理程序的流程图道路标识线参数实时提取显示图”m s c o m m 控件应用示意图串行通信编程步骤p w m 调速控制原理和电压波形图p 8 7 l p c 7 6 芯片简介图电动机驱动信号电路一电动机驱动l t l l j 动电路指示灯与继电器驱动电路图一t 转速检测电路图1 _ _ o ，4q 巧幅百09m 他佗bb ：2mm侉挖勉m巧拍”勰”砣驺弭弘强扣叭甜舵j 乏o4巧石0罐母州j之o45石刁墙母圳j之o4石刁罐9加m舵h，23456mhm瑚勉拍“撕撕瑚抛h弛”粥”粥如：j：他们似图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图图雕雕雕匦卧卧卧卧卧图4 7图4 8图4 - 9图4 1 0图4 1 1图4 1 2图4 1 3图4 1 4图4 1 5图4 1 6图5 1图5 2图5 - 3图5 - 4图5 5图5 - 6图5 7图5 8图5 - 9齿盘- - 磁阻式转速传感器工作图电机转速调节闭环控制图一一串口数据通信电路电机驱动控制系统硬件电路原理图”、电机驱动控制器实物电机转速检测流程图电机制动流程图-t上位机出现故障时a g v 自主制动流程电机驱动控制系统运行流程简图自行设计的视觉导航a g v 实物图一视觉导航a g v 实验平台硬件图-m b c 5 0 5 0 黑白摄像机“”- t d h e g 4 0 0 图像采集卡x y d 一3 型直流电机视觉导航a g v 直线跟踪过程位置状态图一视觉导航a g v 直线跟踪过程道路识别跟踪软件运行过程截图视觉导航a g v 拐弯跟踪过程位置状态图视觉导航a g v 拐弯跟踪过程道路识别跟踪软件运行过程截图铊铊们们“钙柏铊钇弱舛舛”弱鼹鼹表格清单表2 1车体位置信息及状态分类表表3 1数字图像的分类表3 2m s c o m m 属性设置表4 1计数器映象寄存器表4 2比较映象寄存器表4 3p w m 控制寄存器表4 - 4串行口控制寄存器( s c o n )表4 5串行口工作方式控制一表4 - 6定时器的方式控制寄存器( t m o d )表4 7定时器工作方式表5 1视觉导航道路跟踪误差表加强卯铝如钉”独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究1 作及取得的研究成果。据我所知，除了文中特别加以标志雨i 致谢的地方外，论文中不包禽其他人已经发表或撰写过的研究成果，也不包含为获得金目b ：l ：些厶堂或其他教育机构的学何或证批而使川过的材料。与我一同r 作的同，出对本研究所做的任何贡献均已在论文中f 了明确的说明并表示谢意。学位论文作者签字：大咖箍字日期：“1 年土月丸日学位论文版权使用授权书本学位论文作者完全了解盒8 b ：些盘堂有关保留、使川学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人授权盒罂王些盔堂可以将学位论文的全部或部分论文内容编八有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后适剧本授权学位论文者签名：鸯咖南导师签名：7 专毛景签字目期：如；年f 月l 日签字日期：。6 年，爿2 芦皿淆编电邮段印域b梆粥书叫向后一融阿啼牲铆甲渚喑詹刘忆论单地位作讯学工通致谢论文完成之际，我首先要感谢我敬爱的导师陈无畏教授、王其东教授和王启瑞副教授。是导师们深厚的学术功底、严谨的学术指导、虚怀若谷的学术作风使我的硕士论文得以顺利完成；导师们对科学真理的无限热情与投入、执着与奉献深深地影响和激励着我。在硕士阶段的学习中，我从导师们这里不仅仅是学到了丰富的知识，更宝贵的是学到了一份锲而不舍的钻研精神、一份对理想对事业对生活的真诚态度，所有这些都将是我人生道路上的宝贵财富，愈久弥坚地伴我前行。我还要感谢我的母亲和父亲，他们不仅给予我物质上的支持，而且给予我精神上鼓励，在我遇到挫折时是他们以浓浓的亲情鼓励我，在我取得成功时是他们警醒我戒骄戒躁继续努力。求学路上，亲人们的殷殷之情是我奋斗的源泉。最后要感谢感谢李进、孙启启、汪文龙、姜竹胜、李明红、吴勃夫、初长宝、焦俊、王檀彬、苏平等同学在我的课题研究和论文写作期间给予我的帮助。感谢所有关心我、爱护我的人们!作者：李碧春2 0 0 6 年5 月第一章绪论a g v ( a u t o m a t i cg u i d e dv e h i c l e ) 是一种智能车辆。它装备有电磁或光学导向设备，可以按照监控系统下达的指令，根据预先设定的程序，依靠车栽传感器获得外界环境信息和自身位置信息，沿着规定的行驶路线和停靠位置自动行驶( 2 】。1 1a g v 的用途目前，ag v 在国内外已经广泛应用于自动仓库、柔性加工生产线、柔性装配线等领域3 1 。如瑞典v o l v ok a l m a r 轿车装配厂的轿车自动装配线，美国通用公司的汽车自动生产线，海尔国际物流的自动化仓储系统等 4 1 1 5 1 。图1 1a g v 运用在汽车自动生产线a g v 作为智能交通系统( i t s ) 【6 】【7 1 的一个重要部分应用于智能交通系统，能够降低运输成本，提高工作效率，并能够减少交通事故的发生；此外，a g v在野外探险、消防、救灾现场、军事、外部空间探测、有毒或放射性环境下的车辆工程等领域有着广泛的应用价值。图1 2 是1 9 9 7 年a g v 在国外各个行业的应用情况【8 】【9 1 。图】2a g v 在国外主要应削领域分布图1 2a g v 的研究意义由多辆a g v 组成的a g v 系统，相对于其它自动化物料搬运装置如运输带系统，最大的特点是它的柔性。当产品或生产工艺变化时，a g v 系统的重新构建比其它搬运系统要容易的多。同时，它还有效率高、安全性好的优点。目前在工业上应用的9 0 以上的a g v ，都不能称为具有智能【5 1 。随着工业数量的快速增长和工业生产的发展，对a g v 的工作能力也提出了更高的要求，特别是需要各种具有不同程度智能的a g v 。这些a g v ，可在凹凸不平的地面上行走移动；具有视觉和触觉功能，能够进行独立操作、自动装配和产品检验。a g v 可以集成视觉和触觉技术、自主控制和决策技术、多智能体技术、人工神经网络技术、遗传算法、多传感器集成技术等许多最新的智能技术 9 】。目前在工业上应用的9 0 以上的a g v ，都不能称为具有智能。随着工业生产和相关技术的发展，a g v 可以完成很多高智能工作，应用前景十分广阔。我国已经把a g v 列入国家高技术计划，足以证明政府有关部门对发展a g v 的高度重视。1 3a g v 的特点、结构与分类1 3 1a g v 的特点【” j通用性和适应性是a g v 的两个主要特征。a g v 的通用性不像传统工业机器人取决于其几何特性和机械能力，而主要是取决于它的高度智能性。a g v 的通用性指的是某种执行不同的功能和完成多样的复杂任务的实际能力。通用性也意味着，a g v 具有可变的结构，即根据生产任务需要进行变更的几何结构；或者说，在结构上允许a g v 执行不同的任务或以不同的方式完成同一工作。a g v 的通用性与其具备的智能性直接相关。a g v 安装的传感器种类越多，它对周围环境感知的信息越多，其所能做出的判断就越多，智能性就越强，通用性就越好。a g v 的适应性( a d a p t i v i t y ) 是指其对环境的自适应能力，即所设计的a g v能够自我执行未经完全指定的任务，而不管任务执行过程中所发生而没有预计到的环境变化【1 4 5 1 。这一能力要求a g v 认识其环境，即具有人工知觉。在这方面，a g v 具有下述能力：( 1 ) 运用传感器检测环境的能力；( 2 ) 分析任务空间和执行操作规划的能力；( 3 ) 自动指令模式能力。1 3 2 a g v 的结构a g v 主要有轮式和履带式两种【8 j 。轮式a g v 有：前转向轮式( 两轮为驱动轮，一轮为转向轮) 、两轮速度差式( 此a g v 两中轮为驱动轮，前后两偏置轮为万向轮，通过两驱动轮的速度差进行转向) 、独立导向式( 主要应用其变结构功能，根据环境的变化实时地控制各轮的转速和转向，从而使其能够翻越障碍物)( a ) 前轮转向式( b ) 两轮速度差方式( c ) 独立导向式图卜3 轮式a g v 的分类履带式a g v 主要有变结构和不变结构 17 1 两类。变结构履带式a g v 可以利用其结构的变化，在行驶中像蛇一样穿过不平道路或翻越障碍物。不变结构履带式a g v ( i n1 - 4 ) 主要用于附着条件较差的场合，如农场、沙漠等。图1 4 不变结构履带式a g v1 3 3a g v 的分类【1 7 1 一【1 9 1按行驶方式，a g v 可分为：轮式a g v ，履带式a g v ；按照功能分，适用于自动化生产线上的平台式a g v ，适用于现代化物流领域的叉车型a g v ；按照引导方式分，有采用电磁引导方式a g v ，也有采用激光引导方式a g v 。图卜5 采用电磁引导的叉车裂a g v图卜6 采瑚激光引导的平台型a g v电磁导引的a g v ，需要在a g v 要行驶的路径下面埋设专门的电缆线，同时在车上装有感应线圈，利用电磁感应原理，引导a g v 沿着埋设的路径行驶，但其改变路径困难。激光导引的a g v 需要在导引的区域周围布置足够多的反射板，a g v 运行时根据实时接收3 点定位激光信号，与存储的路径信息进行比较，引导a g v 运行。激光导引方式成本高，传感器和发射反射装置安装复杂，计算量很大。随着计算机技术的迅猛发展，当前最引人关注的是运用了计算图像识别技术的视觉引导a g v 。视觉导航的a g v 得到了一定研究和应用，并将成为a g v导引研究的主流方向。对国外十几家a g v 公司2 7 个系列产品所采用的主要导向技术台匀统计结果显示，采用电磁导引和激光导引方式a g v 共占7 0 以上，由于视觉导引技术复杂，产品化的视觉导航a g v 尚不足5 。视觉导航的a g v相对于常用的激光导引、磁导引等a g v 等来说，具有信息量丰富、成本低、智能化水平高等特点1 2 。1 4 视觉导航a g v 的研究概况近年来，国内外对视觉导航a g v 的研究越来越广泛。如d l b o l e y 2 l 】等研制的a g v 利用车载摄像机和较少的传感器通过识别路标进行导航，比直接采用卡尔曼滤波器获得了更好的实时性；a o h y a r 22 】等利用车载c c d 摄像机和超声波传感器研究了基于视觉导航系统中的避碰问题：c f e r m u l l e r 【2 3 】等的研究表明：利用车载摄像机将a g v 的三维运动描述和景物的形状描述用于解决a g v的导航问题具有较高的可靠性；e i c o r k e 2 4 】等对由车载摄像机构成的a g v 视觉闭环系统的研究表明，这种控制方法对提高路径跟踪精度有较好效果。s u k h a nl e e 和g e o r g ek a r d a r s 2 5 】等人用神经网络进行全局避碰路径规划：美国m i d d l e b u r y 大学的a m yj b r i g g s 和d a n i e ls c h a r s t e i n 等人用自相似路标( s e l f - s i m i l a rl a n d m a r k s ) 对a g v 导航【2 6 1 ；加拿大b r i t i s hc o l u m b i a 大学的p s a e e d i 、p l a w r e n c e 和d l o w e 设计出一种基于视觉传感器的路径跟踪方法，此方法可以在自然环境中进行三维目标跟踪【27 j ；韩国a j o l l 大学的k y u nj u n g等人在t u r e n n o u t 2 引和y b s h i n d b u 【2 9 1 等人提出的几种依墙算法基础上，设计出一种能有效选择行驶方向的依墙算法( w a l l f o l l o w i n g ) 【3o 】；韩国p o s t e c h 大学的s u n g o nl e e 提出种适用于轿车模型的a g v ( c a r 1 i k er o b o t ) 停靠方法】；法国p o i t i e r s 大学的g a b r i e lr a m i r e z 和s a i dz e g h l o u l 设计出适用于不完全约束a g v在障碍环境中的路径规划与控制方法【3 2 】；新加坡南洋工业大学的b i nq i n 等人提出一种轿车模型a g v 跟踪路径产生方法i 3 3 ；日本t s u k u b a 大学的t e r u k oy a t a 、a k i h i s a o h y a 和s h i n i c h iy u t a 提出用全方位声纳与全方位的视觉信息融合进行环境识别的方法1 3 4 1 ；加拿大的s t e r g i o si r o u m e l i o t i s l t a n d 和g e o r g ea b e k e y 提出用分散式卡尔曼滤波器a g v 进行集成定位1 3 5 】；摩洛哥的h m e d r和法国的e z a a f r a n i 、a e 1 h a s s a n i 、m c t h o m a s 等人设计出基于数据融合方法的智能控制结构【3 7 】；德国b r a u n s c h w e i g 工业大学的a n d r e a ss i m o n 和j a nc b e c k e r 设计了一种车辆导航系统，此系统包括路径产生、运动规划和传感器信息融合等p 。图1 7 德国v a m o r s 所采用的计算机系统e m s v i s i o n国内方面，一汽和国防科技大学机电工程与自动化学院共同研发了中国第一辆视觉导航自主驾驶车辆3 9 】。清华大学研制了t h m r v 系列a g v ，已经实现了高速状态下的自主行驶【”1 ；吉林大学智能车辆课题组从1 9 9 2 年开始一直开展智能车辆自主导航研究，在智能车辆的体系结构、传感器信息的获取与处理、路径识别与规划、智能车辆前方障碍物探测及车距保持等方面进行了较为深入的研究。先后研制开发出j u t i v i 、j u t i v i i 、j l u i v - i i i 和j l u i v - i v 四代视觉导航智能车4 ”。a 1j u t i v - i i 智能车b )j u t l v - i v 智能车图1 8 吉林大学j u t i v 系列智能午沈阳工业大学的魏芳和中国科学院沈阳自动化研究所的董再励等研究了用干a g v 的视世全局定位系统【4 。图卜9 国防科技大学研制的自主车图卜1 0 清华大学研制的t h n r 一5 自主车1 5 视觉导航a g v 研究中的关键技术a g v 是一个组成结构非常复杂的系统，它不仅具有加速、减速、前进、后退以及转弯等常规的汽车功能，而且还具有任务分析、路径规划、路径跟踪、信息感知、自主决策等类似人类智能行为的人工智能，因此，按其功能划分，a g v 可以看作是由机械装置、行为控制器、知识库及传感器系统组成的相互联系、相互作用的复杂动态系统。a g v 的研究涉及机械、控制、传感器、人工智能等技术，但主要集中在若干关键技术的研究与突破，这些关键技术主要包括车体控制体系结构、路径规划与车体控制技术、车体的定位系统、a g v 视觉信息的实时处理技术以及多传感器信息的集成与融合等1 4 3 1 。1 5 1 视觉信息的实时处理技术a g v 的视觉系统正如人的眼睛一样，是a g v 感知外部环境的重要器官，同时依此感知的环境信息实现对a g v 导航。a g v 视觉信息主要是指二维的c c d 摄像机信息，在有些系统中还包括三维激光雷达采集的信息。视觉信息能否正确、及时的处理直接关系到车体行驶速度、路径跟踪以及对障碍物的避碰，对车体控制的实时性和鲁棒性具有决定性作用。视觉信息的处理技术是a g v研究中关键的技术之一。目前视觉信息的处理内容主要包括：视觉信息压缩和滤波、道路的监测和障碍物的检测、特定交通标志的识别、三维信息的感知与处理。其中道路检测和障碍物检测是视觉信息处理中最重要的过程，也是最困难的过程。视觉信息的获取是局部路径规划和导航的基础。道路检测的成功与否决定了a g v 能否正确识别当前的环境，能否做出正确局部路径规划并执行路径跟踪任务。为了简化视觉信息的处理，降低开发难度，通常把室外a g v的工作环境分为结构化的和非结构化的环境。结构化的道路检测相对来说较易实现，其检测技术一般都是以边缘检测为基础，辅以h o u g h 变换、模式匹配，并利用最小二乘法处理对应道路边界的线条，得出道路的集合描述。由于非结构化的道路环境复杂，特征描述困难，使得非结构化的道路检测及信息处理复杂化，目前对待非结构化道路的检测主要是采用三种方法：边缘抽取法、阈值法和分类法。障碍物检测原理与道路检测原理差不多，但其重点是对障碍物位置及大小的描述。】5 2 路径规划技术与车体控制技术a g v 车体控制是a g v 行驶的必备条件，而路径规划是a g v 导航与控制的基础，a g v 的行为控制系统必须根据给定的任务和变化的环境实施对车体的控制。首先，它要理解给定的任务，做出全局路径规划，并在a g v 行驶过程中，通过传感器系统不断感知周围环境信息和自身状态信息，对这些信息进行融合处理，做出局部路径规划，为a g v 规划出一条无障碍物、可通行的路径，然后生成驾驶命令控制车体沿着该路径行驶。全局路径规划的任务是根据全局地图数据库信息规划出自起始点至目标点的一条无碰撞、可通过的路径。目前正在研究的有准结构化道路环境多种约束条件下的路径规划技术，自然地形环境下的路径规划技术，以及a g v 在行驶过程中遇到突发事件时的重规划技术等。由于全局路径规划所生成的路径是从起始点到目标点的粗略路径，并没有考虑路径的方向、宽度、曲率、道路交叉以及路障等细节信息，加之a g v 在行驶过程受局部环境和自身状态的不确定性的影响，会遇到各种各样不可预测的情况。因此，在a g v 的行驶过程中，必须以局部环境信息和a g v 自身状态信息为基础，规划出短程内一段无碰撞的理想局部路径，这就是局部路径规划。通常的方法有空间搜索法、基于融合数据的直接规划法、层次性感知一动作行为法、势场域法、占据栅格图法、模糊逻辑法和神经网络法等。车体控制的任务是根据局部规划的结果和当前的车体位置、姿态、车速等信息做出自主决策，并向机械装置发出驾驶命令。目前研究的内容主要集中在车体模型和车体控制算法，常用的控制算法有最优控制算法、p i d 路径跟踪算法、预瞄控制算法、模糊控制算法和神经网络控制算法等。实际控制时，通常是采用多种算法综合，以达到最佳控制效果。1 6 本课题所完成的主要工作本课题的工作主要包括以下几个方面：( 1 ) 视觉导航a g v 系统总体方案的设计分析比较国内外先进的a g v 的特点，结合自身的实际情况，进行系统总体方案的设计。采用上一下位机的控制方式，利用差速转向控制a g v 跟踪前方道路标识线。上位机以工控机作机器视觉平台负责前方道路识别，下位机用单片机，它接收上位机的控制指令并按照指令调控驱动电机转速。( 2 ) 视觉导航a g v 硬件平台设计整个a g v 硬件平台主要包括图像识别、电动机控制、上下位机数据通信三个部分，根据实验要求，具体完成以下设计工作：组建以工控机为基础的图像处理系统( 主要包括工控机、图像采集卡、c c d 摄像头，d c d c 供电模块) 。设计了以单片机为控制核心的电机驱动控制器，其包括基本应用系统电路、电机驱动控制电路和电机转速检测电路等。设计上下位机数据通信接口，并集成在上位机和电机驱动控制器上。( 3 ) 视觉导航a g v 控制系统软件设计对应a g v 的硬件资源，进行了相配套的控制软件的设计和调试，包括图像识别，道路跟踪，数据通信，驱动轮电机转速控制等功能。运行于上位机的软件用v c 编写，运行于下位机的软件用单片机c 语言编写。( 4 ) 样机的实验调试视觉导航a g v 根据路面铺设的道路标识线，通过车载c c d 摄像机实时动态捕捉道路图像，经车载计算机处理识别出路径标识线，推算出a g v 与标识线的位置和角度偏差。采用模糊控制方法，并通过差速方式控制a g v 转向，使a g v 的实际行驶路线与路径标识线的跟踪误差保持在允许的范围。进行样机的实验调试，检验开发出的样机是否达到设计要求，运行是否准确、可靠。第二章视觉导航a g v 控制系统结构组成近年来，随着计算机视觉技术和图像处理技术的发展，基于视觉导航和控制的a g v 成为人们研究的热点1 4 4 1 【46 1 。其中基于标识线图像识别的导航方法，由于引导标识线的设置和变更相对容易、技术成本和费用低，因而成为a g v视觉导航的一个主要发展方向 - 【4 9 l 。本章将介绍运用机器视觉伺服技术的视觉导航a g v 控制系统架构，该控制系统采用上一下位机的分层控制体系结构。上位机负责道路图像识别，下位机负责对a g v 进行驱动控制。2 1 机器视觉的概念和主要应用【5 。l计算机视觉是采用图像处理、模式识别、人工智能技术相结合的手段，着重于一幅或多幅图像的计算机分析。机器视觉偏重于计算机视觉技术工程化，能够自动获取和分析特定的图像，以控制相应的行为。一般地说，机器视觉就是用机器代替人眼来做测量和判断。首先采用c c d照相机将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，如：面积、长度、数量、位置等；最后，根据预设的容许度和其他条件输出结果，如：尺寸、角度、偏移量、个数、合格不合格、有无等。机器视觉的特点：自动化、客观、非接触和高精度，与一般意义上的图像处理系统相比，机器视觉强调的是精度和速度，以及工业现场环境下的可靠性。机器视觉适用于大批量生产过程中的测量、检查和辨识，如：零件装配完整性，装配尺寸精度，零件加工精度，位置角度测量，零件识别，特征字符识别等。在机器人导航和视觉伺服应用中如何赋予机器人视觉是机器人研究的重点之一，其目的是要通过图像定位、图像理解，向机器人运动控制系统反馈目标或自身的状态与位置信息。图2 - 1 运用机器视觉技术的履带式机器人如图2 一l 所示，图中的履带式机器人通过安置在其前端的摄像机拍摄的视觉图像，感知外部周围环境信息，并和测距传感器进行数据融合，向机器人运动系统发送控制指令，爬越障碍物，向指定目标行驶。典型的机器视觉系统( 图2 2 ) 一般包括如下部分：光源，镜头，c c d 摄像机，图像处理单元( 或图像采集卡) ，图像处理软件，监视器，通讯输入输出单元等。视觉系统的输出并非图像视频信号，而是经过运算处理之后的检测结果，如尺寸数据。上位机如p c 和p l c 实时获得检测结果后，指挥运动系统或i 0 系统执行相应的控制动作，如定位和分选。圈2 - 2 机器视觉系统视觉伺服技术是指利用机器视觉的原理，以实现对机器人的控制为目的而进行图像的自动获取与分析，从直接得到的图像反馈信息中，快速进行图像处理，然后给出反馈信息，控制机械手运动，构成机器人的位置闭环控制【5 ”。视觉伺服技术可以从不同的角度，如反馈信息类型、控制结构和图像处理时间等方面对机器视觉控制系统进行分类。根据视觉反馈量表示形式的不同，视觉伺服可分为基于位置和基于图像的控制方式。从控制结构的角度，可分为开环控制系统和闭环控制系统。根据视觉处理的时间可将系统分为静态和实时两类。机器视觉是视觉导航a g v 中最重要的组成部分。尽管在目前硬件和软件技术条件下，机器视觉功能还处于初级水平，但其潜在的应用价值引起了世界各国的高度重视，发达国家如美国、日本、德国、法国等都投入了大量的人力物力进行研究，机器视觉硬件的配置、视觉处理的算法以及基于二者之上的车用机器视觉应用系统是提高视觉导航可靠性的关键技术。近年来已经在机器视觉的某些方面获得了突破性的进展。机器视觉在实际车辆上的应用也已初现端倪，在车辆安全技术、自动化技术等应用中也越来越显示出其重要价值5 引。2 2 视觉导航a g v 简介图2 3 视觉导航a ( 3 v 不恿幽视觉导航a g v 是一个典型的机器视觉系统，准确点的既是一个实时的闭环控制机器视觉系统。它通过c c d 摄像机拍摄道路标识线的图像，再由图像采集卡把c c d 摄像机捕获的模拟图像信号转换为数字图像信号传给计算机。在车载计算机上，对数字图像进行处理，提取标识线图像的位置特征，按照一定的控制规则制定控制指令，通过数据通信系统传递控制指令，a g v 驱动控制系统接收到控制指令后对电机转速进行控制，调整a g v 的行驶位置，c c d 摄像机随后拍摄得到新标识线的位罱信息作为反馈。自行设计的视觉导航a o v 采用3 轮结构，运用差速转向方法对道路标识线进行跟踪。其运动跟踪示意图如图2 4 所示。0圈2 - 4 视觉导航a g v 跟踪示意图图2 - 4 中，a g v 两个前轮为独立驱动轮，各采用一台直流电机独立驱动，通过调节各驱动轮的转速，实现调整车体与跟踪轨迹的位置的功能。后轮为万向轮，其主要作用是支撑车体和导向。a g v 控制系统根据前方设置的道路标识线，对标识线的位置进行识别判断，然后控制a g v 对标识线进行跟踪。2 3 视觉导航a g v 控制系统结构视觉导航a g v 控制系统是一个标准视觉伺服系统。视觉伺服系统分为两种：基于位置的视觉伺服系统( 图2 5 ) 和基于图像的视觉伺服系统( 图2 - 6 ) 。基于位置的视觉伺服系统，视觉伺服误差定义在三维c a r t e s i a n 空间。视觉特征信息用来估计a g v 与目标标识线的相对位置。基于图像的视觉伺服系统，其伺服误差直接定义在图像特征空间，即摄像机观察到的特征信息直接用于反馈，不需要对三维姿态进行估计。视觉导航a g v 是一个实时的机器视觉系统，对处理时间要求比较高，所以其控制系统结构采用基于图像特征的视觉伺服系统。这样不仅省去了三维变换的处理时间，而且还减少了中间环节( 如图像变形) 的干扰，提高了系统的稳定性。图2 - 5 基于位置的视觉伺服系统图2 - 6 基于图像的视觉伺服系统基于标识线图像识别导航的基本原理是：假设a g v 在较平坦的道路行驶，采集的图像窗i 2 中提取白色标识线的边缘，然后得到标识线的中心线，经过图像处理后便可得到车辆的跟踪路径。根据此跟踪路径的角度偏差口和位置偏差d ( 见图2 7 所示) 进行跟踪控制。图2 7 道路标识线识别示意图在a g v 视野中，建立笛卡尔坐标系，如图2 7 所示，将a g v 视野内的标识线视为直线，通过图像识别算法得到视野中标识线中心线的拟合直线，以此拟合直线作为跟踪直线，其可以表示为y = 舡+ b 。计算得到跟踪直线的角度偏差口和位置偏差d 。a ，d 构成控制系统输入量x = 口，d 】1 。设x 期望值为x + ，摄像头反馈的图像信息经图像特征提取计算后得到位置向量为x ；两者比较的结果根据图像位置控制算法得到控制参数z ，。此控制向量与当前的a g v 位置状况z 相比较，从而得到a g v 的控制算法。图2 - 8 视觉导航a g v 控制算法由于视觉导航a g v 是一个大延时、非线性的控制系统，难以建立精确的数学模型，所以在跟踪控制算法上选用模糊控制。模糊控制方法具有明显的优点，主要反映在对复杂的、机理不明的系统中。它模仿和升华了人的经验与策略，因此与经典的控制方法比较更有工程意义。在图像识别和处理系统中，标识线图像经过处理和识别后得到自动引导车的位置偏差和角度偏差。a g v 位置偏差和方向偏差在进行模糊化时，在箕论域上分别定义三个模糊子集 负偏差( 一) ，零偏差( 0 ) ，正偏差( + ) ，经过解模糊化后得到a g v 状态的模糊集合c = 彬，职，戤，耽，职，张，暇，) ，如表2 一l 所示。表2 1 车体位置信息及状态分类表状态形鸭岷m眠偏口+oo0差0+oo+d标识线在击。 尚。南。南。南。南、广_ f 1 。广叶朝广_ t - 1 。图像中位置也上_ j7i 胡7l 上j7l j _ 7l a _ j7、l7i i7il l i 解模糊化时其对应的模糊规则为：i f( 口 0 ) a n d ( d 0 ) a n d ( d 2 0 ) t h e nc 2 s e n d t o 仆( 口。u ) a n d ( d 。o ) t h e nc 2 8s e n d t o i f ( 口2 0 ) a n d ( d 0 ) t h e nc = s e n dt o 位置向量的期望值x + = 【0 ，0 对应的状态为w 8 ，对照表2 一l 上可以看到，标识线处于视觉导航a g v 视野正中央位置，对应的状态为视觉导航a g v 位于跟踪路径的中央位置。自行设计的视觉导航a g v 所采用的实时控制系统结构框图如图2 - 9 所示。它采用上一下位机的控制结构进行分层控制。其中，上位计算机负责图像的采集、处理和识别工作，提取道路标识线的特征参数。将特征参数信息进行模糊化处理，得到a g v 视觉导航控制指令，然后通过串行通信端口将a g v 的状态信息发送到下位机；下位机根据状态信息来调整a g v 的位置和航向，从而实现对道路标识线的跟踪。上位控制计算机图出吲鎏吲粪吲蓉惹削掣h鬈黟像采-机j集岳j 割j理jj 墩j 胃j ；j 法j图像处理系统：控制系统：图像采集r 位控制单片机r s 一2 3 2d 测转控a速向驱制转，l传l _控动电m a x 2 3 2换r制电雕l 驱动芯片感电路调器器机整数据通信检测轮速驱动电气系统联接系统“ 信号传输： 二二气 数据传输_ 一，j一图2 - 9 臼动引导乍控制系统结构框幽按功能划分，视觉导航a g v 控制系统分为3 个子系统。道路标识线图像识别跟踪系统，数据通信系统，a g v 驱动控制系统。标识线图像谚= 【别跟踪模块负责对导航标识线的识别，提取参数并用控制器发送控制指令，由上位计算机负责。a g v 驱动控制系统负责接收并执行控制指令，控制电机转速，由下位单片机负责。数据通信系统负责传输控制指令，在上、下位机的控制子系统中作相应的设计。2 4 视觉导航a g v 跟踪i 蠼2 4 1 视觉导航a g v 硬件结构视觉引导a g v 系统的硬件结构可分为3 个层次：感知层，决策层和执行层。感知层主要由c c d 摄像头，图像采集卡，测速传感器等组成；决策层主要由微型计算机，数字量输入输出转换的接口卡，单片机组成：执行层主要由电动机驱动控制器，减速机构等构成。感知层实时的采集与导引控制有关的信息，包括道路图像信息和当前驱动电机的转速，决策层负责处理感知层采集到的信息，并根据处理的结果依据控制策略发出控制指令，执行层接受决策层发出的指令并执行相应的操作。a g v 系统硬件结构如下图2 1 0 所示：图2 - 1 0 视觉引导a g v 系统硬什结构框图2 4 2 视觉导航a g v 跟踪控制总流程视觉导航a g v 跟踪控制总流程如图2 1 0 所示。其中，上位机进行图像识别和处理，按照模糊控制规则负责对车体状态信息进行判断，并将结果通过通信系统传输给下位机：下位机通过接收上位机的控制指令，通过驱动控制子系统调控a g v 左右驱动轮转速，改变a g v 的行驶位景，从而实现对路径跟踪控制。图2 - 1 1 视觉导航a g v 跟踪总流程图2 5 小结本章介绍了视觉导航a g v 控制系统，它采用了基于图像特征视觉伺服的分层控制结构。该系统由3 个子系统构成，分别是道路识别跟踪系统，数据通信系统，a g v 驱动控制系统。视觉导航a g v 以道路标识线为引导，对标识线图像进行识别，这部分工作由道路识别跟踪子系统完成，下一章将介绍a g v控制系统如何对标识线进行识别并通过上位机发送控制指令至下位机。第三章视觉导航a g v 道路识别系统基于道路标识线导航的a g v ，其所有的计算设备和传感器都装载在a g v车体上，图像识别、导航控制都由车载计算机( 上位机) 完成，所以车载计算机的工作量较大，延迟问题较为明显。为提高导航系统的实时性和导航精度，必须根据实际硬件条件设计适当的标识线识别算法，否则影响a g v 导航的实时性和可靠性。本章针对a g v 视觉导航系统实时性要求高的特点，提出了一种基于最优阈值分割的标识线识别算法，并在v c 平台上编写了视觉导航a g v跟踪控制软件，完成了视觉导航a g v 控制系统结构中运行于上位机控制系统的设计，为a g v 对道路标识线的实时跟踪控制提供了可靠的保证。3 1 道路标识线检测对于道路标识线的检测，人们提出了许多方法1 4 7 1 一( 4 9 】。如可能形状模板匹配法、模糊推理法、遗传算法等。这些不同的算法，它们采用的是远景视野，对车道标识线采用非线性模型拟合，需要数掘量大，运算量也较大。本文所研究的a g v 行驶速度不高，因而不能用针对远景视野的车道标识线边缘检测算法。针对自身特点，本章提出了以线性模型作为车道标识线边缘检测与识别理论的算法，其特点是对近视野中的标识线采用线性模型拟合。3 1 1 边缘检测步骤计算机不能直接接收和处理模拟信号，只有将图像在空间和维度上都离散化为数字信号后才可处理【5 3 1 。图像的数字化过程通过采样和量化两步完成。采样量化后的数字图像就是个灰度值的二维数组。若该数组用f ( x ，y ) 来表示，含义是位于坐标( x ，y ) 处的像素，其灰度是f ( x ，y ) 。函数f ( x ，y ) 是数字图像的个数学模型，有时也被称为图像函数。它经常用于分析图像，般把图像看成是双变量的函数。这样，分析图像就可以用所有的函数分析法方法。数字图像本质上说就是具有离散值的二维矩形阵列。图像空间位置和灰度值都被离散化成离散的数值。这样图像就能存储在计算机的存储器中。一般像素灰度用8 位( 一个字节) 数表示，取值范围为0 2 5 5 。2 5 6 级一般是可以从传感器获取的全部精度，通常可以满足一般应用。以字节数为单位也方便计算机的存储和运算。例如，一副图像在c 语言的程序里可以被说明c h a r 4 0 0 3 0 0 。把图像的数学模型看成是两个实际空间参数的函数，在描述图像和定义图像运算时都带来了极大