（控制理论与控制工程专业论文）基于视觉的低速移动机器人定位系统.pdf

浙江人学硬士学位论文基于视觉的低速移动机器人定链系统 a b s t r a c t b a s e do ns 撕z i n gm em e t h o d so f m o b i l er o b o tr e c o g n i t i o na n dm l c k i n ga 1 1 o v e rt h ew o r l d ，t l l i st 1 1 e s i sp r o p o s e sa1 0 ws p e e dm o b i l er o b o tt r a c k i m gs y s t e mu s 访g c o l o rc h a r a c t e li tu s e sc c dc a m e ma n di m a g e 伊a b b e r t oc 印t u r ev i d e oi n f o m 倍【i o n o ft 1 1 ea i m e df o b o ta n dt 1 1 ei n f o l m a t i o ni sn 狮s f e r r e d 臼o ma i l a l o gt od 谱t a l ，m e nb y n m n i n gc o n c l a t i v ep r o g r a m ，t t l em o b i l er o b o tr e c o g i l i t i o n a 1 1 d t r a c k i n gc a nb e r e a l i z e d 趾dt 1 1 er e s u hc a nb ed i s p l a y e do ns c r c e na tt l l es 锄et i m e a sw ea l lk n o w ，c o l o ri m a g ec o m a i n sm o r ei n f o m l a t i o nt l l a l lg r a yj m a g e ，t h e c o l o rc h a r a c t e ri sc h o s e na st h ef i r s to n ef b rr o b o tr c c o 印i t i o na n dt r a c k i n gb y t h r e s h o l ds e g m e n t a t i o n a f t e ra n a l y z i n gt h ec k l r a c t e ro fa 1 1c o l o rs p a c em o d e l ，t h e c h a r a c t e i h u eo fh s is p a c em o d e l i ss e l e c t e d ，i ti st h em o s ts t a b l ea n dt h em o s t o b v i o u sc h a r a c t e li no r d e rt og e tm o r ea c c u r a t er e s u l t s ，a na l g o r i t l l mc a l l e dt w o - t i m e s e a r c hi su s e df o rt r a c k i n g ，i ti sb a s e do nt h em e o 哆o f d a t aa c c e s si nd o u b l ei i n k e dl 沁 d a t as t m c t u r e i no r d e rt og e t 也ea c c u r a t ep o s i t i o n ，m ep m c e s s i n gr e s u l t so ft h e p r e v i o u s 矗a r n ea r eu s e dt of o r e c a s tt h ep o s m o no f l cn e x tt i m e 1 1 1 es p c e do f r u i l l l i n g d i g i t a li m a g ep r o c e s s i n gp r o 伊a mi sv e r yi m p o r t a l l tf o rt h i ss y s t 锄，t 1 1 em e t h o dt o s o l v et h ep r o b k mi sd e a l i n g 、v i t he v e r yt l l r e ep i x e l sw h e nc o m p 撕n gw i t ht h e t h r e s h o l d i nt k st r a c “n gs y s t e mp e r s p e c t i v ed i s t o r t i o ni st l l eo n em a tm o r ec o m m o nt h a j l a 1 1 yo t l l e rk i n do fd i s t o n i o n ， s oac a m e r ac a l i b 州o nm e t h o db a s e do ng e o m e t r i c m 印p i n gi sp r o p o s e d b yd o i n gt h i s ，t t l ei n 南咖a t i o no ft 1 1 e a i m e dr o b o tl l l l d e rt 1 1 e i m a g ec o o r d 访a t i o ni st r a 璐f b r r e dt ot h er e a lw o r l d t h es o r w a r es y s t e mc o m a i n st l l ef o l l o w i n g 晰op a r t s ：i m p r o v e ds t a t i ci m a g e p r o c e s s i n gs o f l w a t eb a s eo nh n g c xa n d 印p i y 洒gs o m a r ef o r 也ew h o l es y s t e m t h e l a t t e rc a nc o n 舡o lt 1 1 eh 盯d w a r et or e a l i z em er c c o g n i t i o na n dt i k i n go ft h ea i m e d m o b i 】er o b o t k e yw o r d s ：m o b i l er o b o t ，化c o g i l i t i o na n dt r a c l 【i n g ，i m a g e 掣a b b e r ，d i g i t a ii m a g e p m c e s s i n g ，c o l o rs p a c e ，i m a g es e 孕鹏n 诅t i o n ，1 h r e s h o l ds e g m e n t a c i o n t c 锄e r ac a l i b r a t i o n i i 浙江大学硕士学位论文 基于视觉的低速移动机器人定位系统 1 1 引言 第一章绪论 1 1 1 移动机器人的发展历程 实用的机器人技术出现于上个世纪五十年代，是二十世纪入类最伟大的发明 之一。在过去的几十年中随着计算机技术和各种加工工艺的不断的发展，机器人 技术也随之突飞猛进的发展。机器人技术的发展是与计算机技术和自动化技术紧 密结合在一起的，从1 9 5 4 年美国设计制造的第一台机器人实验装置开始，到六、 七十年代机器人产业蓬勃兴起，机器人技术逐渐成为了专门的学科( 蔡鹤皋 2 0 0 0 1 。 在机器人技术的发展历程中，首先兴起的是工业机器人，该项技术的兴起 极大的促进了对机器入的各项研究；到了上个世纪7 0 年代，机器人作为工程对 象已经被大家接受；从8 0 年代开始，机器人技术已经实现了实用化，成功的应 用于生产制造、资源勘探、卫生医疗等众多领域；到了9 0 年代以后，随着世界 信息化速度的加快，与此相关的各个产业都进入了高速发展期，具有各种特殊功 能的新机器人也层出不穷，智能化也在程度不断提高；进入2 1 世纪以后，人们 更注重机器人对外界环境的感知能力和自主能力，新的机器人技术必然向着智能 化方向发展，以满足不同使用者个性化的需要( 蔡自兴2 0 0 0 ) 。 在机器人发展过程中，移动机器人因其结构简单、使用性强而应用吸弓l 着 众多研究者的注意力。对移动机器人的研究开始于上个世纪6 0 年代末期，1 9 7 2 年美国斯坦福研究院的n i l s n i l s s e n 、c h a d e si 如s e n 等人研制了名为s h a k c y 的自 主移动机器人，实现了人工智能技术在复杂环境下的应用( 梁华0 2 ) 。移动机器 1 浙江大学硕士学位论文 基于视赏的低速移动机器人定位系统 人主要完成的任务是根据传感器获取的外界信息完成自主推理、路径规划和控 制。由于移动机器人是要通过对外界环境的感知来获取信息，所以在对其研究的 过程中，外界信息的获取是对移动机器人控制成功与否的关键步骤( 李群明0 3 ) 。 早期对移动机器人的研究中曾使用了超声波、红外线、接触开关等传感器 来获取环境信息，这些方法虽然能够实现信息获取，但是效果并不理想。很多情 况下无法满足实际的需要，只能实现移动机器人的局部粗糙定位，不适合于精确 要求较高的场合。我们知道入主要通过视觉来获取外部信息，对于机器人来说， 要使得机器人能够拥有类似于人的智能和灵活，那么必须要依靠视觉来获取外界 的信息。不仅精确可靠而且信息量大，现在越来越多的研究都将视觉作为移动机 器人技术的主要研究对象，大量的研究结果也证明了基于视觉的移动机器人技术 在精度和实时性等方面都取得了很好的结果r 司现军0 4 ) 。 1 1 2 机器人视觉 视觉是人类获取外部信息的最主要通道，人类对外界信息的获取大约有 6 0 7 0 来自于视觉系统。机器人视觉系统是指通过图像传感器从外界环境中 获取信息，并借助计算机进行描述和解释，实现人的视觉功能( 阮秋琦0 1 ) 。典型 的机器人视觉系统由光学成像系统、图像采集数字化系统、图像处理和决策系统 几部分组成。 机器人视觉是一门集成了数字图像处理技术、模式识别技术和人工智能等 多种前沿的科学技术的新兴学科，通过对外界环境的感知和对图像信息的自主分 析来指导机器人的行为决策。 由于硬件条件的和处理技术的限制，早期的图像信息主要是通过处理灰度 图像进行的，通过物体形状、灰度直方图、边缘检测、聚类分析等技术能够实现 基本的处理功能。研究结果表明人眼所能感受到的灰度信息只有2 0 级左右，但 2 浙江大学硕士学位论文 基于视觉的低速移动机器人定位系统 是却能成功的分辨出成千上万种彩色，彩色图像包含了比灰度图像丰富的多的信 息，是视觉系统中个主要的信息来源( 杨枝灵0 3 ) 。 目前对移动机器人视觉系统的研究中，大多都利用彩色图像信息，通过图 像分割等技术识别出目标。很多研究成果已经证明了将颜色作为图像分割的依据 是切实可行的，不仅可以弥补基于形状和灰度进行分割的不足，而且更能抓住目 标提取过程中的本质信息。尽管彩色图像分割已经成为目前移动机器人视觉系统 的获取外界环境信息的主要方法，但该方法仍然存在一些需要解决的问题：主要 是颜色特征空间的选取，目前还没有哪一种颜色特征空间适合于所有的应用场合 ( 林开颜0 5 ) 。因此，将彩色图像分割技术应用于移动机器人视觉定位系统时， 下面的两个问题是需要研究解决的： ( 1 1 选择合适的颜色空间。 ( 2 ) 选择合适的图像处理方法。 目前对这两个方面的研究都还未形成统一的理论，如何使机器人具有类似 人的视觉能力，仍是一个需要长期研究的问题。 1 1 3 应用现状及前景 移动机器人作为个能够感知外界环境信息的智能系统，可以协助人类进行 各种操作，特别是环境条件恶劣不适合人工操作的情况。从某种意义来讲，移动 机器人技术的发展极大程度了拓展了人类活动的范围。 目前机器人视觉技术在工业中应用主要是在一些环境条件恶劣不适合于人 工操作的情况和精度要求高、标准严格并需要重复性进行的情况等场合。在这些 应用中，通常是通过摄像机拍摄到的图像来获取外界环境信息，从而制定控制策 略柬指导机器人来完成预定的任务，例如水下机器人、焊接机器人、管道检测机 器人等。机器人视觉技术在农业巾主要是农产品的检测、分捡等领域，在节约了 3 浙江大学硕士学位论文 基于视觉的低速移动机器人定位系统 大量的劳动力的同时也提高了农产品分捡的精确度。在国防领域的应用中，比较 熟悉的有无人驾驶侦察机、火星探测车等( 廉锋0 4 ) 。机器人视觉在科学研究中 的应用不胜枚举，近些年比较活跃的机器人足球赛，已经成为了世界范围的著名 赛事，也是各国进行移动机器人技术交流的一种很好的方式。随着科学技术的进 步和人们生活水平的不断提高，机器人在服务行业的应用也越来越广泛，完成各 种功能的移动机器人越来越多的走进人们的生活。 所有这些技术都是和机器入视觉技术的目益成熟和发展紧密楣连的，随着信 息技术的飞速发展和加工工艺的不断改进，综合利用各学科的优势，将机器人感 知和执行机构控制结合起来，不断提高移动机器人对外界环境变化的自适应能力 和鲁棒性已经成为了新一阶段移动机器人技术发展的重要方向。 1 2 本文的研究目的及意义 机器人视觉系统是当今机器人技术的一个重要的发展方向，是一门融合了多 种新兴技术等的综合性学科。 机器人视觉在移动机器人领域的应用不仅仅是用来获取外界信息，还包括从 获取的外界大量信息中提取稳定可靠的数据供使用者分析利用、进行决策。本文 所研究的移动机器人的定位和跟踪问题是机器人视觉应用中的1 一个重要方向，广 泛的应用于各个领域之中。例如大家都熟悉的机器人足球比赛，双方队员主要通 过悬挂在比赛场地上方的摄像机获取比赛情况并执行相应的决策，只有快速准确 的确定机器人队员、对方队员足球和球门的位置信息，才能够做出正确的决策。 在工业、国防等各种移动机器人的应用系统中，移动机器人的定位系统的性能的 好坏也是决定机器人能否按要求完成任务的关键。只有快速准确的确定机器人的 位置，才能够保证其后续执行操作的正确性，特别是对实时性要求严格的系统， 这一点尤为重要。 4 浙江大学硕士学位论文基于视觉的低速移动机器人定位系统 本文的目的就是设计一种性能稳定、实时性好的移动机器人跟踪和定位系 统，充分利用摄像机采集到的外界环境信息，应用数字图像处理技术，完成对轮 式移动机器人小车的识别、定位和跟踪。图像分割方法及特征分量的选取是本文 的关键，这两个方面共同决定了对目标移动机器人跟踪定位的准确性和实时性。 本文所讲述的系统实现方法是基于h s i 颜色空间中的色调h 进行的，分割方 法选择了闽值分割，实验证明该方法具有良好的实时性和适应性。本文的研究成 果可以广泛应用于机器入足球比赛、工业生产和国防中移动机器人定位跟踪、智 能交通监控等领域，改善原有方法中存在的实时性差、处理算法烦琐、抗干扰能 力差等方面的不足，能够推动各个相关行业的发展，创造更大的经济效益。 1 3 国内外研究现状 本文主要研究了移动机器人的识别、定位和跟踪，提出了一种基于h s i 颜色 空间的识别跟踪算法，其性能好坏的关键在于图像分割部分算法的选择，因此在 这里我们主要介绍一下国内外在相似情况下的图像分割技术的研究现状。 在图像分割方面，主要可以分为基于灰度空间的图像分割和基于颜色空间的 图像分割。虽然灰度图像和彩色图像的表现形式不同，但是对灰度图像处理方法 的基本思想也可以应用于对彩色图像的处理中。 g u ogd 、詹劲峰分别提出了基于直方图图阈值的图像分割方法；c o l e m a n 、 as a r a b i 分别提出了基于特征空间聚类的图像分割方法：c a r e v i cd 提出了一种 k 一均值聚类的图像分割方法；ywl i m 提出了一种模糊c 均值聚类的图像分割 方法；黄建忠提出了一种基于区域增长的图像分割方法；l e z o r a yo 提出了一种 基于分水岭的图像分割方法；龚天旭提出了一种基于分水岭变换的彩色图像分 x 浙江大学硕士学位论文 基于栏堂的低速移动机器人定位系统 的复杂彩色图像的二值图像分割方法；周福良提出了一种利用h s i 颜色空间的图 像分割技术在高速路中目标汽车提取中应用的方法：黄庆明提出了一种在r g b 空间上基于色彩学习的彩色图像分割方法；毕凌燕、s m i t hjr 分别提出了基于 运动图像目标检测图像分割的算法。 1 4 本文主要内容及工作 本文主要研究内容为低速移动情况下的目标机器人定位跟踪问题。 首先，在分析系统实际要求的情况下，选择目前图像处理领域中比较流行的 c c d 摄像机和图像采集卡作为图像采集设备，搭建了系统的硬件平台。本系统 由计算机作为图像信息处理单元，并完成定位跟踪结果的显示。 其次，通过基于i m g c x 框架编写的静止图像处理软件对实际拍摄的标准测试 图像进行r g b 和h s i 颜色空问直方图特性详细分析，通过以上分析决定选择 h s i 颜色空间中的色调分量h 作为进行目标提取的特征分量，实验证明该分量是 所有颜色分量中最稳定、最能表现颜色特征的分量，在此基础上完成识别定位方 法设计。 第三，本文对移动机器人识别中常用到的各种图像处理技术进行了研究，解 决了环境光照条件变化、存在相似颜色干扰等常见问题的解决方法。不仅成功的 实现了基于颜色分量h 的图像分割，而且提出了基于双向链表的二次定位、多 目标定位、基于区域填充的边缘提取等图像处理方法，这些方法均能够应用于目 标识别和定位系统中，具有良好的使用效果。 第四，针对低速移动机器人定位系统设计的要求，在静止图像处理软件中添 加了相应的功能模块，进行识别定位算法验证。将在静止图像处理软件中调试好 的图像处理算法移植到图像采集卡应用程序系统中，实现低速移动机器人的定位 跟踪的实时处理，实验结果通过搭建的硬件平台予以验证。 6 浙江大学硕士学位论文 基于视觉的低速移动机器人定位系统 第五，给出了一种基于几何映射关系的摄像机标定方法，完成从图像坐标 系到实际坐标系的转换。 最后，通过对试验结果的分析证明了所选择方法的正确性，通过对比实验结 果图片，阐述了噪声干扰对系统性能的影响。在实践应用中，本系统能够实现移 动机器人在光照变化条件下的跟踪定位，具有很强的抗干扰能力。 本文各章节的安排如下： 第一章绪论部分介绍了低速移动桃器人定位系统的基本情况，包括本文研 究的背景、课题研究的现状、本文研究的目的和意义、本文的主要内容等。 第= 章介绍了数字图像处理技术，主要阐述了低速移动机器人定位系统设计 过程中用到的各种图像处理技术的基本理论、图像格式、各种颜色空间之间的相 瓦转化等基本知识。 第三章给出了低速移动机器人定位系统的硬件连接图，介绍了系统中的主要 图像采集设备c c d 摄像机和图像采集卡的工作原理、工作环境和主要的 参数指标。 第四章给出了低速移动机器人定位系统软件部分组成结构、系统的软件功 能、算法设计的依据及图像采集卡应用系统软件设计的相关内容。在对比了r g b 颜色空问和h s i 颜色空间的颜色特征的基础上，选取色调分量h 作为特征分量。 然后，结合实际的分析结果给出了系统目标提取、定位跟踪的图像处理算法，并 对图像处理过程中所涉及的各种算法进行了详细的阐述。在此基础上，给出了基 于 x 浙江大学硕士学位论文基于视觉的低速移动机器人定位系统 计工作中还需改进的内容。 1 5 本章小结 本章前三节主要介绍了移动机器人定位系统相关领域的研究历程、应用前景 及发展现状。第四节对本文所要进行的研究背景、实现方案和所实现的功能进行 了简要的描述。 浙江大学硕士学位论文基于视觉的低速移动机器人定位系统 第二章数字图像处理理论 人类通过眼、耳、鼻、舌、身体感知外界信息，其中视觉信息占绝大部分 所以作为传递信息的重要媒体和手段一图像信息是十分重要的( 杨支灵0 3 ) 。 2 1 概况 2 1 1 数字图像处理技术的主要内容 数字图像处理技术( d i g i t a li m a g ep m c e s s i n g ) 从广义上可看作是各种图像加 工技术的总称，它包括利用计算机和其他电子设备进行和完成的一系列工作( 杨 支灵0 3 ) 。其优点是处理精度高、处理内容丰富、可进行复杂的非线性处理、具 有灵活的变通能力，只须更改软件程序就可以改变处理的内容。但是数字图像处 理技术也存在一些缺点，主要是处理速度的问题，特别是进行复杂的处理。我们 都知道图像，特别是彩色图像包含很大的信息量，占用很大的存储空间，这些都 给处理技术带来了很大的困难。不过，随着计算机处理速度的不断提高，该情况 已经有所缓解。 完整的数字图像工程可以分为以下几个方面：图像信息的获取、图像信息的 存储、图像信息的传送、图像信息的处理和图像信息的输出、显示，其中本文主 要是针对第四部分进行研究的，概括起来图像信息的处理主要包括以下八个方 面： ( 1 ) 几何处理和算术处理 ( 2 ) 图像增强 ( 3 ) 图像复原 ( 4 ) 图像变换 q 沥江大学硕士学位论文基于视觉的低速移动枫器人定位系统 二维矩阵变为另一个二维矩阵的过程( 霍宏涛0 2 ) 。 基于上面的介绍，数字图像处理的定义也可以表示为如下的形式： 数字图像处理是指对一个物体的数学表示，即对一个二维矩阵施加一系列的 操作，以得到所期望的结果( 朱志刚9 8 ) 。 数字图像在计算机的存储格式按照颜色和灰度的多少可以分为二值图像、灰 度图像、索引图像和真彩r g b 图像这四种基本类型( 霍宏涛0 2 ) 。 下面的表格给出以上四种基本图像类型表示的颜色模型和存储空问的比较。 表2 1 四种图像类型比较 图像类型二值图像灰度图像索引图像r g b 彩色图像 颜色数量22 5 6 灰度2 5 6 彩色2 2 4 彩色 数据类型 1b i t8b i t s8b i t s 2 4 b i t s 矩阵大小m nm nm n m x n 3 2 2 2 颜色空问 ( 霍宏涛0 2 ) 根据人眼的结果，所有颜色都可以看作是3 个基本颜色一红( r ) 、绿( g ) 、蓝 ( b ) 的不同组合( 杨支灵0 3 ) 。通常情况下，使用三种基本特性量：亮度、色调和 饱和度对颜色进行区分。其中，色调和饱和度合起来称为色度，颜色可以用亮度 和色度共同表示。 对于彩色图像来说，不论采取那种颜色空间进行描述，一种颜色需要由三个 基本分量来描述，所以建立颜色空间模型就是建立一个3 - d 坐标系统，其中每个 空间点都代表着一种颜色( 杨支灵0 3 ) 。 目前，在数字图像处理领域常用的颜色空间主要有三个，分别是r g b 颜色 空间、h s i 颜色空间和y u v 颜色空间。 1 l 浙江大学硕士学位论文基于视觉的低速移动机器人定位系统 图2 2 ( a ) r 分量 图2 2 ( b ) g 分量 图2 2 ( c ) b 分量 图2 2 ( d ) h 分量图2 2 ( e ) s 分量 图2 2 ( f ) 1 分量 图2 r 2 ( 曲y 分量 图2 2 ( h ) u 分量 图2 2 ( i ) v 分量 2 2 3 颜色空问之间的转换 由于数字图像处理技术的特殊性，目前还没有哪一种颜色空间可以满足所有 处理情况的要求。因此，在实际应用中经常要根据实际问题的需要来选择合适的 颜色空间来表示颜色信息，那么各个颜色空间之间的转化就是一个无法避免的问 浙江大学硕士学位论文基于视觉的低速移动机器人定位系统 题。在这里只介绍h s i 颜色空间和r g b 颜色空间之间的转换。 在转换的过程中，为了计算方便，先将r 、g 、b 三个分量的值进行归一化， 将其变换到【o ，1 】空间。同样，由此计算出的h s i 颜色空间中的s 分量和1 分量 也是在 0 ，1 空间内的。如果在实际的应用中需要选择其他的区域范围，则可以 根据需要自行变换( 杨支灵0 3 ) 。 首先给出由r o b 颜色空间向h s i 颜色空间的转化： f ：昙似+ g + b ) j 一酊b m i n 训 日=叫惑嚣絮 ( 2 6 ) ( 2 7 ) ( 2 8 ) 下面给出由h s i 颜色空间向r g b 颜色空间的转化。由于h 分量是角度信息， 因此我们要根据其取值的不同，给出不同的转换公式( 杨支灵0 3 ) 。 当h 在【o o ，1 2 明之间： 1 + 茹尚 g = 3 ，一( b + r ) 占= ( 1 一s ) 当h 在【1 2 0 0 ，2 4 0 。】之间： r = ，( 1 一s ) - + 蒜蚓 c o s l l 6 u 一爿l 嚣= 3 j 一扭+ g ) 当h 在【2 4 0 。，3 6 0 0 】之间： 尺= 3 ，一( g + b ) 1 4 ( 2 9 ) ( 2 1 0 ) ( 2 1 1 ) ( 2 一1 2 ) ( 2 1 3 ) ( 2 1 4 ) ( 2 - 1 5 ) 浙江大学硕士学位论文 基于视堂的低速移动机器人定位系统 g = ，( 1 一s ) 端 c o s i j u u 。一月j 2 3 数字图像处理技术理论基础 ( 2 一1 6 ) ( 2 1 7 ) 在这一节中主要对本论文所研究的过程中所用到的关于数字图像处理技术 的理论基础进行简单的介绍，只有掌握了这些节本理论才能完成后续的各项工 作，主要包括图像直方图、图像去噪声、图像分割等几个部分进行介绍。 2 3 1 图像直方图 直方图是数字图像处理中的一个简单而实用的工具，通过直方图我们可以发 现的图像中的一些特征可以用于数字图像的各种处理中。在这里以灰度图像的直 方图为例对其进行介绍，灰度图像的直方图的概念可以延伸到彩色图像中使用。 一般的灰度图像有2 5 6 个灰度级，所谓的灰度直方图就是灰度级的函数，描 述的是是图像中具有该灰度级的像素的个数，也可以根据实际情况进行折算。其 横坐标是灰度级，纵坐标是该灰度出现的频率( 像素的个数) ( 霍宏涛0 2 ) 。 下面给出灰度直方图的实利，对于下面给出的一幅灰度图像图2 3 ，其对应 的灰度直方图如图2 ，3 所示。 图2 3 灰度图像 浙江大学硕士学位论文 基于视觉的低速移动机器人定位系统 图2 4 示例图像的直方图 同样，直方图的概念也可以扩展到颜色空间。下面我们以r g b 颜色空间为 例，给出各个颜色分量的直方图，图片仍然使用i i l i s s a m e r i c a l l 。 l 。 ，l 一一、 ， 1 s n蹭np 钔 图2 。5 m i s s a m e r i c a l l 图像 【 j 土j | j ：j ：t j | ! ：j | ：j j 图2 6m i s s a m e r i c 图像r 、g 、b 分量的直方图 从图中我们可以看出在m i s s a m e r i c a n 图像中，r 、g 、b 各个颜色分量的分 布情况，从直方图的分析中我们可以得到一些反映图像特征的有用信息，指导以 后的图像处理工作。 1 6 |。1l叶i叶1111 一 一| | 一一一气 t十ltt，tii d 浙江大学硕士学位论文 基于视觉的低速移动机器人定位系统 2 3 - 2 去噪声 去噪声处理属于图像增强的范畴，是图像平滑技术的一种。在数字图像处理 技术中，如何去除噪声的干扰而又尽量保持图像的细节信息是去噪声所要解决的 主要问题。一般情况下，噪声的能量主要集中在整幅图像能量的高频部分。去噪 声处理可以在空域和频域中进行，在这里只介绍空域法中的中值滤波去噪声。 中值滤波法属于非线性的图像平滑方法，它对一个滑动窗口内的各个像素按 照灰度进行排序，用其中值来代替窗口中心位置像素原来的灰度，由于中值滤波 不是简单的像素灰度的平均，因此这种方法在去除孤立噪声点的同时，保持了图 像的边缘信息，大大减少了边缘模糊的现象。但是，当窗口内的噪声点的数目大 于窗口宽度的一半的时候，中值滤波的效果不是很好。因此，正确选择窗口尺寸 的大小是用好中值滤波的重要环节( 杨支灵0 3 ) 。 下面给出对于测试图像采用中值滤波方法去噪声的结果，通过对比就可以很 清楚看出其滤波的效果。 图2 7 原图像 图2 8 中值滤波结果 中值滤波去噪声不仅可以对灰度图像进行滤波去噪声处理，对于彩色分量也 可以对其中的某个分量进行类似的去噪声处理，但是必须保证其他的两个分量也 要随之进行变化，否则很难得到期望的结果。 浙江大学硕士学位论文 基于视觉的低速移动机器人定位系统 下面以一幅采用h s i 颜色空间表示的图像为例，说明一下如何对其h 分量 进行去噪声平滑的。 图2 9 原始图像 由于彩色图像是由三个分量表示一个像素点的颜色信息，所以在对h 分量 进行去噪声的同时一定要保证s 分量和1 分量也进行相应的修改。例如，对于3 3 的中值滤波来说，如果滤波结果选择了第7 个分量的h 值，那么结果的s 分 量和1 分量的值也应该选取第7 个的值，这样才能得到期望的结果，否则图像中 将出现不需要的颜色信息。下面的图给出了对图2 9 的中的色调分量h 进行中值 滤波去噪声的结果。 图2 1 0 中值滤波结果 从图中我们可以看出，中值滤波已经去除了图中的孤立噪声点，但是对于面 积比较大的噪声，其滤波效果不是很理想。 2 3 3 图像分割 图像分割技术是数字图像处理技术中十分重要的一部分内容，绝大多数的数 字图像处理技术的应用目的都是为了提取出目标，这个过程必然要用到图像分割 1 8 浙江大学硕士学位论文基于视堂的低速移动机器人定位系统 理论，因此在这一部分我们对图像分割技术的各种算法和相关理论进行介绍。 ( 1 ) 图像分割的定义 定义：对一幅图像g g ，y x o x x 一，o y y 一) 进行分割就是将图像划分 为满足如下四个条件的n 个子区域舅g ，y l f _ l ，2 径 元素 凸蜀b ，y ) ：9 0 ，y ) ，即由所有子区域组成整幅图像 岛g ，y ) 是连通的区域，连通性是指在该区域内存在连接任意两点的路 毋g ，y ) n g ，g ，y ) = ( f ，= l ，2 ，f ，) ，即任意两个子区域不存在公共 区域g，y)满足一定的均匀性条件，所谓均匀性是指区域内所有像素点 满足灰度、纹理、颜色等特征的某种相似性准则。上述的条件不仅定义了分割，对进行分割也具有一定的指导作用。在实际应 用中图像分割不仅要把一幅图像分成满足以上四个条件的各具特征的区域而且 需要把其中感兴趣的目标区域提取出来( 章毓晋0 1 ) 。( 2 ) 图像分割的方法 按照分割方法和结果的不同，图像分割技术可以分为以下四个部分：并行边 界分割技术、串行边界分割技术、并行区域分割技术和串行区域分割技术(杨支灵0 3 ) 。 由于本论文所要解决的低速移动机器人定位系统设计所要求的是整个目标区域的位置，而不是精确的边界信息，在这一部分主要对阀值分割的相关理论进 行介绍。 阈值化分割算法属于并行区域分割技术的一种，经过几十年的发展，已经涌 现了很多不同的方法。简单说来，对灰度图像的阚值分割就是将图像中各个像素 浙江大学硕士学位论文 基于视觉的低速移动机器人定位系统 境的顶部的方式采集视频信息。所使用的摄像机为三星公司的s c c c 4 2 0 l p 型 c c d 摄像机，并通过大恒公司的d h - c g 4 0 0 的图像采集卡将获取字图像信息数 字化，输入计算机，进行处理。 系统总的框架如下所示： 巨习叵习臣卫圈 图3 1 系统总框图 由以上框图我们可以看出，整个系统的处理过程非常明显：首先通过悬挂在 目标场景顶端的摄像机采集视频信号，通过图像采集卡进行数字化并将得到 r g b 信号送入计算机，进行颜色空间变换和算法处理，最后将得到的位置的结 果在显示器上实时输出显示。由于目标机器人是低速移动的，因此我们可以利用 上一个时刻机器人的位置信息对下一时刻该机器人可能出现的位置的范围做出 预测( 廉锋0 4 ) ，这样不仅能够提高识别的精度，而且能够加快识别的速度。 为了能够充分利用摄像机采集到的图像信息，在此选择了颜色信息作为特征 来识别目标机器人。将事先准备好的尺寸固定的标准色块贴于移动机器人小车的 顶部。对于视频采集系统来说，特别是实时采集系统，系统采集到的图像质量的 好坏受光源照射的影响非常大，相同的颜色在光线不同的情况下反射的颜色信息 会大不相同；同样，不同颜色的物体也可能反射相同的颜色信息。为了提高系统 的抗干扰性，色标尽量选择颜色均匀、反射能力弱的材料制成。 一个完整的机器人视觉系统应该由两大部分组成：硬件部分和软件部分。其 中硬件部分是获取各种信息、处理信息及执行的基础。软件部分主要包括计算机 系统软件、机器人视觉信息处理算法和执行模块等几个部分。 本系统的硬件连接图如下： 浙江大学硕士学位论文基于视觉的低速移动机器人定位系统 图3 2 低速移动机器人定位系统硬件连接图 下面给出低速移动机器人定位系统实验装置图。 图3 3 低速移动机器人定位系统实验装置图 3 2 视觉系统传感器 由于本论文所研究的移动机器人识别系统主要利用视觉来获取目标移动机 浙江大学硕士学位沧文 基于视觉的低速移动机器人定位系统 器人的状态信息，因此所选择的视觉系统传感器性能的好坏将直接影响目标识别 结果。 3 2 1c c d 摄像机 c c d ( c h a 唱ec o u p l ed e v i c e ) 摄像机是一种广泛使用的视频图像输入设备，按 照c c d 器件的几何结构可以将其分为两大类：线阵型c c d 和面阵型c c d ；按 照应用途径可以分为黑白摄像机和彩色摄像机两种。具有受外界磁场的影响小的 特点，在机器人视觉系统中应用较广。 本移动机器人定位系统采用韩国三星公司的s c c c 4 2 0 1 p 型c c d 摄像机来 获取图像信息。 3 2 2s c c 4 加l p 型c c d 摄像机 本系统所采用的s c c c 4 2 0 1 p 型c c d 摄像机是韩国三星公司推出的新型一 体化变焦彩色摄像机，如图3 4 所示。 图3 4s c c _ c 4 2 0 1 p 型c c d 摄像机 产品的主要性能参数如下( 三星公司产品说明) ： 镜头：2 2 倍光学变焦( z o o m ) ，l o 倍电子变焦( 关开，有画中画功能) ；( 焦距= 3 6 7 9 2 m m ) ；f 值( 广角镜：1 ，6 ，远摄镜；3 8 ) 扫描系统p a l ：6 2 5 行，2 5 帧，秒 摄像元件1 ，4 ”，i n t e r l i n et r a n s f e rs u p e rh a d c c d 2 4 浙江大学硕士学位论文 基于视觉的低速移动机器人定位系统 有效像素7 5 2 ( h ) 5 8 2 ( v ) 同步系统内同步 扫描方式隔行扫描 水平分辨率4 8 0 线 扫描频率： 水平：1 5 ，6 2 5 h z ( i n t ) 1 5 ，6 2 5 h z ( l l ) 垂直：5 0 h z ( i n d ，5 0 h z ( l 凡) 视频输出复合视频信号1 0 v p - p ( 7 5 欧姆b n c ) 信噪比大于5 2 d b ( a g co f f ) 最低照度 彩色：0 3 l u x ( 感光度4 ) ，0 们l u x ( 感光度x 1 2 8 ) t 校正( 伽玛) o 4 5 菜单控制： 摄像机识别号；关，开( 12 字符，位置设定) 光圈：自动手动 彩色黑色：彩色黑白自动 快门：( 关1 ，1 0 ，0 0 0 秒) 自动( x 2 x 1 2 8 ) 固定( x 2 x 1 2 8 ) 自动增益：关低高 移动：极慢，慢，正常，快，极快 自动聚焦：自动手动一次聚焦 白平衡：自动跟踪白平衡自动白平衡控制手动( 3 2 0 0 k 预置，5 6 0 0 k 预置，刘b 增益校正) 专用功能：控制类型、r s 一4 8 5 、数字放大( 关、2 1 0 ) 、画中画、镜像、 正片底片、清晰度、变焦速度( 1 、2 、3 、4 ) 2 s 浙江大学硕士学位论文 基于视堂的低速移动机器人定位系统 动态控测：关开( 区域灵敏度设置) 预设：1 2 8 个 退出：保存放弃预设 工作温度1 0 + 5 0 工作湿度9 0 r 王 以内 电源a c 2 2 0 v ，a c 2 4 0 v ，5 0 h z 电源指示灯发光二极管( 后面) 功率5 w 重量约3 7 5 9 尺寸( 宽高深) m m6 0 5 5 9 5 1 0 9 5 3 3 图像采集卡 图像采集卡是机器人视觉系统的一个重要组成部分，是图像采集单元与图像 处理设备的接口，图像采集卡性能的好坏直接影响着整个系统的性能。在本系统 我我们选择了大恒图像公司生产的d h c g 4 0 0 图像采集卡，如图3 ，5 所示： 图3 5d h c g 4 0 0 图像采集卡 浙江大学硕士学位论文 基于视觉的低速移动机器人定位系统 3 3 1 图像采集卡的工作原理 下面参考本系统所使用的d h c g 4 0 0 图像采集卡的基本结构来简要的对图 像采集卡的工作原理和工作流程进行介绍( 大恒图像系列板卡安装手册0 4 ) 。 ( 1 ) 图像采集卡的工作原理 d h - c g 4 0 0 图像采集卡的工作原理框图如下图所示： v i d e 0 1 v i 呦2 l 埔视频输入 瓣裁 屏蔽 v i d e 0 3 v i d b 0 4a ，d 转按掩缩 n e o s v i d e ( ) 6 l f 6 视频辕硅j 鼗姑娈授 d m 控带i | l v d i o - 0 u 丁 图3 ，6 图像采集卡工作原理 从上图中我们可以看到，视频图像经过多路转换开关、解码器、a d 转换器 后得到数字化的图像，该数字化的图像数据被送至数据缓冲器。经过裁剪、比例 压缩、数据格式转化后，由内部控制图形覆盖与数据传输。数据传输的目标位置 可以是显存，也可以是计算机内存，由软件编程确定。 ( 2 ) 图像采集卡的工作流程 在使用图像采集卡并对其进行二次开发时，我们必须清楚图像采集卡的工作 流程，下面就对该流程进行简要的介绍。 在m i c m s o r 的3 2 位w i n d o w s 操作系统中，通过图像采集卡应用程序接口 库直接对图像采集卡进行各种操作并提供给用户一个简单明确的接口程序。用户 在使用图像采集卡编制自己的应用程序时，可以直接调用这些库函数来实现指定 的功能。 图像采集卡在进行图像采集过程中经历的流程主要为：开始( 初始化) 、参数 浙江大学硕士学位论文基于视觉的低速移动机器人定位系统 设置、采集图像到屏幕或内存、结束( 释放资源) 这几个部分。图像采集卡的工作 流程如图3 7 所示。 开菇( 初始化指定设备，中i 寄资源) i i 弋夕 参数设置( 褪颤采集窗黝，源鼯、制式、数据格式等) | l 夕 采嶷嘲豫到屏幕( 采集、采集幽像到内存( 聚集、 停嗽、读奴、存储)停嗽、读数、存储) i i 弋夕 结柬( 释放其瓷源) 图3 7 图像采集卡工作流程( 大恒图像系列板卡安装手册0 4 ) 一般情况下，图像采集卡的开始操作和初始化参数设置最好在用户应用程序 的初始化中完成，图像采集卡的结束操作应该在应用程序推出前执行。图像采集 卡在采集图像的过程中不占用计算机c p u 的时间，支持实时处理。但是需要注 意的是，采集图像到屏幕的操作和采集图像刭内存的操作不可以同时进行，即回 一时刻只能采集图像到屏幕，或者到内存( 大恒图像系列板卡安装手册0 4 ) 。 3 3 2 图像格式 在本系统设计中，图像信息采用b m p 格式进行读取和存储。b m p 是b i t t i l a p 的缩写形式，就是位图也即w i n d o w s 位图。b m p 文件一般由文件信息头、图像 描述信息、颜色信息( 真彩模式无颜色表) 和图像数据区组成( 杨支灵0 3 ) 。 浙江大学硕士学位论文 基于视觉的低速移动帆器人定位系统 文件信息头主要包含文件的基本信息，如文件的大小、文件的类型、图 像数据偏离文件头的长度等。 图像描述信息包含图像的尺寸信息、图像中几个比特来表示一个像素、 图像是否压缩、图像所用的颜色数等。 颜色信息包含图像中所用到的颜色表，显示图像时需要用到该颜色表生 成调色板。如果图像为真彩色，那么的该图像不需要操作调色板。 图像数据区中存储为图像相应的像素值。对于该区域像素值在文件中的 存放顺序为从左到右、从下到上，即b m p 文件中首先存放的是图像的最后一行 像素，最后存放的才是图像的第一行像素。但是对于同一行的像素，是按照从左 到右的顺序存放的( 杨支灵0 3 ) 。 在图像采集卡初始化的程序中首先要对整个图像采集过程中用的图像格式 进行定义。 3 3 3 图像采集方案 对于本文所研究的机器人定位系统来讲，由于系统要求将定位的结果进行 实时显示，因此选择将图像采集到内存并将处理后的结果送至显存进行显示，完 成目标跟踪和定位功能的控制算法在图像采集卡提供的开发软件包中的回调函 数中进行。 由于系统对实时性的要求比较严格，控制算法上选择了边采集边处理的方 式进行。具体的方式如下：为了节约内存资源和提高处理速度，为该系统分配了 两帧的缓存。当第一帧图像采集完毕，开始采集第二帧图像时，系统可以对采集 好的已经传送到内存中的上一帧图像进行处理。当第二帧图像采集完成以后，系 统可以向存放第一帧图像的内存单元继续采集第三帧图像如此反复的进 行就可以完成整个系统对图像数据实时处理的要求。 2 9 浙江大学硕士学位论文基于视觉的低速移动机器人定位系统 3 3 4 图像采集卡应用程序开发过程中需要注意的一些问题 应用图