毕业论文（设计）基于视觉识别的七轴机械臂智能抓取

1、太原工业学院毕业设计基于视觉识别的七轴机械臂智能抓取摘要：随着科技的飞速发展，人类对机器的智能化程度要求也越来越高。随着机器视觉技术的不断进步和被引入机器人领域，机器人开始具备自己的“眼睛”。不但扩大了其应用范围，而且提高了其智能化程度。本文研究的目的是对工业机器人控制系统进行开发设计，将机器视觉技术引入原有的工业机器人领域，如本次研究所采用的七轴机械臂，利用机器视觉技术获取工件及其周围环境的信息，识别出所要操作的目标工件，并能做出决策来引导工业机器人完成对工件的抓取和放置等操作。关键词：七轴机械臂，机器视觉，智能抓取，视觉识别Seven axis manipulator intelligen

2、t grasping based on visual identificationAbstract：With the rapid development of science and technology, human intelligence of machines are increasingly high requirements. With the development of machine vision technology was introduced into the field of robot and robot, which possesses its own eyes.

3、 Not only expanded the scope of its application, but also improves the intelligent level of. The purpose of this study is to develop the design of industrial robot control system, the machine vision technology into the field of industrial robots, the original, such as the seven axis robot arm with t

4、he acquisition of the workpiece and the surrounding environment, the use of machine vision technology information, identify the target parts to operate, and can make decision to guide industrial robots on the workpiece pick and place operations.Keywords: seven axismanipulator,machine vision,intellig

5、ent,visual recognition 目 录1绪论11.1视觉识别的七轴机械臂应用背景11.1.1七轴机械臂的发展历程11.1.2视觉识别的发展历程21.2应用现状及发展方向31.2.1七轴机械臂的应用现状及发展方向31.2.2机器视觉的应用现状及发展方向42视觉识别的七轴机械臂智能抓取控制系统介绍72.1七轴机械臂系统简介72.2机器视觉系统简介112.3七轴机械臂及机器视觉等开发工具的选择163基于视觉识别的七轴机械臂智能抓取的分析与设计183.1系统的总体功能需求183.2控制系统功能设计原理194基于视觉识别的七轴机械臂智能抓取的实现204.1视觉识别系统的软件搭建204.2七

6、轴机械臂的3D软件搭建254.3小结285全文总结和展望305.1全文总结305.2下一步工作展望30参考文献32致谢33附 录34II1绪论1.1视觉识别的七轴机械臂应用背景1.1.1七轴机械臂的发展历程机器人是一种具有高度灵活性的自动化机器，是一种复杂的机电一体化设备，是靠自身动力和控制能力来实现各种功能的一种机器。机械手臂是在早期就有的古机器人基础上发展起来的，我国古代的机关人制造者是最早研究有关机械手臂、关节活动等问题的。现在机械手臂的研究始于20世纪中期，随着计算机和自动化技术的发展，特别是1946年第一台数字电子计算机问世，计算机取得了惊人的进步，向高速度、大容量、低价格的方向发展

7、。另一方面，核能技术的研究要求某些机械代替人处理放射性物质。在这一需求背景下，美国于1947年开发了遥控机械手臂，1948年又开发了机械式的主从机械手臂。1958年美国联合控制公司研制出第一台铆钉机械手。它的结构是；机体上安装一个回转长臂，顶部装有电磁快的工件抓放机构，控制系统是示教型的。1962年美国联合控制公司在上述方案的基础上又试制成一台数控示教再现型机械手。商名为Unimate（即万能自动）。运动系统仿照坦克炮塔，臂可以回转、俯仰、伸缩、用液压驱动；控制系统用磁鼓作为存储装置。不少球坐标通用机械手就是在这个基础上发展起来的。同年，美国机械制造公司也实验成功一种叫Vewrsatran的机

8、械手。该机械手的中央立柱可以回转、升降采用液压驱动控制系统，也是示教再现型。这两种出现在六十世纪初的机械手，是后来国外工业机械手发展的基础。1978年美国Unimate公司和斯坦福大学，麻省理工学院联合研制一种Unimate-Vicarm型工业机械手，装有小型电子计算机进行控制，用于装配作业，定位误差小于1毫米。联邦德国KnKa公司还生产一种点焊机械手，采用关节式结构和程序控制。目前，机械手大部分还属于第一代，主要依靠人工进行控制；改进的方向主要是降低成本和提高精度。第二代机械手正在加紧研制。它设有微型电子计算控制系统，具有视觉、触觉能力，甚至听、想的能力。研究安装各种传感器，把感觉到的信息反

9、馈，使机械手具有感觉机能。第三代机械手则能独立完成工作中过程中的任务。它与电子计算机和电视设备保持联系，并逐步发展成为柔性制造系统FMS和柔性制造单元FMC中的重要一环节。20世纪90年代初及其以前，主要是以模拟设备为主的闭路系统，称为第一代视频监控系统，即模拟图像监控系统。典型的模拟监控系统一般由图像摄影部分(模拟摄像机、镜头，云台、麦克风等)、图像传输部分(电缆、光缆、射频)、视频控制部分(操作键盘、视频分配器、视频矩阵切换器、云台控制器、字符叠加器等)和显示记录部分(视频矩阵，监控器，录像机等组成)组成。最简单的监控系统是由一架摄像机和一台监视器组成，中间用传输线连接。第一代系统的主要优

10、点是实现方法简单。但是，其缺点非常明显3：它采用同轴电缆传输，传输距离近，布线复杂，设备、材料费用高，施工困难；另外，由于视频图像是模拟的，图像数据量大，录像时间短，而长时间录像时录像机存储丢失的信息多、由于模拟信号很容易受到干扰，导致图像质量差；其顺序存储的方式又使得查询速度慢；扩展能力差，如果要新增监控点，往往是牵一发而动全身，新的设备很难添加到原有的系统中。1.1.2视觉识别的发展历程机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品（即图像摄取装置，分 CMOS 和CCD 两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息

11、，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。国外机器视觉发展的起点难以准确考证，其大致的发展历程是：20世纪50年代提出机器视觉概念，20世纪70年代真正开始发展，20世纪80年代进入发展正轨，20世纪90年代发展趋于成熟，20世纪90年代后高速发展。在机器视觉发展的历程中，有三个明显的标志点，一是机器视觉的最先应用来自“机器人”的研制，也就是说，机器视觉首先是在机器人的研究中发展起来的；二是20世纪70年代CCD图像传感器的出现，CCD摄像机代替硅靶摄像是机器视觉发展历程中的一个重要转折点；三是20世纪80年代CPU、DSP等图

12、像处理硬件技术的飞速进步，为机器视觉的发展提供了基础条件。国内机器视觉发展的大致历程:中国正在成为世纪机器视觉发展最活跃的地区之一，其中最主要的原因是中国已经成为全球的加工中心，许许多多先进生产线已经或正在迁移至中国，伴随这些先进生产线的迁移，许多具有国际先进水平的机器视觉系统已经进入中国，对这些机器视觉系统的维护和提升而产生的市场需求也将国际机器视觉企业吸引而至，国内的机器视觉企业在与国际机器视觉企业的学习与竞争中不断成长。1.2应用现状及发展方向1.2.1七轴机械臂的应用现状及发展方向机器人是一种具有高度灵活性的自动化机器，是一种复杂的机电一体化设备。机器人按技术层次分为：固定程序控制机器

13、人、示教再现机器人和智能机器人等。随着机器人技术的发展和日益普及，机器人自身结构和控制也变得越来越复杂。传统的设计和开发方法已经逐渐显示出了制约机器人的应用和发展的弊端，为此，研究者们寻求机器人模块化和组件化设计新方法，机器人结构向模块化、可重构化发展。例如关节模块中的伺服电机、减速机、检测系统三维一体化，由关节模块、连杆模块用重组方式构造机器人整机，国外已有模块化装配机器人产品问市。本设计所使用的机器人为7自由度串联关节式机器人，其轴线相互平行或垂直，能够在空间内进行定位，采用国外进口的高精度伺服电机、内置32位的ARM处理器，12位非接触式约对编码器精确采集位置信息，尺寸小、重量轻、精度高

14、；控制软件采用高校最流行的编程语言MATLAB实现，采用可视化设计，控制简单，编程方便，尤其是MATLAB本身搜独有的强大的计算能力，对机器人控制的算法研究具有无可比拟的优势。7轴智能化机器人手臂与MATLAB的完美结合，是进行控制系统设计的理想平台。它具有高度的能动性和灵活性，具有广阔的开阔空间，是进行运动规划和编程系统设计的理想对象。整个系统包括机器人1台、实验附件和机器人控制软件1套。机器人采用串联式开链结构，即机器人各连杆由旋转关节或移动关节串联连接，各关节轴线相互平行或垂直。连杆的一端装在固定的支座上，另一端处于自由状态，可安装各种工具以实现机器人作业。关节的作用是使相互联接的两个连

15、杆产生相对运动。机器人各关节采用国外进口的高精度舵机，该舵机内置一个32位的高速处理器，重量仅为72克，尺寸仅为尺寸：35.6mm50.6mm35.5mm，能够反馈位置、负载、温度、电压等。与PC机的数据传输采用高速的串行总线进行连接，通过高达4M的虚拟串口与控制软件进行通信，在MATLAB环境下，使用简单的命令就可以直接控制机器人的各种运动。 EF-IRC-I机器人手臂是一种由一套具有各种尺寸和性能特征的可交替的模块组成的，能够被装配成各种不同构型的机器人。EF-IRC-I机器人手臂为串联关节式机器人，串联关节式机器人是当今工业领域在汽车、焊接、码垛等领域应用最为广泛的工业机器人类型，而模块

16、化机器人正是体现工业串联机器人的特征与功能。EF-IRC-I机器人手臂是一种典型的工业机器人，在自动搬运、焊接、喷涂、装配等工业现场中有着广泛的应用。模块化设计方法在技术上和经济上都体现了强大的优势，模块化具有独立性、功能性、成组性的优点，其组合具备很强的目的性、灵活性、经济性的特点，模块接口在互换性的基础上兼顾界面稳定性与参数的一致性，模块化设计能减少工作量、缩短研制周期减少生产成本以及改善系统，易于维护，因此模块化设计方法在机器人技术中得到了广泛应用并取得很好的效果。1.2.2机器视觉的应用现状及发展方向在国外,机器视觉的应用普及主要是体现在半导体及电子行业，其中大概40%-50%都集中在

17、半导体行业。具体如PCB印刷电路：各类生产印刷电路板组装技术、设备；单、双面、多层线路板，覆铜板及所需的材料及辅料；辅助设施以及耗材、油墨、药水药剂、配件；电子封装技术与设备；丝网印刷设备以及丝网周边材料等。SMT表面贴装；SMT工艺与设备、焊接设备、测试仪器、返修设备及各种辅助工具及配件、SMT材料、贴片剂、胶贴剂、焊剂、焊料及防氧化油、焊膏、清洗剂等、波峰焊机及自动化生产线设备。电子生产加工设备：电子元件制造设备、半导体及集成电路制造设备、元器件成型设备、电子工模具。机器视觉系统还在质量检测系统的各个方面已经得到了广泛的应用，并且其产品在应用中占据着举足轻重的地位。除此之外，机器视觉还应用

18、与其他各个领域。而在中国，以上行业本身就属于新兴的领域，再加之机器视觉产品技术的普及不够，导致以上各行业的应用几乎空白，即便是有，也只是低端方面的应用。目前在我国，随着配套基础建设的完善，技术、资金的积累，各行各业对采用图像和机器视觉技术的工业自动化、智能化需求考试广泛出现，国内有关大专院校、研究所和企业近两年在图像和机器视觉技术领域惊醒了积极思索和大胆的尝试，逐步开始了工业现场的应用，其主要应用与制药、印刷、矿泉水瓶盖检测等领域。这些应用大多集中在如药品检测分装、印刷色彩检测等。真正高端的应用还很少，因此，以上相关行业的应用空间还比较大。当然，其他领域如指纹检测等等领域也有着很好的发展空间。

19、在机器视觉赖以普及发展的诸多因素中，有技术层面的，也有商业层面的，但制造业的需求是决定性的。制造业的发展，带来了对机器视觉需求的提升；也决定了机器视觉将由过去的单纯采集、分析、传递数据，判断动作，逐渐朝着开放性的方向发展，这一趋势也预示着机器视觉将与自动化更进一步的融合。需求决定产品，只有满足需求的产品才有生存的空间，这是不变的规律。机器视觉也是如此。未来中国的机器视觉发展主要表现为以下一些特性：(1)随着产业化发展对机器视觉的需求将呈上升趋势 机器视觉发展空间较大的部分在半导体和电子行业，而据我国相关数据显示，全球集成电路产业复苏迹象明显；与此同时，全球经济衰退使我国集成电路产业获取了市场优

20、势、人才固流等因素；国家加大对集成电路产业这一战略领域的规划力度，“信息化带动工业化”，走“新兴工业化道路”为集成电路产业带来了巨大的发展机遇，特别是高端产品和创新产品市场孔家巨大，设计环节、国家战略领域、3C应用领域、传统产业类应用领域成为集成电路产业未来几年的重点投资领域。此外，中国已经成为全球集成电路的一个重要需求市场。中国的半导体和电子市场已初具规模，而如此强大的半导体产业将需要更高质量的技术做后盾。同时他对于产品的高质量、高集成度的要求也将越来越高。恰巧，机器视觉也能帮助他们解决以上问题，因此该行业将是机器视觉最好的用武之地。同时，对于机器视觉的需求也蒸蒸日上。 （2）统一开放的标准

21、是机器视觉发展的原动力目前国内有近数家机器视觉产品厂商，与国外机器视觉产品相比，国内产品最大的差距并不单纯是在技术上，而且还包括品牌和只是产权上；另一现状是目前国内的机器视觉产品主要以代理国外品牌为主，以此来逐渐朝着自助研发产品的路线靠近，起步较晚。未来机器视觉产品的好坏不能够通过单一因素来衡量，应该逐渐按照国际化的统一标准判定，随着中国自动化的逐渐开放，将带领其相关的产品技术也逐渐开放。因此，依靠封闭的技术难以促进整个行业的发展，只有形成统一而开放的标准才能让更多的厂商在相同的平台上开发产品，这也是促进中国机器视觉抄国际化水平发展的原动力。 （3）基于嵌入式的产品奖取代板卡式产品从产品本身看

22、，机器视觉会越来越依靠PC技术，并且与数据采集等其他控制和测量的集成会更加紧密。且基于嵌入式的产品奖逐渐取代板卡式产品，这是一个不断增长的趋势。主要原因是随着计算机技术和微电子技术的迅速发展，嵌入式系统应用领域越来越广泛，尤其是其具备低耗技术的特点得到了人们的重视。另外，嵌入式操作系统绝大部分是以C语言为基础的，因此使用C高级语言进行嵌入式系统开发是一项带有基础性的工作，使用高级语言的特点是可以提高工作效率，缩短开发周期，更主要的是开发出的产品可靠性高，可维护性好，便于不断完善和升级换代等。因此嵌入式产品将会取代板卡式产品。 （4）标准化、一体化解决方案也将是机器视觉的必经之路 另外，由于机器

23、视觉是自动化的一部分，没有自动化就不会有机器视觉，机器视觉软硬件产品正成为协作生产制造过程中不同阶段的核心系统，无论是用户还是硬件供应商都将机器视觉产品作为生产线上信息收集的工具，这就要求机器视觉产品大量采用“标准化技术”，直观的说就是要随着自动化的开放而逐渐开放，可以根据用户的需求进行为此开发。当今，自动化企业正在倡导软硬一体化解决方案，机器视觉的厂商在未来5-6年内也应该不单纯只提供产品的供应商，二是逐渐向一体化解决方案的系统集成商迈进。 1.3设计任务本课题的设计任务安排如下： （1）利用机器视觉软件hexsight对图像进行采集和处理，识别和定位物块的位置。 （2）利用CytonVie

24、wer软件对七轴机械臂进行3D仿真。 （3）通过编程实现机械臂坐标系和工业相机所拍摄的图像坐标系之间的坐标转换，实现七轴机械臂对物块的智能抓取。2视觉识别的七轴机械臂智能抓取控制系统介绍2.1七轴机械臂系统简介（1）EF-IRC-I机器人手臂介绍表2.1 七轴机械臂参考系数 EF-IRC-I机器人手臂是机器人研发的最新成果，它是一种创新的具有7自由度机器人手臂结构。由7个基本模块组成，模块从1到7关节逐节组合。每一个模块单独可以控制运行，7个模块组合之后构成工业串联关节机器人形式。EF-IRC-I机器人手臂整体末端安装手抓，进行取放工作、装配操作等任务。EF-IRC-I机器人手臂的杰出设计是利

25、用多自由度结构运动学的优越性，使手臂能够在三维立体空间内做出各种类似人类手臂的弯曲、伸展动作，进而避开障碍物并完成规定的任务。EF-IRC-I机器人手臂的各个关节可独立控制以确保手臂运动的流畅性、快速性、精确性及可重复性。（2）EF-IRC-I机器人手臂系统特色 开发式驱动及执行器结构EF-IRC-I机器人手臂关节采用高品质PMDC伺服齿轮减速马达组成。PMDC伺服齿轮减速马达具有高性能、高精度、高扭矩特点的同时还具备能够实时反馈电机位置、速度、电压和温度等重要信息，便于7轴机器人能够实现高精度控制的最有闭环系统设计。EF-IRC-I机器人手臂采用模块化设计，组合拆装方便。 灵活的电子控制EF

26、-IRC-I机器人手臂内置有一个通道伺服控制器，除了用于控制7个自由度的操作外，多余的通道可以用来控制其他的末端设备。多通道伺服控制器可通过USB接口、由网络或无线网络通讯接和PC进行通讯以完成系统仿真及置配操作。整体控制灵活，方便二次开发。 完善的教学开发环境EF-IRC-I机器人手臂系统软件包括一个3D（3维立体视觉）GUI（图形学生接口）软件包，XML列表软件包及SDK软件包。3D GUI软件包给学生一个EF-IRC-I机器人手臂系统的3维立体图形仿真环境。 教学特点EF-IRC-I机器人手臂在原有技术上增设多种控制模式软件控制、编程控制、手动控制，3D仿真，真正实现控制的多样化，能够熟

27、练掌握其结构、原理。 （3）EF-IRC-I七轴机设备说明 Energid七轴机械手臂由7个关节和一个抓手组成。实现关节和抓手功能的硬件是舵机，因此，Energid七轴机械臂有8个舵机。通过程序直接控制这8个舵机，可以让机械手做出类似于人手的各个动作。 7个关节的名称、位置及动作下图1为机械手臂七个关节的名称、位置及动作下图2为机械手臂各关节旋转轴线以及尺寸（单位：mm）图2.1 机械手臂七个关节的名称、位置及动作 图2.2 机械手臂关节的旋转轴线以及尺寸（尺寸单位：mm毫米） 关键参数机械手臂垂直最大长度：53.4cm机械手臂水平最大长度：48cm重复性位置精度：+/-0.5mm手指最大张度

28、：3.5cm角度限制表2.2 机械臂关节关键参数关节名称顺时针角度限制逆时针角度限制单位（度）单位（弧度）单位（度）单位（弧度）肩关节旋转Shoulder Roll348*C348*R3748*C3748*R肩关节俯仰Shoulder Pitch788*C788*R3308*C3308*R肘关节旋转Elbow Roll348*C348*R3748*C3748*R肘关节俯仰Elbow Pitch788*C788*R3308*C3308*R腕关节偏航Wrist Yaw788*C788*R3308*C3308*R腕关节俯仰Wrist Pitch848*C848*R3248*C3248*R腕关节旋转W

29、rist Roll348*C348*R3748*C3748*R手指004095*C4095*R说明：系数C=3604096系数R=240962.2机器视觉系统简介机器人手臂视觉识别控制系统（GUI-SX-T），专门针对大学和研究机构开展机器视觉与7轴机器人手臂控制的教学和研究，提供包括图像测量、检测、定位、跟踪识别等多个图像处理库函数，功能强大，可覆盖工业生产、机器视觉、智能交通、航空航天等众多图像处理应用领域，为用户提供完整的机器视觉解决方案。机器人手臂视觉识别控制系统包含两个重要组成部分：HexSight 机器视觉软件系统和EBF-561 数字图像处理开发平台。HexSight 机器视觉软

30、件系统与3D GUI 软件开发包协同控制7 轴机器人手臂实现基于机器视觉识别的智能应用。本机器视觉教学实验开发平台可利用其提供的大量图像处理和机器视觉算法进行二次开发，无需复杂编程，就可搭建自己的机器视觉检测系统，解决现代工业产品生产过程中涉及的各种各样视觉问题。实验平台结构开放，提供扩展接口，也可添加自己的图像处理优异算法。本机器视觉教学开发平台提供多种图像处理实验，如图象分割、图象融合、机器学习、图象测量、图象处理、模式识别和人工智能、等实验，培养学生对机器视觉知识的深入理解和掌握，锻炼学生的研究能力，创新思维以及独立解决技术难题的能力。还可提供大量机器视觉项目应用案例做为实验，为研究和学

31、习提供了方便，通过实验操作，可学习到建立视觉应用系统所需的各种硬件、方法及图像处理技术，同时也对工业自动生产线的产品视觉检测、判定模拟过程有了深入的了解和掌握。作为一套完整的机器视觉教学实验开发平台和机器视觉解决方案，使用者可利用其配套的工业相机、LED 光源、工业镜头、支架、算法软件等搭建自己的视觉处理系统原型，了解图像采集设备等配件的应用，包含以下组成部件：（1） HexSight 机器视觉软件系统（2） EBF-561 数字图像处理开发平台（3）工业相机1 个（4）工业镜头1 个（5） 千兆以太网线1 条（6） 工业LED 光源1 个（7）工业光源控制器1 个（8）工业台架1（1）Hex

32、Sight 介绍 HexSight 是一款高性能的、综合性的视觉软件开发包，它提供了稳定、可靠及准确定位和检测零件的机器视觉底层函数。其功能强大的定位器工具能精确地识别和定位物体，不论其是否旋转或大小比例发生变化。HexSight 即使在最恶劣的工作环境下都能提供可靠的检测结果，呈现出非凡的性能。HexSight 软件包含一个完整的底层机器视觉函数库,程序员可用它来建构完整的高性能2D 机器视觉系统，节省整个系统开发的时间。HexSight 可利用Visual Basic、Visual C+或Borland Dephi 平台方便地进行二次开发。（2）HexSight 的应用领域HexSight

33、 作为7 轴机器人手臂配套嵌入式机器视觉平台，在PC 下运行的机器视觉开放式平台，短短几年就实现了数千次的拷贝，从最开始应用于元器件定位、机器人引导，逐步扩展到精密测量、缺陷检测、字符（含条码、二维码）识别等相关领域，在Release4.0中将扩展基于颜色的定位、测量和分析功能，使HexSight 已变成一个功能完善并且强大的视觉开发和应用平台。目前HexSight 已经被广泛汽车、电子、半导体、机械制造、食品、包装、印刷、制药、运输等诸多行业。（3）HexSight 的定位技术 HexSight 的定位工具是根据几何特征，采用最先进的轮廓检测技术来识别对象和模式，增加了彩色边 缘的定位，进一

34、步加强了HexSight 的定位精度。这一技术在图像凌乱、亮度波动、图像模糊和对象重叠等方面有显著效果。HexSight 能处理自由形状的对象，并具有功能强大的去模糊算法。HexSight 快速,在一台2GHz 的处理器上,一般零件寻找和定位不超过10ms，并可达到1/64 亚像素位置重复精度和1/20 度旋转重复精度。此外HexSight 有丰富但易用的图像标定工具，而且它的定位器可以方便嵌入到OEM 的产品中。 定位（Locator）定位工具基于轮廓分析完成物体的定位，HexSight4.0 版本新加入通过颜色轮廓来增强定位能力。 a.强大的多重模板分析能力，可以区分高相似度的物体 b.同

35、时识别多个物体，无论其方位、大小 c.有效的处理局部遮盖，图像凌乱，对比度翻转以及非线性光照等情况d.很自然的使用颜色信息对彩色对象提取轮廓以加强检测精度e.内建的色颜标定保证了高准确度以及可重复操作性f.自动构建最优化的物体模板，同时可以通过模板编辑界面方便的编辑客户模板g.定位精度高达1/64 亚像素, 旋转精度1/20 度, 以及大小比例1/10 检测（Inspection） 检测工具包括图像处理，颜色匹配，斑点分析以及度量功能。每个工具通过定位工具调整兴趣区域、被测物的比例和方向，这些方便建立生产过程中的质量控制。 a.颜色匹配工具通过对图像色彩的分析可以快速找出与用户定义颜色相同或靠

36、近的图像区域图像处理算法按MMX/SSE/SSE2 指令集进行了最优化设计，包括数学运算、赋值操作、逻辑运算、图像滤波、形态分析，清晰度评测以及直方图分析等函数 b.测量功能包含边缘、直线、弧度的各种几何特征测量，以及各种组合尺寸的测量，并可以进行任意曲线的拟合 c.斑点分析可提取被测对象的大量性质，比如常规物理量（面积，质心），周长（凹陷，凸起），重心（椭圆长轴/短轴），外接、内截矩形（尺寸，角度），链表（边缘）以及拓扑特征（内孔） d.所有检测工具在成矩形的检测区域内采用双线性插值取样，结合校正后的单位换算，得到精确的测量结果。 字符识别/条码读取（OCR/Symbology）HexSig

37、ht 的字符识别/条码读取工具提供分析能力极强的函数用于一维码，二维码和半导体字体的读取。自动定位和逻辑分析功能使之能够快速确定代码的位置和内容。 a.支持读取的一维码包括：Code 39, 128, 93, UPC, PDF-417, Postnet, Codabar, BC 412,2，of5, and Pharmacode。 b.支持读取的二维码包括：ECC 000-140 and ECC 200。 c.支持读取的半导体字体包括OCR-A, OCR-B, and SEMI。 d.每个读码工具包含对兴趣区域的控制和调节功能，确保了读码的准确性和速度达。 进程管理（Process Manag

38、er）HexSight 自身工具的进程管理帮助客户完成各种处理工具及图像的衔接、排序和管理。能够迅速的完成从图像采集、标定、预处理、定位、测量、检测、结果输出一系列的功能。能够在不用编程的情况下迅速搭建客户自己的机器视觉应用。 a.在拖放功能操作区域，工具以目录形式呈现，客户可以方便的进行处理工具的增删、复制、位置排列和保存。 每个工具都可以通过其属性面板操作完成设置，也可以客户自身通过其函数重载客户自己的操作面板。 b.每个工具的处理时间都可以被读取，通过调整可以达到最优配置。 c.加载/储存性质帮助保存序列的配置文件，配置文件可以通过处理管理器应用程序接口可以快速的加载完成客户特定的要求。

39、这种功能对经常更换产品和检测内容的客户非常有用。 d.所有的输入和输出都被储存进入实时数据库，该数据库可以通过图形化的界面方式支持个人数据对象的加载/存储。 （4）HexSight 的特点 速度、精度及性能，平移重复精度：1/64 亚像素；旋转重复精度：0.05 （1/20）度；搜索比例范围：1/10 单位；快速并行处理，采用了MMS 和SSE 扩展技术。 内置标定模块：能矫正畸变、投影误差和X-Y 象素比误差，基于图像的标定结果能自然地为所用视觉工具使用Image-based calibration intrinsically used by all tools。 独特的功能强大的软件Eng

40、ine,基于对象轮廓或边缘找寻和定位零件，容许重叠、阴影，对比度低，边缘不清，凌乱或背景噪音。机器视觉工具被封装成ActiveX 控件或C库，与Windows 2000/XP/Vista，DevStudio6.0，DevStudio.NET 等兼容。 开放式体系结构，与商业图像采集卡和以及各种USB、1394 以及以太网接口的摄像机兼容。 完整的检测工具：包含硬件接口、图像采集、图像标定、图像预处理、几何定位、颜色检测、几何测量、Blob 分析、清晰度评价（自动对焦）、模式匹配、边缘探测等多种工具。非常的教学例程和应用例程，让客户迅速熟悉软件的应用或完成项目开发。仅含定位器的模块由于其适合很多

41、应用场合以及合适的价格而被广泛接受，其包含以下工具：图像捕获设备：除了包括完成图像从图像采集卡到HexSight 的导入、显示和存储等，也包含自动标定的工具，可以补偿因镜头垂直度和畸变造成的误差。对Coreco Imaging，Data Translation，Imagenation，Matrox，MRT，Optron 等知名图像采集卡供应商的一些常用采集卡以及IEEE-1394 数字摄像机等都可以方便地实现无缝接合。对象定位器：带有自动调教、学习功能，能根据几何轮廓找寻定位零件，返回X-Y 坐标，方向，大小比例和用户定义的参考点坐标。搜索区域可限于用户定义的ROI（兴趣域）。类库：Activ

42、e X 插件集，使定制系统能对内部图像进行操作。完整版的HexSight 软件包除了上面提到的3 个工具外，还包括以下工具：图像处理工具：提供多样化的图像处理算法，比如算术运算，逻辑运算，形态变化和直方图等功能。图像处理可发生在任意工具之前或之后。 边缘定位工具：采用矩形或圆弧投影能定位多个边缘。模式定位工具：采用可定制模式匹配算法来找寻灰度模式， 以提高速度和精度等等。测量工具：能测量线性和圆弧特征。Blob 分析工具：能计算内在和外在的几何属性，如重心，周长，面积，包络矩形，主轴还有灰度属性。支持三种图像二值化方法：二值，软二值和动态阈值处理。取样工具：对实现可定制检测非常有用，它通过从基

43、于模板的ROI（兴趣域）中取样图像数据，然后提供给定制系统的特定C+算法或任意HexSight 工具，包括定位器进行处理。图像清晰度评价工具：评估/计算由用户定义兴趣域内图像的清晰度，对于自动对焦系统控制非常理想。 （5）应用开发由于HexSight 的功能是按标准ActiveX 控件的方式提供的，所以能大大简化应用开发的难度，并且允许在多种平台上进行应用开发，如Visual Basic 或Visual C+。简易的开发步骤，边写程序边看效果，所见即所得；通过HexSight 已经制作的配置窗口，可实现不写任何代码的原型应用；一些常用功能如显示控制等都已封装提供，可进一步简化应用开发。此外，H

44、exSight 控件能在使用者或OEM 用户的最终应用界面中进行完全隐藏，允许用户使用自行定制的用户界面。2.3七轴机械臂及机器视觉等开发工具的选择EF-IRC-I机器人手臂是机器人研发的最新成果，它是一种创新的具有7自由度机器人手臂结构。由7个基本模块组成，模块从 1 到 7 关节逐节组合。每一模块单独可以控制运行，7个模块组合之后构成工业串联关节机器人形式。 EF-IRC-I 机器人手臂整体末端按装手爪，进行取放工件、装配操作等实验内容。 EF-IRC-I 机器人手臂的杰出设计是利用多自由度结构运动学的优越性，使手臂能够在三维立体空间内做出各种类似人类手臂的弯曲、伸展动作，进而避开障碍物并

45、完成规定的动作任务。 EF-IRC-I 机器人手臂的各个关节可独立控制以确保手臂动作的流畅性、快速性、精确性及可重复性。可以直观的看到机械手臂每一个关节模块的内部传动结构及运行情况。机械手臂内部传动结构完全体现工业机器人设计特点结构多样化，采用了工业上常用到的同步带传动、蜗轮蜗杆传动以及齿轮传动等主要结构形式。 EF-IRC-I 机器人手臂配支持嵌入式控制器本地控制方式和远程网络控制方式，可通过C和C+语言开发基于windows、linux、apple的机械手臂运动的控制程序，包括系统的配置及手臂操作的定义等。所以选择 EF-IRC-I作为本次研究的七轴机械臂。HexSight是一款高性能的、

46、综合性的视觉软件开发包，它提供了稳定、可靠及准确定位和检测零件的机器视觉底层函数。其功能强大的定位器工具能精确地识别和定位物体，不论其是否旋转或大小比例发生变化。HexSight即使在最恶劣的工作环境下都能提供可靠的检测结果，呈现出非凡的性能。HexSight软件包含一个完整的底层机器视觉函数库,程序员可用它来建构完整的高性能2D机器视觉系统，节省整个系统开发的时间。HexSight可利用Visual Basic、Visual C+等平台方便地进行二次开发。HexSight的定位工具是根据几何特征，采用轮廓检测技术来识别对象和模式。在图像凌乱、亮度波动、图像模糊和对象重叠等方面显著效果。Hex

47、Sight能处理自由形状的对象，并具有功能强大的去模糊算法。所以本次研究的机器视觉系统选择HexSight。3基于视觉识别的七轴机械臂智能抓取的分析与设计3.1系统的总体功能需求本基于视觉识别的七轴机械臂智能抓取系统是一个集图像采集和信息处理于一身的综合应用系统。系统不仅需要能满足机器视觉对目标物的图像采集，还需要七轴机械臂对目标物的抓取，为了完成这些功能，还必须利用编程，实现坐标变换来建立它们之间的联系。七轴机械臂机器视觉HexsightCytonViewer图像采集、图像处理3D仿真对目标物的识别、定位坐标转换目标物抓取目标物抓取目标物抓取目标物抓取图3.1系统总体结构示意图3.2控制系统

48、功能设计原理目标物识别与定位是机器人抓取目标物的前提和基础，其识确性。目标物识别是依赖于机器视觉的图像匹配过程，是通过比较目标物图像与模板图像来实现的。目标物定位包括目标物位置定位和工件姿态定位。本文是通过别的结果正确与否和定位的精度直接影响到机器人操作结果的准质心定位确定工件位置的，通过确定长轴的方向来定位工件姿态的。图3.2 机械臂和相机所摄图像坐标系坐标转换 建立坐标系1和坐标系2，O1为机械臂的中心。O2、M为铁架台上的螺丝钉所在的点，其中O2为坐标中心。P为目标物。 (1)坐标系1中,O2M的相对像素点已知，x4，y4已知，O2N=22.5cm，MN=18cm，x4，y4为（756,

49、603）单位。通过x4，y4和O2N，MN可得每个像素点的真实大小，单位cm。O2N/x4=32.87，MN/y4=31.76 (2)坐标系1中，因为物体P与坐标系2的相对像素点可以获取x3，y3已知相对像素点，如（30,50）单位。 (3)坐标系1和2的关系。x3的真实距离=O2N/x4x3，y3的真实距离=MN/y4y34基于视觉识别的七轴机械臂智能抓取的实现4.1视觉识别系统的软件搭建（1）打开机器视觉运行库，运行locator demo 软件，调整镜头，使实验平台尽量与locator demo窗口平行。图4.1 机器视觉软件界面 (2）放入两个螺丝钉和要抓取的物块图4.2 放入螺丝钉和

50、待抓物块的机器视觉软件界面 （3）点击【进行配置】，【execute sequence】进行抓图。点击【Edit Process】进行编辑。图4.3 进行配置的界面图4.4 添加螺丝钉模型界面 （4）建立模版。用尽量小的方框把预先所放置的螺丝钉完全包围起来。 图4.5 抓图建立模版界面 （5）去Search界面去勾选同时定位两个。图4.6 定位性能界面 (6)点击【校准比例】，可能会有干扰点，一直点击，直到选中的是自己想要的那两个点。 图4.7 校准比例界面 (7)重新选择【进行配置】，删除螺丝钉模版，建立木块模版。图4.8 删除螺丝钉模型并添加木块模型界面 图4.9 定位木块界面 (8)点击

51、【发送定位】，测试一下。4.2七轴机械臂的3D软件搭建 (1)打开控制七轴机械臂的3D运行库，运行CytonViewer软件。图4.10 3D运行软件界面 (2)点击【load】，下载remoteCommandServerPlugin.ecp这个插件图4.11 下载插件界面 (3)打开机械臂图表的控制软件Cyton_Form。图4.12 机械臂图表控制面板 (4)点击【Open CytonViewer】进行连接，点击【手臂复位】测试一下机械臂。图4.13 机械臂复位界面 (5)点击【监听】【发送定位】即可实现七轴机械臂对物块的智能抓取。图4.14 机械臂抓取物块界面4.3小结（1）机器视觉识别

52、和定位的实现 安装工业相机于实验台架上。 通过以太网线连接工业相机和电脑上的机器视觉软件hexsight。 打开图像控制显示软件locatordemo软件，调整实验台架上的相机使得显示的图像尽量清晰，且与显示图像的locatordemo大致窗口平行。 放两个螺丝钉于实验台架上，用于定位，然后放置一个待抓取的物块。 进行配置，抓图，编辑，建立放置的两个用于定位的螺丝钉和待抓取木块的模版。 发送定位测试一下。（2）七轴机械臂3D仿真的实现 将七轴机械臂安装在实验台上。 运行3D仿真软件CytonViewer，下载remoteCommandServerPlugin.ecp插件。 运行机械臂图表的控制

53、软件Cyton_Form。 点击【Open CytonViewer】进行连接，点击【手臂复位】测试一下机械臂。 点击【监听】【发送定位】即可实现七轴机械臂对物块的智能抓取。 5全文总结和展望5.1全文总结针对目前在生产线上工作的搬运工业机器人生产柔性差和在未知环境中工作效率低下的问题，本文以原有七轴工业机器人系统为研究平台，设计了基于视觉的七轴工业机器人控制系统，实现了对目标物体的自主识别定位和机器人手爪对其自动智能抓取。本文首先介绍了课题背景，对七轴机械臂和机器视觉系统的发展历程和现状进行了概述，指出七轴机械臂和机器视觉系统的发展趋势。本文第二章接着详细介绍了七轴机械臂以及机器视觉的特点以及

54、相关参数等，并且概要说明了对开发工具的选择。接着第三章对基于视觉识别的七轴机械臂智能抓取这一研究进行了分析与设计，讲述了其中的系统总体功能需求和功能实现的原理。基于面向对象的基本思想，有了系统的介绍、设计和实现。这就涉及到系统功能的具体实现细节了，也就是本文第四章的内容。详细说明了基于视觉识别的七轴机械臂智能抓取这一系统功能的实现过程。最后对基于视觉识别的七轴机械臂的智能抓取进行了展望。 以上是对本文结构的总结，下面总结一下作者所做的工作：(1)阅读大量文献，查阅大量资料，了解七轴机械臂以及机器视觉识别系统现状以及各种智能抓取实现方案。理解了七轴机械臂和机器视觉系统之间实现智能抓取这一功能的原

55、理和流程。(2)通过长时间的学习和实践，熟练掌握了理解了七轴机械臂和机器视觉系统之间实现智能抓取这一功能的原理和流程。 (3)搭建硬件环境，经过多次的现场实践，完成了实物的基于视觉识别的七轴机械臂智能抓取。5.2下一步工作展望当然，本文对于基于视觉的工业机器人所研究的问题还是非常有限的。本文所作的研究还仅仅是提出了一种基于原有机器人系统的视觉的控制方法，并对其中的一些关键问题进行了研究和验证。虽然实验结果证明了该方法的可行性，但是要将其应用于实际当中，还有许多问题需要解决，例如：（1）本文仅建立了针对圆柱体和长方体的识别和抓取操作的实现，对形状更为复杂的目标物体就无法描述。这就需要对七轴机器人的运动学做更深入的研究。（2）本文将研究的重点放在了摄像机的标定、目标定位、视觉控制的设计实现和夹持规划上，而对于七轴工业机器人抓取过程中的运动轨