基于机器视觉的工件智能抓取关键技术研究应用

基于机器视觉工业机器人工件搬运技术研究1.1研究背景自19世纪60年代问世以来，工业机器人不断发展和完善，现已得到广泛应用，机器人产业也逐渐成熟。当前，全世界已拥有100多万台工业机器人广泛应用在焊接、搬运、装配、喷涂、修边、拾料、包装、堆垛和上下料等单调或复杂作业中，为公司节约了大量劳动成本，大大提高了劳动生产率。工业机器人是面向工业领域多关节机械手或多自由度机器人，它在稳定产品品质、提高生产效率和改进劳动条件等方面有着十分重要作用，它应用可以使公司大大缩短新产品换产周期和节约劳动成本，从而提高了产品市场竞争力。随着当代工业革命进一步发展，工业生产日益趋向自动化，工业机器人技术也正朝着智能、柔性方向发展。许多发达国家对于智能工业机器人研究都较为注重，国内也早已将其纳入国家高科技发展规划。国家层面注重也必将给工业机器人技术带来新跨越式发展，机器人发展也必将对社会经济和生产力发产生更加深远影响1.2研究目和意义对于工作在自动化生产线上或柔性制造系统中工业机器人来说，其完毕最多一类操作是“抓取—放置”动作，例如流水线上工件搬运、装配以及各工位之间工件转移和上下料。机器人要完毕此类操作是通过复杂计算：一方面，机器人必要懂得怎么抓，另一方面机器人应当懂得怎么放；同步在这个过程还要随着着机器人运动学分析过程。老式工业机器人完毕此类操作，必要通过精准逐点示教后，才干一步一步按照固定程序执行。在这个过程中，工件相对于机器人初始位姿（位置和姿态）和终结位姿是事先规定，但诸多状况下，特别是流水线场合，工件位姿经常是不固定。这就导致实际目的工件位姿与抱负工件位姿总是有偏差，这种偏差哪怕很小都会导致机器人操作任务失败。这种由于环境变化而导致机器人不能较好地完毕任务状况极大地限制了机器人实际应用。这就规定工业机器人具备一定环境适应能力，即工业机器人智能化。智能工业机器人智能特性在于它具备与外部世界、对象、环境和人互相协调工作机能，详细体当前机器视觉、接近觉、触觉和力觉等方面。机器视觉是用机器代替人眼来做测量和判断，其本质是使计算机具备认知周边环境信息能力。这种能力不但使机器能感知周边物体形状、位置、姿态、运动等等信息，并且能相应地对这些信息进行描述、理解和辨认。将机器视觉与机器人结合到一起，也就产生了机器人视觉。机器人视觉技术是用来模仿人类视觉，使机器人通过获取视觉信息从而对操作环境进行鉴别，给机器人赋予更强大应对能力，大大增强了机器人柔性。因而基于视觉引导机器人拥有着辽阔发展空间，具备重要科研和应用价值。1.3国内外现状当前，机器视觉技术已经从最初实验室阶段逐渐走向成熟，并且在工业生产线上已有实际应用。德国、日本、美国和韩国处在智能工业机器人领域应用研究前沿。日本从最初模仿到当前独创，找到了自己技术创新之路。德国西门子公司也紧跟着时代步伐，将机器视觉渗入到各个领域，应用到汽车发动机装配，生产线工件分拣等领域。美国更是机器人技术创新发源地，其机器视觉广泛应用在工业和军事上，机械手经销商，涉及Fanuc公司，Motman公司和Staubli公司都推出了“拣选”系统。如图1.1所示，日本川崎设计工业机器人重要应用在基于视觉系统大型物品装卸、树脂成形机械抓取和汽车车门边角打磨工程等领域。这种机器人可以结合详细实际应用和目的办法，配备不同选装件和有关参数，可以适应各种应用场合。通过使用机器人内部搭载原则机器人语言，它还可以实现高性能动作控制和时序控制。图1.1基于视觉系统大型物品装卸图1.2所示是美国普渡大学研究一种基于视觉控制Bin-picking系统，该系统可以从各种零件中分拣出圆形零件，它是通过简朴圆弧边界特性来辨认圆形零件。图1.3所示是瑞典ABB公司最新推出第二代拾取机器人FlexPickerIRB360，该机器人拥有有效载荷大、操作速度快、简朴有效等长处，可以在2D视觉协助下，以高达2次/秒速度捡取传送带上物品。总来说，美国、日本、欧洲某些发达国家在机器人视觉技术有着丰富经验，已经开发出多款成熟产品，广泛应用在微装配、空间和军事领域。图1.2Bin-Picking机器人图1.3ABBFlex-Picker机器人国内对工业机器人研究起步较晚，从90年代初期起，国内在工业机器人领域才获得一定进展。随着近几年科技进步，国内在这方面发展迅速，获得了不少科研成果，机器人构造和控制理论不断得到创新，生产制造工艺也逐渐成熟，不断有自主知识产权机器人产品相继问世，此外还相继建立了20各种机器人产业化基地，实行了100多项机器人应用工程，机器人产业不断壮大和发展。新松机器人自动化股份有限公司研制机器人是拥有自主知识产权和核心技术工业搬运机器人，它可用于锻造生产和铸件落砂等工作条件恶劣场合，减少工人劳动强度。北京航空航天大学于1994年成功研制了七自由度机器人操作臂，并且研制出一系列改进型冗余自由度机器人实验样机。方跃提出了采用灵活角来度量操作器灵活限度，将机器人工作空间依照灵活限度不同划分为相应有限灵活工作空间，高同以梯度投影法为基本，采用线性加权法，研究冗余度机器人多指标融合优化问题。冗余自由度机器人另一种研究重点是运动学逆解，如图1.5所示，为深圳众为兴技术股份有限公司生产四自由度分拣机器人。该机器人在分类分拣应用中具备视觉导引功能，重点简介了众为兴SCARA机器人及视觉系统，并在现场用实物生动展示了具备视觉功能众为兴机器人在分类分拣应用。众为兴公司开发研制SCARA机器人，可应用在搬运、分拣某些较小规则工件。图1.5众为兴展出SCARA机器人1.4本课题研究内容本文是针对基于视觉引导工业机器人工件搬运技术进行研究，简朴讲，就是在一台6轴工业机器人基本上引入机器视觉，运用机器人对视觉理解，完毕工业生产中工件抓取和放置操作。在这个操作过程中，工件辨认与定位和机器人运动学反解是两个核心环节。工件辨认与定位是为机器人提供操作和如何操作信息，而机器人运动学反解精确性直接影响到操作能否完毕和相应操作精度。整个工件搬运详细流程是：在机器人工作之前，先通过上方摄像机实时地采集工件图像，并送到图像解决系统，以便拟定所感兴趣工件以及该工件相对于机器人位姿，最后将位姿信息反解成工业机器人熟悉关节角度和角度控制信息，从而实现运用视觉引导机器人精确地抓取工件。同步依照已抓取工件放置规定，进一步引导机器人完毕工件定点放置，从而实现机器人搬运操作。本课题研究内容环绕物体辨认这个中心展开，重要涉及如下几种方面：如何获取图像获取图像是进行本课题研究前提，顺利通过摄像头设备获取到原始图像是一切研究主线如何对图像进行预解决视觉系统中直接使用图像，必要在进行灰度校正、噪声过滤等图像预解决。将图像中感兴趣特性有选取地突出，衰减其不需要特性，预解决后输出图像并不需要去逼近原图像。如何对预解决后来图像进行特性辨认和特性提取已经把待测目的工件进行过图像预解决，接下来要针对静态工件特性提取，最后要依照已经提取目的工件特性进行分类。特性提取意义于要区别不同种类工件就要把它们之间不同信息提取出来，作为辨认前提条件。普通来说，提取普通特性涉及周长、边沿、面积、曲率、角度和物体质心等如何依照提取特性对目的进行分类和目的定位目的分类是指对得到不同目的进行区别并将其归为某一已知类过程。对于图像目的来说普通运用图像特性来对目的进行描述，然后对其分类。通过模版匹配计算目的上空间点和像素点之间相应关系。然后创立模版，对后续图像进行目的定位。如何跟踪目的对于运动目的，通过跟踪可以得到目的速度和加速度，并可以对将来目的浮现位置进行预测6.如何将目的在图像中位置转化到机器人基坐标系中并进行机器人运动学反解通过相机标定得到图像坐标与机器人基坐标之间转换关系，将目的在图像中位置信息转化为机器人基坐标系中详细坐标，并通过该坐标进行机器人运动学逆解，得到关节运动信息如何规划途径并控制机器人进行目的抓取通过前面得到运动学逆解，合理设立机器人抓取运动规划，涉及途径规划和手部抓取规划，途径规划是研究按照何种途径，将机器人手部坐标系原点和目的抓取坐标系原点重叠问题，抓取点规划是针对不同形状物体，如何选取适当夹持点位置问题。1.5本课题研究办法1.5.1获取图像1)硬件简介一种稳定视觉系统构建需要依照任务特点和现场环境特点进行，例如精度，目的尺寸，检测速度，安装空间大小等规定，都将影响系统硬、软件选取。典型视觉系统涉及硬件诸多，但最重要最基本三件设备是：光源、镜头和相机。本节重要给出本系统所用硬件参数并对其进行简朴简介1.光源由于所有非发光物体都是通过反射光才干在传感器上留下影像，因此光源对的选取是保证视觉系统正常工作基本。在选取视觉系统光源时要注意，使用光源要把感兴趣目的和背景区别开来，削减非关怀目的或噪声干扰，并且光源自身不会带来额外干扰，镜头镜头与人眼晶状体具备类似功能，如果没有安装镜头进行拍摄，得到图像将是花白色，不包括任何场景信息。因此镜头作用是汇聚目的反射回光，在感光原件上产生细节丰富，锐利图像。镜头参数选取普通是依照配用摄像机感光原件大小来进行，如果两者参数不适当，将浮现图像记录不完整，视场角不符合规定或者画面在焦点外问题本文选取是COMUPTAR公司M0814-MP2型号镜头，参数如表所示：性能指标参数靶面尺寸2/3’’焦距8最大成像尺寸8.8*6.6控制光圈手动聚焦手动变焦手动接口C-接口尺寸33.5*28.2摄像机本系统使用是Basler公司acA2500-14gm型号工业相机，如图所示，该相机性能指标和参数如表所示：图3BasleracA2500-14gm型号工业相机性能指标参数传感器类型AptinaMT9PCMOS，rollingshutter有效图像元素2592*1944像素尺寸2.2x2.2数据位数12镜头接口C-mount，CS-mount传播方式GigabitEthernet帧率14供电规定ViaPoweroverEthernet(802.3af)or+12VDC(±10%)viathecamera´s6-pinHiroseconnector外形尺寸42x29x29表1BasleracA2500-14gm型号工业相机参数拍摄参数设定为了提高图像解决速度并兼顾辨别率，选取拍摄参数如下表：图像尺寸待定色彩待定ISO速度待定帧频待定记录频率待定2）软件简介OpenCV全称是：OpenSourceComputerVisionLibrary。OpenCV是一种基于（开源）发行跨平台计算机视觉库，可以运营在Linux、Windows和MacOS操作系统上。它轻量级并且高效——由一系列C函数和少量C++类构成，同步提供了Python、Ruby、MATLAB等语言接口，实现了图像解决和计算机视觉方面诸多通用算法，它可以完毕如下工作：1.图像数据操作（内存分派与释放，图像复制、设定和转换）2.图像/视频输入输出（支持文献或摄像头输入，图像/视频文献输出）3.矩阵/向量数据操作及线性代数运算（矩阵乘积、矩阵方程求解、特性值、奇异值分解）支持各种动态数据构造（链表、队列、数据集、树、图）4.基本图像解决（去噪、边沿检测、角点检测、采样与插值、色彩变换、形态学解决、直方图、图像金字塔构造）5.构造分析（连通域/分支、轮廓解决、距离转换、图像矩、模板匹配、霍夫变换、多项式逼近、曲线拟合、椭圆拟合、狄劳尼三角化）6.摄像头定标（寻找和跟踪定标模式、参数定标、基本矩阵预计、单应矩阵预计、立体视觉匹配）7.运动分析（光流、动作分割、目的跟踪）8.目的记别（特性办法、HMM模型）HALCON软件简介HALCON是一款来自德国慕尼黑世界顶级机器视觉编程环境，该软件以面向问题为基本，涉及工业领域中光学工程、精密制造、包装、半导体、印刷、机械等行业。使用它可以迅速构建一种精确、稳定、高效率视觉解决方案。该软件具备强大函数库，能导出C++、C、VB等语言，缩短了代码编写时间，为构建独立视觉系统提供了以便。运用HALCON软件构建一种独立视觉系统分为三个环节：该软件最大特点是模范化和模块化，所有算子都具备同一输入输出格式，下面是一种典型算子构造：Operator(iconicinput:iconicoutput:controlinput:controloutput)HALCON语言数据有两种：一种是控制参数，包括数字、数组，字符串等；另一种是图形参数，包括图像，区域和边沿数据等。从典型算子构造可以看出，图形参数一方面输入参数，然后是控制参数，并且顺序是输入数据和输出数据相间隔，也即是：Operator(输入图形参数：输出图形参数：输入控制参数：输出控制参数）。1.5.2图像预解决图像灰度化将RGB彩色图像转化为单通道图像，灰度范畴为0-255，可以很大限度上提高运算速度Image<gray,byte>cam_gray=cam.Convert<gray,byte>();Cam是摄像机采集彩色图像直方图均衡化对于工件和背景灰度相差不大状况，可以通过直方图均衡化增长图像对比度，使工件在背景中更突出cvEqualizeHist函数可以增大图像灰度动态范畴，从而增长对比度图像滤波消除噪声信息对于环境中各种干扰，相机成像噪声，可以通过预解决阶段消除或者削弱噪声影响，详细可以使用各种滤波算子，如中值滤波，高斯平滑滤波，均值滤波，在OpenCV中均有相应函数可以调用1.5.3图像辨认模式辨认应用与图像信号解决领域就成为了图像辨认，它是一种运用计算机对图像进行描述和分类技术，在机器视觉中具备广泛应用，涉及文字，条码，车牌辨认，目的分类等应用场合，辨认过程其实是一种分类过程，将满足判断条件对象归为一类，而不满足条件划分为其她类，一方面对目的图像进行特性提取，然后将它和已知模式向量进行比较，比较过程是函数计算过程，通过计算得到相似限度值，依照该值判断目的与否与已知库中目的相似，从而得到相应辨认或者不辨认信号，依照分类原则选取不同，可以将辨认办法分为：基于概率记录办法辨认，基于模版匹配办法辨认，基于多传感器信息融合办法辨认等。普通，图像辨认有如下三步，如图所示图3图像辨认环节重要有三个任务：图像分割、目的分类、图像匹配图像分割要将图像分割为区域，就要有分割原则，这个原则就叫做阈值，获取适当阈值办法诸多，普通可以分为手动获取和自动获取，当进行手动获取时，普通借鉴图像灰度直方图分布来协助选取，最简朴自动全局阈值办法是：一方面选取一种初始阈值预计值（然后运用该阈值对图像进行初始分割得到G1和G2区域。对G1和G2区域中所有像素计算灰度平均值，计算得到新阈值为T=，运用新阈值对图像进行重新分割，然后重复前面两步，直至先后两次T值之差不大于设定值时停止。然后运用最后得到最佳阈值将区域分割为两某些，从而得到二值图像：对于本系统，由于拍摄到目的图像和背景灰度差别较大，可以直接拟定阈值范畴，此办法进行分割成果如图所示，从图中可以看出，目的区域和背景区域分割较好，但是有许多非目的区域也被划分为一类（重要是传送带边沿），因此还需要后续区域标记办法，运用区域连通性将这些目的区域和非目的区域给分开来区域联通标记是建立在像素点邻接性基本之上，邻接性是一种相似性度量办法，惯用类型有4-邻接、8-邻接、和对角邻接XXPXX4-邻接XXXXPXXXX8-邻接XXPXX对角邻接提取连通成分过程事实上也是标记连通成分过程，普通做法是给图像中每个连通区域分派一种唯一编号，这样图像成为标注图像。得到各个编号区域，就能计算区域面积，中重心，圆度，外接/内切圆半径等特性参数，以供所需区域选取，本例采用面积特性进行选取，得到目的模版图像目的分类目的分类是对得到不同目的进行区别并将其归为某一已知类过程。对于图像目的来说普通运用图像特性来对目的进行描述，然后再对其分类，目的分类是目的记别过程中重要环节当前已经广泛应用于图像分割，目的记别，变化检测，字符辨认等场合。依照待分类目的外形，可将分类任务分为两类。第一类是针对搜索目的外形固定，并且不同类型目的特性区域明显，这种状况可以采用模版匹配办法对其进行分类，第二类是针对目的外形不是特别明显，人工无法选取出适当分类办法对其进行分类，这种状况下就需要运用已知类型信息目的图像对分类器进行训练，让分类器对后续图像进行分类。惯用分类器有三种，分别是基于多层感知分类器MLP，基于支持向量机分类器SVM，基于高斯混合模型分类器GMM，本文采用MLP分类器，详细环节为：图X目的分类普通环节一方面创立某一类型分类器，然后对始终目的进行分析，得到描述该类型目的特性向量，然后运用特性向量对分类器进行训练，得到鉴别函数，这时分类器就获得了分类原则，然后对后续未知目的进行分类，同样也需要对目的进行特性提获得到特性向量，然后运用分类器对向量进行计算，得到分类成果。这里使用是OpenCV或者Halcon中提供分类器3图像匹配用创立模版图像办法可以用于检测图像来拟定目的位置，但是通过图像分割办法来得到一种稳定目的记别系统是非常困难。例如背景发生拜年话，目的被某些遮挡，目的与摄像机间距离变化，各种目的浮现等都导致分割困难，而图像匹配可以解决这些问题。图像匹配是指运用已知目的模式，对不同步刻或视角下拍摄两幅图像间寻找相似或相近目的模式，使盼望目的建立起相应关系过程，图像匹配算法按照特性选取层次不同分为两大类，基于灰度值有关匹配是运用图像直接灰度值特性，其计算过程为：移动模版至待匹配图像各个位置，计算每个位置时模版自身与所覆盖区域相似性计算值，将得到一系列计算值进行比较，极值处便是目的所在位置。这种办法计算量大，达不到实时性规定，并且不能适应光照条件变化、尺度变化，遮挡等状况，为理解决实时性规定，采用基于图像特性匹配办法，这种匹配办法有较好鲁棒性，基于特性匹配是指，对模版图像和匹配图像分别进行特性提取，用相似性度量函数计算相应特性之间相似限度匹配办法，特性选取有诸多，普通来说灰度变化大地方是信息量最丰富地方，例如，角点，轮廓，边沿，直线，纹理等。本文采用是基于形状匹配办法，该办法是各种技术综合，既用到了金字塔匹配模型，也用到了图像轮廓特性，该办法普通流程如图，匹配后得到目的在图像中位置坐标如下表：序号目的个数坐标角度精确度11（289.042，311.058）-0.0005298.36521（145.325，178.698）6.3254199.452...........................图X.基于形状匹配环节目的跟踪目的跟踪是一种对运动目的或者运动相机采集到图像序列进行持续拟定目的位置过程，目的定位是目的跟踪基本，通过跟踪可以得到目的运动轨迹从而可以对将来目的浮现位置进行预测，通过轨迹可以得到目的速度和加速度，从而可觉得运动学研究提供一种测量手段。此外，通过目的跟踪可以对预先设定好浮现范畴和形状目的进行监视，如果其浮现范畴或者形状发生变化时，便发出相应报警信号。目的跟踪可以分为两大办法：第一类是基于边沿特性办法;第二类是基于目的内部投影点信息办法，如光流法，模版匹配法。本位采用第二类中模版匹配办法，由于匹配计算量较大，可采用如下途径减少运算量：一方面计算第一副图像中目的位姿，由于目的运动持续性，对得到位姿进行限制，定义一种跟踪范畴圆（下一种目的也许浮现区域），然后在指定范畴内对后续图像进行目的匹配。由于本文采用传送带运动状态为匀速直线运动，因而只要计算出目的速度和位置便能写出轨迹方程来。定义参照坐标系：在传送带上定义参照坐标系目，是为了将目的位姿与机器人基坐标系联系起来。参照坐标系X轴与传送带中线重叠，方向指向目的运动方向，y轴指向机器人一侧，Z轴垂直于传送带平面向上。左侧方框区域代表相机视野范畴，右侧外圆区域为机器人工作空间范畴，内圆区域代表机器人工作空间与传送带在平面相交区域。工件从左侧进入，在计时起点处开始计时。相机对通过计时起点目的进行持续拍照，估算出目的重心在参照坐标系中坐标和速度。在进行实验之前通过离线测量办法，得到参照坐标系与机器人基座之间相对位姿，同样可以计算出参照坐标系在摄像机坐标系下位姿由离线测量得到位姿关系和，可以计算出机器人基座于摄像机之间位姿矩阵。然后通过目的定位得到目的位姿，再计算出目的重心相对于参照坐标系位姿，由可以得到目的重心坐标（），过重心点做一条平行于参照坐标系x轴直线，与机器人工作空间区域相交与两点：，。这两点便是目的进出工作空间坐标点。由这两点结合运动速度就可以计算出目的何时进入和离开机器人工作空间范畴，在这个时间段中选取任一时刻即可对目的进行抓取。目的速度V计算，可以在摄像机视野内，取间隔10张两幅图像，计算目的中心在运动方向位移，除以拍摄这10张图像所经历时间，即可得到目的速度。1.5.6IRB120型机器人控制工业机器人控制办法分类：分类根据类型特点依照控制量所处空间关节空间运动规划和控制对象为各个关节角，是其她控制办法基本笛卡尔空间在关节空间控制基本上实现通过给定途径上各点出位姿，来保证运动拟定性依照控制量位置以末端执行器位置为被控对象，在三维空间或者关节空间对机器人进行控制速度使任务动作以指定速度进行，例如目的跟踪过程加速度考虑到机器人惯性负载，对加速段和减速段之间过度进行规划，使之运营平稳力（力矩）考虑到目的抓取时握紧力或者使用工具时力矩等因素依照控制算法PID控制由比例、积分和微分单元构成，理论成熟自适应控制系统舒服发生变化或者收到干扰时，系统通过变化自身参数来自我调节，使输出仍满足性能规定神经网络控制属于黑箱控制，具备较好学习能力本研究所完毕内容属于较为简朴抓取任务，因此使用位置控制办法就能满足规定机器人抓取运动规划机器人抓取运动规划涉及途径规划和手部抓取方式规划。途径规划是研究按照何种途径，将机器人手部坐标系原点与目的抓取坐标系原点重叠问题；抓去店规划是针对不同形状物体，如何选取适当夹持点位置问题途径