康耐视工业机器视觉基础及应用六(视觉引导机器人操作与应用)

1/1康耐视工业机器视觉基础及应用六(视觉引导机器人操作与应用)康耐视工业机器视觉基础及应用

模块六视觉引导机器人操作与应用

任务一视觉引导机器人简介

【学习目标】

1.了解视觉引导机器人的作业、功能与优势。

2.了解视觉引导机器人的调试步骤。

【相关知识】

视觉引导与定位是工业机器人应用领域中广泛存在的问题。对于工作在自动化生产线上的工业机器人来说，其完成最多的一类操作是“抓取－放置”动作。为了完成这类操作，对被操作物体定位信息的获取是必要的，首先机器人必须知道物体被操作前的位姿，以保证机器人准确地抓取；其次是必须知道物体被操作后的目标位姿，以保证机器人准确地完成任务。在大部分的工业机器人应用场合，机器人只是按照固定的程序进行操作，物体的初始位姿和终止位姿是事先规定的，作业任务完成的质量由生产线的定位精度来保证。为了高质量作业，就要求生产线相对固定，定位精度高，这样的结果是生产柔性下降，成本却大大增加，此时生产线的柔性和产品质量是矛盾的。

视觉引导与定位是解决上述矛盾的理想工具。工业机器人可以通过视觉系统实时地了解工作环境的变化，相应调整动作，保证任务的正确完成。这种情况下，即使生产线的调整或定位有较大的误差也不会对机器人准确作业造成多大影响，视觉系统实际上提供了外部闭环控制机制，保证机器人自动补偿由于环境变化而产生的误差。

理想的视觉引导与定位应当是基于视觉伺服的。首先观察物体的大致方位，然后机械手一边运动一边观察机械手和物体之间的偏差，根据这个偏差调整机械手的运动方向，直到机械手和物体准确接触为止。但是这种定位方式在实现上存在诸多困难。

直接视觉引导与定位是一次性地对在机器人环境中物体的空间位姿进行详细描述，引导机器人直接地完成动作。与基于视觉伺服的方法相比，直接视觉引导的运算量大大减少，为实际应用创造了条件，但这必须基于一个前提：视觉系统能够在机器人空间中（基坐标系中）精确测定物体的三维位姿信息。

视觉引导机器人(VGR)优势：

1、减少昂贵的高精度固定设备。

2、无需工具转换即能处理多种类型的工件。

3、防止意外的机器人冲突。

应用包括：

1、自动堆垛和卸垛。

2、传送带追踪。

3、组件装配。

4、机器人检测。

康耐视优势

1、业界先进的软件，简便易用且性能可靠。

2、PatMax?准确可靠地定位非固定部件。

3、非线性校准可通过校正镜头和透视畸变提高准确性和可重复性。

4、机器人驱动程序和样本代码有助于实现集成。

5、强大的视觉工具性能。

6、耐用的硬件，能够承受恶劣的环境。

视觉引导机器人基本调试步骤：

1、视觉定位作业调试，目的是输出工件在视觉系统下的像素位置值。

2、机器人与视觉IO信号调试。

3、机器人与视觉网络通讯设置。

4、机器人与相机校准调试，目的是让机器人与相机在空间上建立联系。

5、机器人视觉指令编程与调试。

任务二In-Sight8000视觉系统引导向导广数机器人

【学习目标】

1.熟练掌握机器人与视觉IO信号调试基础操作，完成实训项目。

2.熟练掌握网络通讯设置，完成实训项目。

3.熟练掌握校准的基本步骤，完成实训项目。

4.熟练掌握机器人视觉程序编程，完成实训项目。

【相关知识】

一、机器人与视觉IO信号调试

In-Sight8200IO接口通道描述

根据上述输入/输出的内容，In-Sight8200可以通过IO线缆，实现与外围设备的IO通信。在这里，可以实现机器人控制相机触发与作业结果发生至机器人的功能。

In-Sight8200电气原理图

根据上述的电气原理图，相机的3、4号端线接分别接到机器人控制器IO输出端的OT18与

24V，表示机器人OT18控制相机的拍照触发，这里还需要将触发模式调整至“相机”状态。1、5号端线分别接到机器人IO输入端的IN18与24V，视觉的作业结果可以通过IN18发送至机器人。

打开EasyBuilder界面，在“输入/输出”项，将HSOUT0通道设置的“作业结果”设置为“作业.通过”。

或者切换至电子表格界面，选择表格一个空格，打开右侧的“选择板”，点击“函数”，打开“Input/Output”，添加“WriteDiscrete”函数。

WriteDiscrete

“Event”参数指定触发事件，可以双击“Event”按钮,绝对引用至“工具通过”值，表示作业通过时，引发事件。

StartBit:指定IO通道的起始位。

NumberofBits:指定位的数量。

Value:写入值。

StartBit=0，NumberofBites=1,Value=1，表示起始位位0号的一个位被写位1，即HSOUT0=1。

用同样的操作步骤，当工具检测失败时，HSOUT0=0。

实训

创建新作业，命名为“象棋检测”。按照上述的操作步骤，完成机器人与视觉的IO调试任务：机器人的OT18用于触发视觉拍照，IN18用于接收视觉作业结果。

二、网络通讯设置

广州数控机器人GR-C控制器上集成了以太网接口，可以通过此接口，实现以太网的通讯。

GR-C的系统版本要求：软件版本：V2.20以上

硬件版本：2.35以上

（一）机器人基本通讯参数设置

1.网络设置

（1）打开菜单界面路径（需管理模式）：主页面>系统设置>网络设置>：

（2）功能说明与设置

注意：

默认网关：例如IP是192.168.0.165，则网关为192.168.0.1，外设网关需一致。

MAC地址：本地MAC地址，多台机器人连接在同一网络时MAC地址必须唯一，例如机器人1的MAC设为00-11-22-33-44-01，机器人2的MAC设为：00-11-22-33-44--02，必须保持前四组00-11-22-33不变，44-55可根据需求进行修改。

2.界面操作指引

数字输入：进入网络设置界面后，按“↑”“↓”方向键移动黄色光标，直接按示教盒上的数字键进行数值输入，按下示教盒的“输入”键完成输入，使用示教盒上的“退格”键进行单数字删除。按示教盒上的“TAB”键，可切换光标到界面的“设置”和“退出”，所改参数必须“设置”后，系统重启才生效。

3.远程配置

（1）打开菜单界面路径（需管理模式）：主页面>系统设置>网络设置>按“翻页”键：

每一个Socket号必须配置以下参数:

SOCKET号：0-5可同时建立6种不同类型以太网连接，一种通讯类型只能建立一个SOCKET号，例如应用类型为PLC则0-5的SOCKET应用中只能有一个PLC的应用类型存在；

协议类型：指定机器人是做服务器还是客户端，服务器是被动连接，客户端是主动建立连接；

数据类型：也可以理解为数据格式，选择发送为HEX还是MODBUS等，根据实际应用选择。

（3）界面操作指引：

SOCKET、状态、应用类型等，可移动光标通过示教盒上的“选择”键进行选择设置。

数字输入：进入网络设置界面后，按“↑”“↓”方向键移动黄色光标，直接按示教盒上的数字键进行

数值输入，按下示教盒的“输入”键完成输入，使用示教盒上的“退格”键进行单数字删除。按示教盒上的“TAB”键，可切换光标到界面的“设置”和“退出”，所改参数必须“设置”后，系统重启才生效。

4.开启视觉

（1）打开菜单界面路径（需厂家模式）：主页面>系统设置>应用配置，开启调试模式，确认设置后，重启系统。

开启调试模式

（2）重启后，打开菜单界面路径：主页面>系统设置>应用配置，开启视觉2功能，并关闭调试模式，确认设置后，重启系统。

开启视觉2功能

（二）视觉系统网络通讯设置

1.EasyBuilder网络通讯设置

定位工具设定完成后，打开“配置结果”的“通信”项，点击“添加设备”，选择“其他”，选择“TCP/IP”协议。

TCP/IP设置

服务器主机名：中输入要与之建立连接的TCP/IP服务设备的名称，这里是机器人的IP地址。端口：TCP/IP服务器的端口号。输入的端口号也必须在服务器上分配，这里指的是机器人的端口号。

超时：在超时中止连接尝试之前等待TCP/IP建立连接的毫秒数（100到15000；默认=1000）。

切换至“格式化输出字符串”窗口，点击“格式化字符串”，打开“FormatString”设置窗口，先设置“开头文本”与“结尾文本”。

广州数控机器人接收视觉数据的数据类型为TCPString格式，故格式为：

headx,y,z,w,p,rend

其中，x,y,z,w,p,r为位置数据。

故在“FormatString”设置窗口，将“开头文件”设置为“head”，“结尾文本”设置为“end”，并使用“逗号”为分隔符。

点击“添加”，分别填加定位工具图案的X，Y，角度，表示定位结果的X,Y,角度分别发送至机器人的位置变量X，Y，W，其他机器人其他位置变量用0表示，可以添加一个值为0数字工具。

分别添加6个位置变量，最后点击“确定”。

2.电子表格网络通讯设置

切换至电子表格界面，选择表格一个空格，打开右侧的“选择板”，点击“函数”，打开“Input/Output”，选择“Networt”,添加“TCPDevice”函数。

设置HostName与Port，即机器人的IP地址与端口号，然后“确定”。

选择表格一个空格，打开“Text”，选择“String”，添加“FormatString”函数。

“FormatString”函数用于编辑字符的格式，设置基本上与EasyBuilder通信的字符格式一致，可参考上述内容。注意，这里添加的标签变量需要绝对应用电子表格“图案”的结果。

设置“WriteDevice”函数

WriteDevice(Event,Device,Data1,[Data2,...])

Event:指定触发函数的事件，默认绝对引用“AcquireImage”函数的单元格。

Device:指定对应写入的设备，默认绝对引用“TCPDevice”函数的单元格。

Data:指定发送的数据，这里需要绝对应用“FormatString”函数的单元格。

3、联机测试

在广数机器人上，创建以下网络测试程序：

说明：GETVISION2VR0，LAB0;指令，等待数据接收，若有数据则往下一行程序运行，若没有则跳至LAB0。程序结束后，可以查看VR0变量是否与发送的数据一致。

MAIN;

LAB0:

PULSEOT18，T0.3触发相机拍照

GETVISION2VR0，LAB0;接收视觉2数据，存在VR0

END;

将视觉系统置于“联机”模式，然后运行机器人程序。

查看VR0变量的路径：主页面>变量视觉>变量（VR0）>VR0，核对VR0的数据In-Sight浏览器上的结果是否一致。

（三）实训

根据上述操作步骤，完成机器人与视觉系统的网络通讯设置与调试，要求视觉检测的结果可以顺利发送至机器人VR0变量。

三、校准

目前，机器人与视觉系统通信完成，但是，视觉定位工具所测量的工件位置只是视觉系统下的像素X，Y值，机器人不能直接拿过来做矢量矫正。机器人需要实际空间上的位置数据，并不是位置的像素数据，为了解决这一问题，还需要完成机器人与视觉的校准工作，即机器人与相机建立空间上的对应关系。

视觉校准的方法很多，常用的与机器人校准方法是9点法校准，即机器人在视觉测量范围的空间上走9个点，分别记录这9点机器人的空间位置与相机的像素位置，然后建立机器人与相机的空间位置关系。机器人工装夹具可以夹着工件走9点，并相机可以能测量出工件的结果，这样能大大简化校准的流程。

机器人夹着工件，调整好姿态，走到相机测量范围的下方。

视觉定位工具训练训练当前模板

如果视觉引导机器人的场合仅应用于机器人在平面上的定位，选用2D的相机便可满足需求。目前，以机器人在平面上抓取象棋为例，可以不考虑角度因素，因此，在这里仅做X，Y的校准。切换至电子表格，建立相机X,Y与机器人X,Y的列表。

机器人携带工件走到一个合适的位置，触发相机拍照，在X,Y列表分别记录像素X,Y与机器人X,Y。

走9个位置，分别记录像素X,Y与机器人X,Y。

选择表格一个空格，打开“函数”，选择“CoordinateTransforms”，添加“CalibrateAdvanced”函数。

“CalibrateAdvanced”函数绝对引用9点的数据。

选择表格一个空格，添加“TransPixelToWorld”函数，用于校准后像素值转换至坐标值。

双击“Calib”按钮，绝对引用“CalibrateAdvanced”函数空格，“Point”则绝对引用定位工具测量结果。

“TransPixelToWorld”函数输出校准后机器人的位置X,Y。

实训

根据上述操作步骤，完成机器人与视觉系统的校准调试，要求视觉定位工具测量后，输出工件的机器人的位置数据。

一、机器人视觉指令编程

广数机器人有个视觉的应用有几种编程方式，以下介绍零位置偏移矫正的应用：设定工件的一个最优位置为零位置并记录该位置的信息，以后工