机器视觉技术与应用实战-金属工件单目3D定位引导案例

机器人3D视觉引导金属工件单目3D定位引导案例

机器人3D视觉引导，是通过处理点云数据，对工件进行定位，同时确定其位置（x、y、z、a）信息，引导机器人进行工作，实现了工业机器人自动化产线的真正柔性工装。应用场景主要有，散乱工件或者无序来料的定位抓取、堆叠产品的立体识别定位、3D定位码垛等。行业背景案例背景

为了解决客户对产品无需抓取的需求以及对不同精度和工作距离的需求，通过识别算法、高端精度自动化标定、抓取规划、轨迹规划，实现单目/双目/激光线扫/TOF等多场景应用。五金产品来料量大且来料不规范，多数是一整箱一整箱的产品无序堆叠在一起，在生产的过程中，必须要有人工进行物料的投放，这就造成了成本的增加。如果是规则堆放的物料，可以通过对一个机械手的路径进行示教后进行产品投放；如果产品是不规则的样品，这需要通过3D定位的方式去引导机械手进行产品投放。单目3D引导指用单个相机加上视觉算法来实现3D机械手的定位纠偏。视觉定位需求：（1）检测内容：定位视野范围内的所有刀片位置坐标（2）料框大小：100mm*80mm产品大小（30mm*30mm）（3）安装高度：≥250mm（4）精度要求：≤2mm（5）检测速度：1pcs/s（6）通讯方式：TCP/IP网络通讯技术优势：（1）替代人工测量高度差，避免其耗时长的缺点；视觉自动定位，耗时短、误判率低；（2）替代人工移动机械手实时查看高度位置校准精度差。金属工件单目3D定位引导案例硬件选型与安装

通过项目的检测需求和目前所有的产品检测参数进行匹配，选择的硬件参数能满足项目技术要求和成本最低的配套方案，3D传感器参数明细如表10.2所示。视觉器件的选择，主要看客户的视觉检测要求，特别是检测精度。3D传感器参数明细表产品型号VD300-10VD300-20VD300-30VD300-40相机分辨率1280128012801280Z方向重复精度（um)0.20.40.81.2X方向分辨率(mm)0.0095~0.0120.02-0.0230.043~0.0630.095~0.160安装净距离(mm)204080303测量范围Z(mm)14.53080282FOV_X(mm)12~1525~2955~80120~200外壳尺寸（mm)201x68x163235x68x137235x68x137325x68x135扫描速度(mm/s)10~100激光种类2M界面USB3.0输入微分编码器,激光安全启用，触发输出两路输出，RS-485串口输入电压DC+24V工作温度0~50摄氏度储存温度-30~70摄氏度软件配置独立GUI和SDK和实时可视化金属工件单目3D定位引导案例硬件选型与安装

（1）视觉控制器的选择：视觉控制器选择VDCPT-2,参数如第9章节表9.1所示。

（2）传感器的选择：因为客户对成本要求较低，精度较低，所以选择用单相机来实现产品的无序分拣功能。视觉理论精度为2mm/5=0.4mm/pix，相机分辨率最少要大于100mm/0.4mm/pix=250pix，并且视野范围必须要比产品范围要大，单目相机还存在Z方向的畸变；所以我们选择500万像素相机，分辨率为2592*1944pix，视野范围为：100mm*80mm，可以满足客户检测要求。

（3）镜头的选择：视场长度/芯片长度=工作距离/焦距来平衡计算，可以选择16mm焦距的镜头，满足视野范围和客户安装高度的要求。

（4）光源的选择：通过实际样品的打光测试后，背光源打光测试的效果稳定性最好，所以选择背光源。金属工件单目3D定位引导案例硬件选型与安装（5）安装示意图本项目案例的安装高度如下图。相机与光源的安装图金属工件单目3D定位引导案例软件应用（1）运行界面介绍初始打开VDRobotGuide(针对3D机械手引导而开发的专用软件)软件界面显示如图10.34所示：手动模式：用于模式切换，鼠标单击切换到自动模式。与机器人自动运行需切换到自动模式。坐标：显示定位到的坐标值X、Y、Z、A、B、C，未定位到显示定位失败。实时显示：勾选表示相机实时取图。更新图像：在不勾选实时显示时，手动点击更新图像可以刷新图像。定位：用于手动测试。添加图像：用于手动添加以前保存的图片（必须去除实时显示勾选）。软件初始界面图金属工件单目3D定位引导案例软件应用（2）相机标定标定前准备：准备一个标定板并保持平整，使标定板的高度与定位物体高度一致。机器人操作：机器人工具选择世界坐标系，移动到拍照位（LR3），把标定板移至视野范围的中间位置,再移动LR寄存器保存的点位dm1(LR20)位置。点击相机标定进入左图所示界面，点击添加后再点击取点。进入标定参数界面查看是否获取坐标信息成功，右图表示不成功。相机标定设置图标定参数界面设置图金属工件单目3D定位引导案例软件应用进入图像质量检测界面，通过调节标定板提取设定参数来使标定OK。打开未找到标定板界面显示如左图所示。可通过修改参数或者微移动机器人来找到标定板，找到界面显示如右图所示。滤波器尺寸：一般设置成3或5.图像质量检测界面设置图定位正常显示效果图金属工件单目3D定位引导案例软件应用MarkThresh:Mark点阈值。一般设置成112，可以适当的减小。MinMarkDiam:最小Mark点直径,默认5，可以适当减小为3。InitThresh:初始化阈值。MinThresh:最小阈值。Smoothing*100:平滑度，可以适当减小到80。MinCentLength:最小连续长度。MaxMarkDiam：最大Mark点直径。标定获取位置正确显示如上图10.39所示：机器人LR寄存器中保存了十四个点位为dm1-dm14，移动一个机器人点位，重复步骤3所示，分别获取完十四个点位信息并保持OK后，显示如下图所示。标定获取正确效果图机器人点位保存设置图金属工件单目3D定位引导案例软件应用选中image0行点击设置映射如左图，再点击标定完成标定，可以看到标定结果如右图。位置映射设置图标定结果设置图金属工件单目3D定位引导案例软件应用点击手眼标定界面中的标定如下图所示，可以通过标定结果的质量中的最大值来判断标定是否OK，一般越小越好，图中0.001。手眼标定详细参数设置图金属工件单目3D定位引导案例软件应用（3）定位工具点击定位工具如左图所示，进入定位工具界面，去除工件下面的螺丝，点击添加点击保存，保存一张图片做模板，再点击定位进入创建模板界面。加载刚保存的图片，点击清除模板，点击矩形1选中工件生成模板轮廓如右图所示。标定结果设置图模板添加设置图金属工件单目3D定位引导案例软件应用（3）定位工具点击圆形，选中（-），来删除中心多余的轮廓，再点击保存模板如左图所示。移动中间的矩形框到中心位置，如右图所示。模板保存设置图模板中心位置设置图金属工件单目3D定位引导案例软件应用（3）定位工具进入匹配界面点击模板查找，查看是否定位到，如果NG需重新做模板，OK则点击保存参数完成模板的创建如左图所示。手动测试：模板创建完成后点击运行界面的定位，可以手动测试定位结果如右图所示。模板定位结果判断确认图手动测试确认金属工件单目3D定位引导案例（4）数据结果通讯协议设定此功能是根据工位和通讯方式设定协议。设置界面如图所示：工位选择：选择在工位配置里已配置完成的工位。设备名称：选择在通讯配置里已配置完成的通讯。寄存器地址：华数机器人必须要有寄存器地址，如IR3，以“IR”开头。其它机器人品牌的寄存器地址不做要求。触发命令：任意给一个触发信号当做触发命令，把命令传递给机器人，已让机器人开始执行程序。通讯协议设置图金属工件单目3D定位引导案例（4）数据结果当工位选择，设备名称，寄存器地址，触发命令配置完成后，点击确定输入，左侧的输入配置则显示对应输入的信息：输出配置：根据输入的配置和完成视觉工具以后，按照需要输出即可，可任意在输出结果中添加所输出的信息，通常的结果显示有X1,Y1,R1,Name01,Count01值。X1表示图像X坐标，Y1表示图像Y坐标，R1表示图像中心点坐标，Name01表示工位名称，Count01表示输出数量。选中输出结果名称，点击“添加结果”，右侧输出配置就会显示所添加的信息。详情如下图所示：通讯参数设置与结果输出金属工件单目3D定位引导案例3D单目定位引导项目应用视频3D双目定位引导项目应用视频了解其他案例请扫码金属工件单目3D定位引导案例

本章小结

本章第一节主要介绍了机械手视觉引导的理论基础，深入的讲解了2D视觉与机械手的坐标变换，3D视觉与机械手的坐标变换。第二节与第三节分别分享了五金刀片的机械手引导案例与金