2022年山东省职业院校技能大赛机器视觉系统应用-书签检测、测量及分拣

2022年山东省职业院校技能大赛高职组“机器视觉系统应用”赛项注意事项一、本任务书共23页，包括附录七项（分别为视觉硬件及参数列表，相机的接线定义，分辨率及焦距计算公式，光源控制的接线说明，光源控制器通讯协议，旋转轴的安装及接线说明，相机、镜头、光源的选型计算报告）。如出现缺页、字迹不清等问题，请及时向裁判示意，进行任务书的更换。二、在完成工作任务的全过程中，严格遵守光学或电气组件的相关操作要求，接线前一定要看清引脚定义和电压要求。选手完成接线后，需先请示裁判后，经允许方可对设备上电。三、不得擅自更改设备已有器件的位置和线路。四、竞赛过程中，参赛选手认定竞赛设备的器件有故障，可提出更换，更换下的器件将由裁判组进行现场测试。若器件经现场测试是功能齐全，且没有故障的情况下，每次扣参赛队1分。若因人为操作损坏器件，酌情扣5-10分。五、所编的机器视觉程序必须保存到本机的“KImage\Product\场次号-赛位号”文件夹下，场次号-赛位号的命名参照：“第1场-1号赛位”，场次号和赛位号以现场抽签为准。六、参赛选手在完成工作任务的过程中，不得在任何地方标注学校名称、选手姓名等信息。七、比赛结束后，参赛选手需要将任务书以及现场发放的图纸、资料、草稿纸等材料一并上交，不得带离赛场。请按要求在4个小时内完成以下工作任务：一、根据本任务提供的视野大小要求、视野位置要求、工作距离要求、被测物的检测要求，从设备提供的所有机器视觉相机、镜头和光源中选择型号，完成选型并在合理的位置完成安装和接线。完成附录七-相机、镜头、光源的选型计算报告。二、根据任务书要求完成器件安装和调试。三、在开始配置测量流程前创建配置文件名称：“场次号-赛位号”。四、两位选手根据任务书中竞赛任务要求，分别完成书签检测及分拣编程与C#二次开发编程工作。注1：本次工作任务请在机器视觉应用设备上完成，比赛前要熟悉设备使用说明书和软件用户手册。操作过程中，须遵守安全操作规程和职业素养要求的相关规定。注2：考试过程中不允许带入U盘或其他可储存设备。注3：选手每完成部分编程应及时保存程序。

竞赛工作任务说明书一、平台硬件、软件组成说明竞赛任务平台的硬软件说明详见平台技术说明书及视觉软件使用说明。完成竞赛工作任务书所需的全部硬件，都包含在工作台所提供设备内，选手要使用的全部器件，只能在本工作台提供的设备内选择。（一）工控机设备中工控机已经提前预装比赛所需的软件和驱动均已经提前预装；另有一台客户端电脑，用于通讯接收数据及C#二次开发编程，其中安装有VS2015软件并提供了相应OpenCVSharp库。（二）视觉硬件1、相机可选择相机共四个，编号分别为相机A，相机B，相机C，3D相机，3D相机工作距离要求大于390mm，具体参数见附录一。2、镜头可选择的镜头共四个，编号分别为：12mm、25mm、35mm焦距的定焦镜头以及一个0.3X放大倍率的远心镜头，具体参数见附录一。3、光源可选择光源共五个，编号分别为：小号环形光源、中号环形光源、大号环形光源、同轴光源、背光光源。注意，三个环形可以组合成AOI光源。具体参数见附录一。4、标定板可选择的标定板图案有A、B两种，其中每个图案提供透明和漫射材质各一面。依据相机视野范围选择合适尺寸的标定板，具体参数见附录一；依据检测需求选择标定方式，选择标定板；（三）线缆相机线缆（共7根）：相机线缆：2D相机USB数据线一根、3D相机数据线一根、GigE电源线（含触发和输出信号）一根、千兆网相机通讯线一根（带锁）、网络通讯线一根（3米扁线）、光源延长线一根、一根3D相机电源线；（注意：RS232通讯线默认已经与PC连接）。（四）运动控制硬件PLC：控制运动平台运动，控制光源亮灭；运动平台：X轴、Y轴、Z轴、θ轴。（注意：旋转轴θ是扩展轴，未安装前放在机器视觉工具箱中，其接线定义见附录七）。气动硬件提供三种吸嘴，规格为：SP-06、SP-08、SP-10，选手根据检测对象正确选择吸嘴。二、软件功能及编程说明在视觉编程软件中，请参赛选手采用图形化编程软件，需要选手根据检测要求完成软件流程的设计。图形化编程首先需要根据需求完成工具的选择，其编程方式如下图所示，为了使编程配置相对简洁，下图中采用了子模块、工具组模块多模块组合的配置方法，具体软件配置方法详见《视觉软件使用手册》（流程示意图图1仅说明视觉软件的流程设计编程方式，与本任务书具体任务无直接关系）。图1软件编程配置示意图软件主要工具列表：编程方式图形化界面编程/代码编程软件特点支持多用户模式、工具组软件功能有无/正反检测、颜色/位置判断、定位、2D尺寸测量、ID识别、字符识别定位功能模式匹配、特征匹配、圆查找、Blob、卡尺工具、边缘查找、边缘交点等测量工具点线测量、线圆测量、线线测量、圆拟合、直线拟合、像素统计、直方图工具、组合工具等标定工具点阵标定、N点标定、棋盘标定等对位工具单相机及多相机对位，支持XYθ、XYY、UVW、SCARA等多种平台类型图像处理工具转灰度图、图形计算、通道分离、颜色提取、颜色分离、图像拼接、图像预处理、形态学、阈值化等逻辑工具条件检测、格式化、字符比较、点集、耗时统计等识别工具OCR、条码识别、二维码识别等通讯方式Modbus、TCP/IP、RS232/485、4G/5G模块等三维工具点云处理、3D坐标转换、3D手眼标定、表面拟合、3D坐标获取、体积测量等三、标定说明及运动位置校准图2标定板器件箱提供的两种标定板如图2所示，选手应选择合适的标定工具，进行标定，并得出X、Y方向的像素当量。若有分拣任务，应进行手眼标定，以统一设备坐标系统与相机坐标系统。

竞赛任务说明一、样品说明1、盖子8个，36mm长x26mm宽x9mm高的厚盖4个、36mm长x26mm宽x5mm高的薄盖4个，盖子上均覆盖有条码，条码内容为数字；图3盖子2、书签8个，尺寸为31mmx17mm（3个合格品，3个瑕疵品）；注意：书签表面有二维码，盖子分拣完后，必须先读码后方能进行标签的检测、测量及分拣任务。无瑕疵书签无瑕疵书签瑕疵书签图4书签示意图3、治具规格：200mmx120mm；图5治具样式二、盖子分拣、书签检测及分拣任务书签初始位置说明：任务开始前，由参赛选手将六个书签放置在裁判指定的任意八个位置（裁判在检测区八个位置中随机选择六个）；书签初始摆放区域书签初始摆放区域图6书签初始摆放区域示意图盖子初始位置说明：由参赛选手将六个书签放置在裁判指定的任意位置（裁判在检测区八个位置中随机选择N个，数量少于八个时，盖子将有堆叠状态），如图7所示仅为参考示意图；图7盖子初始位置参考示意图（一）盖子分拣任务初始状态下将有八个盖子，盖在书签的上方（盖子可能有重叠的情况，即，某个书签上可能覆盖有多个盖子，如图7所示非重叠状态摆放仅为参考示意图）；要求按照条码内容移走及摆放盖子，条码内容为奇数时，分拣至1条杠指示的位置1范围内；条码内容为偶数时，分拣至2条杠指示的位置2范围内；分拣流程开始前和结束后，XY轴坐标系应归零。位置位置1位置2

图8盖子分拣及摆放（二）书签读码、测量、检测及分拣任务要求所选用相机能识别书签颜色，选择镜头使相机成像视野为14mm*18mm（允许5%的视野范围偏差），所选择光源应使书签成像具有较高对比度。1.读码任务要求使用二维码识别工具对所有书签上的二维码进行信息读取后方能进行后续任务，码信息内容为十位字符，如DH0802KM25、DH0802KM88；所有未读码书签的测量、检测及分拣流程视为无效流程。2.测量任务每个书签的线夹角、点线距、线间距、线交点、点间距及书签中心坐标，如图9所示。其中A、B、C为线间距，D、E为夹角，F为点线间距；6个书签的A/B/C/D/E/F各项测量结果求平均并生成数据报表并保存到：C:\山东省职业院校技能大赛\书签测量数据.csv；3.检测及分拣任务合格品书签要求尺寸符合标准，表面不得有瑕疵；因生产工艺问题，书签表面可能出现孔洞、划痕、缺口等不良瑕疵，若有瑕疵的书签即为残次品。要求根据分拣出书签中的合格品和瑕疵品，合格品应放置在合格品区，瑕疵品放在瑕疵品区，合格品区及瑕疵品区的划分如图10所示。残次品书签图片保存到“C:\山东省职业院校技能大赛\书签残次品”文件中，图片名称为其瑕疵种类，如划痕、孔洞、缺口等。FFABCDE图9书签测量任务

合格品区瑕疵品区图10书签分拣区域示意图（三）警示灯控制和界面显示任务1.警示灯控制要求（1）盖子分拣流程中红色报警灯点亮，流程结束后红色报警灯熄灭；（2）书签拍照流程中绿色报警灯点亮，检测完成后绿色报警灯熄灭；（3）书签分拣过程中红色报警灯点亮，分拣流程结束后红色报警灯熄灭；2.七个界面窗口显示要求（1）窗口一到窗口八分别其拼接完整的书签图片（若该拍照位存在书签，则显示拼接完整的书签图片；若该拍照位不存在书签，则不显示图片），界面上显示二维码信息，A距离、B距离、C距离、D角度、E角度、F距离，瑕疵品显示其瑕疵区域轮廓；合格品显示OK，不合格品显示NG；（2）窗口九显示3D点云处理完成后的点云图；图11显示界面示意图（四）客户端数据接收显示及C#编程任务1.客户端数据接收与显示任务使用客户端软件KImageClient接收任意一个合格品书签图片（如图12所示），并接收6个书签A/B/C/D/E/F各项测量平均值并实时显示在结果数据栏（如图13所示）。图12传输图片图12客户端数据显示2.客户端电脑C#代码编程任务使用MicrosoftVisualStudio2015软件新建工程文件，调用OpenCVSharp图像库的算法，在新建工程文件中的函数体内封装书签定位测量工具图像处理算法，并将其封装为KImage能调用的.dll文件，并生成到客户端软件所在目录下的“ToolGroup\场次号-工位号”文件夹里，具体要求如下：（1）书签定位测量工具名称定义为“KBookMark”，在书签定位测量工具中要求实现找线算法，该工具使用找线算法进行线定位，并求出线交点和点线距离。书签定位测量算法的参考思路为：输入图像—生成三个矩形ROI—在矩形ROI内查找线—求出两条线的交点及线交点与第三条线的点线距离。（2）书签定位测量工具中含有A按钮，点击A按钮添加一个蓝色矩形ROI，鼠标可以拖动调整矩形ROI。（3）书签定位测量工具中含有B按钮，点击B按钮添加一个蓝色矩形ROI，鼠标可以拖动调整矩形ROI。（4）书签定位测量工具中含有C按钮，点击C按钮添加一个蓝色矩形ROI，鼠标可以拖动调整矩形ROI。（5）书签定位测量工具中含有Run按钮，点击Run按钮在窗口显示三个ROI区域局部阈值分割的结果图像，在图像中显示在三个ROI区域查找到的三条线的绿色ROI轮廓、第一条直线和第二条直线的线交点的绿色十字ROI、线交点与第三条直线的距离线的绿色ROI轮廓，算子的找线算法执行结果如图13所示。图13算法执行显示图（6）点击Run按钮，可在“书签定位测量工具”中的输出参数中显示LinePts0(第一条线线坐标)、LinePts1(第二条线线坐标)、LinePts2(第三条线线坐标)、LinePts3(线交点与第三条线的距离线的线坐标)、Dis(线交点与第三条线的点线距离)。图14输出参数示例图五、附件附录一、视觉硬件及参数列表工业相机类别编号分辨率帧率FPS颜色芯片大小像元尺寸接口2D相机相机A1280x960>90黑白>1/3”4.0umUSB3.02D相机相机B2448x2048>20黑白2/3”3.45umGigE2D相机相机C2592x1944>10彩色1/2.5”2.2umGigE3D相机3D相机1920x1080x2>10///USB3.0工业镜头类别编号支持分辨率（优于）焦距/倍率最大光圈工作距离支持芯片大小工业镜头12mm镜头500万像素12mmF2.0>100mm2/3”工业镜头25mm镜头500万像素25mmF2.0>200mm2/3”工业镜头35mm镜头500万像素35mmF2.0>200mm2/3”远心镜头远心镜头500万像素0.3XF5.4110mm2/3”镜头接圈包括0.5mm、1mm、2mm、5mm、10mm、20mm、40mm一组LED光源类别编号主要参数颜色备注环形光源小号环形光源直射环形，发光面外径80mm，内径40mmRGB三者可以合并成AOI光源环形光源中号环形光源45度环形，发光面外径120mm，内径80mmG环形光源大号环形光源低角度环形，发光面外径155mm，内径120mmB同轴光源同轴光源发光面积60x60mmRGB背光源背光源发光面积169x145mmW注：R=红色、G=绿色、B=蓝色、W=白色标定板类别外框尺寸mm圆/格间距mm外圆环直径mm内圆环直径mm精度mm标定板A100x1002053±0.0150x50102.51.5±0.0120x20410.6±0.01类别外框尺寸mm方格边长mm方格数量精度mm标定板B180x1201511x7±0.01附录二、相机的接线定义一、USB3.0相机（注意USB3.0通过USB线供电，不要另外插电源，否则会烧相机）二、GigE相机附录三、分辨率及焦距计算公式简单视觉系统的计算，主要包括视场（FOV）、分辨率（Resolution）、工作距离（WD）和景深（DOF）等。分辨率我们通常指的是像素分辨率，（默认选用的镜头分辨率高于相机的分辨率）。因此分辨率就等于视野FOV/相机的像素数，假如我们FOV尺寸是16mmx12mm，选用的相机是200万像素（1600x1200），那么像素分辨率就是16mm/1600or12mm/1200=0.01mm。下表分别是我们是的英制的芯片尺寸，真实的芯片大小和焦距的计算公式。

附录四、光源控制的接线说明硬件触发：用户可以通过PLC、相机的输出外部触发信号来控制每一路输出的开关。需要外部触发功能时需将外部触发信号线连接到“REMO”端子上。触发信号高电平时打开，低电平时关闭。软件触发：用户也可用软件实现触发功能，即使用串口对各输出通道进行控制，使各输出通道按照预先的设置打开或关闭其输出。REMO端子引脚号信号名称信号定义1TR1＋1通道触发信号＋2TR1-1通道触发信号－3TR2＋2通道触发信号＋4TR2-2通道触发信号－5TR3＋3通道触发信号＋6TR3-3通道触发信号－7TR4＋4通道触发信号＋8TR4-4通道触发信号－附录五、光源控制器通讯协议硬件规范波特率：9600bps每帧字节数：8字节每帧数据格式1字节1字节1字节3字节2字节特征字指令字通道字数据异或和校验字注:所有通讯字节都采用ASCII码特征字＝$指令字＝1，2，3，4，分别定义为：1：打开对应通道电源2：关闭对应通道电源3：设置对应通道电源参数4：读出对应通道电源参数当指令字为1，2，3时，如控制器接收指令成功，则返回特征字$；如控制器接收指令失败，则返回&。当指令字为4时，如控制器接收指令成功，则返回对应通道的电源设置参数（返回格式跟发送格式相同）；如控制器接收指令失败，则返回&。通道字＝1，2，3，4。分别代表4个通道。数据＝0XX（XX为00～FF内的任一数值），对应通道电源的设置参数，高位在前，低位在后。异或和校验字＝除校验字外的字节（包括：特征字，指令字，通道字和数据）的异或校验和，校验和的高4位ASCII码在前，低4位ASCII码在后。例：将第2通道亮度设为56，则以ASCII码向下写“$320381E”$$320381E异或和校验字亮度值，数据字节为038，以十六进制表示通道值指令字，3表示为亮度设置特征字异或校验字运算过程如下：字符串ASCII码ASCII码以十六进制表示将高4位和低4位分别以8421码表示特征字$362400100100指令字3513300110011通道字2503200110010数据0483000110000351330011001185623800111000异或和00011110异或校验字1E注：打开对应通道电源、关闭对