机器视觉技术与应用实战-基于深度学习的钢管缺陷检测案例

基于深度学习的钢管缺陷检测案例15.6.4基于深度学习的钢管缺陷检测案例1.应用案例背景：目前，我国有钢管企业3000多家，其中焊管2700多家、无缝钢管300多家，总产能超过1.1亿吨，其中无缝钢管约4500万吨，焊管约6500万吨。钢管具有空心截面，其长度远大于直径或周长的钢材。按截面形状分为圆形、方形、矩形和异形钢管;按材质分为碳素结构钢钢管、低合金结构钢钢管、合金钢钢管和复合钢管;按用途分为输送管道用、工程结构用、热工设备用、石油化工工业用、机械制造用、地质钻探用、高压设备用钢管等;按生产工艺分为无缝钢管和焊接钢管，其中无缝钢管又分热轧和冷轧(拔)两种，焊接钢管又分直缝焊接钢管和螺旋缝焊接钢管。钢管不仅用于输送流体和粉状固体、交换热能、制造机械零件和容器，它还是一种经济钢材。用钢管制造建筑结构网架、支柱和机械支架，可以减轻重量，节省金属20～40%，而且可实现工厂化机械化施工。用钢管制造公路桥梁不但可节省钢材、简化施工，而且可大大减少涂保护层的面积，节约投资和维护费用。对如此大产量的钢管，钢管缺陷外观检测和内部探伤检测是不可或缺的，钢管品质需要层层把控。钢管表面的凹、凸等变形（面积大于3mm×3mm、深度大于0.5mm，且深度变化比较缓慢的，即过渡比较平滑的这类），尺寸相对较大。缺陷类型主要如：外折【照相检查】、拉凹、拉丝（压条）。钢管沿纵向出现连续、断续或不规则形状的钢丝压入钢管外表面，当经过矫直工序后，钢丝脱落，能明显出现细但深的凹陷。（1）辊痕、压痕在钢管的外表面出现有规律性或无规律的疤痕或压印。（2）擦伤、划伤钢管表面的点状（多点分布）、片状或长条状掉肉、凹陷、螺旋形伤痕（且螺距较小）及其它有规律或无规律分布的沟痕；擦伤、划伤从区域可分为热态和冷态，热态划伤的划痕与管体呈一个颜色，冷态划伤的划痕呈银亮色。2.钢管外观缺陷检测需求：15.6.4基于深度学习的钢管缺陷检测案例2.钢管外观缺陷检测需求：（3）外径超差、椭圆度超差外径超差是指外径超出标准或协议规定偏差的上界限或下界限，超过上界限的称为外径超正（D+）、超过下界限的称为外径超负（D-）。钢管椭圆度超过标准或协议规定的要求即是椭圆度超差。（4）凹面、碰（压）扁凹面是钢管局部表面向内凹陷低于周围金属，管壁呈现外凹、里凸而无损伤现象；一般见于薄壁管。碰扁压扁与凹面类似，凹面中间位置明显低于正常的表面轮廓线但无低于周围金属的表现，这通常指在冷状态下造成的损伤。（5）重皮轧入钢管金属基体表面，通常仅一端与基体金属相连的极薄金属长条或片层，通常呈舌状或鱼鳞片翘起；或与钢管的本体没有连结，但粘合到表面易于脱落。15.6.4基于深度学习的钢管缺陷检测案例2.钢管外观缺陷检测需求：（6）螺旋道（7）钢管内、外表面的螺旋状凹凸，当钢管经过定（减）径后呈现出外表面光滑内表面凹凸。（8）弯曲钢管钢管端部呈鹅头弯曲。钢管沿轴线不直，其每米或全长弯曲度值超过标准者叫弯曲。钢管外表面的轴向不直程度称为弯曲度。15.6.4基于深度学习的钢管缺陷检测案例2.钢管外观缺陷检测需求：钢管缺陷种类较多，缺陷位置分布随机、结构繁杂、亮度/色度非均匀、纹理分布复杂，而且有表面高光反射现象，非缺陷区域同样具有分散、非规则纹理特点，经典特征分析难以涵盖这些缺陷的全部特征，因此钢管缺陷机器视觉检测是一个非常有挑战性的检测问题，特别适合基于大量训练样本的深度学习技术来解决。部分钢管缺陷图片15.6.4基于深度学习的钢管缺陷检测案例3.深度学习视觉实现过程及应用特点无需编写任何代码，极大降低了视觉集成商的门槛；快速的视觉方案原型验证，极大缩短了视觉项目集成及部署的时间周期；基于深度学习的算法，具有强大的检测能力和不同的产品迁移能力。15.6.4基于深度学习的钢管缺陷检测案例3.深度学习视觉实现过程及应用特点

基于深度学习模块的龙睿机器视觉系统实现过程如下：根据检测对象特点和检测指标要求进行硬件选型、图像采集装置结构设计和光源设计，视觉龙公司提供采集图像输入视觉主机、图采集系统与控制系统与视觉主机的接口电路等完备解决方案；在深度学习视觉主机上进行软件安装与端口配置；训练深度学习模型：包括训练样本和测试样本图像的准备，该深度学习模块包含目标定位功能、样本图像的标签标注功能，数据增强参数设定功能、模型自动训练功能、训练状态进度与性能指标实时显示功能、产生缺陷记录文件和输出控制信号等功能；进行深度学习模型的测试，算法性能达到要求后即可投入实时检测使用和后续处理；必要时，将实测过程中错误的正样本和负样本加入原来的训练样本数据集，重新重复训练过程。15.6.4基于深度学习的钢管缺陷检测案例4.硬件选型视觉器件的选择，主要看客户的视觉检测要求，特别是检测精度、速度和安装高度。（1）视觉控制器的选择：深度学习缺陷检测，对电脑配置要求较高，CPUINTELI7以上、内存8G以上、英伟达GPU16606G显卡以上基本就可以了。（2）相机的选择：检测精度3mm*3mm，目前视野范围最小是180mm*135mm。那么我们可以选择检测的实际视野范围为200mm*150mm，检测精度需要大于0.32mm，缺陷的检测精度为理论的检测精度上的10倍，所以我们选择30万像素CCD彩色相机，像素分辨率为640*480，理论检测精度=200÷640=0.3125mm/pix，满足客户检测精度要求。（3）镜头的选择：视场长度/图像传感器长度尺寸=工作距离/焦距来平衡计算，可以选择16mm焦距的镜头，满足视野范围和客户安装高度的要求。（4）光源的选择：直径290mm的白色环形光源2个。15.6.4基于深度学习的钢管缺陷检测案例4.硬件选型（5）硬件选型对应配置表名称型号数量备注龙睿智能相机深度学习视觉系统视觉控制器深度学习视觉主机1含工控机，加密狗30万像素相机VDC-C30-A120-E4含电源线、网线16mm焦距镜头VDLF-C-C1602D4含转接环模拟光源控制器VDLSC-DPS24-41

环形光源VDLS-Z-R290X45W2含延长线15.6.4基于深度学习的钢管缺陷检测案例4.硬件选型（6）安装示意图相机镜头光源安装位置图15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置（1）缺陷样本图像准备深度学习缺陷检测系统需要收集缺陷样本图像不低于10000张，训练样本量越大对训练模型的优化就越好，10000张样本中，90%是缺陷样本（即正样本），10%是正常样品（即正样本）；90%的缺陷样本里需要包含所有产品缺陷的种类。当样本收集完成后，算法内部会根据数据增强的参数（缩放、平移、旋转角度等）进行数据增强，以便获得足够多的训练样本，然后才开始模型训练。15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置（2）缺陷训练样本图像设置打开软件，新建缺陷样本工程。新建缺陷样本工程15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置（2）缺陷训练样本图像设置导入样本图像导入样本图像15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置（2）缺陷训练样本图像设置右键单击工程添加像素分割1应用，剪切样本图。剪切样本图像15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置（2）缺陷训练样本图像设置单击选中GT,新增缺陷类型，更改缺陷名字后提交进行缺陷标记训练。

准备标注样本图像15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置（2）缺陷训练样本图像设置选择图片上的缺陷进行标记训练，如下图，把缺陷部分标记成红色。

标注缺陷样本图像15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置（2）缺陷训练样本图像设置标记完所有图片后进行训练学习以及特征提取，训练的过程中需要等待PosAcc（目标的识别率。取值范围0-1。值越大，训练效果越好）&NegAcc（背景的识别率。值越大，训练效果越好）数值都在90%以上，才可以停止训练，不然特征提取的效果不明显。Loss是指衡量识别结果与标记之间的差距。值越小，训练效果越好。显示训练过程中性能评价指标与曲线15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置（2）缺陷训练样本图像设置停止训练后，检测程序会把训练的样本图片检测一遍，如下图。

训练后的模型在训练样本上的表现15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置（2）缺陷训练样本图像设置模型训练完成后，会产生一个在线缺陷检测的工程与配置文件，之后将该配置文件导入在线运行软件即可进行实时检测，设置检测完成后运行软件如下图.任务1主要用来做通讯，面阵相机的外部触发信号采集后执行任务2、3、4、5；任务2、3、4、5主要用于图像采集，缺陷检测、保存缺陷图像；任务6，汇总任务2、3、4、5检测的结果，如果检测到缺陷就输出信号，控制喷码机喷码进行标记。15.6.4基于深度学习的钢管缺陷检测案例龙睿智能相机深度学习检测

5.模型训练与控制软件配置(3)任务1软件设置面阵相机工具设置：硬件相机线材连接好之后，进行软件连接设定，打开面阵相机工具→单击配置参数→选择相机类型VDC→选择相机个数4个→自定义设置IP可以设置更改相机IP地址顺序。

15.6.4基于深度学习的钢管缺陷检测案例面阵相机工具设置窗口5.模型训练与控制软件配置(3)任务1软件设置16BitIO工具设置：硬件PCI的IO卡连接到相机主板上后，只需要把工具放置到任务1就可以激活IO通讯，如果需要输出，可以用输出IO工具进行调用输出，输入信号选择可以是上升沿/下降沿/低电平/高电平。输出信号选择可以是脉冲信号/高电平信号。16BitIO工具设置窗口15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置(3)任务1软件设置条件执行工具设置：双击打开条件执行，面阵相机取图完成信号1为真时，执行工具/任务2、3、4、5。条件执行工具设置窗口15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置(4)任务2软件设置图像采集工具设置：模拟现场检测的时候，启用仿真图像，调用离线图像进行检测；也可以启用相机在线检测，任务2启用相机在线→面阵相机一→执行→关闭即可调用相机实时采集图像进行检测。图像采集工具设置窗口15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置(4)任务2软件设置统计工具设置：统计工具主要用来计数，相机目前采集的次数做统计使用，用来计算一根钢管采集了多少次图像。单击添加，调用图像采集TO21的取图成功参数来作为一次计数，不断累加计数。

统计工具设置窗口15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置(4)任务2软件设置显示文本工具设置：选择输入采集图像，添加采集内容，双击进入采集内容进行内容设置，数据链接选择统计工具T022的ALL数量→设置→关闭→字体大小调节到到最大→设置→关闭就设置好了。图15.42显示文本工具设置窗口15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置(4)任务2软件设置深度学习工具设置：输入图像采集T021，加载之前训练好的钢管缺陷检测的工程文件（自然伤.proj），单击初始化等待初始化成功后→单击执行→关闭，就可以看到检测效果，深度学习运行设置完毕。深度学习工具设置窗口15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置(4)任务2软件设置图像保存工具设置：输入图像T021→状态选择1→保存OK/NG/结果图片，自定义设置保存路径→设置→保存，图像保存设置完成。

图像保存工具设置窗口15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置（5）任务3软件设置①任务3属性设置：触发执行→确定。②图像采集工具设置：模拟现场检测的时候，启用防真图像，调用离线图像进行检测；也可以启用相机在线检测，任务3启用相机在线→面阵相机二→执行→关闭即可调用相机实时采集图像进行检测。③统计工具设置：统计工具主要用来计数，相机目前采集的次数做统计使用，用来计算一根钢管采集了多少次图像。单击添加，调用图像采集TO31的取图成功参数来作为一次计数，不断累加计数。④显示文本工具设置：选择输入采集图像，添加采集内容，双击进入采集内容进行内容设置，数据链接选择统计工具T032的ALL数量→设置→关闭→字体大小调节到到最大→设置→关闭就设置好了。⑤深度学习工具设置：输入图像采集T031，加载之前训练好的钢管缺陷检测的工程文件（自然伤.proj），单击初始化等待初始化成功后→单击执行→关闭，就可以看到检测效果，深度学习运行设置完毕。⑥图像保存工具设置：输入图像T031→状态选择1→保存OK/NG/结果图片，自定义设置保存路径→设置→保存，图像保存设置完成。15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置（6）任务3软件设置①任务4属性设置：触发执行→确定。②图像采集工具设置：模拟现场检测的时候，启用防真图像，调用离线图像进行检测；也可以启用相机在线检测，任务3启用相机在线→面阵相机三→执行→关闭即可调用相机实时采集图像进行检测。③统计工具设置：统计工具主要用来计数，相机目前采集的次数做统计使用，用来计算一根钢管采集了多少次图像。单击添加，调用图像采集TO41的取图成功参数来作为一次计数，不断累加计数。④显示文本工具设置：选择输入采集图像，添加采集内容，双击进入采集内容进行内容设置，数据链接选择统计工具T042的ALL数量→设置→关闭→字体大小调节到到最大→设置→关闭就设置好了。⑤深度学习工具设置：输入图像采集T041，加载之前训练好的钢管缺陷检测的工程文件（自然伤.proj），单击初始化等待初始化成功后→单击执行→关闭，就可以看到检测效果，深度学习运行设置完毕。⑥图像保存工具设置：输入图像T041→状态选择1→保存OK/NG/结果图片，自定义设置保存路径→设置→保存，图像保存设置完成。15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置（7）任务5软件设置①任务5属性设置：触发执行→确定。②图像采集工具设置：模拟现场检测的时候，启用防真图像，调用离线图像进行检测；也可以启用相机在线检测，任务3启用相机在线→面阵相机四→执行→关闭即可调用相机实时采集图像进行检测。③统计工具设置：统计工具主要用来计数，相机目前采集的次数做统计使用，用来计算一根钢管采集了多少次图像。单击添加，调用图像采集TO51的取图成功参数来作为一次计数，不断累加计数。④显示文本工具设置：选择输入采集图像，添加采集内容，双击进入采集内容进行内容设置，数据链接选择统计工具T052的ALL数量→设置→关闭→字体大小调节到到最大→设置→关闭就设置好了。⑤深度学习工具设置：输入图像采集T051，加载之前训练好的钢管缺陷检测的工程文件（自然伤.proj），单击初始化等待初始化成功后→单击执行→关闭，就可以看到检测效果，深度学习运行设置完毕。⑥图像保存工具设置：输入图像T051→状态选择1→保存OK/NG/结果图片，自定义设置保存路径→设置→保存，图像保存设置完成。15.6.4基于深度学习的钢管缺陷检测案例5.模型训练与控制软件配置（8）任务6软件设置①任务6属性设置：协同执行，协同任务为2/3/4/5→确定，任务6的执行条件是任务2、3、4、5都执行完成。②评估工具设置：评估数值添加深度学习T025/T035/T045/T055工具，统一判断状态，只要有一个相机检测NG，那产品检测状态则为NG。任务6属性设置窗口15.6.4基于深度学习的钢管缺陷检测案例6.数据/信号输出输出IO工具设置：如果评估工具T061的状态为OK,则信号点0号端口有信号，如果T061的状态为NG，则信号点1号端口有信号。如果喷码