工业视觉系统编程及基础应用-项目13-任务2 深度学习基础应用

工业视觉系统编程及基础应用PROJECT项目090810111213项目8外围设备通讯与交互项目9锂电池检测项目10锂电池测量项目11锂电池识别项目12锂电池引导抓取项目13前沿技术基础应用TASK任务2、深度学习基础应用任务一、深度学习技术二、深度学习工具三、深度学习基础应用常用3D相机品牌有哪些？V+中，和3D相关的工具有哪些？课前回顾1、深度学习概念人工智能、机器学习和深度学习的关系

概括来说，人工智能、机器学习和深度学习覆盖的技术范畴是逐层递减的，三者的关系如下图所示。一、深度学习技术人工智能、机器学习和深度学习的关系1、深度学习概念人工智能（ArtificialIntelligence，AI）

是最宽泛的概念，是研究、开发用于模拟、延伸、扩展人的智能的理论、方法、技术及应用系统的一门技术科学，通过了解智能的实质，产生一种新的能以人类智能相似的方式做出反应的智能机器。机器学习（MachineLearning，ML）是当前比较有效的一种实现人工智能的方式，是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。深度学习（DeepLearning）是一种新的机器学习方法，它基于神经网络（NeuralNetworks）来处理和分析大量数据，是通过建立能模拟人脑进行分析学习的神经网络模型，计算观测数据的多层特征或表示。与传统的机器学习算法相比，深度学习具有更强的表达能力和更高的准确性，其在许多领域都有广泛的应用，如机器视觉、自然语言处理、语音识别、推荐系统、游戏AI等。随着计算能力的提高和大数据的普及，深度学习将进一步推动人工智能技术的发展。一、深度学习技术2、深度学习模型深度学习模型有很多种，常见的深度学习模型有卷积神经网络、循环神经网络、长短记忆网络、强化学习模型等。其中，卷积神经网络（ConvolutionalNeuralNetwork，简称CNN）主要用于模式分类、物体检测等计算机视觉任务。该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。CNN的核心思想是利用局部连接权值共享的方式来减少网络参数和计算量。与传统的神经网络相比，CNN可以更好地处理高维数据，并且具有平移不变性和局部相关性等特点。在传统的工业视觉任务中，算法的性能好坏很大程度上取决于是否能选择合适的特征，而这恰恰是最耗费时间和人力的，所以在图像、语言、视频处理中就显得更加困难。CNN可以做到从原始数据出发，避免前期的特征提取，在数据中找出规律，进而完成任务。一、深度学习技术2、深度学习模型卷积神经网络

卷积神经网络一般由输入层、隐含层、全连接层以及输出层组成，如下图所示。卷积神经网络典型结构一、深度学习技术2、深度学习模型卷积神经网络结构特点及作用

其中，输入层用于接受对应的输入图像数据；隐含层通常由若干卷积层和池化层连接而成，负责特征的提取和组合；提取的特征送入全连接层，并通过激活函数得到最终的输出层判别结果。值得注意的是，整个网络中每一层均由不同权重值的神经元构成，连接着前后层网络，起到正向传输预测值和反向调整权重参数的作用。卷积神经网络结构特点及作用如图所示。卷积神经网络作用及特点一、深度学习技术2、深度学习模型卷积层

在卷积层中，输入数据被滑动到一定大小的窗口内，然后与每个窗口内的所有卷积核进行卷积运算。由于卷积核的大小和数量可以根据具体任务进行调整，因此可以提取不同大小、不同形状的特征。这一层的主要目的就是将数据与权重矩阵（滤波器）进行线性乘积并输出特征图。池化层

在卷积神经网络中，池化层对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度。另一方面进行特征压缩，提取主要特征。采用池化层可以忽略目标的倾斜、旋转之类的相对位置的变化，以提高精度，同时降低了特征图的维度，并且在一定程度上可以避免过拟合。池化层通常非常简单，通常取最大值或平均值来创建自己的特征图，如右图所示。全连接层

在全连接层中，前面的卷积层和池化层提取出的特征图被展开成一维向量，并通过一系列全连接层进行分类或回归等任务。由于全连接层的参数数量非常大，因此可以使用反向传播算法进行训练。池化层一、深度学习技术3、深度学习框架深度学习框架是指通过高级编程接口为深度神经网络的设计、训练、验证提供的组件和构建模块。常用的深度学习框架有TensorFlow、PyTorch、Keras、Caffe、MXNet等。一、深度学习技术4、深度学习在工业视觉领域的应用案例工件颜色分类

在实际生产快速上下料分类的过程中，产品常常不能保持固定的位姿和角度，加之产品颜色的多样化，使其在同种同角度光源下，常存在不同视觉效果。传统的视觉方案常通过多种光源、多种角度进行拍摄，获取稳定的图片效果，但生产效率较低，且仍然存在一定几率的产品超出视野范围、图像模糊、过曝等情况，如下图所示。工件颜色分类图像一、深度学习技术4、深度学习在工业视觉领域的应用案例训练多姿态、多颜色、多种打光效果的图片，使用深度学习分类工具，即可正确区分颜色，并将颜色名称和得分情况显示在图片当中。工件颜色分类深度学习结果一、深度学习技术4、深度学习在工业视觉领域的应用案例柱状塞芯外观缺陷检测

柱状塞芯一般为柱状体，相机架设于产品柱状侧面，机构带动产品旋转一周取图，如下图所示。柱状塞芯外观缺陷检测图像一、深度学习技术（a）划伤1（b）划伤2（c）白斑1（d）白斑2（e）黑斑1（f）黑斑24、深度学习在工业视觉领域的应用案例产品本身体积较小，出现缺陷的位置、种类、图像效果都不一致，且有些缺陷并不明显，用传统视觉较难实现找出外观缺陷，此时需要用深度学习缺陷检测工具实现该项目功能，如下图所示。一、深度学习技术4、深度学习在工业视觉领域的应用案例模穴号字符识别

产品表面雕刻模穴号时，常常存在字体不同、凹凸状态不同、金属材质不同导致的图像效果差异大的问题。使用传统OCR工具进行识别时，需要人工训练大量的字符；而导入通用的OCR字符识别深度学习模型，即可快速识别不同场景不同字符，配置简单，准确性更高，如下图所示。（a）模穴号1（b）模穴号2（c）模穴号3（d）模穴号4一、深度学习技术TASK任务2、深度学习基础应用任务一、深度学习技术二、深度学习工具三、深度学习基础应用二、深度学习工具1、DCCKDeepLearning工具包DCCKDeepLearning工具包

DCCKDeepLearning工具包，是专为工厂自动化设计的深度学习视觉软件，其包含了用于对象和场景分类的Classify工具；用于缺陷探测和分割的Detection工具；用于文本和字符读取的OCR工具，如下图所示。本章节仅介绍DCCKOCRTool及其应用。DCCKDeepLearning工具包二、深度学习工具2、DCCKOCRTool的作用DCCKOCRTool提供了图形用户界面，包含预训练模型，无需训练即可快速识别字符文本并显示在图像中。该工具基本支持包含英文、数字和标点符号的全部场景的字符识别，如卷曲、折页、污损、亮度不同、凹凸不同等多种场景，遇到预训练模型识别不准确时，可以通过添加至训练集生成新模型。DCCKOCRTool默认输入为灰度图像，默认输出为识别的字符串文本，如下左图所示。其中，框选字符串的矩形框的高和宽可由外部进行输入，添加输入终端，如下右图所示。DCCKOCRTool默认输入输出DCCKOCRTool添加终端二、深度学习工具3、DCCKOCRTool的组成DCCKDeepLearning配置选项卡界面

用于加载模型及配置参数。模式：定位+识别：该模式需要先定位字符串位置，再进行识别识别：该模式无需定位，直接进行识别模型加载：字符标记矩形的最小/大允许高度，以像素为单位定位模型未加载：模式为“定位+识别”时，需要加载已训练的定位区域模型文件所在文件夹；模式为“识别”时，该按钮不存在识别模型未加载：加载已训练的识别模型文件所在文件夹；OCR训练模型基本为通用，可用于多种情况识别字符其他参数解释见“说明”选项卡界面。二、深度学习工具3、DCCKOCRTool的组成DCCKDeepLearning结果选项卡界面

用于显示识别字符串及分数。二、深度学习工具3、DCCKOCRTool的组成DCCKDeepLearning说明选项卡界面

用于显示配置页面参数说明。TASK任务2、深度学习基础应用任务一、深度学习技术二、深度学习工具三、深度学习基础应用1、新建解决方案，添加信号和取像三、深度学习基础应用新建“空白”解决方案，保存并命名为“项目14-任务2-深度学习基础应用-XXX”添加“内部触发”和“取像”工具，并相互链接2、配置“取像”工具三、深度学习基础应用双击打开“取像”工具：源：文件夹文件：本地文件夹“OCR图片”输出格式：ICogImage运行该工具，成功加载图像3、添加ToolBlock并输入图像三、深度学习基础应用添加“ToolBlock”工具，进行链接，并输入图像4、添加DCCKOCRTool三、深度学习基础应用打开“ToolBlock”工具栏，点击【

】，选择“DCCK”→“DeepLearning”，添加DCCKOCRTool，并链接输入图像“Input1”5、配置DCCKOCRTool1三、深度学习基础应用配置DCCKOCRTool1：1.Current.InputImage图像缓冲区：框选字符所在区域2.模式：识别6、加载识别模型三、深度学习基础应用3.点击【识别模型未加载】4.选择本地文件夹“OCR模型”，点击【确定】后，红底“识别模型未加载”自动变为绿底“识别模型已加载”7、查看深度学习识别字符结果三、深度学习基础应用运行工具，图像缓冲区切换至“LastRun.OutputImage”可查看字符识别效果，在“结果”选项卡下可查看结果字符和分数8、输出深度学习O