2022年AI工业视觉解决方案白皮书-2023.11

2022AI工业视觉解决方案白皮书AI

INDUSTRIAL

VISIONSOLUTIONS·2022Microvision.Allrightsreserved.COPYRIGHT版权声明本白皮书出品方为维视智造科技股份有限公司，版权受法律保护。转载、摘编或利用其他方式使用本白皮书文字或者观点，应注明“来源”：“维视智造科技股份有限公司”。违反上述声明者，出品方将追究其相关法律责任。CONTENTS目录工业视觉技术发展趋势1.1

工业视觉技术概述1.2

工业视觉典型应用场景1.3

工业视觉面临的挑战及发展趋势050607深度学习技术发展趋势2.1

深度学习技术概述2.2

工业视觉深度学习技术发展趋势1012AI工业视觉落地痛点及关键技术3.1

AI工业视觉落地痛点1818181819202020213.1.1

额外的硬件3.1.2

发热量和功耗3.1.3

大量的训练数据3.1.4

大量的人工标注工作3.2

AI工业视觉落地关键技术解析3.2.1

基于CPU进行训练及推理3.2.2

缺陷检测深度学习过滤及图像自动采集标注技术3.2.3

小样本训练及神经网络模型再训练技术AI工业视觉解决方案4.1

AI工业视觉解决方案架构及组成2424252627272832333434434748574.1.1

基于本地算力的AI工业视觉解决方案4.1.2

基于边缘侧的AI工业视觉解决方案4.1.3

基于5G+云端的AI工业视觉解决方案4.2

AI工业视觉解决方案实施流程4.2.1

数据收集4.2.2

分类及数据标记4.2.3

模型训练4.2.4

在线推理及优化4.3

AI工业视觉解决方案典型应用场景4.3.1

缺陷检测4.3.2

图像分类4.3.3

字符识别4.3.4

深度学习与传统算法的融合4.4

AI工业视觉解决方案发展前景预测工业视觉技术发展趋势AI工业视觉解决方案白皮书1.1工业视觉技术概述工业视觉也称机器视觉，是人工智能正在快速发展的一个分支，是在工业上为自动检查、过程控制和机器人引导等应用提供基于图像的自动检查和分析的技术及方法。机器视觉系统是通过机器视觉产品（CMOS

和CCD）将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号;

图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。如果我们将1969年CCD芯片的产生作为机器视觉技术的起点，该项技术的发展已经有半个世纪的历史，经过长时间的发展，机器视觉技术日益取得重大突破和广泛应用，当前已经遍布工业生产的各个环节，在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现自动化集成，软件集成，是实现智能制造的基础技术。根据不完全统计，目前广泛应用工业视觉的工业生产行业包括：半导体、电子、汽车、光伏、能源、交通、印刷、食品、医药、物流、轻工等。中国的机器视觉市场需求近几年处于持续高速增长阶段，年复合增长率保持在23%。截至2021年，国内机器视觉市场规模达163.8亿元。5AI工业视觉解决方案白皮书1.2工业视觉典型应用场景机器视觉在工业领域应用广泛，按功能和场景主要分为四大类：识别、定位、测量、检测。识别包括有无、颜色和条码/二维码识别，主要通过甄别目标物体的物体特征来进行判定，在工业应用场景中占比约24%。定位功能是在识别出物体的基础上，经过测量准确的给出目标物体的坐标位置，制造业自动生产装配过程中，机器人需要知道来料的位置，才能完成后续的加工、装配、搬运等一系列动作。在工业应用场景中，定位需求占比约为16%。测量泛指利用被测物体特征进行全局或局部尺寸数据获取的应用，包括：长度、平行度、角度、圆弧长、圆直径、半径、点到线的距离、点点距离等等，尺寸测量既可以用于产品生产过程中的尺寸数据管控，也可以用于数据的获取，在工业应用场景中占比约为10%。检测指的是对目标物体表面的缺陷进行检出。产品生产制造过程中产生的表面缺陷会影响其性能及客户体验，传统人工检测的方法需要耗费大量的人力，且无法满足现代生产工艺和节奏的要求，利用机器视觉的方法进行智能化检测可以有效的解决这一问题，同时节省成本、提高产能。因此，表面缺陷检测是机器视觉最重要的应用方向之一，在整个工业应用场景中占比约为50%。6AI工业视觉解决方案白皮书1.3工业视觉面临的挑战及发展趋势总体来说，工业视觉在定位、测量、识别、检测等各个方向上的应用都面临着精度越来越高、速度越来越快、准确率要求越来越高的挑战。这其中的部分问题随时硬件水平的提高得到了有效的解决，比如采集硬件的分辨率、传输带宽、运算效率方面，但是也有一部分问题，需要长周期的实践和迭代升级才有解决的可能，这其中的典型代表，就是复杂场景下的缺陷检测。以下是几类传统算法难以解决的机器视觉代表性场景：1.缺陷检测2.特征分割OKNG难点：缺陷特征被随机的螺牙背景干扰，难以独立分割出缺陷区域难点：缺陷区域呈现随机灰度等级的黑色或白色，难以提取全部缺陷区域3.特征定位4.产品分类好烂难点：待定位的特征呈现相对随机的轮廓，无法以特定模板匹配难点：不同类别的枣无任何归一的特征规律，无法基于特征参数区分7AI工业视觉解决方案白皮书此类问题在工业现场是普遍存在且用户需求迫切希望得到解决的，这为工业视觉的算法发展提出了新的挑战。同时，如果这些问题得到解决，那么工业视觉的应用边界，将会得到极大的拓展，由原来只能在产品标准化、一致性极高的场景，变成几乎可以替代人眼进行任意场景下的视觉检测应用，而且不止是工业生产方面，在农业、民用等领域也可以取得良好的应用效果。解决这一问题的最核心关键点，就是深度学习技术的发展和应用。8深度学习技术发展趋势AI工业视觉解决方案白皮书2

.1深度学习技术概述深度学习是机器学习中一种基于对数据进行表征学习的方法。在给予它一组输入后，它使我们能够训练AI来预测结果。其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像、声音和文本。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。区别于传统的浅层学习，深度学习的不同在于：(1)强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；(2)明确了特征学习的重要性。也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据丰富的内在信息。10AI工业视觉解决方案白皮书(3)通过设计建立适量的神经元计算节点和多层运算层次结构，选择合适的输入层和输出层，通过网络的学习和调优，建立起从输入到输出的函数关系，虽然不能100%找到输入与输出的函数关系，但是可以尽可能的逼近现实的关联关系。使用训练成功的网络模型，就可以实现我们对复杂事务处理的自动化要求。典型的深度学习模型有卷积神经网络(

convolutional

neural

network)、DBN和堆栈自编码网络(stackedauto-encodernetwork)模型等。11AI工业视觉解决方案白皮书2

.2工业视觉深度学习技术发展趋势在工业视觉方面，深度学习的典型应用领域是异常检测、图像分类、缺陷检测和物体定位。与传统的机器视觉方法相比，深度学习神经网络适应性更好，通用性更广。1.异常检测

:

是指将整个图像划分为“好”或“坏”，例如药片的好坏，是对图像整体的属性进行判断。2.图像分类

:

是指将整个图像划分为已定义的类型，例如对仅包含单个物体的图像进行类型分类。例如，猫狗分类，或者同一种产品的不同状态进行分类。12AI工业视觉解决方案白皮书3.缺陷检测

:

也称像素分割缺陷检测，是指逐像素进行分割，在图像中判断是否存在局部区域的缺陷，是工业场景中进行质量检查最典型的应用之一。13AI工业视觉解决方案白皮书4.物体定位

:

指的是确认某项固定或类似特征在图像中的位置，例如我们经常用到的人脸识别。14AI工业视觉解决方案白皮书深度学习和传统机器视觉方法的差异主要在于，传统机器学习的步骤是人工分析图片的特征，通过图像算法提取特征，然后通过特征的数值来区分物品。在分析的时候不需要大量的图片，只需要几种分类的典型图片，和类别之间的临界图片。人工分析在整个过程当中起到了主导的作用。而深度学习的步骤是采集大量图片，标注图片，把图片放进网络训练，查看训练结果，调节参数和网络结构，再次训练，得到最好的结果。深度学习在标注和训练的时候不需要专业，网络会自动提取和筛选特征，规划分割阈值。只是在调整参数和网络结构时需要专业工程师，但是在一些项目中可以不用调整参数和网络结构，通过调整数据来解决准确性问题。机器学习特征提取分类深度学习特征提取+分类15AI工业视觉解决方案白皮书其次，当检测不同的物体和特征时，深度学习方法的优势是能够检测以不同形式出现的物体或特征，例如表面划痕、不同形状的天然产品或手写字迹。例如在异常检测中，只需使用完美无瑕的物体图像来训练神经网络，即可识别物体在使用过程中造成的损坏。再次，经过适当训练的神经网络可以很好地识别出变量环境（如变化的背景、不同的分辨率或光源条件）中的物体，无需针对每个可能的特性进行专门训练。但是需要大量的图片数据。当然，深度学习工业视觉的实施也需要具备一定的条件和成本。在硬件配置方面，通常需要增加额外的GPU作为算力支撑，在实施方面，需要准备大量的训练样本数据，大量的人工标注工作量等，但是，考虑到期在识别能力上，算法的适应力上和特征提取和分类的流程上的优势，随着市场需求、行业技术水平的发展，硬件性能提升，成本有所下降之后，深度学习在工业视觉的应用一定会更加的普及。16AI工业视觉落地痛点及发展趋势AI工业视觉解决方案白皮书3

.1AI工业视觉落地痛点与传统方法相比，为了在应用中充分发挥纯深度学习方法的优势，往往需要对使用的硬件进行额外投资，并需要大量的示例图像来训练神经网络。3.1.1

额外的硬件深度学习架构复杂精巧、功能强大，其突出特点在于它是由大量的神经网络层构成。因此，运行深度学习的应用程序需要用到大量的内存和计算能力。通常只有将计算任务转移到额外的处理器（如GPU显卡）上同时执行计算，才能在可接受的短时间内完成处理工作。在目前的市场条件下，增加GPU显卡对于很多用户来说是一项不小的成本开支。3.1.2

发热量和功耗大型神经网络对计算能力的要求较高，因此增加了应用的功耗，并相应地增加了发热量。这尤其会对嵌入式系统造成问题，因为通常需要对嵌入式系统的低功耗和热管理方面进行优化。3.1.3

大量的训练数据要想可靠地识别物体，首先需要大量的训练图像，这些图像会描述和标记所有物体和属性，以便让系统能在尽可能多的不同变量和环境中完成识别。用于训练的不同图像数据量越多，深度学习网络就越容易学会如何识别物体。在开发机器视觉应用时，要获取成百上千幅所需的图像往往是一项艰巨的任务。更多的时候，工厂可能根本就不具备条件产生足够多的训练样本，尤其是负样本。18AI工业视觉解决方案白皮书3.1.4

大量的人工标注工作获取到的大量数据是不能立即使用的，需要人给这些数据进行标注，对于图像分割，需要精准的标准图像中要分割的区域，这样才能在推理图片的时候得到精准的区域。这些标注工作都只能是人工手动完成，所以在数据大的时候，还需要检测是否有标注错误的问题。上述几个应用的条件正是深度学习工业视觉项目落地的阻碍，也是用户的痛点，相对的，在技术上能够解决这些痛点的算法，将能够得到更好的推广和应用。额外的硬件：思路之一是实现基于平价的CPU进行训练和推理。发热量和功耗：思路之一能将深度学习与传统算法进行深度融合，采用传统算法解决一部分问题后交接给深度学习处理。大量的训练数据：行业内通用的解决方案是采用小样本训练，然后在推理过程中不断迭代。大量的人工标注：自动标注工具的研发将有助于该问题的解决和落地。19AI工业视觉解决方案白皮书3.

2AI工业视觉落地关键技术解析对应3.1提出的用户痛点问题及解决思路，结合实际落地的项目经验，目前AI工业视觉落地的关键技术包括如下几个方面：3.2.1

基于CPU进行训练及推理深度学习算法对计算资源的需求是确定的，如何提高深度学习应用部署效率，降低运行成本，帮助算法及业务团队快速落地应用和服务，让

AI

发挥真正的生产力，是深度学习算法平台努力的目标

。由于工业领域深度学习应用的特殊性，可以把训练与推理分开实施，模型训练完毕后的运行机往往装在设备上交付给终端用户，不再需要大规模的持续训练和升级，这就使得深度学习在CPU上运行具备了基础条件。由于大量的算法训练及推理服务需求，使用

CPU

进行的推理服务常常由于性能问题，无法满足服务指标。然而通过提升推理服务在CPU上的性能，可以帮助实现GPU迁移到CPU上的目的。目前在Intel的处理器上使用OpenVINO，在Arm的处理器上使用NCNN/MNN等，在Nvidia

GPU上使用TensorRT均可以大幅提升深度学习推理的效率，使用CPU进行推理的设想得以实现，并且变成了各大厂家角逐的关键技术点之一。3.2.2

缺陷检测深度学习过滤及图像自动采集标注技术针对一些代表性的场景如特征明显但存在异物干扰的情况，使用传统算法唯一的问题是会造成一定程度的过杀，但是其实施效率高、消耗的算力和功耗少，是深度学习无法比拟的优势。在这种场景下，使用传统算法进行过杀，然后对NG的图片进行深度学习标注和训练，将传统算法与深度学习有机的结合在一起，可以实现事半功倍的效果称之为缺陷检测深度学习过滤技术。此外，传统软件和深度学习的结合还可以用于图20AI工业视觉解决方案白皮书像的自动采集、自动标注等方向，为深度学习的实施提供了更好的落地条件。案例：键盘表面缺陷，会有毛发、指纹、灰尘等异物干扰3.2.3

小样本训练及神经网络模型再训练技术目前大部分的深度学习模型，都是监督学习的方式进行的，需要海量的数据支持。而现实生产环境中，数据集通常较小，只有几万甚至几百个样本。此时，通常我们采用以下两种技术进行解决。第一：利用预训练模型进行迁移微调（fine-tuning），预训练模型通常在特征上拥有很好的语义表达。此时，只需将模型在小数据集上进行微调就能取得不错的效果。这也是目前大部分小数据集常用的训练方式。视觉领域内，通常会ImageNet上训练完成的模型。第二：单样本或者小样本学习（one-shot，few-shot

learning），这种方式适用于样本类别远远大于样本数量的情况等极端数据集。例如有1000个类别，每个类别只提供1-5个样本。少样本学习同样也需要借助预训练模型，但有别于微调的点在于，微调通常仍然在学习不同类别的语义，而少样本学习通常需要学习样本之间的距离度量。例21AI工业视觉解决方案白皮书如孪生网络（Siamese

Neural

Networks）就是通过训练两个同种结构的网络来判别输入的两张图片是否属于同一类。

以上两种是常用训练小样本数据集的方式。此外，也有些常用的方式：数据集增强、正则或者半监督学习等方式来解决小样本数据集的训练问题。此外，也有深度学习厂家研发了一些帮助用户进行样本图片生成的工具，可以将收集到的少量NG图片进行算法加工，生成近似真实的样本图片用于深度学习训练。22AI工业视觉解决方案AI工业视觉解决方案白皮书4.1AI工业视觉解决方案架构及组成4.1.1

基于本地算力的AI工业视觉解决方案典型的基于本地算力的AI工业视觉解决方案可以理解为在传统工业视觉系统的基础之上，增加深度学习训练机以及深度学习算法软件，具体来说，由如上图所示的几部分组成：1、图像采集部分：通常由一套或者多套这样的成像系统组成，包括工业相机、工业镜头等。成像系统包含的部件种类繁多，需要根据应用需求进行选择；2、照明光源：光源是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果；3、控制单元：控制单元一般包含光电传感器、I/O、运动控制、电平转化单元等，用以判断被测对象的位置和状态，

告知图像传感器进行正确的采集或根据图像处理结果完成对生产过程的控制；24AI工业视觉解决方案白皮书4、图像处理算力设备：工控机或

GPU

服务器，是视觉系统的核心算力，部署于靠近相机的端侧，完成图像数据的处理和绝大部分的控制逻辑，对于检测识别类型或采用深度学习算法的应用，通常都需要高性能的

CPU/GPU，减少处理的时间。工控机内的机器视觉软件用来完成输入的图像数据的处理，通过图像识别得出结果，这个输出的结果可能是PASS/FAIL信号、坐标位置、字符串等。5、执行机构：可能是机械臂、气动装置等，用于执行运算结构后进行相应的剔除、抓取、装配等工作。基于本地算力的AI工业视觉解决方案是目前主流的方案类型。4.1.2

基于边缘侧的AI工业视觉解决方案边缘学习将基于规则的高效机器视觉嵌入到一套预先训练的深度学习算法中，以创建针对工厂自动化优化过的一个集成工具集。该技术无需机器视觉和深度学习方面的专业知识。相反，生产线工程师可以基于其对所需解决任务的现有了解来训练边缘学习技术。边缘学习与现有深度学习框架的不同之处在于，其并非通用的解决方案，而是专门为工业自动化应用量身定制的。边缘学习与其他深度学习产品的不同之处在于，其专注于确保在应用部署的所有阶段都易于使用。举例来说，边缘学习仅需更少的图像即可实现概念验证，图像设置和采集时间也更少，并且无需专门编程。边缘侧AI工业视觉解决方案的优势是其易用性和低成本，但是受制于算力，单品适用的场景非常受限，复用性和扩展性都比较差。25AI工业视觉解决方案白皮书4.1.3

基于5G+云端的AI工业视觉解决方案随着5G技术和云端算力的提升，基于5G+云端的AI工业视觉解决方案被提出并实现。如上图所示，工控机和

AI

视觉云平台通过

5G

网络连接，实现设备状态和软件版本的在线可视化管理，同时将瑕疵、误杀、疑似等图像上传到视觉

AI

云平台，实现了AI工业视觉在云端的部署。26AI工业视觉解决方案白皮书4.2AI工业视觉解决方案实施流程4.2.1

数据收集数据收集是AI工业视觉解决方案落地的第一步。首先我们要关注AI算法对数据数量和质量的要求，然后在实际生产中去收集足够的对应样本数据。通常情况下，训练用的数据集必须要有足够的代表性，需要包含实际生产中各种可能的情况，而且对应各种情况的图像数量分布要均匀。在数量方面，训练用的数据集样本一定要相对较多，根据模型的复杂程度，高质量的图片数量，以及负样本的数量必须足够。样本图片的收集往往可以借助工厂搭建好的机器视觉硬件系统自动进行采集和存储。27AI工业视觉解决方案白皮书图像数据的收集工作在某些场景下需要耗费大量的人力以及时间，且往往对深度学习项目最终能否成功实施、或最终的检出率是否达标具有至关重要的意义。因此在评估深度学习项目时，要格外关注此部分工作的实现难度，对工作量做出客观和准确的评估，并入系统成本考量维度。另外值得注意的是，负样本的收集往往是瓶颈站点，因为工厂自动化生产过程中NG产品的比例是相对较低且无法人为制造的，但是检出所有NG产品恰恰是上线深度学习项目的目的，因此必须要有足够的负样本数量。4.2.2

分类及数据标记在获取了足够的图像数据之后，依据图像的属性进行准确的分类，如果是缺陷检测目的，通常只需要划分为OK/NG两类，如果是图像分类，则需要根据特征划分为对应的类别，方便接下来的数据标记工作开展。不同的深度学习软件提供不同的标记方式，目前AI工业视觉领域比较典型的有两种，一种是全图标记（也称全图分类），一种是像素分割。典型的全图分类模式下标记主界28AI工业视觉解决方案白皮书面如图所示，界面上可以显示多幅图像形成的图像列表。这种标记方式的好处是效率较高，可以支持超大规模的图像快速标记。他允许用户对整幅图片进行类别的标记，比如OK或NG，这样做的前提是，图像中的缺陷占据全图的较大幅面，也就意味着在准备用于样本训练的图片时，通常需要从高分辨率的图片中预先裁切出缺陷所在的区域，产生分辨率较小的一系列图片用于标记和训练。全图标记由于分辨率较小，通常可以快速的完成标记和训练，取得准确的判定结果。同时，由于标记所需图片可以从高分辨率图像中裁切获得，对样本的数据量依赖问题得到了较好的解决，在样本图片的裁切时，通常还可以与传统算法相结合进行，使得整体项目落地的效率较高。当然，全图标记的标注方法也有其局限性。当被测物的缺陷种类众多、产品背景复杂、产品本身类型众多、缺陷位置无法自动定位时，全图标记在小分辨率训练图像自动获取时就存在较大障碍，此时一般使用像素分割模式进行。相对于全图分类的对整幅图像进行标记，像素分割是在图片中对缺陷区域进行标记，训练缺陷区域的像素和背景像素的差异，从而智能的找出特定的缺陷。29AI工业视觉解决方案白皮书这种方法可以解决两个难点问题：不明显的裂纹第一、如上图所示的不明显裂纹，利用传统算法很难分割出来，就算分割出来了，也会同时把其他的一些干扰因素分割出来，造成误检。基于深度学习像素分割，可以不通过阈值等传统方法分割，而是通过大量类似的数据训练出类脑模型后，进行裂纹区域推理，从而找到缺陷的位置。基于像素分割模型的推理效果30AI工业视觉解决方案白皮书第二、当干扰因素和缺陷类似，或干扰因素的层次感比缺陷还高时，用传统分割算法就很容易造成误检。但是用深度学习像素分割模型进行推理，就可以根据训练的“经验数据”进行类脑判断，从而准确的只检测出真实缺陷。尽管右下角的脏污比中间的裂纹更明显，但是依然只准确的检测出裂纹隐约的裂纹缺陷也不会和其他非裂纹特征混淆尽管“纤维”的灰度等级更高，模型依然可以智能的只推理出裂纹缺陷。311、图像采集部分：通常由一套或者多套这样的成像系统组成，包括工业相机、工业镜头等。成像系统包含的部件种类繁多，需要根据应用需求进行选择；2、照明光源：光源是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果；3、控制单元：控制单元一般包含光电传感器、I/O、运动控制、电平转化单元等，用以判断被测对象的位置和状态，

告知图像传感器进行正确的采集或根据图像处理结果完成对生产过程的控制；AI工业视觉解决方案白皮书支持像素分割的AI工业视觉软件通常会提供各种便捷的标注方法，如矩形、圆形、自定义形状或鼠标涂抹标记等。图像的标记往往是整个深度学习项目落地过程中最为耗费人工和时间的阶段之一，大量的图像数据需要人工进行缺陷类型以及位置的准确标记以及复核，才能获得更为准确的训练模型。按照目前行业较为常规的工作量评估，一个熟练的深度学习图像标注人员，每天可以标注五千到一万张图片。4.2.3

模型训练相较于传统的民用级深度学习开发过程中“创建数据集-加载数据集-创建神经网络模型-创建损失函数-设置优化器-设置训练网络的超参数-开始训练并记录训练结果-保存训练后的模型”这八个典型步骤，工业应用级别的深度学习模型训练集成度更高，操作更简便，对人员的开发能力要求大大降低。无论是全图分类还是像素分割，标记工作完成之后，即可进行深度学习模型训练的工作。深度学习软件区别于传统软件最重要的特点之一，就是不需要具备图像处理的基础知识，不需要进行复杂的算子选择和程序创建，模型的训练完全是自动化进行的，操作极其简单，只需要借助GPU强大的算力支持，一键即可完成深度学习模型的训练工作。32AI工业视觉解决方案白皮书在模型训练的过程中，我们往往比较关注训练时间、准确率/损失值等数据。训练时间的长短主要取决于厂家算法性能、训练用图片分辨率、样本数量、计算机提供的算力等。而准确率/损失值数据，跟图片标注的准确率、样本质量、算法性能、训练轮数等有较大关系。对于支持小样本训练的算法软件，通常可以先使用少量样本进行标注和训练多轮次，将准确率提升至一定程度后进行试运行，过程中将检测错误的图片进行重新标注和训练，以快速、高效的提升模型准确率。支持继续训练也是这一方法可以实施的必要条件。使用大量图片进行验证、校验原有的标注数据准确性，也是模型训练必须要进行的工作之一。4.2.4

在线推理及优化完成训练得到模型之后，深度学习项目即具备了上线运行的基本条件，此时需要专门的人员进行一定时长的跟机工作，在推理过程中，进行模型准确度的验证，实时发现误检、漏检的图片案例并进行收集、再训练，不断完善模型的准确率，直至达到验收要求。通常需要预设一定的时间或样本的数量，来验证项目是否达到了需求中的识别率、准确率等数据，因为只有在真实的在线生产过程中满足了这些指标要求，深度学习才能真正替代传统算法或者人工，完成质量检查的工作。在工业生产中用户经常面临的痛苦之一，是由于产品的种类更换、设备本身磨损带来的产品一致性问题，会有新的种类及不良类型不断产生，相比传统视觉，使用深度学习带来的额外好处是，在这种情况下，只需要在原来模型的基础上进行简单的操作，继续训练对模型进行优化即可完成检测工作。33AI工业视觉解决方案白皮书4.3AI工业视觉解决方案典型应用场景4.3.1

缺陷检测缺陷检测显然是AI工业视觉解决方案最大的用武之地，机器视觉技术诞生以来，最大的使命就是执行检查任务，例如检测制造产品中的缺陷、污染物、功能缺陷等异常。相比人类视觉，机器视觉因其速度、准确性和可重复性而在结构化场景的定量测量中具有优势。利用适当的相机分辨率和光学件配置制造的机器视觉系统可以轻松检测人眼难以看到的物体细节，并且检测的可靠性较高，错误也较少。在生产线上，机器视觉系统可以可靠且重复地每分钟检查数百或数千个部件，远远超过人类的检测能力。但是与传统的机器视觉不同，人类擅长区分细微的表面和功能缺陷，以及区分可能影响感知质量的部分外观变化。虽然人类处理信息的速度有限，但人类有特殊的概念化和概括的能力。人类擅长通过实例学习，并且在部件有小异常时，能够区分真正重要的部分。在很多情况下，这使人类视觉成为定性解释复杂、非结构化场景的理想选择，尤其是那些有微小缺陷和不可预测缺陷的场景。而深度学习技术的出现使得在这些场景下使用机器替代人眼变成了可能。以下是几个AI工业视觉技术进行缺陷检测的具体案例。案例一、螺纹裂纹检测项目背景：在螺纹的生产加工过程中，因为各种原因会产生一定比例的不合格品，如果不能够将不合格品检测出来，会对产品本身的强度造成严重影响，采用传统的视觉检测方法对螺纹进行检测，因为螺纹本身的纹理干扰等因素，在检测的过程中无法检34AI工业视觉解决方案白皮书测或者误判率非常高，采用的深度学习功能，将误判率大大的降低，良品率能够达到99.9%以上。项目实施步骤：第一步、采集图像：对样品（包含OK品和NG品的图片）的图片进行采集并保存35AI工业视觉解决方案白皮书第二步、截图（截取需要用深度学习标记的图像）用深度学习缺陷过滤模块截图截图保存路径设置36AI工业视觉解决方案白皮书截取的图像第三步、标记图像：用深度学习训练器进行标记37AI工业视觉解决方案白皮书第四步、训练导出测试图像集第五步、训练模型：OK品和NG品都分类导出完成后，使用软件进行模型训练38AI工业视觉解决方案白皮书第六步、启用深度学习推理案例二、键盘缺陷检测项目背景：在电脑键盘字符印刷的过程中，经常会产生各种印刷不良，采用传统的视觉检测方法进行检测，粉尘、毛屑、指纹等如果残留在键盘上，就会对视觉检测造成干扰，在检测过程中将其误检为字符的印刷不良，使合格品被误检为不合格品，从而影响产线的生产效率，针对以上存在的问题，使用深度学习功能对键盘进行检测，使产线的误检率大大的降低，从而提高了产线的检测生产效率和产品质量。键盘缺陷检测实施步骤：第一步、采集图像：对样品（包含OK品和NG品的图片）的图片进行采集并保存。39AI工业视觉解决方案白皮书第二步、截图（截取需要用深度学习标记的图像）40AI工业视觉解决方案白皮书第三步、标记图像41AI工业视觉解决方案白皮书第四步、训练导出第五步、训练模型42AI工业视觉解决方案白皮书第六步、启用深度学习推理4.3.2

图像分类图像分类技术在民用领域最典型的应用是人脸识别，人脸识别目前已经是计算机视觉中非常成熟的技术了，完成不同人脸的识别后，算法工程师又把目光转向了更为复杂的“表情识别”。表情相对于人脸的特征来说，其变化更加微小，不同人的表情差别是很大的。比如：A的“微笑”有可能和B的“哭泣”类似。所以表情识别对神经网络模型的架构要求非常高，模型训练的挑战更大。神经网络是基于感知机发展而来，感知机是一个有若干输入和一个输出的模型。深度神经网络可以有更复杂的输入数据和多个输出结果。所以，它可以把不同人群的相同表情归一到一个输出结果上。43AI工业视觉解决方案白皮书调用“模型分类”工具并加载训练好的表情识别模型基于深度学习的表情识别归一化44AI工业视觉解决方案白皮书基于深度学习的表情识别相对于工业场景的分类来说，实现难度是比较小的，因为表情差异的特征在图片上的数据差异是非常大的。以1000万像素的手机图片来说，同一个人的“高兴”和“哭泣”图像的差别可以达到800万个像素点。如果用传统算法是无法承受之重，但是对于神经网络模型来说却是大有可为的。而真正的难点是工业领域的分类。以目前算法比较成熟的红枣分类检测举例，以500万像素的工业相机来说，不同类型红枣之间的特征差异，可能只有几百个像素，而且差异的像素深度很低。这个时候要准确的进行分类，就很难了。首先我们要选取合适的标注方式，结合前文的介绍，红枣的分类显然更适合全图分类方式进行：1、使用自动图片采集工具针对不同的样品采集足够的分类样本。45AI工业视觉解决方案白皮书2、使用截图工具截取红枣占据较大画面比例的小分辨率图像，得到全图标注所需要的足够数据集。46AI工业视觉解决方案白皮书3、进行图像标注及模型训练，即可得到可用的深度学习分类模型。采用这种标注方式实现深度学习图像分类的好处是显而易见的，首先缺陷过滤模型相对轻量级，模型训练用的图片是“可能存在”缺陷的区域，相对于使用全局图像训练，正负样本的差异性会大很多，训练成熟网络模型需要的图像数量相对较少，模型复杂程度相对较低。其次数据标注相对容易，效率更高，因为数据标注时都是针对指定区域截取的图像块，是否有缺陷是很明确的，不容易出错。4.3.3

字符识别OCR(OpticalCharacterRecognition，光学字符识别)是指对图片中的文字进行查找、提取、识别的一种技术，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程。OCV则是在OCR的基础上对提取出的内容进行比对，从而判断图片中的文字内容是否符合要求。由于文字（字母数字等）可能产生自激光雕刻、喷码印刷、油墨印刷等不同渠道，一致性不能保证，且存在文本大小、长度不固定，文本存在多个方向、多种字体、语言混合等各种挑战，准确的进行字符识别一直是图像处理领域的难题之一。47AI工业视觉解决方案白皮书基于深度学习的字符识别可以比较有效的解决这一问题，字符识别也是深度学习技术典型的应用场景之一。在工业生产尤其是包装生产线上，存在大量的包装袋、包装盒体上的生产日期、批号字符需要进行检测，利用深度学习进行小样本的训练即可获得一个比较理想的深度学习模型，可以获得良好的落地效果。4.3.4

深度学习与传统算法的融合由于视觉检测场景的复杂性，往往需要传统算法和深度学习相互结合才能很好的解决具体场景问题。从项目实施的角度来说，深度学习在复杂性和成本方面要比传统算法高很多，所以在项目选型来看，深度学习一般都用来解决传统算法无法解决的场景问题。缺陷检测的原理就是就是检测产品表面异常的“点、线、块”特征，这些特征往往表现的比“背景”颜色“深”（黑色）或比“背景”颜色“浅”（白色），我们通过图像处理的方式把这些“点、线、块”量化出来，如果量化结果超过某个阈值（要求检测精度）则判定为NG。缺陷颜色比背景“深”48AI工业视觉解决方案白皮书缺陷颜色比背景“浅”对于背景单一，真实缺陷和干扰因素比较明显的缺陷，可以用传统BLOB分析的方法检测出感兴趣的缺陷区域。基于“自适应缺陷检测”的所有异常黑色区域上图为金属产品的表面碰伤检测，基于传统BLOB分析工具，可以把“真实缺陷”、“过小的凹坑纹理”及“记号笔画线”都作为“缺陷”检测出来，通过面积大小可以很容易区分“真实缺陷”和“干扰因素”的差异。下图是按照面积大小筛选后的结果，可以发现只有真实缺陷被检测出来。49AI工业视觉解决方案白皮书基于“斑块面积”过滤后的缺陷区域但是还有一些场景，通过传统BLOB分析检测出来的缺陷，很难通过如下可以量化的斑块参数进行过滤，这个时候就可以训练一个专门用来区分这些真实缺陷和干扰因素的模型来进行过滤。基于传统量化参数过滤缺陷斑块50AI工业视觉解决方案白皮书基于传统BLOB分析得出的所有异常区域上图所示的真实缺陷和干扰因素很难通过面积、周长等可量化的斑块指标进行过滤，这个时候就可以基于深度学习训练“斑块过滤”模型来过滤干扰因素，从而只检测出真实缺陷。相关步骤如下：1、基于自适应缺陷检测，将所有异常黑色斑块全部检测出来，这个时候会有大量干扰因素被当作缺陷，但是真实缺