面向电子行业的工业AI视觉在线检测系统技术规范

1T/CESAXXXX-202X面向电子行业的工业AI视觉在线检测系统技术规范本文件规定了用于电子行业3C类产品（计算机类、通信类和消费类电子产品）的工业视觉在线检测系统的基本架构、功能要求、性能要求及测试方法。本文件适用于电子行业3C类产品在器件错漏反检测、异物检测、工业OCR及外观缺陷检测等场景应用的工业视觉在线检测系统的规划、设计、实施和检测。2规范性引用文件本文件无规范性引用文件。3术语和定义下列术语和定义适用于本文件。3.1正检truepositive对于有缺陷产品，正确给出有缺陷的检测结果。3.2误检falsepositive对于无缺陷产品，错误给出有缺陷的检测结果。3.3漏检falsenegative对于有缺陷产品，错误给出无缺陷的检测结果。3.4误检率/过杀率falsepositiverate将无缺陷的产品识别为有缺陷产品的数量，与全部无缺陷产品数量的比例。3.5漏检率falsenegativerate将有缺陷的产品识别为无缺陷产品的数量，与全部有缺陷产品数量的比例。2T/CESAXXXX-202X3.6系统检测速度systemdetectionspeed将单个样品从到达系统指定位置开始做图像采集，到AI图像处理进行缺陷分析，并最终输出检测结果所消耗的时间。4缩略语下列缩略语适用于本文件。AI：人工智能（ArtificialIntelligence）OCR:光学字符识别（OpticalCharacterRecognition）5基本架构图图1面向电子行业的工业AI视觉在线检测系统基本架构面向电子行业的工业AI视觉在线检测系统基本架构见图1，包含工位模块和质检模块：a)工位模块包含图像采集、任务配置、光源控制、成像控制、工位标注等功能模块。一般在部署工控机或台式机，由专人负责操作；b)质检模块包含应用服务、AI服务、运维管理、数据存储等功能模块，AI服务中的训练既支持本机训练，也可调用云或行业算力中心的训练功能和算力；其他模块在接收到质检模块的推理结果后，进行人机交互或触发控制系统下一步动作，如异常报警、触发机械臂取走缺陷物品等。其他模块不属于本文件范围。6功能要求6.1工位模块6.1.1图像采集图像采集的要求包括：a)图像采集单元应满足一组成像设备抓拍成像或多组成像设备同步抓拍成像；3T/CESAXXXX-202Xb)图像传输应支持TCP/IP、FTP、USB、CXP、GIGE、CAMLINKE等一种或多种传输协议；c)图像成像像素应支持30万、130万、200万、500万、1200万、2500万、2900万、3100万、5000万、6500万、15000万等一种或多种分辨率，图像成像像素宜能设置；d)图像成像编码格式应支持Bayer8、RGB、BMP、PNG、RGB-D、YUV、Mono8/10/12等一种或多种格式；e)图像成像文件格式应支持jpeg、tiff等一种或多种格式；f)图像成像应支持1位、8位、16位、24位、32位等；g)图像帧率应满足业务应用需求，支持20FPS以上；h)宜支持对图片根据检测要求进行抠图、拼接、缩放及配准等编辑操作；i)宜支持图像位置预处理：配准矫正、旋转等；j)宜支持图像的ROI（RegionofInterest）功能；k)宜支持图像增强处理：光照预处理、对比度增强等。6.1.2任务配置任务配置的要求包括：a)应支持与产线上自动化设备如机械臂或传感器连接，并根据检测流程触发自动化设备或传感器的操作；b)宜支持创建业务流程，包含触发相机拍照、光源发光方式、调用推理服务、对分析结果进行处理等。6.1.3光源控制光源控制的要求包括：a)应支持光源的开关控制；b)应支持RS-232、RS-485、以太网等一种或多种通信方式；c)宜支持光源强度的设定；d)宜支持光源工作模式的设定，如常亮、频闪灯；e)宜支持光源的远程控制；f)宜支持光源的独立控制，可应对多种不同背景的被测对象。6.1.4成像控制成像控制的要求包括：a)应支持控制相机拍摄图像；b)应支持控制相机调整参数和光源，如焦距和亮度。6.1.5工位标注工位标准应支持对采集的图片进行人工或自动标注。6.2质检模块6.2.1应用服务应用服务的要求包括：a)应支持容器化部署，能适应不同操作系统运行环境；b)应支持对于应用服务如工业OCR、器件错漏反检测及缺陷检测等，提供开发接口；4T/CESAXXXX-202Xc)宜具备外部数据源接入功能，能将图片等应用数据引流到应用内部数据标准或推理。6.2.2AI服务AI服务的要求包括：a)应支持根据质检场景建立流程任务，包括数据接入、数据处理、模型训练、模型验证、模型部署等；b)应支持提供标准化推理交互接口，与工位模块推理请求和返回结果交互；c)宜支持图像质量检测与筛选功能，支持滤除无法正常识别的低质量图像，支持图像增强和图像修复；d)宜具备目标定位、图像识别、实例分割等功能；e)宜支持小样本训练，模型部署后能够对未采集分析的场景图像进行再训练，提高模型识别精确6.2.3运维管理运维管理的要求包括：a)应支持根据质检场景，进行推理服务部署和资源配置；b)应支持数据输出功能，将推理结构化数据、压缩图片等处理结果输出；c)应支持对AI推理的服务性能进行评测和监控，如检测速度、资源开销等；d)应具备统管算法、建模和训练功能，与边侧协同完成数据标注、边缘推理和边缘部署；e)应具备多算法管理功能，能根据场景业务需求快速部署算法；f)应具备模型可靠性评估和增强功能，通过如模型故障注入等失效模拟机制，在训练过程中增强模型的可靠性；g)应具备对抗训练框架，支持对抗攻击防御效果评估及增强，实现AI模型的鲁棒性评估和增强；h)宜支持边云协同，例如，在边缘部署的推理子系统，与云端部署的训练、管理、存储等子系统通过网络进行协同。i)宜支持对AI模型构建过程的可追溯；j)宜支持模型的可解释性，如特征重要度等。6.2.4数据存储数据存储的要求包括：a)应支持原始图片、标注数据、数据集、推理结果等保存，包含结构化数据、通过/不通过结果b)应支持镜像、算法、模型等文件的保存；c)应支持软件运行日志、审计日志保存等。7性能要求7.1系统检测速度系统检测速度应小于1秒。7.2系统漏检率系统漏检率应不大于1%。5T/CESAXXXX-202X7.3系统误检率/过杀率系统误检率应不大于5%。7.4工业OCR检测准确率工业OCR检测准确率应大于98%。8测试方法8.1测试环境测试环境应提供测试对象、图像采集设备如工业相机、光源设备等。图像采集设备采集测试对象的图像发送给被测系统，被测系统具备对于图像采集设备进行设备控制和参数查询修改。测试流程如下：a）准备测试环境，包括测试对象、电源、照明等基础设施满足测试环境要求；b）将被测系统连接图像采集设备及光源设备，确保被测系统能正常访问图像采集设备及光源设备，获取图像及分析结果；c）根据不同的测试项目，进行相应的测试。8.2功能测试8.2.1工位模块图像采集将满足6.1.1图像文件格式、编码格式、传输协议及帧数要求的图像接入系统，图像采集功能测试评价方法如下：a）检查是否可检测并输出分析结果；b）检查是否可进行图像编辑操作并输出分析结果；c）检查是否可进行图像位置预处理并输出分析结果；d）检查是否可进行图像增强处理并输出分析结果；e）检查是否图像采集单元可以进行同步抓拍成像并输出分析结果。任务配置创建并配置检测业务流程，包含与自动设备进行联动，图像采集设备采集测试对象图片，接入测试系统，检查是否根据分析结果触发自动设备操作。光源控制创建并配置检测业务流程，包含光源控制，图像采集设备采集测试对象图片，接入测试系统，检查是否根据要求进行开关、强度设定、模式设定及远程控制等。成像控制创建并配置检测业务流程，包含成像控制，图像采集设备采集测试对象图片，接入测试系统，检查图像采集设备是否根据要求图像拍摄、调整参数如焦距等。工位标注6T/CESAXXXX-202X图像采集设备采集测试对象图片，接入测试系统，检查是否根据分析结果自动对图片进行标注并支持人工审核校正。8.2.2质检模块应用服务应用服务功能测试评价方法如下：a）创建检测业务流程，使用docker镜像打包上传并进行容器化部署，查看任务日志，检测是否业务创建成功并正常运行；b）将外部测试数据集接入到被测系统，检查是否可检测并输出分析结果。AI服务AI服务功能测试评价方法如下：a）创建并配置检测业务流程，根据产线上传工件图片构造模型训练数据集，对数据标准场景和类型等信息，进行数据集发布，检验是否系统根据质检场景建立业务流程，完成数据接入和数据处理；b）在检测业务流程中，创建训练任务，设置训练运行参数、输入数据集、设备类型等，检测系统是否完成训练任务，完成模型评估和发布；c）上传新的样本数据并进行标注，在原有训练任务基础上重新设置训练运行参数、输入数据集、设备类型等，检测系统是否完成训练任务，完成模型评估和发布；d）在检测业务流程中，创建模型部署任务，将模型部署到工位上，启动运行，检测系统是否可完成模型部署；e）工位模块输入图像采集设备采集测试对象图片到质检模块，检测质检模块是否完成推理并返回结果给工位模块，检测是否质检模块可进行目标定位，实例分割等功能；f）输入不能进行推理图像到质检模块，检测质检模块是否支持图像质量检测与筛选功能并输出检测结果。运维管理运维管理功能测试评价方法如下：a）在检测任务中，查看资源配置及推理服务性能评价，如检测速度，资源开销等；b）创建并配置多个检测任务，在云端进行多个场景模型训练后，模型部署到质检模块，工位模块输入多个场景下图像采集设备采集测试对象图片到质检模块，验证是否可以完成推理；c）在检测业务流程中，创建训练任务，设置训练运行参数、输入数据集及设备类型等，启动运行，系统完成模型训练后，实施故障模拟，检查故障是否生效；设置可靠性增强训练参数，启动运行，系统重新完成模型训练，实施故障重现，验证是否完成可靠性增强；d）在检测业务流程中，创建训练任务，设置训练运行参数、输入数据集及设备类型等，启动运行，系统完成模型训练后，实施对抗攻击，检查对抗攻击是否生效；设置对抗训练参数，启动运行，系统重新完成模型训练，实施攻击重现，验证是否完成对抗性增强；e）在检测业务流程中，创建训练任务，设置训练运行参数、输入数据集及设备类型等，启动运行，系统完成模型训练后，查看相关记录，如日志，告警等，观察是否完成可追溯；f）在检测业务流程中，创建训练任务，设置训练运行参数、输入数据集及设备类型等，启动运行，系统完成模型训练后，设置模型可解释参数，启动运行，检测系统是否完成模型可解释，如输出特征对决策结果的重要度影响参数。7T/CESAXXXX-202X数据存储查看已创建任务中存储数据类型，是否符合6.2.4的要求。8.3性能测试8.3.1系统检测时间系统检测时间测试评价方法如下：a）创建并配置检测任务，选取N个测试对象，图像采集设备进行图像采集，接入测试系统进行推b）统计N个测试对象从系统指定位置开始做图像采集，AI图像处理进行缺陷分析，最终输出检测结果所消耗的时间t（i=1，2，ⅆ,N）；c）通过公式（1）计算系统平均检测时间T：式中：T——系统检测时间；t——第i个测试对象检测时间；N——测试对象总数：i——第i个测试对象。8.3.2系统漏检率系统漏检率测试方法如下：a）创建并配置检测任务，选取一定数量测试对象，图像采集设备进行图像采集，接入测试系统进行推理；b）测试对象从到达系统指定位置开始做图像采集，AI图像处理进行缺陷分析，通过公式（2）计算系统漏检率，中漏检数记为FN，正检数记为TP，漏检率记为FNR。式中：FNR——漏检率；FN——漏检数；TP——正检数。8.3.3系统误检率/过杀率系统误检率测试方法如下：a）创建并配置检测任务，选取一定数量测试对象，图像采集设备进行图像采集，接入测试系统进行推理；b）测试对象从到达系统指定位置开始做图像采集，AI图像处理进行缺陷分析，通过公式（3）计算系统误检率，其中误检数记为F，正检数记为TP，误检率/过杀率记为FPR。8T/CESAXXXX-