《工业视觉检测平台的思考与应用》

工业视觉检测平台的思考与应用目录01智能制造中AI落地的机遇与挑战02经验分享03使用ViMo平台n选择的AI场景要符合“实际”业务目标；n如何设定项目目标？业务目标直接---->AI的指标n怎么落地、在哪落地；

n期望落差；例如：希望AI能替代“完整”的人；人看图片都分不清的，希望AI能分清；nAI项目的ROI衡量；场景和预期 人才 运维 产品兼容升级集成、上线、运行n缺乏AI人才；n对口资源招募难；n内部已有人才资源需“实践性”项目才能掌握完整项目的nAI系统交付后，希望不需要具备“AI专家”也能维护；n系统的问题和诊断、反馈要简单，尽量能自己搞定；nAI系统或者交付的整体解决方案（软件

、算法、模型等）要能具备应对“新问题”的能力；nAI系统如何有效

、高效的集成到企业的ERP、MES等系统中；n如何说服管理层相信本次导入的这个AI系统是可信的、比人好、比人工目检要可靠；n如何对AI系统进行持续的监控、使之可信；经验分享某世界五百强车企水箱在生产过程中由于前工序段的生产工艺问题会造成水箱组成零件存在少部分缺陷。一个汽车水箱需要检测300个左右的细小零件，只要有一个零件存在缺陷那么整个水箱就是残次品，并且对水箱的整体散热性能和生命周期有较大影响。目前多条产线的产量巨大，需要对所有水箱进行人工肉眼检测，因为缺陷品一旦。n提供成像方案和缺陷检测算法及相应软件并与电装产线设备配合剔除残次品。n尽管每条产线只生产固定尺寸的水箱，但为了方便部署，客户要求模型兼容大小尺寸不同、形状相似的水箱型号。n要求有95%的识别率，检测数据与产线控制系统互通。多人工全检资源浪费、效率低3D传感器解决方案l只能检测高度差特别明显的缺陷l对同一个零部件检测一致性不好

传统的2D解决方案l对于这种不规则缺陷无法用统一算法l对于灰尘或者其他干扰太敏感l过杀漏杀率不能满足工业产线标准

OK NGSM-InSight二分类解决方案汽车水箱散热芯细小缺陷检测公司名称D公司企业地点广州所属行业汽车产品和服务汽车零配件检测项目范围：•实现汽车水箱散热芯的直边丢失、R角丢失等缺陷•实现OK/NG二分类，并且定位出缺陷位置。主要目标：•设计成像方案等硬件，完成算法SDK及软件UI设计•定位缺陷位置并将检测结果，通过TCP/IP协议反馈给机械手，执行机构对缺陷物体进行剔除操作。解决方案：•SM-Insight工业质检软件实现标注、训练、导出缺陷检测算法模型•SM-Insight工业质检推演软件、包含数据统计、权限管理、产品管理等功能项目难点：•缺陷类型繁多有R部扁管开裂、平行部单边整体丢失、平行管双边整体缺失、平行部扁管缺口、平行部挤压变形等。•传统2D检测算法检测不稳定，错判率高、3D检测方案无法只能检测高度差相关缺陷。•每个水箱有300个左右细小零件，对检测算法效率有很高要求。主要收益：•解决客户尝试传统2D和3D方案无法检测采用人工抽检的问题。•替换了客户人工抽检的方式，并且实现产品检测全覆盖避免了不良品组装到整车了造成巨大的经济损失。•根据统计不良品的数量可以提升生产工艺及车间操作工的作业规范及效率。*本项目已经在广州电装增城水箱生产车间上线测试迭代。95+%效率85%替换人工的质检方式视觉节拍90%30%某A客户代工厂需要对新一代智能手表表带金属件雕刻字符进行智能识别，用于材料追溯。项目为A客户国内第一条产线，希望实现智能化生产，该产品预计于2020年9月上市。该代工厂6条产线（1200片/小时）生产A客户某产品，因物件过小无法人工识别，客户希望采用自动化设备完成，并达到快速、高效的处理流程。所以具体需求如下：n提供字符识别软件，包括：软件界面与智能化算法；n尽量提高字符准确率，保证追溯码正确入库；n确保OK/NG二分类达到高检出率，减少人工复查；n兼容不同雕刻工艺；n极限压缩算法推理时间。AIOCR思谋工业智能检测平台•OK/NG判别•字符识别•识别结果可视化n对接自动化系统n上报识别数据识别困难物件过小无法目检快速10倍提高检测速度产线实物机构+成像雕刻工艺一览银色雕刻字符 黑色雕刻字符 平面雕刻字符n数据说明：以上为本项目所获得数据的不同日期、不同批次展示，数据较模糊及不统一；n客户需求：兼容不同雕刻工艺字符，并保证高识别率及高准确率。公司名称企业总部台湾（台北）所属行业高科技、电子制造产品和服务项目范围：•金属件字符雕刻识别主要目标：•替代人眼识别字符•达到高识别率、高准确率•快速识别字符，极限压缩处理时间解决方案：•SMore-ViMo思谋工业智能检测平台标注、训练、运行项目难点：•物件过小，无法人工目检•字符多种形态，并可能出现雕刻、成像等问题，从而影响识别率主要收益：•极大减少人的检测识别时间，加快生产流程•泛化能力强，兼容多种雕刻工艺及成像效果•算法稳定，鲁棒性强字符准确率识别率综合人员替代率快速上海某研究院

致力于“超越摩尔”技术和物联网应用的创新和产业化。8英寸“超越摩尔”研发中试线n工程服务（技术分析、测试、设备和能力、分析报告）n设计服务（半导体设计、制造全流程）、Turnkeyn知识产权（评估、分析、运营）几万~几十万张8192x8192照片•模拟器和数字单元•类型，数量、位置•JSON文件电子显微镜逐层扫描 现有人工标注、自研分析软件的测量，标注2~N个月时间每个芯片样本n芯片分析报告n芯片设计文件准确率低现有作业软件误差高周期长成本高需专业知识才能做统计分析技术人员+自研软件分析裁剪后：512x512 结果：类型，坐标 项目 AI的工作任务 业务指标 备注项目1识别闭合图形（线/孔/多边形）分割检测输出：1）所有的线（闭合标记出来）2）孔3）多边形准确率：99%覆盖率：100%例如：检测了100万个孔，容许漏检100个。项目2数字单元识别–聚类分析范围：1）标准：500种2）定制：100种输出：分割出每个器件，并且将相同类归为同一类准确率：99%覆盖率：100%AI集成到客户业务系统SM-InsightAI推理环境SMInsightAI训练环境LinuxOSDocker2XCPU，128GB内存英伟达TitanVGPU待处理照片的分辨率n512x512n8000*8000n16000*16000n32000*32000n64000*64000输出文件：JSON（参考当前）n类型：Metaln坐标：X,Y,X,Yn置信度：0~1之间n芯片分析报告n芯片设计文件备注：服务器为当前SITRI的硬件环境，仅供参考ID 输出 输出状态图片1孔、线、位置 0.95人看图片2孔、线、位置 0.98OK图片3孔、线、位置 0.98OK人复检AI处理说明：低置信度or定期5%抽检不停补充负样本，迭代提升模型准确率n分析软件直接显示AI输出的数据n数据合并n数据整合和处理AI的处理任务流embedding：我们会使用定制的损失函数、对不同实例自动分配权重、数据算法流程提升样本利用率提升样品利用率富信息标注，提升单样本信息量小样本学习技术推理时重利用训练样本）重采样、权重分配、在线数据增强，在线困难样本挖掘样本物理旋转、添加噪样品 模拟制造缺陷 声进行样品增强任务：图片分析假设：95%-Recall，以1万张图举例5%95%AI的结果，没问题n250张n工作：人工确认置信度较低的部分，高亮色框出，YES/NO的确认即可n250张n工作：图片上置信度低（NG部分–高亮色框处），需要人工重新打框OKNG置信度>=0.98置信度<0.98假设：n95%-AI判断没问题，无需人判（节约人力成本，保证一定准确率）n5%-AI判断不确定500张图片需要人工复检n上线后5%的定期、随机抽查（监控AI），监控AI的精度n阈值设为0.98（假设）保证阈值以上的检测是准确的随着模型精度提升可逐渐下调，用来提升Recall（覆盖率）是否有问题肉眼复检无需标注n分析软件二次数据n数据合并n数据整合和处理可能的人力损耗通过2~3轮生产阶段的负样本和优化从而迭代大幅提升覆盖率、稳定模型提升覆盖率优化和稳定算法GPU/CPU服务器集群训练系统存储（NAS）（站点/产品/训练集/题库/验证集）AI推理模块 AI训练模块•JSON/Protobuf格式•任务ID•图片存储的路径

ADC前台应用系统

TIBCO对接MES系统间中件AOI机台•玻璃/图片ID•检测结果读取NAS的图片（本地目录挂载）玻璃IDK8S容器环境调度管理任务管理业务规则任务模板缺陷分析 …算法微服务（apiserver）模型1