版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
团体标准
《IC封装基板图像检测系统技术规范》
编制说明书
2024年2月
《IC封装基板图像检测系统技术规范》
编制说明
一、工作简况
1、任务来源
2022年9月15日,中国国际科技促进会标准化工作委员会发布“关于开展《
IC封装基板图像检测系统技术规范》团体标准立项通知”(【2022】中科促标
字第467号),项目计划编号为CI2022241。
2、项目背景
IC封装基板(ICPackageSubstrate),俗称IC载板,是封装测试环节中的
关键载体,用于建立IC与PCB之间的讯号连接,此外还能起到保护电路,固定
线路并导散余热的作用。主要应用在存储芯片封装基板、微机电系统封装基板
、射频模块封装基板、处理器芯片封装基板和高速通信封装基板等。目前,IC
封装基板的基本格局是日韩台三足鼎立,中国在这个领域涉足较晚,但增速很
猛。
普通印制电路板(PCB-PrintedCircuitBoard)的线宽线距通常大于
100um,而IC载板的典型线宽/线距为10~30um。在传统PCB行业,图像检测设
备的分辨率一般最小只能达到20um,根本无法检测IC载板的线路缺陷。IC载
板的生产制造设备已经开始国产化,不过国产图像检测设备还属于空白,容易
受制于国际上的技术封锁。除此之外,IC载板的基材也难以采用玻璃纤维板或
聚酰亚胺等传统的材料,需要转向BT树脂基板或玻璃基板等材料。线宽/线距
的缩小和新型材质的应用,都对传统的检测设备提出了新的挑战。需要制定IC
载板图像检测的标准化技术规范和标准,引导自动化光学图像检测设备健康有
序发展。
IC封装基板自动光学检测系统通过高精度的图像检测,可以及时发现封装
基板上的缺陷和问题,如焊球、引脚等是否存在错位、缺失、短路等现象,从
而提高产品的质量和可靠性,对于提高产品质量、生产效率、降低生产成本、
促进智能化生产和保障人员安全等方面都具有重要意义。
现有的可见光直接成像技术由可见光相机直接成像,每个成像像素由RGB
插值得到,会导致像素损失,以及带来PCB板成像的分辨率不高的问题,同时
由于贴装元件焊盘会呈现弧度,采用单一方向光源照射难以对焊盘焊锡质量全
5
方位成像,不能够保证整块PCB板受到均匀光照,会带来由于视角不同、照明
差异所导致成像不一致的问题。同时传统的机器视觉检测算法处理速度快,性
能稳定,但是检测缺陷的准确率低,误报率高,使得很多企业需要加入人工复
判,进一步降低产品不良率。使用深度学习算法之后,虽然可以解决检测准确
率的问题,但是深度学习应用于工业缺陷检测依然具有数据样本匮乏、缺陷检
测任务精度、实时性要求高等难点。SMT产线缺陷样本匮乏主要体现在3个方
面。1)所提供的PCBA缺陷样本数量有限。其原因为制造工艺流程现代化,缺
陷产品罕见;厂商在生产工艺中没有加入缺陷数据采集、保存等流程,为提升
进一步产能奠定基础;对缺陷样本的精准标注成本高昂,工业数据呈现不均衡
现象,大部分为正样本,且部分行业缺陷需要具备特定知识背景的专业人员标
定,PCBA生产缺陷等。2)实时流数据缺陷分布与训练样本分布不同。传统模
型假设数据分布是固定、平稳的,样本之间独立同分布,所以模型在经过多轮
训练后可以检测出缺陷。但是当训练数据变为流数据后,训练数据的分布往往
是非平稳的,模型从非平稳的数据不断获取知识,新旧知识会产生冲突,进而
发生灾难遗忘。3)缺陷种类繁多,不规则。同一工业产品可能存在不同种类
的缺陷,同种缺陷也可能在形状、尺寸、颜色等特征上具有多样性.以往的方
法通常只能检测特定种类的缺陷,不具有自适应能力。
课题组依托安徽省发改委重大专项项目围绕智能制造环境下人机共融智能
检测这一科学问题,开展“人机共融智能驱动的可靠制造理论与方法”的原创
性、系统性研究,突破“人机协作感知增强的工业智能检测”关键技术:
(1)针对消费电子生产制造中SMT缺陷标签样本数量/质量严重受限的挑
战,通过融合人的先验知识揭示检测数据的表示特征和统计规律,构建融合数
据驱动与知识引导的有限监督标签检测框架,实现不完全标签样本条件下SMT
缺陷精准高效检测;
(2)针对SMT产线数据采集、传输、存储和检测流程数据的全周期运维
管理问题,设计基于KubeEdge的云边协同SMT缺陷智能检测平台,实现对不同
SMT产线的开放式和海量的数据接入,聚合边缘侧模型权重、模型压缩与剪枝
以及边缘侧模型分发部署;
(3)完成全链路集成成像机械系统结构设计和环形光源成像验证,并自
主研制一套笔记本主板缺陷检测样机设备,所研制的SMT云边协同智能检测系
5
统V1.0在龙芯3A5000平台上完成兼容性测试,功能与稳定性良好,获得龙架
构兼容互认证书,授权实用新型专利1项。目前已在联宝产线进行实际应用测
试。
目前国内外公认IC载板检测的相关设备及软件均没有对IC载板图像扫描
成像优化技术的标准,对于IC载板的打光条件、扫描方案、图像优质量评价采
用的方案大多来源于人工经验与简单的实际测试。急需采用先进标准的技术手
段和方法精确的对IC载板图像扫描成像进行定性、定量描述。
3、起草单位
本标准起草单位:合肥综合性国家科学中心人工智能研究院(安徽省人工
智能实验室)、
本标准主要起草人:康宇、许镇义、
4、标准编制过程
4.1起草阶段
本标准2022年9月15日经批准立项,随后成立标准编制工作组,至2023年9
月,广泛收集、整理IC封装基板图像检测系统技术规范国内外标准和相关文献
,进行调研工作,初步拟定方案,完成准备工作。
2023年10月-12月,编制工作组确认分工,确定标准编制大纲,开始草案编
写工作,并于12月初步编写完成标准草案与编制说明,随后多次组织组内讨论
,对标准文本进行修改。2024年2月,标准经进一步调整与规范后,形成征求意
见稿及编制说明。
4.2征求意见阶段
2024年2月,本标准由中国国际科技促进会标准化工作委员会在全国团体标
准信息平台,面向社会进行公开征求意见。同时由标准编制工作组组织向相关
机构、单位进行定向征求意见。
4.3审查阶段
4.4报批阶段
二、标准编制原则、主要内容及其确定依据
1、标准的编写原则
1)标准需要具有行业特点,指标及其对应的分析方法要积极参照采用国家
标准和行业标准。
5
2)标准能够体现出产品的具有关键共性的技术要素。
3)标准能够为产品的开发、改进指出明确的方向。
4)标准需要具有科学性、先进性和可操作性。
5)要能够结合行业实际情况和产品特点。
6)与相关标准法规协调一致。
7)促进行业健康发展与技术进步。
2、提出本标准的依据
(1)按照GB/T1.1-2020《标准化工作导则第1部分:标准化文件的结构
和起草规则》要求进行编写。
(2)相关标准内容依据团队前期承担的安徽省重点研究与开发计划项目《
人机智能协同关键技术及其在智能制造中的应用》(项目编号:
202104a05020064)进行编制。
(3)参照相关法律、法规和规定,在编制过程中着重考虑了科学性、适
用性和可操作性。
3、制定本标准的基础
在硬件方面,起草单位开发面向SMT复杂质检环境全链路集成成像模块,
保证主板受到均匀光照,避免由于视角不同、照明差异所导致成像不一致,实
现10um级成像精度;完成SMT缺陷检测原理样机系统设计与电气装配调试,设
计SMT主板夹具调节装置以适应不同尺寸主板安装;增加机台配重模块,降低
机器运行过程中因机台抖动对图像采集重影的影响,完成SMT智能缺陷检测原
理样机系统研制。
在软件方面,完成SMT缺陷智能检测软件系统的CAD文件解析、缺陷样本
标注、PCB成像拼接、人工复判、输入输出设备控制、相机控制、运动控制、
可视化大屏展示、相机和载物台系统上电一键初始化,完成扫码枪自动读取主
板流水码编号,以及检测结果日志生成;增加模型权重选择,置信度设置等功
能模块实现优化缺陷检测模型,设计基于匹配特征融合的缺陷检测网络,融合
人工模板设计与AI智能比对,无需海量样本训练,无需高精度配准,克服由于
机台震动导致采集图像偏移影响,并针对某些易于混淆的偏移与立碑缺陷,进
行重新标注,增强易混淆样本数量,提升检测模型鲁棒性。搭建基于云边协同
的SMT缺陷智能检测系统,在云端完成检测模型训练,边缘端进行压缩优化实
5
现SMT测试现场检测任务;并采用容器化技术,通过KubeEdge边缘计算平台完
成云平台与边缘端的调度和管理,同时已通过龙芯平台软件产品测试认证,实
现国产、自主、可控的SMT智能化检测系统。
4、实验内容
本标准规定了IC封装基板图像检测系统技术规范的总体目标、IC基板封装
光学检测装置、基于主要距离的空域融合主板拼接方法、基于匹配特征融合的
SMT贴片元件缺陷检测框架、基于元迁移学习和多尺度融合网络SMT贴装小样本
缺陷分割框架、缓解选忘性的图像增量学习分类方法、基于能量分布的未知异
常样本检测方法等。
5、实际应用效果
依据本标准制定的IC封装基板图像检测系统的技术规程、技术要求和成像
指标,开展了IC封装基板图像采集资料的处理测试,与国际通用商业软件处理
结果比较,本标准要求的方法得到了高分辨成像结果。
图1本标准实施前(左)与实施后(右)处理结果对比
三、试验验证的分析、综述报告,技术经济论证,预期的经济
效益、社会效益和生态效益
1、主要试验或验证的分析
我们从某印刷电路板制造商的SMT产线上收集了真实的390对缺陷图像和模
板图像用于训练,58对缺陷图像和模板图像用于测试,共包括4个缺陷类别:偏
移、缺件、立碑和侧立。其中每张缺陷图像中至少有两种类型的缺陷。有关数
据集的详细信息汇总于表1。
5
表1数据集详细信息
缺陷类型缺陷数量
偏移339
缺件632
立碑232
侧立392
评价指标
对于缺陷检测网络而言,需要将模型生成的预测图与人工标注的数据进行
比较,便于评估其模型的性能。评估网络的方式主要分成两种:定量评估和定
性评估,定量评估是对模型的性能从数值上进行评估,定性评估是通过人的视
觉效果进行主观上的判断。本节介绍常用的几个定量评估指标。
(1)P-R曲线
P-R曲线是用于描述精确率和召回率之间关系的曲线,其中横坐标表示精确
率,纵坐标表示召回率。为了计算精确率和召回率,需要设定一个阈值将预测
的显著图进行二值化,然后与真值标注进行比较。精确率和召回率可表示为:
TP
Precision=
TP+FP
TP
Recall=
TP+FN
(2)mAP值
mAP是指对于每一个类别,都计算出一个精确率-召回率曲线下的面积,然
后对这些面积值求平均值。mAP可以表示为:
∑NAP
mAP=i=1i
N
其中N是类别的个数。APi是某一类别下的平均精度,可表示为:
1()
AP=∫0Prdr
其中,P(r)代表某一召回率下的精度。
在本文中,我们使用IoU为0.5时的mAP@0.5,IoU为0.75时的mAP@0.75以及
当IoU从0.5以0.05的步长增加到0.95时的平均mAP作为评估指标。
(3)F1-score值
F1-score综合考虑了模型的准确率(Precision)和召回率(Recall)。
F1-score是混淆矩阵的调和平均数,即召回率和精确率的乘积的两倍除以召回
和精确率的和。F1-score的最大值是1,最小值是0。当F1-score的值越接近
5
1,说明模型的性能越好;反之,值越接近0,说明模型的性能越差。我们使用
F1-score作为统一衡量精度和召回率的指标,其可以表示为:
2⋅P⋅R
F1−score=
P+R
其中,P表示精度,R表示召回率。
将标准所提出的方法与其他最先进的模型进行对比以显示本标准模型的优
越性,其对比结果见表2。
表2不同模型在数据集上的比较
网络模型mAP@0.5mAP@0.75mAPF1-score
YOLOv5s0.9710.8280.6490.973
SSD0.90.5730.4510.517
FasterR-
0.9310.7280.6050.682
CNN(ResNet50-FPN)
YOLOv30.9730.7980.6390.97
YOLOv70.970.7970.6550.969
YOLOv80.9770.7450.6410.944
YOLOv5s-Lite0.9450.6020.5530.906
GCC-YOLO0.980.7670.6370.98
DETR0.7240.4760.4290.327
DAB-DETR0.9790.8370.6520.45
DN-DETR0.970.7550.6270.491
本标准方法0.9850.8850.6570.984
依据本标准制定的IC封装基板图像检测系统的技术规程、技术要求和成像
指标,开展了SMT主板图像缺陷识别测试,与国际先进检测模型处理结果比较
,本标准要求的方法得到更准确的缺陷识别结果。
图1本标准实施前
5
图2本标准实施后
2、预期的经济效果
SMT表面贴装缺陷人机协同检测样机通过上线验证,误报率从80%降低到25%
以内,检测效率比现有产线提升21.3%,预计节约人工复检及设备成本高达600
万以上/年。
3、真实性验证
主板表面贴装检测技术有效支撑联宝入选灯塔工厂(图3)。
5
5
图3联宝(合肥)电子科技有限公司合作感谢信
5
软件系统通过龙芯平台认证并获得相关资证书(图4)。
图4认证证书
四、与国际、国外同类标准技术内容的对比情况,或者与测试
的国外样品、样机的有关数据对比情况
指标类型本系统矩子科技LD-5000
成像分辨率10μm15μm
FVO尺寸
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025版学校游泳池儿童游乐区设计与施工承包合同示范3篇
- 2025版土地使用权出让居间合同(新型合作模式)3篇
- 2025版城市住宅小区全面灭蟑螂服务合同4篇
- 2025版土地测绘保密协议:保密项目合作与技术支持合同3篇
- 乳粉产品质量法律规制与合规考核试卷
- 会展产业与数字经济的创新结合考核试卷
- 2025版十五年商业地产租赁合同范本15篇
- 2025版城市庆典活动委托演出合同3篇
- 2025年水土保持设施验收技术服务与生态修复实施合同3篇
- 2025年医疗设备使用及维护管理协议
- 南通市2025届高三第一次调研测试(一模)地理试卷(含答案 )
- 2025年上海市闵行区中考数学一模试卷
- 2025中国人民保险集团校园招聘高频重点提升(共500题)附带答案详解
- 重症患者家属沟通管理制度
- 碳排放管理员 (碳排放核查员) 理论知识考核要素细目表三级
- 2024年河北省中考数学试题(含答案解析)
- 小学二年级数学口算练习题1000道
- 纳布啡在产科及分娩镇痛的应用
- DZ/T 0462.4-2023 矿产资源“三率”指标要求 第4部分:铜等12种有色金属矿产(正式版)
- 化学-福建省龙岩市2024届高三下学期三月教学质量检测(一模)试题和答案
- 凸优化在经济学与金融学中的应用
评论
0/150
提交评论