机器视觉在飞机结构损伤检测中的应用进展与展望

在无损检测领域，目视检测是指用人眼对被检测目标表面进行直接观察，或借助内窥镜、镜子等光学设备进行间接观察。目视检测具有门槛低、易操作、成本低等优点，是结构损伤检测中应用较为广泛的技术之一，如在空客系列飞机的外场运营维护中，其目视检测程序文件的比例呈现递增的趋势，A350宽体客机的目视检测程序比例已达到17%。目视检测与技术人员的能力、经验等主观因素密切相关，且极易受到站位、光线和温度等客观条件的影响，小尺寸损伤的检出概率和检测精度存在明显不足。近年来，随着信息科学和人工智能等新兴产业的蓬勃发展，计算机技术越来越多地应用于工业、农业和现代服务业等国民经济生产的各个环节。机器视觉技术是在摄像机等图像感知设备的基础上，使计算机具有观察、识别和认知世界的能力。在一些不适用于人工作业的危险工作环境或人工视觉难以满足测量或检测要求的场景，机器视觉已得到了广泛应用。对于现代规模化工业生产，人工检测产品质量效率低且精度不高，机器视觉技术则能够有效提高生产效率和检测精度，进而缩短产品生产周期，节约运营成本。1机器视觉的基本概念和典型构成机器视觉是一种集成摄像机、光源、处理器和检测算法等软硬件的非接触式光学传感系统，能够自动从采集到的图像中获取信息或产生控制动作。利用计算机及其外设能够模拟人眼的视觉功能和大脑的初级判断功能，从图像或图像序列中提取信息，并进行处理，最终用于检测、测量和控制中。典型的工业机器视觉系统主要由视觉、机械和数据处理3大模块构成，如下图所示。图1典型的工业机器视觉系统构成示意视觉模块利用光源、镜头、工业相机和图像采集卡等硬件设备实现图像的采集，机械模块负责视觉模块或被检目标的运动和控制，数据处理模块则是利用工控机运行测量算法或检测算法，实现检测结果的处理和输出。在典型的机器视觉检测过程中，首先使用工业相机采集被测目标的二维或三维图像，图像数据采集卡将模拟图像信息转换为数字信号传送至上位机，随后集成测量或检测算法程序的数字图像处理系统会根据图像的像素分布、亮度、标志点和颜色等信息，运算出被测目标的损伤、缺陷、位姿和形态等信息，最后根据运算得到的信息输出测量或检测结果。2机器视觉的发展历程机器视觉的起源最早可追溯到20世纪60年代，1965年，ROBERTS等通过计算机程序从数字图像中提取出立方体、楔形体、棱柱体等多面体的三维结构，并对物体形状及空间关系进行描述，开创了以理解三维场景为目的的机器视觉研究。20世纪80年代以来，随着激光技术、CCD(电荷耦合元件)技术的相继问世和计算机科学的飞速发展，机器视觉技术随着工业自动化和智能化的发展而日趋完善。到了21世纪，机器视觉技术已经大规模地应用于图像处理、医学诊断、智能交通、无人驾驶、工业测量和无损检测等多个领域。回顾机器视觉技术的发展历史，大致可分为以下3个阶段：No.1

理论探索阶段20世纪90年代以前，众多高等院校和研究所已逐步开展面向图像处理和模式识别的理论研究，如DAVID提出了著名的计算机视觉理论（Marr视觉理论），成为机器视觉研究领域中的重要理论框架，随后基于感知特征群的物体识别理论框架、主动视觉理论框架、视觉集成理论框架等新概念、新理论不断涌现，为机器视觉技术的工程化应用打下了坚实基础；No.2

逐步应用阶段20世纪90年代至21世纪初，机器视觉技术逐步开始得到推广，并逐步应用于机加工、汽车零部件装配、机械零件表面粗糙度的测量、金属焊接质量检测及电路板尺寸标定等诸多工业领域；No.3

高速发展阶段进入21世纪以来，随着高清工业相机、高性能计算机和人工智能等新兴技术的涌现，机器视觉已突破了传统的检测模式和应用领域，向着更深层、更为多样化的领域扩展。从二值图像采集到高分辨率、多灰度级的图像处理，从二维特征提取到三维信息解耦，机器视觉在迁移学习、支持向量机和卷积神经网络等人工智能技术的驱动下，正逐步涉足和突破更多复杂的目标识别、高精度测量和高效检测任务。3机器视觉在结构损伤检测中的应用进展机器视觉技术在工业领域的应用主要体现在以下3个方面：视觉测量、视觉引导和视觉检测。视觉测量主要用于精度要求较高（毫米级和微米级）、人眼观察无法实现的一些零部件尺寸的精确测量，如精密螺栓加工过程中采用机器视觉技术对零件尺寸进行实时测量，用以控制连接间隙，保证加工精度；视觉引导是利用机器视觉快速准确地找到目标零件，引导机器人机械臂准确抓取，如视觉引导自动化装配，通过扫描工具箱内随机分布的零件得到三维图像，采用模式识别的方式，在三维图像中获取机械臂抓取工件的最佳点，实现自动化装配生产；视觉检测则是图像采集和逻辑判定算法的综合应用，用于检测产品或构件有无质量问题，如对裂纹、表面划伤、凹坑、断钉等结构表面损伤的检测和定量表征。总体而言，机器视觉技术已广泛应用于机械加工、装配、检验检测和状态监测等多个工业领域，极大地提高了工业生产中的柔性和自动化程度。国内外学者在机器视觉测量、引导和检测方面开展了大量研究工作。下面以机器视觉技术在飞机结构损伤检测中的应用为切入点，重点介绍该技术在飞机结构损伤视觉巡检、原位在线视觉监测及智能视觉检测等方面的应用进展。1飞机结构损伤实时视觉巡检飞机结构的周期性检测一直是外场飞机运营维护的重点环节，蒙皮、机翼和操纵面等飞机结构长期暴露在恶劣的外界环境中，飞行中飞机承受复杂的交变载荷和外物冲击，极易出现裂纹和各种冲击损伤，给飞行安全带来重大安全隐患。针对这一问题，在美国联邦航空局的支持下，研发出了基于真空吸盘机器人的视觉巡检系统ROSTAM，首次实现了飞机蒙皮结构表面裂纹的自动视觉巡检。合作研发了用于机翼和操纵面检测的远程视觉巡检系统，如下图所示，技术人员只需将搭载高清摄像头的机器人布置在巡检区域，即可通过远程控制实现巡检区域的高清图像采集，进一步结合识别算法可实现飞机结构表面裂纹和冲击损伤的有效检出，巡检效率和可靠性较传统目视检测有了巨大提升。图2远程视觉巡检系统为解决外场飞机人工检测周期长、成本高、可达性差和漏检率高等问题，空客公司开发了基于机器视觉的新型无人机视觉检测系统，如下图所示，用于机库内飞机机身的检测，该系统配备了激光传感器，可携带视觉检测硬件系统，根据预设路径进行巡查，仅需半小时即可获得整架飞机的外部结构图像，并将图像实时上传至视觉分析系统，与原始图像进行对比匹配，可实现表面损伤的有效检出，极大地提高了飞机结构表面损伤的检测效率和检测精度。图3无人机视觉检测系统目前，国内在飞机结构损伤视觉巡检方面的应用研究还处于起步阶段，相关工作主要聚焦于机器视觉理论、方法和需求调研等试验性研究中，缺少与工程现场相结合的应用成果。中国飞机强度研究所将视觉巡检技术应用于飞机全机结构周期性检测中，开发了面向国产C919全机结构疲劳试验的新型损伤视觉巡检系统——5G离朱，如下图所示。巡检系统通过轨道和机械臂在机舱内移动，利用超高分辨率相机成像采集系统，结合特征提取算法，可实现0.2mm以上损伤的有效检出和定量测量，并通过5G技术将数据高速上传至云端服务器。该系统可24小时不间断地巡检全舱百余个重点检测点位，有效覆盖机舱内近80%的疲劳薄弱部位，并对损伤进行定期跟踪拍摄，有效提升了全机重点结构损伤检测的效率和智能化程度。图45G离朱损伤巡检机器人外观及结构损伤巡检系统2飞机结构原位损伤在线视觉监测在飞机结构损伤容限和耐久性试验过程中，对疲劳裂纹扩展进行跟踪监测是金属结构损伤容限设计和寿命预测的重点任务之一。对于传统目视检测，为保证检测人员的安全，会将疲劳试验与其表面裂纹观测独立开来，即当载荷循环一定次数后停止加载，通过直接目视或借助内窥镜、反光镜和放大镜等工具进行目视检测。传统目视检测是在一定的循环周次后进行，难以实时连续地跟踪、记录裂纹扩展的全过程，且观测时需频繁装卸组件，十分繁琐和费时。近年来，随着机器视觉技术的不断成熟，其实时性强、成本低、精度高和适用范围广等优势日益凸显，国内外许多科研机构和试验生产单位已将机器视觉技术应用到飞机结构表面裂纹检测中。提出了一种基于数字图像相关技术的裂纹在线监测方法，通过对不同时间点采集的图像进行目标匹配和纹理对比分析，实现了航空铝合金构件疲劳裂纹扩展过程的不停机实时监测。利用非均匀热载荷代替均匀热载荷作为激励源，提出了基于一种无透镜傅里叶数字全息干涉技术的光学在线裂纹检测方法，克服了在相位展开图中无法观察到干涉条纹位移的问题，有效改善了粗糙表面裂纹检测的在线检测精度。在国内，设计了基于机器视觉的疲劳裂纹扩展测量系统，系统主要由疲劳试验机、图像采集装置、摄像头安装装置及摄像头运动控制器、计算机及其摄像机标定相关软件等模块构成，如下图所示。测量过程中，首先将试验件装夹到疲劳试验机上，打开照明光源，调节高清摄像机至需要监测的位置，通过图像采集卡将图像实时传输至计算机，即可在裂纹测量软件平台上完成疲劳裂纹的实时在线视觉监测。图5疲劳裂纹扩展测量系统组成中国飞机强度研究所将机器视觉技术应用于某型号翼身组合体疲劳试验中，开发了用于预制裂纹扩展实时监测和高精度测量的视觉监测系统VIS-20，系统的硬件模块用于图像的实时采集，由高清工业相机、定焦镜头、蓝光光源、夹具和工控机等组件组成；软件部分则主要负责拍摄时间设置、几何坐标系标定、曲面校正、裂纹长度精确测量和统计分析等工作，如下图所示。该视觉监测系统在节约大量人力和时间成本的同时，有效解决了飞机疲劳试验过程中裂纹扩展难以实时监测的瓶颈问题。图6视觉监测系统VIS-20的摄像模块和裂纹扩展时序图3基于深度学习的原位损伤智能视觉检测随着视觉检测技术应用场景的不断扩展，传统基于图像处理和简单机器学习算法的检测技术在处理多特征、多语义和复杂约束问题时出现了明显不足。许多国内外学者已经将深度学习，特别是深度卷积神经网络的方法应用于裂纹检测领域。利用SegNet网络实现了对工件表面裂纹的检测；提出了卷积神经网络(CNN)与基于变分模式相结合的裂纹检测方法，解决了电缆早期裂纹的检测问题。根据处理表面裂纹检测问题方式的不同，基于深度学习的智能视觉检测技术可分为基于图像分类、基于目标检测和基于像素级分割方法3大类，如下图所示。图7典型智能视觉检测技术基于图像分类的方法能够很好地避免原始图像分辨率低、质量差的影响，但此类方法只能做到有无裂纹的分类，无法对裂纹的形状、大小及其位置等进行判断；与基于图像分类的方法相比，基于目标检测的裂纹检测方法的识别精度和粒度大幅度提高，但裂纹的大小及纹理等重要信息仍然无法得到；基于像素级分割方法是3类方法中精度最高的，通过对输入图像中的每个像素点都划分相对应的类别，既可对目标进行分类，又可得到裂纹的精确位置和结构。对于结构损伤检测，特别是飞机结构损伤检测，不仅关注损伤的有无，还要求对损伤的大小和位置进行精确测量，因此采用基于像素级分割的深度学习算法是最为合适的。目前，此类方法已被用于道路、桥梁和飞机结构裂纹的视觉检测。针对背景纹理较复杂，噪声干扰大且分布无规律的裂纹图像，李良福等提出的与滑动窗口算法相结合的基于卷积神经网络的深度桥梁裂纹分类(DBCC)模型，可用于桥梁背景面元和桥梁裂纹面元的识别，通过添加局部响应值归一层和概率区分阈值，在一定程度上避免了图像亮度不均匀和噪声所带来的误检与漏检问题。为实现疲劳试验中飞机结构裂纹损伤的快速识别检测，中国飞机强度研究所提出了一种改进的全卷积网络(FCN)模型，网络模型的可视化结果如下图所示，该模型采用类似U-Net的编码器-解码器结构，以ResNet-34为骨干（在ImageNet数据集上预训练）。模型对原始的ResNet-34做了两处修改，使其能够适应目标提取的像素级预测任务，删除了ResNet-34中的平均池化和全连接层，删除了最后一个残差块，因此最终的特征图大小为输入图像的1/16，Dblock模块主要由级联和并联模式的扩张卷积组成，进一步扩大了神经网络的感受野。图8改进的全卷积网络模型可视化结果基于试验采集到的34张图像进行验证，从可视化结果来看，深度学习模型能够准确提取和识别出裂纹损伤，损伤识别准确率已达到90%以上，但是裂纹在边缘处有明显外扩，即存在图像过分割现象。在裂纹边缘处预测结果不理想也是目前分割任务普遍存在的问题，原因主要有网络的下采样过多，原始标签不准确，缺乏边缘保持策略等。结语与展望在计算机科学和高性能硬件设备的驱动下，机器视觉技术得到了前所未有的发展。总体而言，机器视觉技术已成为结构损伤检测领域最具潜力的发展方向之一，特别是在人工智能技术的推动下，智能视觉技术有望大规模替代人工目视，用于结构表面损伤的快速精细化检测。新兴技术的应用和普及必然是一个机遇与挑战并存的发展过程，对于飞机结构而言，机体结构表面存在大量铆钉、拐角和多细节复杂结构区，加之光线条件、试验加载和偶发震动等不利因素的影响，机器视觉技术在飞机结构损伤检测领域的成熟应用还有以下关键问题需要解决：1微观裂纹的检测能力有待提高在结构损伤早期，结构表面初始裂纹的尺寸很小，存在