高光谱和多光谱成像

高光谱和多光谱成像是两种类似的技术，在过去二十年中，这两种技术的重要性和实用性不断提高。这些术语通常被合并为具有相同的含义，但代表两种不同的成像方法，每种方法都有自己的应用空间。与传统的机器视觉成像方法相比，这两种技术都具有优势，后者利用来自可见光谱（400-700nm）的光。然而，在照明、滤波和光学设计方面，这些好处伴随着系统复杂性的增加。在典型的机器视觉应用中，传感器使用和捕获的照明在可见光谱中。这部分光谱由人眼唯一能检测到的光组成，范围从大约400nm（紫色）到700nm（暗红色）（图1）。成像透镜组件和传感器通常具有大约550nm的峰值光谱灵敏度。相机传感器的量子效率是将光子转换为电信号的能力；这种效率在紫外线或近红外线中显著降低。最简单地说，高光谱成像（HSI）是一种捕获图像的方法，该图像包含来自电磁光谱更广泛部分的信息。这部分可以从紫外线开始，延伸到可见光谱，最后到达近红外或短波红外。该扩展的波长范围可以揭示在其他方面不明显的材料组成的性质。图1：只有一小部分波长光谱对人眼可见，可见光谱之外的波长区域用于高光谱和多光谱成像。机器视觉传感器输出灰度值阵列，从而在观看区域内产生物体的2D图像。它的功能用途通常是用于分类、测量或定位对象的特征识别。视觉系统不知道用于照明的波长，除非使用滤光器。对于具有拜耳模式（RGB）滤波器的传感器来说，情况并非如此，但即使如此，每个像素也被限制接受来自窄带波长的光，而相机软件是最终分配颜色的原因。在真正的高光谱图像中，每个像素对应于坐标、信号强度和波长信息。因此，HSI通常被称为成像光谱学。顺便说一句，光谱仪收集波长信息以及检测到的不同波长的相对强度信息。这些设备通常从样本上的单一光源或位置收集光。光谱仪可用于检测散射和反射特定波长的物质，或基于荧光或磷光发射的材料成分。HSI系统通过将位置数据分配给收集的光谱，将这项技术提升到了一个新的水平。高光谱系统不输出2D图像，而是输出高光谱数据立方体或图像立方体。使用了四种主要的高光谱采集模式，每种模式都有一系列优点和缺点（图2）。扫频法是一种点扫描过程，每次获取一个空间坐标的光谱信息。这种方法往往提供最高水平的光谱分辨率，但需要系统在x轴和y轴上扫描目标区域，这大大增加了总采集时间。推送室方法是一种线扫描数据捕获，其中当一行像素在一个区域上扫描以捕获光谱和位置信息时，需要单个空间移动轴。这些推送室系统可以具有“紧凑的尺寸、低重量、更简单的操作和更高的信噪比”。当使用这种HSI方法时，准确地确定曝光时间是至关重要的。不正确的曝光时间将导致光谱带的饱和度不一致或曝光不足。这种称为平面扫描的方法一次对整个2D区域进行成像，但在每个波长间隔进行，并涉及多次图像捕获，以创建高光谱数据立方体的光谱深度。虽然这种捕捉方法不需要传感器或整个系统的平移，但在采集过程中受试者不移动是至关重要的；否则位置和光谱信息的准确性将受到损害。第四种也是最近开发的高光谱图像采集模式被称为单次拍摄或快照。单次成像仪在一个积分周期内收集整个高光谱数据立方体。尽管单次拍摄似乎是HSI实现的首选未来，但它目前受到相对较低的空间分辨率的限制，需要进一步开发。图2：四种主要的高光谱采集模式，包括（A）点扫描或扫帚模式、（B）线扫描或推室模式、（C）平面扫描或区域扫描模式和（D）单次拍摄模式。多光谱成像（MSI）系统与高光谱成像系统相似，但有关键区别。与HSI的有效连续波长数据收集相比，MSI专注于基于手头应用的几个预选波段。虽然不是一个直接的例子或比较，但常见的RGB传感器有助于说明这一概念。RGB传感器覆盖有拜耳图案，由红色、绿色和蓝色滤光片组成。这些滤光器允许来自特定色带的波长被像素吸收，而其余的光被衰减。带通滤波器具有在400-700nm范围内的透射带，并且具有轻微的光谱重叠。这方面的一个例子可以在图3中看到。然后，捕捉到的图像被渲染为假彩色，以接近人眼所看到的。在大多数多光谱成像应用中，波段明显更窄，数量更多。波段通常在几十纳米的数量级上，并且不仅仅是可见光谱的一部分。根据应用，UV、NIR和热波长（中波IR）也可以具有隔离通道。图3：RGB相机曲线的量子效率曲线，显示红色、绿色和蓝色之间的重叠。一些人认为MSI是HSI的一种更糟糕的形式，具有较低的光谱分辨率。事实上，这两种技术都有各自的优势，使它们成为不同任务的首选工具。HSI最适合对连续频谱上信号的细微差异敏感的应用。这些小信号可能会被采样较大波段的系统错过。然而，一些系统需要屏蔽电磁频谱的重要部分，以选择性地捕获光（图4）。其他波长可能会产生显著的噪声，这可能会破坏测量和观测。此外，如果数据立方体中包含的光谱信息较少，则可以更快地进行图像捕获、处理和分析。图4：多光谱成像和高光谱成像中图像堆栈的比较，前者有在几个不同光谱中拍摄的图像，后者有在许多不同光谱中获取的图像。需要使用HSI和MSI的应用程序空间的数量继续增长。遥感，即使用无人机和卫星对地球表面进行空中成像，几十年来一直依赖HSI和MSI。光谱摄影可以穿透地球的大气层和不同的云层，以获得下面地面的清晰景象。这项技术可以用于监测人口变化、观察地质变化和研究考古遗址。此外，HSI和MSI技术在环境研究中变得越来越重要。可以收集有关森林砍伐、生态系统退化、碳回收和日益不稳定的天气模式的数据。研究人员利用收集到的信息创建全球生态的预测模型，这推动了许多旨在应对气候变化和人类对自然影响的环境倡议。在医学领域也是如此。现在，医生可以在高光谱成像的帮助下对皮肤进行无创扫描，以检测病变或恶性细胞。某些波长更适合深入皮肤，从而更详细地了解患者的病情。癌症和其他患病细胞现在很容易与健康组织区分开来，因为它们会在正确的刺激下发出荧光并吸收光。医生不再需要根据他们所能看到的情况和患者对症状的描述做出有根据的猜测。复杂的系统可以记录和自动解释光谱数据，从而大大加快诊断和快速处理准确的需求区域。生命科学和遥感只是这些技术产生巨大影响的少数几个主题。更具体的市场领域包括农业、食品质量和安全、药品和医疗保健。3农民发现这些工具特别有用，可以决定作物的生长。拖拉机和无人机可以配备光谱成像仪，在进行低空遥感的同时对田地进行扫描。然后，农民们分析捕捉到的图像的光谱特征。这些特征有助于确定植物的总体健康状况、土壤状态、用某些化学物质处理过的区域，或者是否存在感染等有害物质。所有信息都有独特的光谱标记，可以捕捉、分析并用于确保农产品的最佳生产。尽管受益于HSI和MSI的应用空间很大，而且还在增加，但当前技术的局限性导致行业采用缓慢。目前，与其他机器视觉组件相比，这些系统明显更昂贵。传感器需要更复杂，具有更宽的光谱灵敏度，并且必须精确校准。传感器芯片通常需要使用硅以外的衬底，硅仅对大约200-1000nm敏感。砷化铟（InAs）、砷化镓（GaAs）或砷化铟镓（InGaAs）可用于收集高达2600nm的光。如果要求通过MWIR从NIR成像，则需要汞镉碲（MCT或HgCdTe）传感器、锑化铟（InSb）焦平面阵列、砷化铟镓（InGaAs）焦平面数组、微测辐射热计或其他更长波长的传感器。这些系统中使用的传感器和像素也需要比许多机器视觉传感器更大，才能达到所需的灵敏度和空间分辨率。当将这些高端传感器与合适的光学组件配对时，会出现另一个挑战。光谱数据记录在很大程度上依赖于带通滤波器、衍射光学器件（如棱镜或光栅），甚至液晶或声光可调谐滤波器来分离不同波长的光。此外，用于这些相机的镜头必须经过优化设计，并在巨大的波长范围和温度波动中兼容。这些设计必须具有更多的光学元件，这增加了成本和系统重量。元件将需要具有不同的折射率和色散特性以进行宽带颜色校正。不同的玻璃类型也会导致不同的热性能和机械性能。在选择具有适当内部透射光谱的眼镜后，必须在每个镜片上涂上宽带多层防反射涂层，