近红外光谱检测关键技术

近红外光谱检测关键技术第一页，共二十八页，编辑于2023年，星期五基本概念近红外光谱分析技术主要利用有机分子的含氢基团在中红外谱区的倍频与合频的吸收来分析分子的结构、组成、状态等信息，记录的主要是C—H、O—H、N—H、S—H、P—H等含氢基团振动的倍频、合频吸收。不同基团(如甲基亚甲基、苯环等)或同一基团在不同化学环境中的近红外吸收波长与强度都有明显差别。第二页，共二十八页，编辑于2023年，星期五两大原理

第三页，共二十八页，编辑于2023年，星期五漫反射定量分析原理近红外光谱分析与中红外、紫外可见光谱分析是完全不同的。其测量方式主要是用漫反射技术完成，光与固体物质的作用方式如下所示:第四页，共二十八页，编辑于2023年，星期五由光源发出的近红外光照射到固体物质后，进入样品内部经过多次反射、折射和吸收后又返回到样品表面的光称为漫反射光。其负载了样品的结构和组成的大量信息。但由于漫反射光与样品的作用形式多样，除了样品的组成成分外，其颗粒大小、软硬程度、颜色及温度等性质都会对漫反射光的强度产生影响。因此，漫反射不遵守比尔定律，而遵守Kubelka—Murk方程:第五页，共二十八页，编辑于2023年，星期五

第六页，共二十八页，编辑于2023年，星期五

第七页，共二十八页，编辑于2023年，星期五仪器技术关键在于：提高仪器的信噪比表现在：吸光度的重现性某一样品进行多次扫描，各扫描点下不同一次测量吸光度之间的差异，通常用多次测量某一谱峰位置所得吸光度的标准差表示。吸光度重现性对近红外光谱检测来说是很重要的指标，它直接影响模型建立的效果和测量的准确性。第八页，共二十八页，编辑于2023年，星期五仪器系统由：光源、分光系统、样品池、探测器组成。近红外光谱仪的四个组成部分，每个部分都可能引入噪声。透射式近红外光谱仪适于半透明、大颗粒样品漫反射式近红外光谱仪适于薄层、稀疏或粉末状样品半反半透式近红外光谱仪结合前两种的优点，普适性好第九页，共二十八页，编辑于2023年，星期五光源光源谱带足够宽要保证光源的高稳定性方法：增大光信号强度：噪声一定，增大光强=增加信号强度=提高信噪比对光信号进行调制：直流变交流，再通过后续滤波电路消除干扰信号使用滤光片：直接把不需要的光滤掉，减少杂光干扰第十页，共二十八页，编辑于2023年，星期五分光系统一般来讲，光学质量可靠的分光系统本身不会直接影响到仪器的信噪比，但由于仪器中装载分光系统的可动部件如光栅转轴、滤光片盘轴，在连续高强度的运行中可能存在磨损问题，从而影响光谱数据的可靠性，这样也可能会影响到仪器信噪比。方法：研制无移动部件光谱仪，直接使有用的光谱落在线阵探测器的有效区域，这样整个分光系统就不存在移动部件，也就不存在磨损部件的问题。第十一页，共二十八页，编辑于2023年，星期五探测器合格的探测器一般都能满足使用要求，主要问题是探测器多数对于温度十分敏感，保持恒温工作环境很重要。方法：人工通过安装空调、风扇、散热管等降温，另有一些高档仪器会直接采用自带液氮、半导体制冷的探测器。第十二页，共二十八页，编辑于2023年，星期五样品池几乎所有近红外光谱仪在样品池的表面都是一个玻璃或石英的盖子，其目的是保证样品有一个匀质的表面。但由于各个盖子间的厚度不可能加工到完全一致，因此，盖子的厚度和折射率的不同将影响分析结果的准确性。方法：配置开放式样品池，这种样品池没有玻璃或石英的盖子，也就消除了由于盖子的不一致而产生的分析误差。但在装样到上机扫描过程中，由于样品表面蒸发或吸湿作用，会导致样品含水量的变化。第十三页，共二十八页，编辑于2023年，星期五光谱预处理技术近红外光谱仪所采集的光谱数据不仅包含了被测样品的组成和结构信息，而且还包含了噪音、背景及其它系统干扰的信息。这些干扰信息使得近红外谱图信息复杂化，在有些情况下甚至会湮没待测物质的信息。光谱预处理主要内容就是是消噪。方法主要有滤波、基线校正、归一化处理、多元散射校正。第十四页，共二十八页，编辑于2023年，星期五滤波一般认为，近红外光谱的谱带较宽，从频谱上看，有用信息处于低频部分，而随机噪声一般处于高频部分；因此，很容易通过平滑除去这部分噪声。有关滤噪处理的数学方法有很多种，如小波变换、傅立叶变换、奇异值分解及其它一些方法。这些方法在解决不同类型的噪音、改善信噪比方面都各有特点。其中，信号平滑是一种最常用的消除高频噪声干扰的方法;其原理是将各数据点的值按一定的权重在自身和临近点重新分配，得到较光滑的曲线;常用的平滑方法主要有：平均窗口平滑法、中位值平滑法、savitsky—Golay平滑法等。第十五页，共二十八页，编辑于2023年，星期五基线校正由于样品状态与测量条件的差异，导致近红外光谱的平移或旋转，这对谱图解析造成了较大的干扰，如不加处理，会影响所建立校正模型的质量和对未知样品预测结果的准确性。要消除这种干扰，可以通过基线校正处理，从而使校正模型的稳健性更强。基线校正最常用的解决办法是对光谱进行一阶导数或二阶导数处理，前者主要解决基线的偏移，后者则解决基线的漂移。第十六页，共二十八页，编辑于2023年，星期五归一化处理在使用多元校正方法建立近红外光谱分析模型时，将光谱的变动（而非光谱的绝对量）与待测性质或组成的变动进行关联。基于以上特点，在建立定量或定性模型前，往往采用一些数据增强算法增加样品之间的差异，从而提高模型的稳健性和预测能力。常用的算法有均值中心化、标准化和归一化等。从每个光谱数据中减去各个样品的平均值，使所有数据都分布在零点两侧，充分反映变化信息，消除光程或样品稀释等变化对光谱响应造成的影响，并且可简化以后的回归运算。第十七页，共二十八页，编辑于2023年，星期五多元散射校正吸光度不仅与成分含量有关，还与样品颗粒大小、均匀性及装样的松紧度有很大关系，这些因素统称为颗粒原因。不同样品间吸光度的差异中通常只有极小部分与样品的成分含量差异有关，其他绝大部分由颗粒度原因造成的吸光度的差异可视为干扰信息，在对光谱进行分析时应当尽量消除。多元散射校正则在解决样品的粒径不均匀或测样容器不一致对光谱的影响上有良好的效果。第十八页，共二十八页，编辑于2023年，星期五信息提取技术在近红外光谱分析中由于光谱谱带较宽、吸收峰重叠严重、信息复杂。要使近红外光谱技术有所作为，就离不开信息提取技术的支持。光谱信息的提取有两种方式，一种是只提取特定波长点的信息，在早期的光谱检测中经常使用这种方式。另一种方法采用化学计量学知识进行连续谱校正，是现代近红外光谱技术的特征之一。不管哪种方式，都是建立在化学计量学(Chemometrics)理论基础之上的。第十九页，共二十八页，编辑于2023年，星期五主要方法：多元线性回归(MLR)主成分回归(PCR)偏最小二乘回归(LSR)人工神经网络(ANN)线性问题非线性问题第二十页，共二十八页，编辑于2023年，星期五多元线性回归(MultiplyLinearRegression，MLR)

多元线性回归是一元线性回归的扩展，用于建立多个自变量和因变量之间的关系。在近红外光谱的定量分析中，常常涉及到处理多个近红外光谱信息与所研究质量指标的相关性，多元线性回归是最早使用的统计分析方法。多元线性回归适用于线性关系特别好的简单体系，不需考虑组分之间相互干扰的影响，计算简单，公式含义也较清晰。第二十一页，共二十八页，编辑于2023年，星期五主成分回归(PrincipleComponentRegression，PCR)

PCR是先把原始数据进行主成分分析，它是以因子分析为基础，将光谱数据向协方差最大方向投影，使数目较少的主成分成为原变量的线性组合，主成分最大限度地反映了被测样品的组成和结构信息，而最小限度地包含噪音。通过对主成分个数的合理选取，去掉代表干扰组分和干扰因素的主成分,然后再用其中的几个主成分与物质的化学成分进行多元线性回归，这就是主成分回归分析的主要思想。第二十二页，共二十八页，编辑于2023年，星期五偏最小二乘回归(PartialLeastSquareRegression，PLSR)

PLSR从80年代开始应用于化学研究，现已成为化学计量学中最常用的多元校正方法，也是近红外光谱分析上应用最多的回归方法。PLSR也是一种基于因子分析的多元校正方法，与主成分回归的区别是：它不仅将响应矩阵进分解，提取主因子，还将浓度矩阵进行分解提取主因子，因而具有更强的提供信息的能力，所建立的校正模型更稳定，有更强的抗干扰能力。第二十三页，共二十八页，编辑于2023年，星期五人工神经网络(ArtificialNeuralNetwork，ANN)

MLR、PCR、PLSR等多元校正方法都是基于这样一个假设前提，即所研究的体系是线性体系。但在使用近红外光谱分析技术的实际工作中，吸光度与样品含量化学测之间具有一定的非线性，这主要是由于体系中各组分的相互作用、仪器的噪声及基线漂移等原因，会引起非线性现象；特别是当样品的组分含量变化范围较大时，其非线性较明显。ANN是利用大量简单的处理单元广泛连接组成复杂网络，来模拟人脑神经网结构和行为，具有人脑的基本功能，比如学习、记忆、概括、归纳和抽取等。人工神经网络有多种算法，按学习策略可分为两类：有监督式的人工神经网络和无监督式的人工神经网。有监督式的人工神经网络的方法主要是对已知样本进行训练，然后对未知样本进行预测。无监督式方法，亦称自组织人工神经网络，无须对已知样本进行训练，则可用于样本的聚类和识别。第二十四页，共二十八页，编辑于2023年，星期五常见问题：欠拟合：线性回归定标方法中参与变量太少，如定标所用的主成分因子数太少，会使一些有用的信息没有包含在模型中，导致得到的校正的结果和预测的结果都不会很好。过拟合：得到相关性好且偏差小的模型固然重要，但也要防止过拟合现象的产生。譬如在基于多变量（波长点）的多元线性回归模型中所选择的变量数过多或在PLSR、PCR回归中所用的主成分因子数过多等都可能造成过拟合，所得结果很有可能是校正集样品的校正结果很好，但是对没有在校正集中样品的预测时，结果会很差，往往导致预测失败。第二十五页，共二十八页，编辑于2023年，星期五1.对象广泛，多场合应用几乎可用于所有与含氢基团有关的样品物化性质分析，而且对某些无近红外光谱吸收的物质(如某些无机离子化合物)，也可通过它对共存的本体物质影响引起的光谱变化，间接地反映它存在的信息。同时适合多种场合，可用于实验室分析，也可用于现场检测和实时在线分析。2.分析过程简单近红外光谱与中红外光谱不同的是水分的吸收不会覆盖C一H、N一H和0一H基团的吸收带，因此可用于对水溶液样品、固体和泥浆状样品的直接分析，而不必经溶剂稀释或制备嗅化钾片等处理，便于生产中实时测定,避免离线检测时制备样品带入误差。优势：第二十六页，共二十八页，编辑于2023年，星期五3.可以利用光纤传输，实现远程一主机多探头分布式检测光纤对电磁干扰不敏感，可在困难条件下或危险的如有毒的、充满易燃易爆样品的境中采样分析。4.多组分可同时快速测量在大多数情况下，通过建立的数学模型就可以利用样品的近红外光谱在几十秒至几分钟内完成一个样品的多种性质的测量，与传统的方法相比，节省了大量人力和物力，分析工作的效率大大提高。第二十七页，共二十八页，编辑于2023年，星期五局限：1.需要大量定标样品和准确的化学成分资料以建