现代近红外光谱分析技术的原理及应用

1、现代近红外光谱分析技术的原理及应用1 简介 近红外光（near infrared,NIR）是介于可见光（VIS）和中红外光（MIR或IR）之间的电磁波美国材料检测协会（ASTM）将近红外光谱区定义为波长780-2526nm的光谱区（波数为12820-3959cm-1）习惯上又将近红外区划分为近红外短波（780-1100nm）和近红外长波（1100-2526nm）两个区域。从20世纪50年代起，近红外光谱技术就在农副产品分析中得到广泛应用，但是由于技术上的原因，在随后的20多年中进展不大。进入20世纪80 年代后，随着计算机技术的迅速发展，以及化学计量学方法在解决光谱信息提取和消除背景干扰方面取

2、得的良好效果，加之近红外光谱在测试技术上所独有的特点，人们对近红外光谱技术的价值有了进一步的了解从而进行了广泛的研究。数字化光谱仪器与化学计量学方法的结合标志着现代近红外光谱技术的形成。数字化近红外光谱技术在20 世纪90年代初开始商品化。近年来，近红外光谱的应用技术获得了巨大发展，在许多领域得到应用，对推进生产和科研领域的技术进步发挥了巨大作用。近红外光谱技术是90年代以来发展最快、最引人注目的光谱分析技术，测量信号的数字化和分析过程的绿色化使该技术具有典型的时代特征。由于近红外光在常规光纤中有良好的传输特性，使近红外光谱技术在实时在线分析领域中得到很好的应用。在工业发达国家，这种先进的分析

3、技术已被普遍接受，例如1978年美国和加拿大采用近红外法代替凯氏法，作为分析小麦蛋白质的标准方法。 20世纪90年代初,外国厂商开始在我国销售近红外光谱分析仪器产品,但在很长时间内，进展不大，其原因主要是：首先，近红外光谱分析要求光谱仪器、光谱数据处理软件（主要是化学计量学软件）和应用样品模型结合为一体，缺一不可。但被分析样品会由于样品产地的不同而不同，国内外的样品通常有差异，因此，进口仪器的应用模型一般不适合分析国内样品。如果自己建立模型，就需要操作人员了解和熟悉化学计量学知识和软件，而外商在中国的代理机构缺乏这方面的专业人才，不能有效地根据用户的需要组织培训，因此，用户对这项技术缺乏全面了

4、解，影响到了它的推广使用。其次，进口仪器价格昂贵，售后技术服务费用也往往超出大多数用户的承受能力。 1995年以来，国内许多科研院所和大专院校开始积极研究和开发适合国内需要的近红外光谱分析技术，并且做了大量技术知识的普及工作，为我国在这一技术领域的发展奠定了良好的基础，开创了崭新的局面。2 工作原理 近红外光谱主要是由于分子振动的非谐振性使分子振动从基态向高能级跃迁时产生的。近红外光谱记录的是分子中单个化学键的基频振动的倍频和合频信息，它常常受含氢基团X-H（X-C、N、O）的倍频和合频的重叠主导，所以在近红外光谱范围内，测量的主要是含氢基团X-H振动的倍频和合频吸收。 获得近红外光谱主要应用

5、两种技术透射光谱技术和反射光谱技术。透射光谱（波长一般在7801100nm范围内）是指将待测样品置于光源与检测器之间，检测器所检测的光是透射光或与样品分子相互作用后的光（承载了样品结构与组成信息）， 若样品是混浊的，样品中有能对光产生散射的颗粒物质，光在样品中经过的路程是不确定的，透射光强度与样品浓度之间的关系不符合Beer定律。对这种样品应使用漫透射分析法。 反射光谱（波长一般在11002526nm 范围内）是指将检测器和光源置于样品的同一侧，检测器所检测的是样品以各种方式反射回来的光。物体对光的反射又分为规则反射（镜面反射）与漫反射。 规则反射指光在物体表面按入射角等于反射角的反射定律发生

6、的反射，漫反射是光投射到物体后（常是粉末或其它颗粒物体），在物体表面或内部发生方向不确定的反射。应用漫反射光进行的分析称为漫反射光谱法。此外，还有把透射分析和漫反射分析结合在一起的综合漫反射分析法和衰减全反射分析法等。 由于倍频和合频跃迁几率低，而有机物质在NIR光谱区为倍频与合频吸收，所以消光系数弱，谱带重叠严重。因此从近红外光谱中提取有用信息属于弱信息和多元信息，需要充分利用现有的光机技术、电子技术和计算机技术进行处理。计算机技术主要包括光谱数据处理和数据关联技术。光谱数据处理是消除仪器因素（灯及测量方式等）环境因素（如温度等）和样品物态（如颜色、形态等）等对光谱的影响。常采用的方法有平滑

7、、微分、基线漂移扣减、多元散射校正（MSC）和有限脉冲响应滤波（FIR）等也可以用小波变换来进行部分处理。 数据关联技术主要是化学计量学方法。 化学计量学的发展使多组分分析中多元信息处理理论和技术日益成熟，解决了近红外光谱区重叠的问题。 通过关联技术可以实现近红外光谱的快速分析。 在近红外光谱的应用中我们所关心的是被测样品的组成或各种物化性质，因此，如何提取这些有用信息是近红外光谱分析的技术核心。现在的许多研究与应用表明，利用化学计量学方法进行近红外光谱分析是非常有效的。化学计量学理论在近红外光谱仪器中的应用对仪器的实用化是非常关键的。 在近红外光谱分析中被测物质的近红外光谱取决于样品的组成和

8、结构。样品的组成和结构和近红外光谱之间有着一定的函数关系。使用化学计量学方法确定出这些重要函数关系，即经过校正，就可以根据被测样品的近红外光谱，快速计算出各种数据。 现在常用的校正方法主要有：多元线性回归（MLR）主成分分析（PCA），偏最小二乘法（PLS）人工神经网络（ANN）和拓扑（Topological）方法等。3 技术特点 近红外光谱技术之所以成为一种快速、高效、适合过程在线分析的有利工具，是由其技术特点决定的。 近红外光谱分析的主要技术特点如下：?（1）分析速度快，测量过程大多可在1min内完成。（2）分析效率高，通过一次光谱测量和已建立的相应校正模型，可同时对样品的多个组分或性质进

9、行测定提供定性、定量结果。（3）适用的样品范围广，通过相应的测样器件可以直接测量液体、固体、半固体和胶状体等不同物态的样品光谱测量方便。（4）样品一般不需要预处理，不需要使用化学试剂或高温、高压、大电流等测试条件，分析后不会产生化学、生物或电磁污染。（5）分析成本较低（无需繁杂预处理，可多组分同时检测）。（6）测试重现性好。（7）对样品无损伤，可以在活体分析和医药临床领域广泛应用。（8）近红外光在普通光纤中具有良好的传输特性，便于实现在线分析。（9）对操作人员的要求不苛刻，经过简单的培训就可胜任工作。近红外光谱技术存在的问题是：（1） 测试灵敏度相对较低，被测组分含量一般应大于0.1%。（2）

10、需要用标样进行校正对比，很多情况下仅是一种间接分析技术。4 仪器分类 根据分光系统，近红外光谱仪器可分为固定波长滤光片、光栅色散、快速傅立叶变换和声光可调滤光器（AOTF）四种类型。光栅色散型根据使用检测器的不同又分为扫描式和固定光路式两种。 根据测试方法，近红外光谱法主要分为透射测定法，漫透射测定法和反射测定法3种。透射测定法用于透明样品的分析，样品浓度与对光的吸收关系符合比尔定律。漫透射测定法，由于样品中含有光散射物质，光在穿透分析样品时，除了吸收外还有多次散射，比尔定律不适用。反射测定法，近红外光照射到样品表面后，由于样品表面状态和结构的不同，光线会发生多次反射。5 对硬件和软件的要求

11、在硬件上，光栅型近红外光谱仪的设计与紫外，可见光谱仪的设计极为相似，但使用的光栅，滤光片和检测器不同（有些需要更换光源）。 目前FT-IR光谱仪主要用于中红外区，但只要更换一些光学元件（光源、分束器及检测器）并配合适用的软件，就可扩展到近红外区，AOTF 是一种新的分光方法，已经有厂家将其用于中红外和近红外光谱仪器。 使用滤光片的仪器，主要用于对仪器要求不太高的专项测量。 在软件上，应该设计光谱测量通用软件，化学计量学光谱分析软件和仪器自检系统。光谱测量通用软件完成近红外光谱图的获取、存储等常规功能，化学计量学光谱分析软件完成对样品的定性或定量分析，是近红外光谱快速分析技术的核心。常用的化学计

12、量学方法有：多元线性回归（MLR），主成分分析（PCA）、偏最小二乘法（PLS）、人工神经网络（ANN）和拓扑（Tonological）等。 所采用的算法的好坏（收敛速度）直接影响仪器的分析速度，所以在这一方面需要加强研究。仪器自检系统完成仪器性能状态的自我检测，判定仪器是否符合样品的测试条件，仪器在硬件上要有相应的功能。 另外，还需要建立相应的模型库（训练集）。这项工作需要具有相应领域专业知识的人才?大量有代表性的样品，准确的标准分析数据（主要是化学分析）数据建模并建成相应的光谱数据库，才有可能完成。6 应用-茶叶定性和定量近红外光谱分析方法研究尝试应用近红外光谱分析技术,结合聚类分析和偏最

13、小二乘回归(MPLS)方法,对茉莉花茶、苦丁茶、龙井和铁观音4个种类进行定性分析与建模,同时建立了茶叶中水分、茶多酚和咖啡碱的定量分析模型,并对其适用性进行检验。1材料与方法1·1样本收集分别购买市售茉莉花茶、苦丁茶、龙井和铁观音4个种类各30个,共计120个样本,分别产自湖北、河南、海南、浙江、福建等地。全部样本分成定标集和验证集,定标集为102个样本,验证集为18个样本。1·2三种成分化学分析样本三种主要成分的测定按照国家标准的测定方法,水分采用103恒重法(GB/T83042002);茶多酚采用酒石酸亚铁比色分光光度法(GB/T83132002);咖啡碱采用紫外分光光

14、度法(GB/T83122002)。化学分析结果见表1。Table 1Chemical analysis result of samples(%, weight percent)成分最小值最大值平均值标准差水分3·76 9·36 6·69 1·14茶多酚21·59 39·86 32·51 3·62咖啡碱2·91 6·35 4·27 0·621·3光谱采集与异常样本剔除本实验使用丹麦FOSS TECATOR公司生产的NIRSys-tems6500型近红外光谱分析仪,波长

15、范围为4002 500 nm;扫描速度为1·8次·s-1;检测器为硅(4001 100 nm),硫化铅(1 1002 500 nm);工作温度为1532;取点间隔为2 nm;扫描次数为32。光谱分析软件采用与NIRSys-tems6500型近红外光谱分析仪配套化学计量学软件WinISI实现。随机抽取样本,按照仪器使用要求进行装样,对每份样本进行3次装样,分别进行扫描,取3次扫描光谱的平均光谱作为分析光谱。样本原始近红外光谱见图1所示。Fig·1Original spectrum of samples利用WinISI对光谱文件进行聚类分析,分析方式为PL1方式,即利

16、用扫描数据矩阵及各成分含量的实验室数据计算得分,解释光谱间差异。马氏距离超过3·0的被视为异常样品,应被剔除6,7。1·4光谱预处理方法为了去除来自高频随机噪音、基线漂移、样本不均匀、光散射等影响,需要对光谱进行预处理。光谱数据预处理方式包括散射处理MSC(无散射处理None)、标准正常化+趋势变化法(SNV+D),导数处理(1阶导数或2阶导数),导数处理光谱间隔点(2, 4, 8),平滑处理间隔点都取为4,二次平滑处理间隔点都取为1。1·5定性和定量分析模型的建立方法利用WinISI软件中的Discriminant Equations(判别方程)程序在全光谱段建

17、立茶叶种类识别定性分析模型,茉莉花茶、苦丁茶、龙井和铁观音的定性值分别设定为1, 2, 3,4。采用聚类分析技术对各组样品分别判定,一类样本作为目标样本,其样本预测值越接近于2,表明其被认为属于目标样品,同时样本预测值必须大于1·5,否则被判断为不同类样本8,9。三种主要成分定量分析模型的建立采用修正的偏最小二乘(MPLS)回归方法。为了防止过拟合现象的发生,采用交互验证(Cross Validation)方法确定模型的主因子数,为了考察模型的准确性,用独立的验证集进行了预测。定标集的统计参数包括决定系数R2C、标准差SEC和交互验证标准SECV,同时通过目标函数f(x)=RC/(1

18、+SECV)来评价定量分析模型的优劣,f值越大表明模型预测效果越好。验证集的统计参数包括决定系数、系统偏差Bias、斜率Slope和验证标准差SEP。另外,使用相对分析误差RPD对预测精度进行进一步评价,即相对分析误差RPD=SD/SEP(SD为验证集标准偏差)。如果RPD3,说明预测效果良好,建立的定量分析模型可用于实际检测;如果2·5<RPD<3,说明利用NIRS定量分析是可行的,但预测精度有待于进一步提高;如果RPD2·5,则说明难于进行NIR定量分析10。2结果与分析2·1定性分析2·1·1定性分析模型的建立利用WinISI

19、软件中的Discriminant Equations(判别方程)程序在全光谱段建立定性定标模型,经过多次建模比较,最大主成分数、交叉验证分组数分别取为15和4时定标结果较好;光谱预处理方法为二阶导数结合9点平滑处理时定标效果最优。同时分别讨论了不确定因子分别为1·0和2·0时对定标结果的影响,结果见表2。Table 2Calibration results at uncertaintyfactor(UF) of 1·0 and 2·0定性值不确定因子UF=1·01 2 3 4不确定因子UF=2·01 2 3 4总样品数30 28 29

20、 30 30 28 29 30判断错误样品数0 0 0 0 0 0 0 0不确定样品数0 0 0 0 2 0 2 1判断准确样品数30 28 29 30 28 28 28 29从表2可以看出,当不确定因子UF=1·0时的定标结果最好,对四个种类茶叶都是100%判断准确,而不确定因子UF=2·0时,茉莉花和龙井均有2个不确定样本存在,铁观音有1个不确定样本存在,故本实验采用不确定因子UF=1·0建立定性分析模型。图2为样本种类识别定标得分空间分布图, X轴表示样本的第一主成分得分(PC1),Y轴表示样本第二主成分得分(PC2),Z轴表示样本第三主成分得分(PC3)。

21、从图中可以看出,不同种类茶叶之间有明显的聚类现象,有较清晰的分界线,但龙井的聚类都不是很密集,与铁观音之间有重叠现象。图2显示了不同类别茶叶的聚类效果,定性地描述了四种茶叶的特征差异。说明主成分聚类分析法是识别茶叶种类的一种有效方法。Fig·23D graph of calibration scoresfor qualitative analysis2·1·2定性分析模型验证利用独立验证集样本对建立的定性分析模型进行检验,检验结果见表3。从表中可以看出,茉莉花、苦丁茶和铁观音判别正确率达100%,龙井有1个不确定样本数。因此,利用近红外光谱分析方法定性识别茶叶的种

22、类是可行的。Table 3Prediction result of samples in validationset by qualitative analysis model样品编号定性值预测值1 2 3 401 1 1·8 1·0 1·4 0·802 1 2·2 1·0 0·6 1·203 1 2·0 1·0 1·1 0·904 1 1·7 1·0 1·1 1·205 1 1·8 1·1 1·0 1&#

23、183;206 2 1·1 2·0 1·0 0·907 2 1·1 2·0 1·0 0·908 2 1·1 1·9 1·0 0·909 2 0·9 2·0 0·9 1·210 3 0·6 1·1 1·9 1·511 3 1·3 1·0 1·6 1·112 3 1·1 0·9 1·8 1·313 3 1·4 1

24、·0 1·9 0·814 3 0·6 1·0 2·2 1·315 4 1·0 0·9 1·1 1·916 4 1·1 0·9 1·2 1·817 4 1·0 1·0 1·2 1·818 4 1·2 1·1 0·9 1·8判断错误样本数0 0 0 0不确定样本数0 0 1 0判断准确样本数4 4 3 42·2定量分析2·2·1定量分析模型的

25、建立光谱预处理方法和主因子数的选择是决定定标模型优劣的关键。选择最优的光谱预处理方法不仅有利于加快模型运算速度,更重要的是可以提高模型的预测精度和能力。采用修正的偏最小二乘(MPLS)回归方法,以决定系数R2C、标准差SEC、交互验证标准SECV,以及目标函数为评价指标,在全谱区范围内,比较了不同光谱预处理方法对定标效果的影响,建立了优化的水分、茶多酚和咖啡碱的近红外定量分析定标模型,结果见表4所示。从表4中可以看出,所优化建立的三种主要成分NIR定标模型的预测值与实测值之间的决定系数R2C均在0·93以上,具有较好的相关性,同时目标函数f(x)均大于95%,说明定标效果良好。2·2·2定量分析模型的验证为了检验以上建立的近红外定量分析模型的预测精度,对18个验证集独立样本相应的三种成分分别进行预测,验证评价指标统计见表5。Table 4Parameters and statistics of calibration models成分光谱预处理方法主因子数SECR2cSECVf(x)水分MSC,2,4,1,1 6 0·159 1 0·985 6 0·234 1 99·05茶多酚MSC,2,4,4,1 5 0·831 4 0·94