小波变换在近红外光谱中的应用

小波变换在近红外光谱中的应用

1光谱预处理方法近红外光谱分析方法具有分析速度快、精度高的优点，在石油、天然气领域得到了广泛应用。近红外光谱背景干扰强,需要经过预处理,比如微分,提高分析精度;同时近红外光谱数据变量庞大(上千个变量),需要采用变量优选方法,比如区间法、相关分析法和遗传算法,压缩变量,提高分析速度和分析精度。传统的光谱预处理方法存在一定的局限性,比如:微分处理会引入光谱噪声,需要与去噪方法配合使用;同时微分参数(阶数和宽度)对分析精度影响很大,需要进行优化。小波变换是近几年发展起来一种信号处理方法,能够将信号分解为不同频率、不同尺度的部分,能够聚焦到信号的任意部分,已经广泛用于分析化学领域。小波变换在近红外光谱分析领域的应用主要体现在:去噪、数据压缩、模型传递以及背景的扣除。本工作将小波变换用于近红外光谱的预处理,研究合适的有用信息提取方法,目的是提高分析精度和分析速度。2理论部分2.1基于东南角缘构的信号小波分解和重构小波变换是傅里叶变换的发展与延拓,傅里叶变换的实质是将信号分解为以正弦或余弦为正交基的空间,而小波变换实质是把信号分解为不同尺度和频率的小波子空间,具体理论参见文献。通常采用mallat算法对信号进行处理小波分解和重构(见图1)。其中,cA0为原始信号,cAj和cDj分别是逼近系数(approximatecoefficient)和细节系数(detailcoefficient)的简称,N为原始信号数据维数。按照mallat算法进行一次分解,数据维数降低一半。逼近信号反映了原始信号的”骨架”信息,或者在信号轮廓上更逼近原始信号;细节信号则反映了局部的细微信息。2.2光谱数据处理方法原始光谱经过小波变换处理后得到不同频率和尺度的小波系数,采用以下3种方法对系数进行处理,即相关分析法、遗传算法和加权小波变换法。相关分析法是近红外分析中选取波长的常用方法,其基本思想是对小波系数和性质数据进行相关性分析,选取相关性强(高于某一阈值)的系数作为分析变量。其优点是物理意义明确,便于理解,运算简便;缺点是不适用于性质数据与光谱数据呈非线性关系体系,容易遗漏线性相关性差的有用信息。遗传算法是通过模拟自然界生物进化过程搜索最优解的方法,常用于近红外分析波长选取,其基本原理和算法见相应的文献。其优点是变量选取功能强;不足是其过程非常复杂,参数多,不易于优化参数,运行时间比较长。本工作采用参数为:初始群体:70;最大选取变量:200;交叉概率:0.8;变异概率:0.1;遗传迭代次数:100。加权小波变换法:该方法主要用于色谱的谱峰分离处理,基本思想在小波变换重构过程中,对不同水平的小波系数C赋上相应的权重w,然后进行重构。信息的系数赋以较大的权重(w≫1),反之,赋以较小的权重(w≪1);此方法关键是w的确定。本工作采用偏差-权重法:即w=E−2jj-2,其中Ej为j频率区域小波系数的性质分析平均偏差。3实验部分3.1近红外光谱分析仪收集88个重整汽油样品,其中56个作为校正集,32个为验证集。NIR-3000近红外光谱分析仪(石油化工科学研究院研制,北京英贤公司生产);2048象元线形CCD阵列检测器,分辨率优于1.5nm,光谱采集范围700～1100nm,数据间隔0.2nm。3.2光谱测量将重整汽油样品倒入5cm玻璃样品池,稳定3min,以空气为参比进行光谱扫描,扫描次数为10次。3.3基本数据的测量汽油研究法辛烷值(RON):按照GB/T5487方法测定。3.4现代模型的确定用校正集光谱数据,采用PLS(偏最小二乘法)校正方法建立模型;然后用验证集对模型进行检验。通过比较SEC(校正集标准偏差)和SEP(验证集标准偏差)来评价模型性能。对具有实用性的模型要求SEC和SEP小于标准方法的再现性偏差。SEC=∑i=1n(RONi,actual−RONi,predicted)2n−1−−−−−−−−−−−−−−−−−−−√;SEP=∑i=1m(RONi,actual−RONi,predicted)2m−1−−−−−−−−−−−−−−−−−−−√SEC=∑i=1n(RΟΝi,actual-RΟΝi,predicted)2n-1;SEΡ=∑i=1m(RΟΝi,actual-RΟΝi,predicted)2m-1n为校正集的样品数目,m为验证集的样品数目。所有数据处理程序采用matlab6.1语言编写。4结果与讨论4.1原始光谱质量分析结果图2是88个重整汽油的近红外光谱。由于不同样品颜色判别较大,使它们的原始光谱基线有很大差异,这种现象在短波区域尤为严重,严重干扰性质分析(见表1),其分析偏差超过标准方法的再现性,不符合分析要求。4.2小波系数对辛烷值分析的影响选择2阶的Daubechies小波(Db2)为母小波,分解水平数为9,对重整汽油样品近红外光谱小波进行分解,分别用各个频率区域的小波系数作为光谱变量,结合PLS,分析辛烷值,结果见表1。不同频率区域的小波系数对辛烷值分析贡献不同;其中频率较低的系数(cA9、cD9、cD8和cD7)以及频率较高的细节系数(cD1～cD4)对辛烷值分析贡献较小,其分析偏差高于标准方法的再现性。处于中间频率的细节系数(cD5和cD6)对辛烷值分析贡献较大,分析精度较高,分析偏差小于再现性。通过重构,得到各个频率的子信号(A9,D9、...,D1),其信号见图3。可以看出在谱图轮廓上,低频信号(D7、D8、D9、A9)与微分光谱接近,主要反映光谱背景信号部分,高频区域细节信号(D1～D4)反映光谱噪音信号部分,因此其分析精度较差;中间频率细节信号(D5和D6)背景信号和噪音信号均比较少,因此,分析精度最高。4.3功能的母小波对辛烷值分析结果的影响小波变换参数包括母小波(wn)和分解水平(J)。母小波的选择没有理论可循,只能根据分析结果进行筛选。对于离散信号的处理,通常选择具有正交性且和离散小波变换功能的母小波。本实验考察Daubechies小波系列(其阶数分别为2、4、6、8、10、12、16)、Symlets(其阶数分别为2、4、6、8、10、12、16)以及Coiflets小波系列(其阶数分别为1、2、3、4、5)对辛烷值分析结果的影响。结果表明:2阶的Daubechies小波(Db2)作为母小波,其RON分析精度最佳。分解水平J的确定应考虑光谱数据的维数N,一般不超过log2(N);对于有用信息的提取,要求分解水平数尽可能大,本文选9作为小波分解水平。4.4小波变换+遗传算法与其他分析方法的比较按照选定的小波参数进行小波分解,得到全体小波系数c(c=[cA9,cD9,...,cD1]),分别采用相关分析法、遗传算法以及加权小波法对c处理,结合PLS分析辛烷值,其分析结果见表2。加权小波变换法通过权重强化有用信息,弱化无用信息,其模型不仅SEC最小,而且SEP最小。遗传算法是全局寻优方法,变量优选功能强,故其模型预测精度最高。传统的二阶微分-平滑方法有用信息的遗漏现象,分析精度也比较高。cD6小波系数中背景信息和噪音信息均比较弱,其分析精度与前三者基本相当。相关分析法只选取与RON线性关系强的信息,忽略部分线性关系弱的有用信息,故模型稳健性和预测精度均比较差。从预处理过程繁琐程度、变量数据大小以及运行时间来看,cD6操作最简便、变量少;遗传算法尽管存在较长的遗传算法处理过程,但变量数目最少,建模和预测时间最短;二阶微分+平滑存在微分参数选取、平滑后处理以及变量数目多、建模时间长等不足;加权法不仅存在变量多所带来的不足,而且存在权重选择问题。综合比较,选用cD6或WT-GA法,不仅分析精度高,而且变量数目最少,运行速度最快,无需进一步去噪或平滑处理等优点,能够同时解决近红外光谱分析中背景干扰强,光谱数据维数高,运行速度慢等问题,在近红外光谱分析中具有很广的应用前景。表3列出了利用小波变换-遗传算法辛烷值分析结果与GB/T5487方法测定结果比较。结果表明,NIR方法分析精度与GB/T5487结果基本一致,二者之差小于GB/T5487的再现性指标0.7;成对t检验结果表明两种方法没有显著性差异,小波变换用于近红外光谱辛烷值分析是可行的。5高频异常部分采用小波变换处理近红外光谱,能够将背景