小波变换用于近红外光谱性质分析

1、分析化学(FENXIHUAXUE)研究报告第9期第32卷研究报告小波变换用于近红外光谱性质分析田高友31袁洪福1刘慧颖2陆婉珍3112(石油化工科学研究院,北京100083)(北京总后油料研究所,北京102300)摘要以汽油研究法辛烷值分析为例,研究了小波变换在近红外光谱分析中的应用。对近红外光谱的小波特性、小波变换参数以及变量提取方法进行了详细研究。研究结果表明:光谱噪音、有用信息和背景分别分布在小波高、中和低频区域;母小波函数对性质分析结果影响很大;小波变换可以同时扣除光谱背景、去除噪音和压缩变量,具有运算速度快、分析精度高以及无需去噪后处理等优点,在近红外光谱分析中具有很好的应用前景。关

2、键词小波变换,近红外光谱分析,辛烷值1引言近红外光谱分析方法具有分析速度快、精确度高等优点,已经在石油化工领域得到了广泛应用1,2。近红外光谱背景干扰强,需要经过预处理,比如微分3,提高分析精度;同时近红外光谱数据变量庞大(上千个变量),需要采用变量优选方法,比如区间法4、相关分析法4和遗传算法5,压缩变量,提高分析速度和分析精度。传统的光谱预处理方法存在一定的局限性,比如:微分处理会引入光谱噪声3,需要与去噪方法配合使用;同时微分参数(阶数和宽度)对分析精度影响很大,需要进行优化。小波变换是近几年发展起来一种信号处理方法,能够将信号分解为不同频率、不同尺度的部分,能够聚焦到信号的任意部分,已

3、经广泛用于分析化学领域68。小波变换在近红外光谱分析领域的应用9主要体现在:去噪、数据压缩、模型传递以及背景的扣除10。本工作将小波变换用于近红外光谱的预处理,研究合适的有用信息提取方法,目的是提高分析精度和分析速度。2理论部分2.1小波变换基础理论部分小波变换是傅里叶变换的发展与延拓,傅里叶变换的实质是将信号分解为以正弦或余弦为正交基的空间,而小波变换实质是把信号分解为不同尺度和频率的小波子空间,具体理论参见文献11,12。通常采用mallat算法1315对信号进行处理小波分解和重构(见图1)。其中,cA0为原始信号,cAj和cDj分别是逼近系数(approximatecoefficient

4、)和细节系数(detailcoefficient)的简称,N为原始信号数据维数。按照mallat算法进行一次分解,数据维数降低一半。逼近信号反映了原始信号的”骨架”信息,或者在信号轮廓上更逼近原始信号;细节信号则反映了局部的细微信息。2.2有用信息提取方法原始光谱经过小波变换处理后得到不同频率和尺度的小波系数,采用以下3种方法对系数进行处理,即相关分析法、遗传算法和加权小波变换法。相关分析法4是近红外分析中选取波长的常用方法,其基本思想是对小波系数和性质数据进行相关性分析,选取相关性强(高于某一阈值)的系数作为分析变量。其优点是物理意义明确,便于理解,运算简便;缺点是不适用于性质数据与光谱数据

5、呈非线性关系体系,容易遗漏线性相关性差的有用信息。2003210225收稿;2004204212接受本文系国家自然科学基金资助项目(No.20075035)1126分析化学第32卷遗传算法是通过模拟自然界生物进化过程搜索最优解的方法,常用于近红外分析波长选取,其基本原理和算法见相应的文献15。其优点是变量选取功能强;不足是其过程非常复杂,参数多,不易于优化参数,运行时间比较长。本工作采用参数为:初始群体:70;最大选取变量:200;交叉概率:0.8;变异概率:0.1;遗传迭代次数:100。加权小波变换法:该方法主要用于色谱的谱峰图1Mallat算法示意图分离处理15,基本思想在小波变换重构过程

6、中,对不Fig.1TheprocedureofMallatalgorithm同水平的小波系数C赋上相应的权重w,然后进行重构。信息的系数赋以较大的权重(wµ1),反之,赋以较小的权重(w1);此方法关键是w的确定。本工作采用偏差2权重法:即w=Ej-2,其中Ej为j频率区域小波系数的性质分析平均偏差。3实验部分3.1样品和仪器收集88个重整汽油样品,其中56个作为校正集,32个为验证集。NIR23000近红外光谱分析仪(石油化工科学研究院研制,北京英贤公司生产);2048象元线形CCD阵列检测器,分辨率优于1.5nm,光谱采集范围7001100nm,数据间隔0.2nm。3.2光谱测量

7、将重整汽油样品倒入5cm玻璃样品池,稳定3min,以空气为参比进行光谱扫描,扫描次数为10次。3.3基础数据测定汽油研究法辛烷值(RON):按照GB/T5487方法测定。3.4校正方法用校正集光谱数据,采用PLS(偏最小二乘法)校正方法建立模型;然后用验证集对模型进行检验。通过比较SEC(校正集标准偏差)和SEP(验证集标准偏差)来评价模型性能。对具有实用性的模型要求SEC和SEP小于标准方法的再现性偏差。nmSEC=(RONi,actual-RONi,predicted)2n-1;SEP=(RONi,actual2-RONi,predicted)m-1n为校正集的样品数目,m为验证集的样品数

8、目。所有数据处理程序采用matlab6.1语言编写。4结果与讨论4.1重整汽油近红外光谱图2是88个重整汽油的近红外光谱。由于不同样品颜色判别较大,使它们的原始光谱基线有很大差异,这种现象在短波区域尤为严重,严重干扰性质分析(见表1),其分析偏差超过标准方法的再现性,不符合分析要求。4.2近红外光谱的小波特性分析选择2阶的Daubechies小波(Db2)为母小波,分解水平数为9,对重整汽油样品近红外光谱小波进行分解,分别用各个频率区域的小波系数作为光谱变量,结合PLS,分析辛烷值,结果见表1。不同频率区域的小波系数对辛烷值分析贡献不同;其中频率较低的系数(cA9、cD9、cD8和cD7)以及

9、频率较高的细节系数(cD1cD4)对辛烷值分析贡献较小,其分析偏差高于标准方法的再现性。处于中间频率的细节系数(cD5和cD6)对辛烷值分析贡献较大,分析精度较高,分析偏差小于再现性。通过重构,得到各个频率的子信号(A9,D9、.,D1),其信号见图3。可以看出在谱图轮廓上,低频信号(D7、D8、D9、A9)与微分第9期田高友等:小波变换用于近红外光谱性质分析1127光谱接近,主要反映光谱背景信号部分,高频区域细节信号(D1D4)反映光谱噪音信号部分,因此其分析精度较差;中间频率细节信号(D5和D6)背景信号和噪音信号均比较少,因此,分析精度最高。4.3小波变换参数的确定小波变换参数包括母小波

10、(wn)和分解水平(J)。母小波的选择没有理论可循,只能根据分析结果进行筛选。对于离散信号的处理,通常选择具有正交性且和离散小波变换功能的母小波。本实验考察Daubechies小波系列(其阶数分别为2、4、6、8、10、12、图2重整汽油近红外原始光谱16)、Symlets(其阶数分别为2、4、6、8、10、12、16)以及Fig.2Rawnearinfrared(NIR)spectraofreformedgasolineCoiflets小波系列(其阶数分别为1、2、3、4、5)对辛烷值分析结果的影响。结果表明:2阶的Daubechies小波(Db2)作为母小波,其RON分析精度最佳。分解水平

11、J的确定应考虑光谱数据的维数N,一般不超过log2(N);对于有用信息的提取,要求分解水平数尽可能大,本文选9作为小波分解水平。4.4有用信息提取方法的确定按照选定的小波参数进行小波分解,得到全体小波系数c(c=cA9,cD9,.,cD1),分别采用相关分析法、遗传算法以及加权小波法对c处理,结合PLS分析辛烷值,其分析结果见表2。加权小波变换法通过权重强化有用信息,弱化无用信息,其模型不仅SEC最小,而且SEP最小。遗传算法是全局寻表1不同小波系数RON分析结果Table1Researchoctanenumber(RON)analysisfromdifferentwaveletcoeffic

12、ients小波系数WaveletcoefficientscA9cD9cD8cD7cD6cD5SEC1.601.370.890.720.440.49SEP1.641.200.830.600.370.44点数Sizeofdata6610183465小波系数WaveletcoefficientscD4cD3cD2cD1SEC0.631.151.361.851.40SEP0.751.231.541.771.00点数Sizeofdata12725250210012002原始光谱Rawspectra再现性要求(reproducibilitydemanded):0.7表2不同预处理方法辛烷值分析比较Tabl

13、e2ComparisonsofRONanalysisresultsfromdifferentpreprocessingmethods方法MethodsWavelettransform(WT)2geneticanalysis(GA)点数Sizeofdata10100131001334SEC0.400.320.380.440.540.74SEP0.350.350.360.370.480.77所需过程Processingneeded小波变换2遗传算法加权小波变换法WeightedWT小波分解和遗传算法处理WTdecompositiononlyandGA小波变换过程和权重选取过程WTandselect

14、ionofweight.二阶微分+平滑2ndderivativespectra+smoothingcD6微分参数和平滑参数选择Selectionofderivativeparametersandsmoothingparameters小波变换2相关分析法3WT2Correlationanalysis原始光谱Rawspectra小波分解WTdecompositiononly小波分解和阈值选取WTdecompositiononlyanddeterminationofthreshold24100133:8501050nm;33:阀值(threshold)0.91.0优方法,变量优选功能强,故其模型预测

15、精度最高。传统的二阶微分2平滑方法有用信息的遗漏现象,分析精度也比较高。cD6小波系数中背景信息和噪音信息均比较弱,其分析精度与前三者基本相当。相关分析法只选取与RON线性关系强的信息,忽略部分线性关系弱的有用信息,故模型稳健性和预测精1128分析化学第32卷图3重整汽油近红外光谱不同频率区域的信号图Fig.3Waveletsignalunderdifferentfrequencies度均比较差。从预处理过程繁琐程度、变量数据大小以及运行时间来看,cD6操作最简便、变量少;遗传算法尽管存在较长的遗传算法处理过程,但变量数目最少,建模和预测时间最短;二阶微分+平滑存在微分参数选取、平滑后处理以及

16、变量数目多、建模时间长等不足;加权法不仅存在变量多所带来的不足,而且存在权重选择问题。综合比较,选用cD6或WT2GA法,不仅分析精度高,而且变量数目最少,运行速度最快,无需进一步去噪或平滑处理等优点,能够同时解决近红外光谱分析中背景干扰强,光谱数据维数高,运行速度慢等问题,在近红外光谱分析中具有很广的应用前景。表3列出了利用小波变换2遗传算法辛烷值分析结果与GB/T5487方法测定结果比较。结果表明,NIR方法分析精度与GB/T5487结果基本一致,二者之差小于GB/T5487的再现性指标0.7;成对t检验结果表明两种方法没有显著性差异,小波变换用于近红外光谱辛烷值分析是可行的。第9期田高友

17、等:小波变换用于近红外光谱性质分析11295结论采用小波变换处理近红外光谱,能够将背景和噪音与有用信息分离,其中背景主要分布在低频部分,噪音分布在高频细节部分,反映性质变化的信息集中在中间频率细节部分(cD6,cD5)。采用遗传算法对系数进行筛选或者直接采用中间频率(cD6)的细节系数作为光谱变量,可以同时达到扣除光谱背景和噪音以及压缩变量,无需去噪等后处理,具有预处理简单,运算速度快、分析精度高等优点,在近红外分析中具有很好的应用前景。表3重整汽油RON近红外分析结果和GBT/5487分析比较Table3ComparisonofRONresultsfromNIRmethodandGBT/54

18、87method样品编号SampleNo.12345678910111213141516SEPtt(n-1,0.05)GBT/548798.498.2100.9104.694.393.494.999.1104.8102.4101.896.496.693.898.3100.8NIR97.997.9100.7105.194.793.695.198.5104.4102.3101.896.496.994.398.3100.6Deviation-0.5-0.4-0.2-0.10.00.0-0.3-0.50.00.2样品编号SampleNo.17181920212223

19、2425262728293031320.350.752.04GBT/548794.297.395.699.394.8105101.7100.892.196.996.299.4100.392.9100.6101.4NIR94.197.095.599.994.5105.2101.8100.591.597.096.899.2100.293.0100.5101.8Deviation-0.60.3-0.2--0.1--0.10.1-0.4References1LuWanzhen(陆婉珍),YuanHongfu(袁洪福),XuGuangtong(徐广通

20、),QiangDongmei(强冬梅).ModernNearInfraredSpectroscopyTechnology(现代近红外光谱分析技术).Beijing(北京):ChinesePetrochemicalsPress(中国石化出版社),20002YuanHongfu(袁洪福),LuWanzhen(陆婉珍).PetroleumProcessingandPetrochemicals(石油炼制与化工),1998,29(9):473FaberNM.Anal.Chem.,1999,71:5574ZhuXiaoli(褚小立),YuanHongfu(袁洪福),LuWanzhen(陆婉珍).Chine

21、seJ.ProcessinChemistry(化学进展),2004,16(4):5285425ChuXiaoli(褚小立),YuanHongfu(袁洪福),LuWanzhen(陆婉珍).ChineseJ.Anal.Chem.(分析化学),2001,29(4):4374426LuXiaoquan(卢小泉),MoJinyuan(莫金垣).ChineseJ.Anal.Chem.(分析化学),1996,24(9):11007ShaoXueguang(邵学广),PangChunyan(庞春艳),SunLi(孙莉).ChineseJ.ProcessinChemistry(化学进展),2000,12(3):

22、2438LiuChongchun(刘崇春),QiuZhengding(裘正定),DuXiyu(杜锡钰).ChineseJ.NorthernJiaoTongUniversity(北方交通大学学报),1997,21(1):219TianGaoyou(田高友),YuanHongfu(袁洪福),LiuHuiying(刘慧颍),LuWanzhen(陆婉珍).SpectroscopyandSpectralAnalysis(光谱学与光谱分析),2003,6:1111111410TanHW,StevenD.Brown.J.Chemometrics,2002,16:2282401130分析化学第32卷11HuC

23、hanghua(胡昌华),ZhangJunbo(张军波).SystemDesignandAnalysisBasedonMatlab2WaveletAnalysis(基于Matlab的系统分析与设计2小波分析).Xian(西安):XianElectronicTechnologyUniversityPress(西安电子科技大学出版社),1999,12ChengZhenxing(程振兴).LogarithmsandApplicationofWaveletAnalysis(小波分析算法和应用).Xian(西安):XianJiao2tongUniversityPress(西安交通大学出版社),19981

24、3MallatSG.IEEETrans.PatternAnalysisandMachineLearning,1989,11(7):67414MallatSG.IEEETrans.AcousticSpeechandSignalProcessing,1989,37(12):209115ChenMinjun(陈闽军),Chengyiyu(程翼宇),WuYongjia(吴永江).ChineseJ.Anal.Chem.(分析化学),2003,31(7):77477816ShaoXueguang(邵学广),SunPeiyuan(孙培元),LaiWensheng(赖文生),ZhangMaosen(张懋森).

25、ChineseJ.Anal.Chem.(分析化学),1997,25(6):671674ApplicationofWaveletTransformontheNearInfraredAnalysisTianGaoyou31,YuanHongfu1,LiuHuiying2,LuWanzhen311(ResearchInstituteofPetroleumProcessing,Beijing,100083)2(BeijingPOLInstitute,Beijing,102300)AbstractThispaperisdirectedtostudyapplicationofwavelettransform(WT)onthenearinfrared(NIR)analy2sis.ThewaveletpropertiesofNIRspectra,thedeterminationofWTparametersandt