基于近红外光谱数据的小麦样品预处理研究

基于近红外光谱数据的小麦样品预处理研究

近红外光谱预处理近红外光（nir）是光的两种极端（nis）和中红外光（mir或i）之间的声波。美国astr（美国国家质量测试协会（美国材料检测协会）将近红外色谱区定义为780192nm（波数为126829cm-1）。近红外光谱分析方法由于一系列独特的优点,正在全球范围内受到广泛的重视和推广应用。近红外光谱由被测样品的近红外特征光谱主导,包含了噪声、各种外界干扰因素。噪声主要来自高频随机噪音、基线漂移、信号本底、样品不均匀、光散射等。因此要想通过近红外光谱来分析样品的物质成分,就应该先进行光谱预处理,以便降噪、减少各种干扰的影响,简化后续建模处理运算过程,提高分析准确度。在深入研究近红外光谱预处理的基础上,通过对66个小麦样品蛋白质含量测定的具体问题,研究解决近红外光谱数据预处理。本研究引入了小波变换进行光谱预处理。1小麦品种光谱的建立由中国农业大学信息学院生物物理实验室,提供了分别由傅里叶变换型近红外光谱仪和光栅型近红外农产品品质分析仪扫描所得的小麦样品光谱图,如图1和图2所示。由图1和图2可见,所用的傅里叶变换光谱仪精度和稳定性很好,所以66个小麦样品的近红外光谱曲线离散度较小。2光谱数据处理为了消除仪器扫描过程中不可避免的噪声、减少种种外界因素带入的影响并简化数据处理的运算过程,应对仪器检测所得到的光谱数据作下述一系列预处理。1.噪声滤除(1)移动平均平滑:主要去掉高频噪声的干扰。平滑处理需要选择处理窗口的大小,较大的平滑窗口可以使信噪比提高,但同时也会导致信号的失真,要综合考虑。(2)微分处理,扣除仪器背景或漂移对信号的影响。采用微分可以较好地净化谱图信息,但在微分处理时,根据微分的级数,要合理选择微分窗口数据点的大小。2.归一化处理:消除光程或样品稀释等变化对光谱响应造成的影响。3.数据筛选和光谱范围的优选:从原始光谱数据中剔除无效数据,根据测定的主成分特征舍弃光谱信息微少的次要光谱范围,以减小计算工作量。4.中心化及标准化预处理:从每个光谱数据中减去各个样品的平均值,使所有数据都分布在零点两侧,充分反映变化信息,可简化以后的回归运算。3小波变换实验就噪声滤除预处理方面比较了多种方法后,引入了小波变换对光谱进行预处理。小波理论是20世纪80年代后期发展起来的应用数学分支,其思想来源于伸缩与平移,它既保持了傅氏变换的优点又满足了局部性要求,具有多分辨率、方向选择性和自动调焦的特点,被誉为数学上的显微镜。本研究通过小波变换对近红外光谱作预处理,很好地实现了光谱数据平滑、降噪以及消除基线漂移。在应用小波变换时,试用过许多小波,效果最为理想的就是高斯函数导数小波。本研究采用高斯一阶、二阶导数小波变换方法对光谱数据进行了预处理。高斯函数θ(t)=12π√e−−t22σ2θ(t)=12πe--t22σ2是起平滑作用的低通函数,本文用Ψ1(t)=dθdtΨ1(t)=dθdt(高斯一阶导数),Ψ2(t)=d2θdt2Ψ2(t)=d2θdt2(高斯二阶导数)来作小波变换的基本小波。直接用平滑函数的导数对信号作处理,相当于信号经平滑后再求导。具体说就是:(1)小波函数Ψ1(t)是低通平滑高斯函数θ(t)的一阶导数,可用Ψ1(t)对近红外光谱χ(t)作小波变换。此时小波变换的零点正是dχdt=0dχdt=0之点,也就是χ(t)的极值点;小波变换的极值点是d2χd2t=0d2χd2t=0之处,也就是χ(t)的转折点。(2)小波函数Ψ2(t)是低通平滑高斯函数θ(t)的二阶导数,可用Ψ2(t)对近红外光谱χ(t)作小波变换。此时小波变换的零点正是d2χd2t=0d2χd2t=0之点,也就是χ(t)的转折点;小波变换的极值点是dχdt=0dχdt=0之处,也就是χ(t)的极值点。4傅里叶变换、小波加伦理后的合成算法图为了比较经过高斯函数导数小波变换处理的效果,对图1和图2的光谱先作一阶差分处理,用的是三点差分。得到图3和图4的结果。在图3中光谱线重叠的那些光谱区段是与小麦样品蛋白质含量基本无关的,没有重叠的光谱部分才能反映小麦蛋白质含量的部分;而在图4中,因图2所示的原始光谱离散度较大,经过差分预处理后光栅光谱的情况没有反映出有用的信息所在的位置,对后续的定标和预测产生了负面影响,这或许是因为光栅光谱的扰动较大,直接作差分后反而放大了扰动。采用高斯一阶、二阶导数小波对傅里叶变换光谱预处理的结果如图5,图6;采用高斯一阶、二阶导数小波对光栅光谱进行预处理的结果如图7,图8。由图5,图6,图7和图8可见,引入高斯导数小波变换对原始光谱进行预处理后,光谱曲线明显变光滑了,基本上消除了噪声的影响,光谱中富含有用信息的光谱位置更加清晰显示出来;对比图2、图4和图7、图8可以看出:尤