局部时差约束邻域保持嵌入算法在故障检测中的应用

时间：TIME\@"yyyy'年'M'月'd'日'"2022年3月29日学海无涯页码：第1-页共1页局部时差约束邻域保持嵌入算法在故障检测中的应用在现代工业过程中，系统规模越来越大，流程也越来越复杂[1-2]，一旦故障发生，不仅会影响生产效率，甚至会造成重大的安全事故。同时，随着传感器技术、实时存储技术和信息管理系统的发展[3]，大量在线和离线数据更易被获取和存储[4-5]。因此，为了保证工业过程的生产安全，数据驱动的过程监测和控制技术越来越受关注[6]，多元统计过程监控(multivariatestatisticalprocessmonitoring，MSPM)方法作为数据驱动过程监控方法的典型代表，得到了广泛的研究[7]。目前常用的MSPM方法有主成分分析(principalcomponentanalysis，PCA)、偏最小二乘(partialleastsquares，PLS)、独立主元分析(independentcomponentanalysis，ICA)等，这些方法对过程数据进行降维[8-11]并基于提取的特征信息建立模型。然而，这些方法仅考虑样本间的全局特性，并没有关注局部包含的结构关系，这将忽略隐藏在高维空间中的更多信息。

近年来，基于流形学习的方法得到快速发展[12]，拉普拉斯特征映射(Laplacianeigenmaps，LE)[13]、局部线性嵌入(locallylinearembedding，LLE)[14]和等距映射(isometricfeaturemapping，ISOMAP)[15]等非线性流形学习算法被提出，这些方法可以从高维采样数据中揭示低维流形结构以实现维数的约简，但运算成本高且得到的投影仅在训练数据上定义。He等[16]提出局部保持投影(localitypreservingprojections,LPP)，它作为一种线性流形学习算法，对LE算法进行线性近似，不仅保留了诸如LE、LLE非线性算法的数据属性，还可以被定义在环绕空间的任何地方，而不仅限于训练数据中。He等[17]进一步提出邻域保持嵌入(neighborhoodpreservingembedding,NPE)，也是通过邻域近似线性表示得到投影矩阵，但目标函数表示为最小化重构误差，目前也成功应用于故障检测领域[18-21]。但无论是关注全局结构信息的典型多元统计方法还是关注局部结构信息的流形学习方法，它们都基于数据样本独立分布的假设建立静态模型，忽略了样本在连续时间采集过程中的相关性[22]。

在实际工业中，变量可能受到噪声等干扰使其在稳态值附近波动，该过程便具有动态行为特征。Ku等[23]提出动态主成分分析算法(dynamicPCA,DPCA)，通过加入时间延迟因子的方法来表示模型中的动态行为，利用时间窗将连续时间的样本依次排列，形成增广矩阵作为模型训练的输入。Li等[24]提出动态邻域保持嵌入(dynamicneighborhoodpreservingembedding，DNPE)算法将原始数据矩阵转换为增广数据，既保留了NPE算法的优势又克服了无法考虑时序相关性的问题，然后利用LSSVM方法实现对数据的多类评价。赵小强等[25]提出GSFA-GNPE算法，通过计算顺序相关矩阵，对过程变量的特性进行评估，划分为动态子空间和过程子空间，根据得到的混合模型指标实现过程监控。但是，这些算法广泛关注的是样本的全局时间特性，并没有充分挖掘局部时间特性。

针对全局结构信息无法准确反映样本间关系和时序相关性未被考虑两个问题，本文在传统NPE算法基础上提出一种新的数据降维和特征提取方法——LTDCNPE算法，它使用一种全新的方式选择近邻样本来对原始样本进行重构。不同于大部分算法单纯使用欧氏距离的大小来选择邻域，很多距离小的样本可能时间尺度上相隔较远，导致邻域中选择了时间上关系很小但距离相隔很近的样本，这在一定程度上会影响特征的提取。LTDCNPE算法同时兼顾时序相关性和局部空间结构信息，任意选取一个样本作为中心点，根据样本时间上的相关性大小选定一个长度固定的时间窗，再利用中心点与时间窗内其他每个采样点之间的时间关系和二者之间的距离，来构造更加合理的邻域选择标准，并将时间关系作为近邻样本的权值，来提高系统的故障检测精度。本文将LTDCNPE算法用于工业过程的故障检测，分别在特征空间中构造T2统计量和在残差空间中构造SPE统计量来进行检测。最后利用数值例子和TE仿真过程对该方法的有效性进行实验验证。

1NPE算法介绍

NPE算法通过求解特征映射A=a1,a2,⋯,ad∈RD×d将原始的输入矩阵X=x1,x2,⋯,xN∈RD×N从高维空间映射到低维特征空间Y=y1,y2,⋯,yN∈Rd×NdD。其中，N为样本数，D为变量数，d为降维后保留的维数。算法具体流程如下。

首先，利用k-NN方法为原始训练数据X的每个样本点xi寻找与其欧氏距离最近的k个近邻点xjj=1,2,⋯,k构造邻域连接图，并对xi进行重构。通过最小化重构误差E来求解最优权值系数矩阵W，计算公式如式(1)所示。

EW=min∑i=1Nxi-∑j=1kWijxj2s.t.∑j=1kWij=1(1)

式中，Wij表示对不同结点的权值，即xj对xi重构的贡献。

然后，通过特征映射矩阵A将X投影到低维空间中，得到Y。

Y=ATX(2)

根据低维空间可以利用与在原始高维空间中相同的权值进行重构这一特点，利用式(1)得到的权值系数矩阵来重构对应的低维数据样本yi，相应的特征映射矩阵A可以通过最小化以下损失函数求解得到。

EA=min∑i=1Nyi-∑j=1kWijyj2=mintrATXMXTA(3)

式中，yj是样本yi的第j个近邻点；M=I-WTI-W，I为单位矩阵。

最后，利用拉格朗日乘子法进行转换，将式(3)变换为如下广义特征值求解形式。

XMXTA=λXXTA(4)

获得的前m个最小特征值所对应的特征向量即可组成特征映射矩阵A。

2基于LTDCNPE的故障检测

NPE算法根据样本之间的欧氏距离选择邻域来对中心样本进行重构，但是在化工过程中，一段时间内的连续样本之间具有时序相关性[26]。传统的NPE方法仅考虑样本间的空间关系，忽略了样本间的时序关系，使得检测效果变差。因此，本文将提出的LTDCNPE算法用于化工过程故障检测，希望在一个时间窗内通过同时考虑时间和空间上的局部性来进行邻域挑选，并利用时差为近邻样本赋权，进而提取更为合理的特征。

2.1LTDCNPE算法2.1.1挑选邻域在选择邻域前，LTDCNPE算法先对选择的范围进行了预缩减，根据连续过程样本间的时序相关性寻找一个长度为L的时间窗，保证范围内的样本包含大部分主要信息。具体地，以给定数据集X=x1,x2,⋯,xN∈RD×N的任一样本xi为中心划取时间窗，得到时间维度上的缩减邻域。时间窗大小可以通过过程变量平方和的自相关来确定[27]，这样当时间距离大于确定的时间窗长度时，相关性可以被忽略。

但通过时间窗得到的缩减邻域所包含的样本并非全部适合重构xi，需要在此基础上利用式(5)反映邻域样本与xi在局部时间和空间上的差异，选取与xi更相关的k个近邻点。第j个邻域样本xj与xi的差异Bi,j计算方式如式(5)所示。

Bi,j=Ti,jDi,j(5)

式中，Di,j为空间约束，具体表示为样本点xi和xj的欧氏距离，反映空间上的远近；Ti,j为时间约束，反映局部时间差异。

LTDCNPE算法和NPE算法对空间结构上的特征提取均是利用式(6)来实现的。当仅考虑局部空间差异时，邻域样本选择的示意图如图1所示。

Di,j=xi-xj2(6)

图1

图1仅考虑空间距离的样本分布

中心样本；时差小的近邻样本；时差大的近邻样本

Fig.1Sampledistributionconsideringonlyspatialdistance

LTDCNPE算法中的局部时差由式(7)体现。

Ti,j=exp-t1t2t3=exp-txi-txj2∑q=1ltxi-txiq∑q=1ltxj-txjq(7)

式中，txi为任意从X中选择的样本所对应的采样时间；txj为样本xi的第jj=1,2,⋯,L个近邻点所对应的采样时间；txjq为xj的第qq=1,2,⋯,l个近邻样本对应的采样时间；txiq为xi的第q个近邻点所对应的时间，值得注意的是，该值虽然与txj均表述的是xi的近邻点，但在每一次计算Bi,j时，j只有一个固定值，而q却是一个1~l的范围值。

具体地，在xi和xj选定以后，时间项Ti,j的分子值也随即确定，当xi和xj分别与周围的近邻样本点在时间相关上越紧密，也即Ti,j的两个分母值越小，Ti,j整体数值也会越小，表示由两个集群所表示的xi和xj在时间上也就越疏远。

对照以上分析，将图1中的中心样本及其邻域投影到时间轴上，此时的示意图如图2(a)所示。当考虑了邻域样本的局部时序关系后，该算法将图2(a)中距离中心样本近而时间相隔较远的样本剔除，并选择在时间和空间两种约束下更为紧密的近邻样本，如图2(b)所示，可以看出T的数值变化对样本间局部时间的刻画是合理的。

图2

图2时间投影上的样本分布

中心样本；时差小的近邻样本；时差大的近邻样本

Fig.2Thesampledistributiononthetimeprojection

2.1.2邻域加权当在时间窗中根据Bi,j选择出k个近邻样本之后，样本xi对应的局部时差样本个数由原来的L个变为k个，Ti,j的表示改为Ti,ss=1,⋯,k。xi的k个近邻为xs|s=1,2,⋯,k。对时间约束矩阵进行归一化处理，如式(8)所示。

Pi,s=Ti,s∑s=1kTi,s(8)

然后，用于训练的样本变量经过式(9)实现加权。

zi,s=Pi,s⊗xs(9)

式中，zi,s表示对样本xi的第s个近邻样本加权后的向量；⊗是克罗内克积。

2.1.3计算权值系数矩阵和映射矩阵利用时间关系为近邻样本加权后，按式(10)求解使重构误差最小的权值系数矩阵W。

EW=min∑i=1Nxi-∑s=1kWi,szi,s2s.t.∑s=1kWi,s=1(10)

利用W计算从高维原始空间到低维空间的特征映射矩阵A，具体见式(11)、式(12)。

EA=min∑i=1Nyi-∑s=1kWi,sys2(11)ys=ATxs(12)

2.2使用LTDCNPE进行故障检测为了提高故障检测模型在化工过程中的监控效果，本文使用提出的LTDCNPE算法获得投影矩阵A，从新样本xnew∈RD1中提取出具有时间和空间局部特性的特征向量ynew∈Rd1。随后，采用HotellingT2统计量以及SPE统计量来进行故障检测，计算公式为

T2=ynewTΛ-1ynewSPE=xnew-x̂new2(13)

其中，Λ为Y的样本协方差矩阵

Λ=1N-1∑i=1NynewynewTx̂new=Aynew(14)

因为核密度估计（kerneldensityestimation,KDE）方法[28-29]使用方便且具有更普遍的意义，本文使用该方法估计统计量的控制限，假设x是一个随机变量，px为其密度函数，具体表达见式(15)。

Pxb=∫-∞bpxdx(15)

在已知px情况下，可以确定一个特定置信区间条件下的控制极限，这里选取的置信度为0.99，通过核函数K·对x的概率密度函数进行估计，定义公式如下。

p̂x=1NhKx-xkh(16)

式中，xk(k=1,2,⋯,N)是x的采样点；h为带宽，这里的核函数一般选用高斯函数。

基于LTDCNPE算法进行离线建模和在线监控的具体实施步骤如下。

离线建模阶段：

(1)以正常数据X∈RD×N作为训练数据，采用z-score方法进行数据预处理；

(2)利用式(6)、式(7)计算样本间的空间约束Di,j和时间约束Ti,j；

(3)式(5)计算得到的局部差异Bi,j作为选择xi邻域的标准，并选取最小的前k个样本作为重构样本；

(4)利用式(8)、式(9)得到归一化后的时间约束Pi,s作为权值和加权后的近邻样本zi,s；

(5)根据最小化公式式(10)获得权值系数矩阵W，并利用式(11)求解前m个最小特征值对应的特征向量，得到特征映射矩阵A；

(6)根据式(13)计算训练数据的T2和SPE统计量，并使用KDE方法估计统计量的控制限。

在线监控阶段：

(1)获取新样本xnew，利用正常样本下求得的均值和方差对其进行标准化处理；

(2)利用离线建模步骤(5)获得的特征映射矩阵A对xnew进行线性降维；

(3)计算新样本的T2和SPE统计量，将其与控制限进行对比，判断是否为故障样本。

3仿真实验

为了说明LTDCNPE算法的有效性，本文使用数值例子和TE仿真实验进行故障检测，并将所提出算法的性能与经典算法PCA、NPE及其时间相关的衍生算法DNPE[24,30-31]进行了比较。

3.1数值例子仿真

本文采用Ku等[23]提出的多元动态过程来验证所提方法的有效性：

zt=Azt-1+But-1yt=zt+vt(17)

式中，A=0.188-0.1910.8470.264；B=123-4；ut、vt和zt分别代表输入、输出和状态变量，vt为服从正态分布N0,0.1的测量噪声，ut的表示如式(18)所示：

ut=0.811-0.2260.4770.415ut-1+0.1930.689-0.320-0.749wt-1(18)

式中，wt是服从N0,1分布的白噪声。用于过程监控的数据向量表示为xt=ytut。在正常的运行状态下，采集500个样本作为训练数据。将本文提出的LTDCNPE算法和DNPE、NPE算法的近邻数设为k=4。PCA的主元数d=2，由85%的方差贡献率确定。为了对比的公平性，LTDCNPE、NPE也降维到d=2。测试数据同样采集500个样本，从第201个样本开始引入故障。故障描述如表1所示。

表1过程故障描述

Table1Processfaultdescription

故障描述1对ut引入幅值为2的阶跃故障2系数矩阵A的第2×2个元素值由0.264变为1.500，使状态变量zt之间的动态关系发生变化新窗口打开|下载CSV

测试集中各算法的漏报率（missalarmrate,MAR）总结在表2中，用粗体数值表示检测结果的最优值。由表2可以看出当故障1发生时，PCA算法和NPE算法的T2有很多漏报，而DNPE算法和LTDCNPE算法的两个统计量漏报率都相对较低，且LTDCNPE算法的T2漏报率仅有0.33，效果更好。在故障2中，四种方法的结果相差不大，但是LTDCNPE算法仍然保持最低的T2漏报率。以上结果表明对时序系统进行监控时，LTDCNPE算法更加合理地考虑了连续数据间的时间关联。

表2数值例子的漏报率

Table2MARincasestudy

FaultMAR/%PCANPEDNPELTDCNPET2SPET2SPET2SPET2SPE158.671.3362.002.001.001.320.332.0021.671.671.671.671.661.661.391.67新窗口打开|下载CSV

图3是四种方法针对故障1数据的二维投影结果。可以看出，图3(a)~(c)的故障样本投影后有接近一半超过椭圆控制限，使正常样本和故障样本在二维投影平面上大量重叠，无法进行区分。而LTDCNPE算法可以通过椭圆形的控制限将测试数据中的正常数据和故障数据很好地分开，两部分数据几乎没有重叠，表明数据中的时间序列在低维空间中得到了较好的保留和利用，从而提高了映射空间的质量。图4是四种方法针对故障1数据的控制图。其中，图4(a)、(b)的T2漏报率明显偏高，图4(c)、4(d)的T2及SPE统计量明显高于控制限，但当故障刚发生时，LTDCNPE的T2统计量可以更早发现故障，从而减少漏报率。

图3

图3数值例子故障1的T2检测结果

*正常样本；〇故障样本；—控制限

Fig.3T2resultsoffault1incasestudy

图4

图4数值例子故障1的控制图

Fig.4Controldiagramoffault1incasestudy

3.2TE过程仿真

TE过程是对实际工业过程的模拟，该平台广泛应用于控制技术和监测方法的开发、研究和评价[1,10,32-33]。该工艺过程包括反应器、冷凝器、压缩机、分离器和汽提塔5个主要生产单元[34]，8种成分，22个连续过程变量，19个成分变量，12个控制变量，21种故障。由于实际过程中的搅拌速率和成分变量很难实时采集，因此选用剩余的33个变量作为监控的连续过程变量。故障4为反应器冷却水入口温度的一个阶跃变化，但在实际中相当于过程中的干扰而非故障；故障3、9、15的数据在均值方差和高阶矩上均没有可以被观测到的变化[35]，难以检测且对监测过程影响较小，因此本文选取剩余的17种故障进行在线检测。在此基础上，采集正常工作模式下的960个样本作为训练数据，各种故障均在第161个样本引入并收集960个样本作为训练样本。

在设置实验参数时将所有算法统计量的置信度设置为α=99%，每个算法的低维空间维度以及时间尺度应保持一致。考虑到PCA通过采用85%的方差贡献率来确定降维的维度，因此实验中LTDCNPE、DNPE、NPE算法所选择的主元个数为d=14。由于训练数据是TE过程稳态运行时所采集的正常数据，不存在工况切换问题，所以时间窗长度为固定值L=44，由过程变量平方和的自相关来确定。根据文献[36]，仍延续LLE算法提出的参数准则，为保证降维数量小于近邻样本数k并且L=2k，实验选择的近邻样本数量为k=22。在确定时间权重T的步骤中，选取的邻域尺度l=7。

为了更加全面地对比LTDCNPE算法和其他算法在实际中的有效性和可行性，本节不仅使用漏报率来对TE过程的17种故障数据进行故障部分的检测，还利用误报率(faultalarmrate，FAR)来检验不同算法对正常数据的效果。在表3中，误报率均写在括号内。根据表中数据可以看出，LTDCNPE算法总体上提供了较低的漏报率。对于容易检测的故障，四种算法的结果均能得到令人满意的结果；对于初始阶段难于检测的故障10、16、19、20，三种对比方法的漏报率均很高，在实际应用中无法提供可靠的报警，而LTDCNPE算法的漏报率仍能保持较低数值。从误报率角度来看，PCA的误报率相对其他三种方法偏高一点，其他三种方法的误报率相差不大，整体上数值都比较低，说明对正常数据有较好的检测效果。

表3TE过程17种故障的漏报率和误报率

Table3MARandFARof17faultsinTEprocess

FaultMAR(FAR)/%PCANPEDNPELTDCNPET2SPE

T2SPE

T2SPE

T2SPE10.88(0)0.13(0.63)0.88(0)0.75(0)0.13(0)0.50(0)0.25(1.25)0.75(0)21.63(1.25)4(1.25)1.63(1.25)1.75(0)1.25(0)1.75(0)1.50(0)1.75(0)575.88(0.63)75.88(3.13)76.25(0.63)75.38(0.63)0(1.25)76.32(0.63)0(0)77.25(0.63)60.88(0)0(1.88)0.75(0.63)0(0)0(1.88)0(0.63)0(0)0(0)70(0)0(2.50)0(0)0(0)0(1.25)0(1.25)0(0.63)0(0)83.13(0)13.88(0.63)3.25(0)2.50(0)2.26(0)2.51(0)2.25(0)2.50(0)1070.38(0)70.88(1.25)70.63(0)60.63(0)46.49(0.63)61.40(0)12(1.25)61.13(0)1159.38(0.63)23.88(3.13)59.25(0.63)45.50(0.63)57.39(0.63)42.61(0)38.13(0.63)45.50(0.63)121.63(0)9.25(3.13)1.63(0.63)1.63(0)0.38(0)1.00(0)0.13(1.88)1.63(0)136.38(0.63)4.75(1.25)6.25(0)5.75(0)5.51(0)5.64(0)4.75(0.63)5.75(0)140.75(0)0(1.25)1.25(0.63)0.13(0)0(0.63)0(0.63)0(0.63)0.13(0)1686.50(3.75)67.75(2.50)84.88(3.13)78.75(5.63)55.26(1.88)81.20(1.88)8.88(7.50)79.25(5.63)1723.75(1.25)4.13(2.50)24.50(1.88)14.13(0)14.29(0)14.29(0)9.13(0)14.13(0)1810.75(0)9.75(2.50)10.63(0)10.75(0)10.78(0.63)10.65(0)9.63(0.63)10.75(0)1989.00(0)82.25(0.63)88.38(0)98.13(0)71.43(0)100(0)22.00(0.63)98.13(0)2068.25(0)48.38(4.38)65.13(0)57.88(0)50.50(0)58.90(0)11.00(0)58.38(0)2160.75(0)51.13(5.00)60.50(0)61.75(0)51.13(0.63)62.91(0)42.00(3.13)61.75(0)新窗口打开|下载CSV

因此，综合测试数据的漏报率和误报率可以看出，LTDCNPE法在故障检测过程中具有更佳的效果。与仅考虑空间结构关系的传统算法PCA和原始NPE算法相比，LTDCNPE算法明显降低检测的漏报率，与处理全局时序过程的DNPE算法进行对比，LTDCNPE算法的效果也更为显著，保留了更多的数据特征。

为了更直观地表明LTDCNPE算法的优势，图5和图6展示了故障5、故障10两种典型故障的检测结果。故障5是冷凝器冷却水的入口温度产生的阶跃变化。该故障的显著影响是引起冷凝器冷却水流量的阶跃变化。当故障发生时，从冷凝器出口到汽/液分离器的流速增加，导致汽/液分离器的温度升高，并使分离器冷却水出口温度也升高[37]。但是控制回路能够补偿这个变化，并使分离器中的温度返回到设置点。由图5可以看出PCA算法和NPE算法虽然在故障初始阶段能及时地反映出故障，但随着过程的推进，统计量又逐渐降低到控制限以下，而此时过程中的故障仍然存在，所以无法持续进行故障的监测。这表明一旦忽略了实际过程中的时序特性，无论使用全局数据还是利用局部信息建立模型，都无法实时反映过程的真实状态。而四种方法的SPE统计量都是先超限持续一段时间后又回到正常，这与33个变量特征提取和变换时被赋予的权重大小有关。对于故障5中先发生异常后恢复至原始状态的变量，其对应的权重较大，而保持稳定的变量以及一直保持故障状态的变量所对应的权重在大多情况下数值较小，保留的信息较少，使得这部分变量的信息被掩盖在了可恢复正常变量的信息中。所以最终SPE统计量的变化也符合这个变化趋势，使SPE数值最终回到正常范围内，无法很好区分正常和故障时候的数据。

图5

图5故障5的TE过程检测结果

Fig.5MonitoringresultsoftheTennesseeEastmanprocessforfault5

图6

图6故障10的TE过程检测结果

Fig.6MonitoringresultsoftheTennesseeEastmanprocessforfault10

故障10为一种随机故障，过程中的某些变量在不同时刻随机进行变化，检测结果如图6所示。在故障