基于时间序列的异常值概率识别及应用

基于时间序列的异常值概率识别及应用

通过分析监测数据，对水库进行安全分析、安全评估和监测，确保水库的安全。大坝监测数据为大坝运行性态的直接反映,测值的变化与大坝运行的环境荷载及大坝本身的结构性态有关。因此,监测数据的真实性和可靠性对水工建筑物安全状况的最终评判至关重要。但由于随机因素的影响或收集分析数据的失误而出现异常值。目前,对大坝监测数据异常值的识别方法主要有人工识别、概率识别、准则评判等。随着大坝安全自动化监测系统的普及,通过计算机及时自动识别异常值并分析原因是大坝安全监测评价首先面临的问题。鉴此,本文基于概率识别方法进行了算法改进,并结合实例进行应用。结果表明,该法有效可行,便于计算机应用。1概率识别方法1.1异常值的判定假定测值服从随机样本的正态分布,根据正态分布特征,偏离随机样本均值程度越大,概率越小。依据此原理,假定测值在某一显著性水平下为小概率事件,则判定为异常值。常用的方法有格鲁布斯检验法、t检验法、偏—峰度检验法等。传统的概率识别方法存在如下缺陷:①仅适用于规律性较好、呈正态分布的数据序列;②需先确定可疑值,对可能存在多个异常值数据列的工作量大;③将监测数据作为一维数据序列(测值)处理,忽略了时间即测值位置对识别结果的影响。1.2异常值的预处理文献中提出了一种改进方法,将监测数据列按每年的同一时间进行数据抽样,抽样后的数据服从或近似服从随机正态分布,不再具有二维属性。该法对各种分布规律的监测数据均可进行识别,但其抽样方式适用性与实用性尚有所欠缺:①监测数据须为多年数据(通常20a以上),不适用于近年新建坝和在建坝的监测数据异常值识别;②按每月3次测量的监测频率,对全部监测数据识别需进行36次计算,步骤繁琐;③忽视了数据的时间属性,未考虑前后数据的相关性、整体数据的变化趋势。本文对概率识别方法计算进行了改进,步骤如下。步骤1数据抽样。水工建筑物物理量的实测资料实际为一个时间序列。取一测点的全部数据进行分析,记为Y={Y1,Y2,…,Ym}。若监测频率变化随机性较大,可对数据按常规监测频率变化抽样。步骤2数据处理。对Y={Y1,Y2,…,Ym}中的数据按Xi=Yi+1-Yi进行逐差处理,若部分时段监测数据缺失,将其后的数据重新逐差处理,获得数据构成样本空间X={X1,X2,…,Xn},且服从或近似服从正态分布,其特征值为:X¯¯¯=1n∑i=1nXi(1)X¯=1n∑i=1nXi(1)S=[(∑i=1nX2i−nX¯¯¯2)/(n−1)]12(2)S=[(∑i=1nXi2-nX¯2)/(n-1)]12(2)步骤3概率检验。运用小概率法确定X的可疑值分布区间。取显著性水平α=5%,根据α和X的分布函数,查表求得:Xmax=F−1(X¯¯¯,S,α/2)(3)Xmax=F-1(X¯,S,α/2)(3)Xmin=F−1(X¯¯¯,S,1−α/2)(4)Xmin=F-1(X¯,S,1-α/2)(4)当X>Xmax或X<Xmin时,则X可疑。将可疑值同正常值置于同一正态总体。与传统概率识别方法相比,精度虽有所降低,但可通过调整显著性水平α控制,且可用求可疑区间的方式进行数据识别,识别效率显著提高。步骤4异常值判断及分析。①当Xi与Xi+1均可疑且符号相反时,则Yi+1为尖点型异常值,其原因可能是由于环境量变化、疏失误差或偶然误差等因素造成;②当Xi单点可疑时,则Yi+1为台阶型异常值,其原因可能是由于环境量变化、系统误差或结构性态变化、偶然误差或疏失误差等因素造成。寻求效应量异常值后检验环境量、监测系统、坝体结构等。对异常值分析及处理,对环境量变化造成的异常值着重分析大坝安全性,对由疏失误差造成的异常值予以剔除,由系统误差造成的异常值应对监测系统进行调校等。步骤5复核。将需要剔除的异常值剔除后,按同样方法再进行概率检验,避免异常值间的屏蔽效应。若再次出现异常值按同样的方法进行检查、分析、处理。2点内异常值数据分析以晒北滩水电站碾压混凝土重力坝齿槽裂缝监测数据为例,对#3测点部分监测数据进行异常值识别。#3测点埋设初期1d监测1次,随工程进展监测频率逐渐放缓,稳定阶段每10d监测1次,#3测点原数据见表1,过程线见图1。由图可知,2007年12月2日测值疑为异常值。为验证该法的可行性,另随机抽取1个测值并替换为错误的测值(2008年6月30日,实测值-0.040mm替换为0.040mm)。2.1可疑值的认定取显著性水平α=5%,求得X正常时,Xmax=0.044,Xmin=-0.047。当X>0.044或X<-0.047时,认为X为可疑值。检验X序列中的各数据,发现X28(0.0816)和X29(-0.0873)为可疑值,进而确定Y29的测值为异常值,其测值为0.0401mm(2008年6月30日),为人工修改后错误测值。2.2大坝压力监测由文献可知,混凝土重力坝裂缝开合度相应的环境量有温度和水位,考虑该期间大坝尚未蓄水发电,相应的环境量仅需分析温度即可。检查相应效应量、监测系统等。结果表明,环境量与监测系统均正常、坝体及周边建筑物未发生结构性变化,效应量异常值由疏失误差造成,应予以剔除。2.3显著性水平0.338mm异常值将人为替换值剔除后,按上述方法重新计算,以复核有无遗漏的异常值。结果表明,在显著性水平α=5%时,2007年12月2日的测值(-0.038mm)为异常值,相应环境量在正常范围内变化,监测系统正常,同时考虑到施工期各种因素的影响,异常值可能由偶然误差或疏失误差造成,且由于测值变化不突出,可保留或剔除。3算法的改进测试a.针对大坝安全自动化监测系统计算机自动识别异常值的问题,对基于传统的概率识别方法进行