基于动态递归神经网络模型的混沌时间序列预测

1、基于动态递归神经网络模型的混沌时间序列预测第27卷第1期2007年1月计算机应用ComputerApplications文章编号:10019081(2oo7)O1一O04Oo4基于动态递归神经网络模型的混沌时间序列预测马千里,郑启伦,彭宏I,钟谭卫(1.华南理工大学计算机科学与工程学院,广东广州510640;2.华南农业大学理学院,广东广州510640)(mq1206tom )摘要:提出了一种动态递归神经网络模型进行混沌时间序列预测,以最正确延迟时间为间隔的最小嵌入维数作为递归神经网络的输入维数,并按预测相点步进动态递归的生成训练数据,利用混沌特性处理样本及优化网络结构,用递归神经网络映射混沌

2、相空间相点演化的非线性关系,提高了预测精度和稳定性.将该模型应用于Irenz系统数据仿真以及沪市股票综合指数预测,其结果与已有网络模型预测的结果相比较,精度有很大提高.因此,证明了该预测模型在实际混沌时间序列预测领域的有效性和实用性.关键词:混沌时间序列;递归神经网络;预测中图分类号:TP393文献标识码:AChaotictimeseriesforecastingbasedondynamicrecurrentneuralnetworksmodelMAQianli,ZHENGQilun,PENGHong,ZHONGTan?weif1.SchoolofComputerScience&Eng

3、ineering,SouthChina妇ofTechnology,GnangzhouGuangdong510640,China;2.&nceCollege,SouthChinaAg础University,GuangzhouGuangdong510640,China)Abstract:ARecurrentNeuralNetworks(DRNN)modelwaspresentedinthispapertoforecastchaotictimeseries.Theinputdimension0fDRNNwasdecidedbyminimalembeddingdimension,nletrai

4、ningsamplesweregeneratedbyII啪0fthesteppingIevephasepoints.Itcanimproveprecisionandstabilityofpredictiontousechaoticcharacteristictodealwid1mplesandmappinonlifultonbyDRNN.TheDRNNmodelwasappliedtosimulation0fIrenzsystemandshot-termforecasting0f娜haistockindex.C|舡withthetraditionalstandardBPneuralnetwor

5、k,thispl郇憾ednxlelshowslli盯precision.11le】,thisresearchprovesthedtectiveness0fthep10p0sedmodelinthepracticalprediction0ftimeseries.Keywords:chaotictimeseries;recurrentneuralnetwork;forecasting0引言近年来,随着混沌理论研究的不断深入及其在信号处理,自动控制和通信等领域中广泛的应用,根据混沌系统提取非线性时间序列对系统建模和预测已成为混沌信号处理研究领域的一个非常重要的研究方向.时间序列分析的传统方法,比方A

6、RIMA(AutoregressiveIntegratedMovingAverage)模型等,都要求时间序列具有正态分布,全局平稳,残差互不相关的特点,这使得传统的统计学方法在混沌时间序列中很难准确地进行分析和预测.Takens【2的嵌入定理提供了预测混沌时间序列的理论依据,但是如何根据相空间重构理论构造预测模型是混沌时间序列预测中的一个关键问题,为此人们提出了许多预测混沌时间序列的非线性预测方法,其中基于神经网络的预测法,由于其具有分布处理,自组织,自适应,自学习和容错性的优良特性,能较好地处理不确定,非线性的预测问题,在混沌时间序列预预测时间序列仍然存在一些有待解决的问题,如训练样本的选择

7、,网络结构确实定,算法的改进,以及网络推广能力等方面,从而限制了其进一步的应用.本文以相空间重构理论确定最正确延迟时间和最小嵌入维数,然后以最正确延迟时间为间隔的最小嵌入维数作为递归神经网络的输入维数,并按预测相点步进动态递归的生成训练数据,利用递归网络比前馈型网络具有更强的非线性功能的特点,映射混沌相空间相点演化的非线性关系,构造一个动态该模型比已有的BP网络模型更能有效,稳定地提高预测精度,且有较强的适应能力.1DRNN预测模型要确定网络结构,就是要确定网络输入输出层以及隐层经验公式,另一方面要通过训练数据来不断调整以到达优化收稿日期:2006一o710;修订日期:20061O一11基金工

8、程:国家自然科学基金资助工程(30230350);广东省科技攻关资助工程(2005B10101033);广州市科技攻关资助工程(2006Z3.D3051)作者简介:马千里(1980一),男,博士研究生,主要研究方向:智能计算技术;郑启伦(1938一),男,教授,博士生导师,主要研究方向:智能计算技术;彭宏(1956一),男,教授,博士生导师,主要研究方向:智能计算技术,数据挖掘;钟谭卫(1962一),男,副教授,主要研究方向:时间序列.第1期马千里等:基于动态递归神经网络模型的混沌时间序列预测4l是其中重要的两个参数.1)最正确延迟时间r确实定方法从理论上说,当数据点数无限时,嵌入的效果与r无

9、关,Takens定理并无对r的要求,但实际重建时,r的影响极大.r太小,吸引子不能充分展开,冗余误差大;r太大,那么不相关误差大J.在实际应用中主要有以下两种方法选取最正确延迟时间次过0点的方法来确定最正确的r,事实证明这不适用于非线性系统.而互信息法表达式如下:.,一,M(,)=piJ(r)ln(3)l4ri其中P为点在第个时间间隔中的概率,P(r)为点在t时刻落入第i个时间间隔和在t+r时刻落入第个时间间隔的联合概率.为了简化计算,随着r的增加,互信息法将(3)7,由于互信息法考虑了非线性相关,因此比线性自相关函数法效果好.本文便是采用互信息法确定最正确延迟时间r.2)最小嵌入维数m确实定

10、方法关于嵌入维数m的选取,文献8提出的伪邻近点方法(FalseNearestNeighborsmethod,FNN)是一种比较常用的方法.设d为吸引子的维数,为刚好使吸引子完全翻开的最小嵌入维数.当m<时吸引子在相空间中不能完全翻开,吸引子在嵌入空间就会产生一些投影点,投影点与相空间中的其他点形成最近邻点.而在原系统中,这两个点并非为真正的最近邻点,因此称为伪邻近点.由此可推知,当吸引子中存在伪近邻点时,就说明嵌入维数m不够大.设相空间中的任一点X(t),其伪邻近点的判据:.土l+I(t)一(t)II(t+晰)一(t+M)_lD屑(t)D(t)(4)D(t)为嵌入维为m时相空间中任意一点

11、X(t)与其最评述:在m+I维重构相空间中,X(t)与(t)之间的距离比X(t+I)与X(t)之间的距离大于某一值,那么认为m维重构相空间中的(t)是伪邻近点.所以p屑是阈值参数.根据此判据,计m由小变大时的伪最近邻数,再计算嵌入维数从m到m+I时线,当AN=0时,即在AN/N刚降为零(此时吸引子完全被翻开)时m的值m就是所求的最小嵌入维数.根据相点与其后续时间序列的函数关系式Y(t+r)=(t),(tr),(t一2r),(t一(mI)r)递归网络的输入维数由(4)式中计算得出的最小嵌入维数m决定,每个输入维之间延时r,即将(t),(tr),t一(m1)r作为神经网络的输入.隐层节点数根据文献

12、9中网络模型的改进方法来确定.输出层含一个节点,即为预测时间点的预测值.该模型的特点:神经网络输入维数m按照相空间重构理论的饱和嵌人维数确定;利用欧氏距离法选择预测相点的个最近邻相点构成训练样本集;训练样本集是根据给定时间序列空间按预测相点依次步进生成,使神经网络具有递归性泛化推理能力,实现系统的总体寻优性.模型具体结构如图I所示.(r+r)(r)(r-r)x(t-2r)x(t-(m-3)r)x(t-(m-2)r)x(t一(m-Dr)图1DRNN预测模型结构具体步骤如下:1)对观测的混沌时间序列历史数据进行预处理;2)根据相空间重构理论计算最小嵌入维数m和最正确延迟时间r,重构相空间:3)由2

13、)得到的m选择神经网络输入层节点个数,r决定节点之间的输入数据的延时,构造递归神经网络预测模型:4)从原始数据中选择局部训练数据输入,进行网络训练,直到训练到达要求为止,记录此时的网络参数,假设不满足训练目标,那么返回3);5)选择测试样本输入,得到第一个预测点值,并将第一次步进生成预测结果.2DRNN预测模型的实验仿真结果和比照为了验证DRNN预测模型的有效性,在计算机中进行仿真试验,试验数据采用Lorenz模型生成的混沌时间序列.Lorenz模型为:r(),一);=一砧+rxY(5)【=xybz其中:=10.r=28.b=8/3.RungeKutta算法求解获得53000点数据,取其后30

14、00点数据作为仿真数据,取分量来进行预测,并对混沌时间序列进行归一化处理:(,1)=max(z(n)一min(z(n)(6)式中,z(n)为原始混沌时间序列,(n)为归一化后对误差定义为:e(,1)=(n)一Y(n)(7)式中,(n)为实际值,Y(n)为预测值.由伪邻近点法计算得到最小嵌入维数m为9,隐层节点42计算机应用2007血取21,输出节点为1,构造DRNN模型,递归延迟为1,并且构造同样的921线比较接近,很难从曲线图上分辨出来,故只分别给出DRNN模型与BP网络预测绝对误差e(n).如图2,图3所示.n图2DRNN绝对误差图3BP网络绝对误差从图中我们可以看到,BP网络预测的误差在

15、(一0.2,0.15)之间,而DRNN预测的误差在(一0.02,0.01)之间,比是有效的.3股票指数预测实例研究股票指数序列已证明它存在混沌特性【l引,其实质是确定1月5日到2000年l2月413期间700天的时间序列作为研究对象,选取前650天作为训练数据,后5O天作为预测数据,根据本文提出的DRNN预测模型进行验证,并与目前广泛采用的基于BP算法的多层前馈网络模型进行比较.1)由互信息法计算得到最正确延迟时间r为1(延迟时间1天),由伪邻近点法计算得到最小嵌入维数m为5.2)构造神经网络,设输出为y(t+1),那么输入(t),(t一1),(t一2),(t一3),(t一4),神经网络输入层

16、为五个节点,每个神经元之间的时间间隔为1,由文献10可知隐层节点设为输入层的两倍即lO个节点为宜,输出层只有一个神经元,即第二天的股票开盘指数预测值,递归神经网络的结构为5101.3)Y(t+1)是关于点(t),(t一1),(t一2),(t一3),(t一4)的函数:y(t+1)=,xCt),x(t一1),(t一2),(t一3),(t一4)在得到第一个预测点值后,将第一点的实际值参加原输实现股票的短期预测.4)输入650个训练数据,待训练结束后,输入5O个预测数据,得到预测曲线与实际曲线比较如图4所示,误差如图6所示.5)单独构造5101的BP神经网络,预测结果与本文DRNN模型预测结果比较如表

17、1所示(在这里只选择lO个点列出),且给出所有预测点的平均误差,其预测曲线与实际曲线比较如图5所示,误差如图7所示.时问,d图4DRNN模型预测曲线与实际曲线比较时间,d图5BP网络模型预测曲线与实际曲线比较806o402OO-20-40-6O-80806o402OO-20-40-6O-80时问,d图6DRNN模型预测误差时问,d图7BP网络模型预测误差表lDRNN模型预测结果与BP月络模型预测结果比较从表1可以看出,本文的DRNN模型相对BP网络模型预测精度有较大提高,并且从图4,5可以看出,对真实指数曲a驿酱酱第1期马千里等:基于动态递归神经网络模型的混沌时间序列预测43线的拟合程度也比B

18、P网络模型的拟合程度好.从图6看出,本文的递归模型的误差集中在(一20,20)之间,误差值较小,而从图7看出,BP网络模型误差在(一80,40)之间,误差值较大,并且某些点偏离真实值很大,这是由于前馈型网络的过拟合程度较高造成的.4结语本文提出了一种新型动态递归神经网络(DRNN)模型进行混沌时间序列预测,通过应用于沪市综合股指实例证明可有效提高预测精度.取得结论如下:1)在神经网络作为混沌时间序列建模的一种较为有效方法时,递归网络以其对复杂系统很强的模拟和描述能力,能够比前馈网络更好地应用于混沌时间序列的建模中;2)在混沌时间序列相空间,建立在混沌分析根底上的递归神经网络,利用其混沌特征依次

19、步进来构成样本,用递归神经网络来逼近相点的非线性关系.使模型既具有递归性,又具有动态性,预测结果精度与BP网络模型相比有了很大提高;3)该模型是研究混沌时间序列预测的一种尝试,通过对Lorenz方程标准数据的仿真实验以及沪市股票指数实例的短期预测,获得满意的预测结果,从而证实该方法无论在理论分析还是实际应用中都具有实用性和有效性.参考文献:1】BOXB,JENKINSGM.Timeseriesanalysis:forecastingandcontrelM1,SanFrancisco:HoldenDay,1990.【2】TAKENSF.DetectingStrangeAttractorsinTu

20、rbulence【J】.LectureNotesinMathematics.1981,898(1),366381.【3】陈可,张琴舜.BP神经网络在证券分析预测中应用【J】.计算机工程.2001,27(11):959r7.【4】陈瑛,罗鹏飞.基于神经网络的混沌时间序列建模及预测【J】.计算机工程与应用,2005,41(11):7779.attractorsbyneuralnetworks【J】.NeuralComputation,2000,12(10):23552383.6】ROSENSTEINMT,COLLINSJJ,DELUCACJ,Reconstructionexpansionasage

21、ometrybasedfrlllleworkforchoosingproperdelaytimes【J】.PhysicsD,1994,73(12):8298.AttractorsfromMutualInformation【J】.PhysicalReviewA(GeneralPhysics),1986,33(2):11341140.dingdimensionforphasestcereconstructionusingageometricalconstruction【J】.PhysicalReview,1992,45(6):34033411.【M】.Boston:PWSPublishing,19

22、96.【J】.系统工程理论方法应用,2005,14(5):390394.(上接第14页)证明根据上述引理,可得:(D)()=(2+)=2+-2当Dl/d为整数时,P=为整数,等号成立.推论2链路能耗与无线通信路径衰减参数n成线形关系.证明(7)式中,以t/,为自变量,对链路能耗函数(D)求导,结果为常数.因此推论2成立.根据以上推论得出以下重要结论:?当节点与簇头问的距离D是d一的整数倍时,链路是最小能量中继链路,跳数是最优跳数;非整数倍的时候,1月f是最优跳数.大于或小于最优跳数,将导致链路的能耗将增加.?距离与链路能耗可以成线形关系.3结语利用分簇技术将网络划分为多个簇群,可极大地降低了时

23、,簇群内的通信模式和拓扑结构决定簇群的能量消耗速度.本文针对簇群成员节点采用Multihop模式与簇头通信时,如最小能耗中继链路,采用最优中继跳数,可以实现簇群内每个节点都以最小能量把数据传输到簇头,降低整个簇群的能耗,从而实现整个网络能耗的最小化.参考文献:ges:sealablecoordinationinnsornetworks【A】.ProceedingsoftheFifthAnnualInternationalConferenceonMobileComputingand270.withWirelessSensorNetworks【A】.ICASSP2001【C】.2001.【3】HEINZELMANW,CHANDRAKASANA,BALAKBISHNANH.AnApplicationSpecificProtocolArchitectureforWirelessMi.cmsensorNetworks【J】.IEEETransactionsonWirelessCommuni.cations,2002,1(4):66O-670.