基于EKF的模糊神经网络快速自组织学习算法研究

基于EKF的模糊神经网络快速自组织学习算法研究

摘要:为了快速地构造一个有效的模糊神经网络，提出一种基于扩展卡尔曼滤波(EKF)的模糊神经网络自组织学习算法。在本算法中，按照提出的无须经过修剪过程的生长准则增加规则，加速了网络在线学习过程;使用EKF算法更新网络的自由参数，增强了网络的鲁棒性。仿真结果表明，该算法能够快速学习、良好的逼近精度和泛化能力。

关键词:模糊神经网络;扩展卡尔曼滤波;自组织学习

Fastself-organizinglearningalgorithmbasedonEKFforfuzzyneuralnetwork

ZHOUShang-bo，LIUYu-jiong

(CollegeofComputerScience，ChongqingUniversity，Chongqing400044，China)

Abstract:Toconstructaneffectivefuzzyneuralnetwork，thispaperpresentedaself-organizinglearningalgorithmbasedonextendedKalmanfilterforfuzzyneuralnetwork.Inthealgorithm，thenetworkgrewrulesaccordingtotheproposedgrowingcriteriawithoutpruning，speedinguptheonlinelearningprocess.AllthefreeparameterswereupdatedbytheextendedKalmanfilterapproachandtherobustnessofthenetworkwasobviouslyenhanced.Thesimulationresultsshowthattheproposedalgorithmcanachievefastlearningspeed，highapproximationprecisionandgenerationcapability.

Keywords:fuzzyneuralnetwork;extendedKalmanfilter(EKF);self-organizinglearning

模糊神经网络起源于20世纪80年代后期的日本，由于其简单、实用，已经被广泛应用在工业控制、系统辨识、模式识别、数据挖掘等许多领域[1~4]。然而，如何从可用的数据集和专家知识中获取合适的规则数仍然是一个尚未解决的问题。为了获取模糊规则，研究人员提出了不同的算法，如文献[5]利用正交最小二乘算法确定径向基函数的中心，但是该算法训练速度比较慢;文献[6]提出了基于径向基函数的自适应模糊系统，其算法使用了分层自组织学习策略，但是逼近精度低。扩展卡尔曼滤波(EKF)算法作为一种非线性更新算法，在神经网络中得到了广泛应用。文献[7]利用扩展卡尔曼滤波算法调整多层感知器的权值，文献[8]利用扩展卡尔曼滤波算法调整径向基函数网络的权值。

本文提出了一种模糊神经网络的快速自组织学习算法(SFNN)。该算法基于无须修剪过程的生长准则增加模糊规则，加速了网络学习过程，同时使用EKF调整网络的参数。在该算法中，模糊神经网络结构不是预先设定的，而是在学习过程中动态变化的，即在学习开始前没有一条模糊规则，在学习过程中逐渐增加模糊规则。与传统的模糊神经网络学习算法相比，本算法所得到的模糊规则数并不会随着输入变量的增加而呈指数增长，特别是本算法无须领域的专家知识就可以实现对系统的自动建模及抽取模糊规则。当然，如果设计者是领域专家，其知识也可以直接用于系统设计。本算法所得到的模糊神经网络具有结构小、避免出现过拟合现象等特点。

1SFNN的结构

本文采用与文献[9]相似的网络结构，如图1所示。其中，r是输入变量个数;?x?i(i=1，2，…，r)是输入语言变量;y是系统的输出;MFij是第i个输入变量的第j个隶属函数;R?j表示第j条模糊规则;w?j是第j条规则的结果参数;u是系统总的规则数。

下面是对该网络各层含义的详细描述。

第一层:输入层。每个节点代表一个输入语言变量。

第二层:隶属函数层。每个节点代表一个隶属函数，隶属函数采用如下的高斯函数:

μij=exp(-(x?i-cij)?2σ?2ij);i=1，2，…，r;j=1，2，…，u(1)

其中:r是输入变量数;u是隶属函数个数，也代表系统的总规则数;μij是x?i的第j个高斯隶属函数;cij是x?i的第j个高斯隶属函数的中心;σij是x?i的第j个高斯隶属函数的宽度。

第三层:T-范数层。每个节点代表一个可能的模糊规则的IF-部分，也代表一个RBF单元，该层节点个数反映了模糊规则数。如果计算每个规则触发权的T-范数算子是乘法，则在第三层中第j条规则R?j的输出为

φ?j=exp(-?ri=1(x?i-cij)?2σ?2ij);j=1，2，…，u(2)

第四层:输出层。该层每个节点代表一个输出变量，该输出是所有输入变量的叠加。

y(X)=?uj=1w?jφ?j(3)

其中:y是网络的输出;w?j是Then-部分。

2SFNN的学习算法

如前文所述，第三层的每个节点代表一个可能的模糊规则的IF-部分或者一个RBF单元。如果需要辨识系统的模糊规则数，则不能预先选择模糊神经网络的结构。于是，本文提出一种新的学习算法，该算法可以自动确定系统的模糊规则并能达到系统的特定性能。

2.1模糊规则的产生准则

在模糊神经网络中，如果模糊规则数太多，不仅增加系统的复杂性，而且增加计算负担和降低网络的泛化能力;如果规则数太少，系统将不能完全包含输入/输出状态空间，将降低网络的性能。是否加入新的模糊规则取决于系统误差、可容纳边界和误差下降率三个重要因素。

2.1.1系统误差

误差判据:对于第i个观测数据(x?i，t?i)，其中x?i是输入向量，t?i是期望输出，由式(3)计算网络现有结构的全部输出y?i。

定义:‖e?i‖=‖t?i-y?i‖;i=1，2，…，n(4)

如果‖e?i‖>k?ek?e=max[emax×β?i，emin](5)

则说明网络现有结构的性能比较差，要考虑增加一条新的规则;否则，不生成新规则。其中:k?e是根据网络期望的精度预先选择的值;emax是预定义的最大误差;emin是期望的输出精度;β(0<β<1)是收敛因子。

2.1.2可容纳边界

从某种意义上来讲，模糊神经网络结构的学习是对输入空间的高效划分。模糊神经网络的性能和结构与输入隶属函数紧密相关。本文使用的是高斯隶属函数，高斯函数输出随着与中心距离的增加而单调递减。当输入变量采用高斯隶属函数时，则认为整个输入空间由一系列高斯隶属函数所划分。如果某个新样本位于某个已存在的高斯隶属函数覆盖范围内，则该新样本可以用已存在的高斯隶属函数表示，不需要网络生成新的高斯单元。可容纳边界:对于第i个观测数据(x?i，t?i)，计算第i个输入值x?i与已有RBF单元的中心c?j之间的距离d?i(j)，即

d?i(j)=‖x?i-c?j‖;i=1，2，…，n;j=1，2，…，u(6)

其中:u是现有的模糊规则或RBF单元的数量。令

di，min=argmin(d?i(j))(7)

如果