基于rbfn结构的偏微分方程优化算法

基于rbfn结构的偏微分方程优化算法

1基于rbfn的求解pde算法在实践中，许多问题是基于偏微分方程（pde）的解。但是很多情况下PDE只能得到近似的数值解。自从Kansa提出用径向基神经网络(RBFN)解PDE的方法后,RBFN被广泛地应用于求解各种类型的PDE。Franke,Schaback,wendland和wu等人研究了用RBFN求解PDE的理论基础和误差情况。经研究发现在现有的插值算法中,RBFN是最精确、最稳定、计算量最小的一种插值方法。RBFN算法求解PDE主要有直接法和间接法。直接法算法简单,但是误差较大,间接法算法复杂,但是精度较高。它们的求解主要是权系数的训练和搜索,当PDE的原函数较复杂时,基于采取最小均方误差的梯度下降法搜索权值的能力是有限,不能得到方程解的最佳逼近。实际上建立的RBFN中可能存在一些对求解无用的神经元,但是它们的存在会增加算法的复杂度;在RBFN中也可能缺少对求解有贡献的辅助神经元,如果将他们加入网络中可能会进一步提高方程逼近解的准确性。所以文中提出一种基于RBFN的求解PDE的新算法:使用间接法建立微分器,删除一些对求解无用的神经元,降低间接法的复杂度;增加一些对求解有用的辅助元,提高PDE解的准确性。通过仿真实验得出新算法较传统算法更精确地逼近方程解。2阶偏导算法现在用RBFN求解PDE算法主要是Mai-Duy和Tran-Cong在提出的直接法和间接法。直接法是直接利用RBF函数的N阶导数逼近原函数f的N阶导数,然后用RBF原函数替代RBF函数的N阶导数得到网络对于原函数的逼近结果。∇Νu=p(x)⇒∇Νu≈m∑i=1ωi∇Νg(i)(x)；⇒u≈m∑i=1ωig(i)(x)(1)RBF函数为∶g(i)(x)=(∥x-c∥)=g(r)=√r2+a(i)2(2)则其一阶偏导为∂g∂xj=xj-c(i)j(r2+a(i)2)0.5;其二阶导数为∂2g∂xi∂xj=r2+a(i)2-(xj-c(i)j)2(r2+a(i)2)1.5。显然,关于纵轴偶对称的RBF函数,一阶偏导关于原点奇对称,而其一阶,二阶偏导不是凸函数,所以一般的神经网络权值训练方法,很难取得良好逼近结果。对于直接法,利用公式OOtωt=Op求权值向量;其中O=(o1,o2,…,om)t是各基函数输出向量组成矩阵,m是系统基函数个数。oi=(oi1,oi2,…,oiR)t是单个神经元输出向量。ω=(ω1ω2,…,ωm)是基函数输出权值向量,p=(p1p2,…pR)t是原函数离散化后得到样本向量。间接法与直接法相反,间接法间接利用RBF函数逼近原函数f的N阶导数,然后用RBF函数的N阶积分替代其原RBF函数取得逼近原函数的输出。∇Νu=p(x)⇒∇Νu≈m∑i=1ωig(i)(x)；⇒u≈m∑i=1ωi(∫Νg(i)(x)dΝx)(3)凸函数对非线性函数逼近算法发展较成熟,一般采用凸函数作为RBF神经元基函数,权值训练方法采用最小均方误差准则的梯度下降法,退火算法等。文中采用高斯函数作为基函数:g(i)(x)=12π∥cov(i)∥exp(-12(x-t(i))cov(i)-1(x-t(i))t)(4)cov(i)是第i个基函数的协方差矩阵。3基于梯度下降法的改进的神经网络神经元算法描述通过以上的介绍可以看出,直接法、间接法各有所长,根据文献,两种算法只对RBF函数的权值进行了调整,而RBF函数的方差及均值是固定的,显然,这样的系统的逼近能力是有限的。而基于结构调整型RBF网络的微分方程解法则是根据神经元输出权值的大小,适当的删除“表现不好”的冗余神经元,再适当增加辅助神经元,通过训练得到更好的逼近效果。算法步骤如下:(1)采用均匀分布的形式,利用公式:OOtωt=Op训练权值。鉴于O矩阵不能过于复杂,所以初始的神经元个数不宜过多;(2)删除神经元。删除输出权值小于阈值θ的神经元,一般这样的神经元的输出对于系统的贡献较小;同时删除那些其输出增加系统输出误差的神经元;θ的取值可根据具体情况而定;(3)增加辅助神经元。文中采用的RBF函数是最大值为1的高斯函数;由系统的输出向量o与样本向量p的差得到误差向量:e=p-o;得输出误差最大处的输入向量,作为新增加神经元的基函数的均值向量t;输出权值就是最大误差值ω=max(e);利用梯度下降法得到最佳的方差,具体方法见文献;(4)如果系统的误差满足输出误差要求,则跳出循环,否则返回第二步。根据误差调整神经网络神经元个数;可以在调整权值的同时,完成基函数的方差,均值的调整,得到更好的逼近效果。而且,由于神经元的基函数均值是根据误差得到的,系统误差较大的地方可以利用更多的方差不同的基函数得到逼近。可以证明,这样得到的一组基函数是L2空间的一组Reisz基。4辅助神经元的增长对一个二维函数一阶微分方程的右端进行逼近。设方程为:∂z∂x=sin(x-y)+0.2cos(2y2)-0.5ysin(xy)(5)先采用直接法对偏导函数进行逼近。图1是方程(5)左边实际图形。图2是RBFN的直接法逼近z对x偏导的图形。图3是增加辅助神经元后直接法对函数偏导数的逼近图。从图2和图3比较来看增加辅助神经元能很大程度地提高传统RBFN算法精度。下面给出传统RBFN间接法中增加辅助神经元和文中算法添加辅助神经元的逼近误差比较。从图4中可以看出:在增加相同的辅助神经元时,文中算法较传统的间接法误差小,而且随着辅助神经元数目的增加误差降低幅度大于传统算法。原因是,一般RBF网络的神经元的基函数是均匀分布的,方差也是一致的,所以,其逼近能力受到限制。下面给出文中算法求解的PDE解结果。方程(5)的解表达式为:z=-cos(x-y)+0.2cos(2y2)x+0.5cos(xy);其图形如图5所示。传统RBFN算法逼近方程解的图形如图6,文中算法对PDE解的逼近如图7。比较图5,图6和图7,可以看出传统RBFN算法对PDE的解逼近不是很精确,而文中算法能较