数学神经网络(V)——某些数学方法的神经网络表示

1、1997 年12 月北京师范大学学报(自然科学版)De也. 1997第 33卷第 4 期Journal of Beijing Normal Univen;ity 例atural Scien)Vol. 33 No.4数学神经网络 (V) *一一某些数学方法的神经网络表示李洪兴(北京师范大学数学系， 1览75，北京 43 岁，男，教授)摘要 继续研究数学神经网络，这里提出一种观点:人工神经网络可以作为数学的一种可视化手段.首先用例子指出几种熟知的数学方法可以用神经网络表达，然后讨论了线性规划、多目标线性规划、模糊线性规划以及模糊关系方程的神经网络形式.关键词 神经网络;数学神经网络;线性规划;模糊

2、线性规划;模糊关系方程分类号1P3871 问题的提出回顾文献 1 -4 的内容，我们会产生这样一种观点:在一定意义下，人工神经网络可以表达某些数学形式、数学方法或数学结构，换言之，人工神经网络可以作为数学的一种可视化于段.仔细研究和发展这种可视化手段，会使人们至少在三方面受益:其一，为人工神经网络的研究寻找成熟的数学方法或创造有效的数学方法;其二，如果把某些数学形式或结构归结为某种人工网络形式，那么可以为某些没有直观背景的数学形式或结构找到一定意义下的实际背景或源泉;其三，为数学开辟一条新的通向应用领域的道路，在这条道路上来回穿梭，如果能发现类似于有限元那样的实用方法将是些了不起的事情.现在我

3、们来看几个简单的例子，旨在悟出其中的一些道理.但u泰勒 (Taylor)展开式的人工神经网络表示.给定函数 f()、满足条件: f(功，1()， f气功， pn(x) 在闭区间 a， b 上连续 pn+I() 在开区间仙， b) 内存在.构造一个单输入单输出的 2 层前向式泛函联接 3 神经网络(见图1).该网络中诸神经元的激发函数均取恒等函数，第 1 层的诸神经元的阔值均取 0，第 2 层神经元的阔值取为一f(a);_f气) . . _ pn(a)QWI=1(时，叫一一一， wfL立n!于是该网络的输出为:图 l 表示泰勒展开式的人工神经网络*国家自然科学基金 (69674014) 和北京师

4、范大学跨世纪优秀学科带头人培养基金资助项目收稿日期蜘 10 仍428北京师范大学学报(自然科学版)第 33 卷Y=LW-a)一(-f(a) = f(a) +f (a)(x-a)+f飞) (. _2 , _ jn)(a)丁伊 -a)2+-+I 气严 (x-a)n叮(x)、飞. A，/、J显然该式是忽略余项的泰勒展开式，近似地等于给定的函数 f(x). 特别是当 a=O 时，图 l表达了忽略余项的马克劳林 (Maclaurin)公式.注文献 1引入了一般的激发函数(已把阔值吸收其中) ，按照这样的观点，泰勒展开式可表示为图 2 的形式.该网络中诸神经元的激发函数规定为:o(均) h2 , g 均取

5、恒等函数.第 2 层神经元的阔值为 0，第 3 层神经元的阔值取为 -ao肌肉与 bk， k=l , 2, , n， 均为权值.这时，网络的输出为:T,. (x)=汇帆(x)+丈bkt/lk(X)一(_ o )=旦旦+艺(a 山+柳州(2)k lkJVk lkJ2J2k这恰好是维尔斯特拉斯第一逼近定理中的三角多项式.该定理是说，给定以 2 为周期的连续函数 f(x) 及任意正数10，存在一个形如图 3 的神经网络，使得 If(x)- T,. (x) 1 在整个数轴上一致地成立.第 4 期李洪兴:数学神经网络 (V)4292 线性规划的人工神经网络表示图 4 是一个具有 m+l 个神经元X 1-

6、 .的单层前向式神经网络，神经元儿，f1 ，儿的激发函数帆，叭，仇均X 2- .取阶跃函数:(B-.YoYlr 1.UO. (3)j(U)= I O. Umxz 马列，这样明是我们所要求的阑值问题 2 条件如问题 1，求阔值 bo使得当神经元f1 儿，儿抑制时，神经元 fo 也抑制.显然，该问题相当于下述形式的线性规划问题:max z 协s t EGEIXJq，叫 2，m ,(6)jO，j=I , 2, , n.不过激发函数 i (见 (3)式)要作一点变化忡。除外) :r 1.uO.i(U)=二1.2 m.(7)I O.U二O. i=问题 3 条件亦如同问题 1，求阔值 bo使得当神经元f1

7、 儿，儿兴奋时，神经元儿也兴奋.易知，该问题相当于下式规定的线性规划问题:mZC乌js t Z矶仰叭卢j凡刘沪均良bl叫 2,m ,(8)jO， j= 1, 2, , n.430北京师范大学学报(自然科学版)第 33 卷如果容许解集非空，取版 mn z 叭，那么刊是我们所要求的阔值问题 4 条件仍如问题 1，求阔值 bo使得当神经元 f1 儿，儿抑制时，神经元fo却兴奋.自然，该问题与下述线性规划问题相对应:mnz叭，s tzat俨哉，叫 2， m，。)jO， j=1 , 2, , n.与问题 2 类似，激发函数 ; (i= 1, 2, , m) 要取为 (7)式的样子.问题 5 线性规划逆问

8、题.以问题 3 为例(其他情况类似) .已知诸阑值 bj(i=O， 1, , m) 及-组训练样本:Xk=(i的， ik)， k)T Ik= 1, 2, p ,(1 0)使得对每个 k(k=1， 2, , p) 满足:min E 叭 =E 付)=、s tELttlxjWz , i=L2, m,、AA.J唱E、.，E,xj均0， j= 1, 2, , n我们要求出权值乌及 aij(i= 1, 2, ,m , j=1 , 2, ,n).事实上，如果引入剩余权值a;n+lO (i= 1, 2, m) 迫使zazr-azJbt，叫 2，m ,(12)那么(11)式便化为一类标准形式min EC E 乌

9、例俨s t za2月 -a;n+l=哉，叫 2， m，(13)均与0， j=1 , 2, , n.这便是线性规划的逆问题，可以采用人工神经网络的典型学习算法解出诸权值.问题 6多目标线性规划的人工神经网络表示.对于图 5 所示的神经网络，神经元gl , g儿，儿的激发函数矶轧叭，仇均取阶跃函数;己知诸权值 CSj和 atJ(s=1， 2， t , i=1 , 2, ,m , j=1 , 2， ，时，给定阔值 b; (i= 1, 2,叫，求阔值 ds (s=l , 2, , t) 使得当神经元儿元，儿兴奋时，神经元g , g2 , g，却抑制.显然该问题相当X 2 - . II!x 一气斗三y于

10、下述的多目标线性规划问题:图 5 多目标线性规划的网络形式第 4期李洪兴:数学神经网络 (V)431mxEVj，叫 2，t ,s t ptJXJ圳 i=I， 2，m ,(14)X j :芸0， j=l , 2, , n.如果容许解集非空，取 dpmxE 乌j (s= 1, 2, ., t)， 那么这样的矶(叫 2， ., t) 便是我们所求的.在与该问题相同的条件下，类似问题 25，又有下列问题:问题 7 求阔值 ds (s= 1, 2, , t) 使得当神经元f， ，儿抑制时，神经元 g， ， g，也抑制.问题 8 求阔值 ds (s= 1, 2, , t) 使得当神经元 f， ，儿兴奋时，

11、神经元 g， ， g，也兴奋.问题 9 求阔值 ds (s= 1, 2, , t) 使得当神经元f， ，儿抑制时，神经元 g， ， g，却兴奋.此外，还有一些混合情况，下述的问题 10 是其中一例，其他情况类似.问题 10 求阔值 ds(s= 1, 2, , t) 使得当神经元 f， ，J; 兴奋且 /+1 ，儿抑制时(1运 rm)，神经元 g， ， gq 兴奋而神经元也， g，抑制(1三 qLUSOnaa、Lu-L，n a.、.一t州my /一-T(1 6)用F,飞In-句hm芦一F、这是个特征函数，表现出关于 ZWI bz(叫 2， ., m)的排中律 当激发函数 lm 为432北京师范大

12、学学报(自然科学版)第 33 卷模糊集时， (16)式所表达的排中律不再成立，于是变为一个模糊的，可记之为;:因此 (5)式便写为下列样子:maxL 叭，(17)s tEGtjXj运队， 叫 2， , m,Xj二0， j= 1, 2, , n.这就是一类单目标的模糊线性规划.19q3关于模糊线性规划(17) 式，诸激发函数可以取为下列形式:j(U)=(1 +e-(.叫斗， i= 1, 2, , m.其参数 t 和 j 控制曲线 j(U) 的陡度和平移.19IJ 4如果嫌(18)式复杂，那么 JU) 还可以取为简单的折线函数(见图 6):1. UO(1 8)(u)Uj(U)= (u+eJI町-e

13、j UO; i= 1,2, m).图 6，(u) 的折线形式4 模糊关系方程的人工神经网络表示4.1 整合算子的多样化 我们曾在文献1中指出过，神经元的一个基本功能就是把输入经该神经元的信号先整合、再激发、然后输出(见 1中图1).其中整合用的基本运算是+和，记为( +，寸，称之为整合算子;不过整合算子并非仅此一种，还可以有种种形式，如 (V ，)、 (V ， )、(+， .)、(+， )，等等.更一般的整合方式要借助于综合函数这一工具(见文献归中第 3节) ，根据文献 1 中图 1 所示的神经元模塑来看几种整合方式.例 5 依次取文献 4 中 (39)式、 (40)式和 (42)式所规定的综

14、合函数，我们便有下列整合方式(注意文献 1中(1)式) :z=(V (wj 只)一哟，(20)z=(V (wj xJ-8) ,(2 1)z=(LWjf)1Ip-8)， pO.(22)此外，还可取如下所示的整合形式:z=( 汇 (WjJ-8).。3)注 对于由 (20) 、 (21)和 (23)式规定的神经元，有人称其为模糊神经元于是由这样的神经元组成的网络称之为模糊神经网络这也是定义模糊神经网络的一种方式.4.2典型模糊关系方程的人工棉经网络表示 考虑形如下式的一类典型的模糊关系方程:第 4 期李洪兴:数学神经网络 (V)433XoR=B ,(24)其中 X=(X1， 2 ，与)为未知元， R

15、=(rJnxm 为系数矩阵， B=(bl , b2, , bm) 为右端常数向量;(24) 式中运算规定为:X(Xs 马)=鸟， j = 1, 2, ., m.(25)首先，容易想到该方程可由形如图 7 的网络表达出来.其中神经元fl 儿，儿的激发函数均取恒等函数，诸阔值均取为 o. 不过，该网络对求解这个方程并没有多少帮助，因为它把问题归结为已知输出和权值求输入的问题.X -. ( b,工 2 -町-X n - .图 7 模糊关系方程的一种网络形式图 8 模糊关系方程的另一种网络形式我们转而考虑形如图 8 的网络，其中神经元f的激发函数仍取为恒等函数，阔值亦为 0; 该网络意味着，已知一组输

16、入输出的训练样本:(r l ) , r2 , , rnj ) ，均ij= 1, 2, m ,(26)求权向量问，鸟， .) ，这是典型的前向式神经网络所要解决的任务，取适当的学习算法便可求出该方程的全部解.4.3广义模糊关系方程的人工神经网络表示在 (25)式中，若把算子 换为乘法即X(Xz)=bl， j=1， 2， m(27)则方程 (24) 为一种广义的模糊关系方程，它的网络形式与 (25)式的网络形式一样，不过神经元的整合算子 (V ， )要换为 (V ， ).如果把整合算子 (V ， )再换为(E9， .)，其中为熟知的有界和算子，即2(Xt 川)=鸟， j= 1, 2, ., m.(

17、28)那么由 (28)式规定的方程 (24) 与通常的线性方程组几乎相同.特别地，放松约束，干脆把E9换为十RPErrb尸 j=I， 2， ., m9)这就是线性方程组，其中 rj 与鸟未必在 0， 1 中取值(即我们已超出模糊关系方程的范围) ;换言之，前述的网络形式同样可以作为普通线性方程组的图像表示.5 参考文献1 李洪兴.数学神经网络(I )，北京师范大学学报(自然科学版)， 1996, 32(4): 452434北京师范大学学报(自然科学版)第 33卷2 李洪兴.数学神经网络(J)，北京师范大学学报(自然科学版)， 1997, 33(1): 353 李洪兴.数学神经网络(田)，北京师

18、范大学学报(自然科学版)， 1997, 33(3): 3054 李洪兴.数学神经网络 (IV) ，北京师范大学学报(自然科学版)， 1997, 33(3): 3125 汪培庄，李洪兴.模糊系统理论与模糊计算机.北京:科学出版社， 19966 李洪兴.从模糊控制的数学本质看模糊逻辑的成功.模糊系统与数学， 1995, 9(4):1MATHEMATICAL NEURAL NE1WORKS(V)-NEURAL NE1WORKS REPRFSENTATION OFSO胁1E MAl回TICAL ME1HODSLiHongxing(Department of Mathemat邸， Beijing Non

19、nal Univer.;ity, 1875， BeijI毡， Otina)A恼tract A new viewpoint is proposed that neural networks 臼nber电arded as a kind of visualization m臼ns of sorne rnathernatical rnethods.ben the neural networks representationsof lin四r optirnization, fuzzy lin四r optirnization, and fuzzy relation 吨uation are descussed in detai1.K町wo时s neural networks; rnathernati臼1 neural networks; linear optirnization; fuzzy linear optirr世zation; fuzzy relation equatio