泛函在网络工程的应用

1、泛函网络的理论基础及国内外研究现状1泛函网络的提出近年来，由计算数学而导致的神经计算学科正得到迅速发展，如主分量分析 （PCA），独立分量分析（ICA）多项式求根等问题。人工神经网络（ANN）的研 究自从20世纪80年代形成热潮，至今已有20多年了，其应用范围已扩展到许 多领域，ANN对信息的存储及处理表现在各神经元的连接强度上，ANN学习的目 的就是修正网络的权值，尽管ANN算法在许多情况下性能良好，但由于实际中神 经网络存在结构过于复杂，节点过多，并且在学习中容易陷入局部极小点而导致 逼近能力有限等问题，因此在一些复杂系统建模时，仍存在较大的建模误差，而 且网络的其他特性在网络学习之前已确

2、定，由于这些信息在学习阶段无法修改， 在一定程度上限制了 ANN的应用范围。于是吴佑寿等人提出一种可激活函数神经 元模型，在解决某些问题时，根据问题的先验知识，选用激活函数使它和特解问 题相适应，这正是泛函网络的出发点所在。2泛函网络在国内外研究现状泛函网络是1998年由E.Castillo提出的，是对神经网络的一种有效推广。 与神经网络不同，它在各个神经元之间的连接没有权值，并且神经元函数不固定， 而是可学习的，是一个给定的函数族的组合。我们可以根据特定的问题来选择不 同的函数族。在国内也有人对泛函网络进行了一定的研究，2005年周永权提出 了 “分层泛函网络整体学习算法”，2006年提出了

3、 “一种复值可分离的泛函网 络学习算法”，“新型Singma-Pi泛函网络模型”，写出了一系列有关泛函网络 应用的文章，2007年又对“泛函网络神经元函数类型优化”进行了研究，还有 人写了“非线性系统识别的一种泛函网方法”。从这些可以看出，泛函网络是值得研究的方向，并且在一些领域已取得了比较好 的结果，迄今为止国内外关于泛函网络用于预测研究和应用的文献还很少。网络的拓扑结构在图1中画出了一个典型的泛函网络模型图，中主要组成部分如下：（1）一个输入单元层，其功能是输入信息，在图中输入层包含（X，X，X，输入单元以带有相应名字的实心圆来表示。1 2 3（2）若干中间存储单元层，它存储由神经元产生的

4、信息，在图1中只有一个中 间存储单元层，包含（，X，也以带有相应名字的实心圆来表示。（3）一层或多层泛函神经元，每一个神经元是一个计算单元，它计算的是一组 来自前一层神经元或输入单元的输入值，并给下一层神经元或输出单元提 供数据，计算单元相互连接，每一个神经元的输出可作为另一个神经元或者输出单元输出数据的一部分，一旦给定输入值，输出便由神经元的类型 来确定，它由一函数定义，在图1中有两层泛函神经元，分别为f，f 和f.12（4） 输出层，这是最后一层单元，它输出网络的结果是数据，输出单元也以带有相应名字的实心圆来表示，图1中为X.（5） 一些直接连接，它们连接输入层，中间层神经元和输出层，在图

5、1中用箭 头表示，箭头的方向表示信息流的方向。图1一个泛函网络模型图所有这写元素一起形成了泛函网络的结构，它确定了网络的泛函能力。在泛 函网络情形，人们通常的做法是根据问题的需要，将每一神经元函数f表示成 一些已知函数族的线性组合的形式，如多项式，三角函数等。1泛函网络与神经网络的区别络和泛函网络之间最明显的区别是（1）在神经网络中，神经元的激活函数是固 定的，通常的激活函数有Sigmoid函数，三角波状函数，梯形函数和RBF等。激活函数一经选定，就不再改变。事实上，这种假定不尽合理。我们知道，在日 常生活中，有的人在学习是对问题能很快理解，有些人则不然，这说明同一类型 的神经元细胞对外来信号

6、的处理功能因人而异，有的人善于适应，有的人难于适 应。而泛函网络的神经元函数是用一些已知基函数族的线性组合来表示，基函数 是可训练的，在学习过程中能自适应调整或改变假设，是合理的。（2）在神经网络中，对激活函数的连接权值进行训练，而初始权值的选定直 接影响这神经网络的收敛速度，泛函网络没有权值，只对激活函数进行训练。（3）在神经网络中，输出单元是单个伸进元的输出，而在泛函网络中输出单 元可以是一个或多个神经元等。当前对神经网络的研究大都把它看做一个“黑箱”，只靠某种算法调整其权 值来获得所需的结果，没有充分利用自己的先验知识，盲目性较大。实际上，在 解决某些问题时，要有一定的先验知识作为向导。

7、如果充分利用先验知识，在训 练之前，选用和待解问题相“适配”的激活函数，则求解问题会比较容易；而泛 函网络不像神经网络，它是利用问题的物理特性和先验知识来产生网络的初始结 构，网络的参数的学习通过求解线性方程组而获得，因此求解问题变得容易。 泛函网络的模型和学习算法既然泛函网络作为神经网络的一种推广与神经网络一样，泛函网络也有各种 各样的结构，我们不可能用一个统一的通用的结构来描述所有的泛函网络，也不 肯能用一个统一的泛函方程来表示所有的泛函网络。根据这个特性，以结合实际 问题的“先验知识”作为直指导，我们可以设计出所求问题的泛函网络结构。 泛函神经元及其变形设泛函神经元f（x）是一个计算单元

8、，对任意一个输入向量x，E.Castillo 提出的泛函神经元结构如图2.3所示：ff.（X）图3泛函神经元模型由于泛函神经元f（x）都可以表示成一个已知基函数的线性组合的形式，根据 这一特性可以将泛函神经元模型进行适当的变形，变形后的结果如图2.4图4变形后的神经元模型典型的泛函网络模型1单输入输出泛函网络模型图5给出了一类单输入输出泛函网络模型，则该网络输出表达式为:在泛函网络中一个重要的问题是表达式唯一性的问题，即当一个泛函方程有 多种表、达式时，它们各种表达式之间有何种关系。xf3（x）图xf3（x）图5单输入输出泛函网络模型* y图5所示的泛函网络表达式如下：则有以下关系式成立：f1

9、1(x)=fi(x)+cif12(x)=f2(x)+c2乙乙乙f1n-i(X)=fn-1+Cn-1f1 (x)=f (x)-(c+c+c Jn n 12n-17其中ci为任意常数，由给定的泛函网络初值确定。事实上，由于函数f. (x)代表的是一些不同的变换，变化的构成通常选取 一些基函数族。因此，它们之间彼此线性无关，容易证明上面的结论成立。2多输入单输出泛函网络模型图6给出了一种多输入单输出的泛函网络模型，这是一个多输入的，各个输 入之间无相互作用的可分离泛函网络。它的函数表达式为：图6多输入单输出的可分离泛函网络模型该网络和双输入单输出的可分离泛函网络模型的学习算法推到类似，可以得 到该网络模型的参数调整公式(打+ 1) = 0 (昨)+%也(源 + 口 (/&)-%)。( )A式中a., c, u等的定义与双输入单输出的可分离泛函网络模型相同。结束语世界上的事物都处于变换发展的运动过程中，从表面上看，事物的发展变化 似乎是杂乱无章的，由各种偶然因素所决定。基于辨证唯物主义思想，在本质上， 偶然性和必然性都是事物发展过程中的客观存在，偶然性是事物发展过程中的短 期表象，是必然性的表现形式和补充，必然性是偶然性的必然趋势，是偶然性的 基