径向基函数网络

2023/12/5第1页第三章径向基函数神经网络

（RBF——Radial-BasedFunctionNetworks）

§3.1概述

用BP算法解决异或问题BP算法很容易收敛到局部最优，而我们无法判断得到的结果是局部最优还是全局最优，因为我们根本没有全局信息。2023/12/5第2页RBF网络的基本思想在分类之前，先将输入特征空间进行非线性映射，使得有待分类的两类样本的分布变成线性可分问题，然后用最简单的线性功能函数的神经元进行分类。例：图示“异或”分布的两类样本，其分类函数相对复杂；采用影射：得到的新分布，可用线性函数进行分类。可实现此问题分类的神经网络§3.2Cover模式分类理论Acomplexpattern-classificationproblemcastinhigh-dimensionalspacenonlinearlyismorelikelytobelinearlyseparablethaninalow-dimensionalspace.复杂模式分类问题非线性地表示在高维空间比表示在低维空间更易线性分类。2023/12/5第3页§3.3插值问题给定N

个不同的输入点及其所对应的输出（实数）寻找一个函数满足条件：例1：多项式插值(曲线拟合)用4次多项式进行插值。*插值函数不唯一；*多项式阶数与点数相关：

阶数+1=点数给定平面5个点；2023/12/5第4页例2.Gaussian函数插值(CH3PolyGaussFit)一维Gaussian函数：给定5个点，用中心分别在给定点上的Gaussian函数的线性组合：拟合给定点。得到：即，得到拟合曲线：将各个点代入有：2023/12/5第5页Gauss函数曲面插值插值函数：当X是2维矢量时，插值函数是Gauss曲面径向基函数，Xi是其中心位置。拟合函数：样本数据：将给定的样本点代入：为中心在Xi的径向基函数在Xj

点的取值。取：以及可以得到：最后得到一个径向基函数线性组合形式的拟合函数，其中，径向基函数的项数与样本个数相同：2007-10-31第6页常用径向基函数：其中：

插值运算对应于一个两层的径向基网络多项式型：反多项式型：Gauss型：其中：其中：其中：2023/12/5第7页§3.4有监督学习作为不适定超曲面重构问题考虑样本数据的个数多于待定系数的个数时的插值问题。例如，线性回归，直线插值函数。

理想地，若能给出自变量

x

和因变量y

之间的两个理想数据(x1,y1)和(x2,y2)，则容易得到直线模型的精确解。

但由于存在干扰，只能得到含噪样本。用含噪样本直接求解得到的直线方程，与x~y之间关系存在不可预计的误差。

线性回归方法，可以在误差均方最小准则下得到真实关系的近似。

用足够高阶的模型，有可能将含噪的样本无误差地拟合起来，但得到的结果与真值差距很大。其结果是，阶数越高误差越小但模型的泛化性能越差。过拟合问题(Overfitting/Overdetermined):模型的阶数大于系统的实际阶数。2023/12/5第8页重构问题的适定性给定稀疏点集的函数（高维映射）重构问题：假定有一个系统f，其输入矢量为，有界响应为，重构的意思就是通过输入输出样本找到未知映射。满足以下准则的重构问题是“适定的”：(1).存在性（Existence）：对于每个输入矢量都存在一个输出与之对应；

(2).唯一性（Uniqueness）：任意两个输入矢量，当且仅当时；

(3).连续性（Continuity，或称为稳定性：Stability）：任给存在，使得当时。其中运算符表示该空间中点与点之间的距离。2023/12/5第9页正问题与反问题(InverseProblem)正问题：例如，给定一个RLC谐振电路及其元件参数，我们可以建立一个描述该电路输入输出之间映射关系的微分方程，即求解一个“正问题”。反问题：对于一个系统，如果所能得到的全部资料就是实际采集得到的输入、输出样本集，从由这些样本数据建立能够表达系统输入输出之间映射关系的数学模型，被称为“反问题(Inverseproblem)”，也称为“系统重构问题”。反问题通常是不适定的：第一、存在性准则可能得不到满足，即某些输入矢量没有确定的输出对应；第二、实际样本所提供的信息不足以唯一地确定重构模型，于是，唯一性准则得不到满足；第三、由于存在噪声干扰，相近的输入可能对应于差距很大的输出，于是，连续性准则得不到满足。求解反问题的学习算法必须附加先验（专业或经验的）知识等附加条件。因为，任何数学手段都不能补救信息缺失(Alackofinformationcannotberemediedbyanymathematicaltrickery——Lanczos,1964)。

2023/12/5第10页§3.5Tikhonov正则化理论

系统输入：理想输出：拟合函数：

标准差项：显然，只用Es(F)

作为目标函数进行优化，可以得到误差最小的拟合函数，但无法避免过拟合问题。为此，Tikhonov提出了“正则项”:

正则项：式中：D是线性微分算子

Ec(F)

减小即拟合函数F

的梯度减小，意味着在满足误差最小的同时还要求拟合结果足够“平坦”，因此，正则项也称为“平滑项”。2023/12/5第11页E(F)

所在空间是一个函数空间，该空间自变量的每个取值（矢量）代表一个函数。假设所有这些函数都是平方可积的，并且，类似数量空间中定义矢量的模一样，用函数的平方积分表示它们的“大小”，称为该空间中矢量的“范数”，即：称这个空间为“赋范空间”。正则化问题：寻找使目标函数：达到最小的函数F(X)。自变量是函数F(X)，因此，函数E(F)

是一个泛函。l用于在平滑性和误差之间权衡，大的l得到的拟合函数更加平滑但拟合误差大；而小的l拟合误差小但拟合函数不够平滑。(3-10)2023/12/5第12页Frechet微分定义

式中：是X的一个任意给定的函数。假设E(F)

在F(X)

点取极小值，则应有dE(F,h)

关于任意h(X)

为0。(3-11)(3-12)由上式右边第一项得到：(3-13)即：关于(3-10)式子：2023/12/5第13页(3-10)式第一项的Frechet微分可写成：利用

d(X-Xi)

函数的筛选特性，可以将两个函数在某点Xi

的乘积表示成内积形式：两函数的内积定义为：式中：是中心位于Xi

的d

函数。(3-10)式，即，E(F,h)中第二项的Frechet微分：（3-15）(3-14)2023/12/5第14页Euler-Lagrange方程

伴随算子定义：给定一个微分算子D

，存在一个伴随算子使得对于任意两个具有足够阶可微的函数u

和v

满足Green恒等式：利用Green恒等式，在(3-15)式中令：则有：(3-17)于是(3-10)式的Frechet微分为：：(3-18)2023/12/5第15页Tikhonov函数E(F,h)

存在极值的必要条件(Euler-Lagrange方程

)根据Frechet微分的定义知：所以，必须有：或者：(3-19)此即Tikhonov函数E(F,h)

存在极值Fl(X)

的必要条件。2023/12/5第16页Green函数(3-19)式是一个偏微分方程，欲解之，需做一些积分变换方面的数学准备。

给定微分算子L，定义一个函数G(X,x)满足以下条件：对于一个固定的x

，G(X,x)是X的函数且满足边界条件；在X=x

之外的所有点，G(X,x)关于X的所有导数都连续，导数的阶数取决于微分算子L的形式。

G(X,x)作为X的函数，除在X=x

点之外，处处满足微分方程：LG(X,x)=0(3-20)如此定义的函数G(X,x)称为微分算子L

的Green函数。而X=x

是函数G(X,x)的奇异点，于是上式可以写成LG(X,x)=d(X-

x)(3-21)2023/12/5第17页Green函数应用示例：令j(X)

是的连续或分段连续函数，则是微分方程的解：(3-22)(3-23)证明：对(3-22)

式运用微分算子L

注意到，L

是关于

X

的微分算子，因此有

Lj(x)=0

，所以有将(3-21)式：LG(X,x)=d(X-

x)代入得到利用d

函数的偶特性和筛选性，(3-24)证毕.在以上推导过程中Green函数起到关键作用。其中用到：1、积分和求和运算的次序可以交换；2、[di-Fl(Xi)]中没有积分变量x。2023/12/5第18页求解正则化问题已经得到Tikhonov函数的Euler-Lagrange方程(3-19)该式的解就是(3-11)

式的解，(3-11)：定义微分算子：以及函数：（3-25）（3-26）已知：的解为：得到(3-19)的解：再利用d

函数的筛选性得到：(3-27)正则化问题的解： （3-27） 即，给定数据样本反求系统函数，其最佳重构函数Fl(X)是N个中心分别位于X1,X2,…,XN的Green函数的加权求和，其权值分别为：称为正则参数，l越大拟合误差越大，而拟合函数Fl(X)越“平坦”；反之亦然。l用于在拟合误差与平坦性之间进行权衡。2023/12/5第19页确定展开式的系数(正则化网络权值的确定)

令：（3-28）将正则化重构过程用一个网络表示，则wi为权值，该网络实现的计算为：(3-29)将给定的学习样本逐一输入，得到：(3-30)Fl(Xj)是重构模型在给定输入Xj处的计算值。写成矢量形式：(3-31)正则化网络2023/12/5第20页学习样本所对应的输出矢量：(3-32)再将中心位于X1,X2,…,XN

的N

个径向基函数G(X,X1),G(X,X2),…，G(X,XN),分别在X1,X2,…,XN

的取值写成矩阵形式，即，Green矩阵：(3-33)将所有权值写成权值矢量：注意到(3-28)上式可以写成(3-34)(3-35)从(3-34)

和(3-35)中消去Fl

得到：(3-36)注意到算子是“自伴随的(Self–adjoint)”，可以证明与该算子关联的Green函数G(X,x)具有对称性，即：G(X1,X2)=G(X2,X1)，于是，Green矩阵也是对称矩阵，即：G=GT。可以选择算子L

使(G+lI)非奇异。于是得到(3-38)于是，我们得到了正则重构问题的学习算法，剩下的问题是如何选择Green函数。重构函数关于输入X1,X2,…，XN

的

N个计算值为：正则化网络的权值学习算法为：正则化网络所实现的运算：2023/12/5第21页正则化重构问题的解可以写成：

可以证明，当算子D具有“移不变性(Translationallyinvariant)”和“回转不变性(Rotationallyinvariant)”时，Green函数为径向基函数：G(X,X1)=G(||X-X1||)(3-40)作为拟合函数，具有以上性质是必要的，因此，我们可以取（3-40）径向基函数作为Green函数。于是，(3-41)以上得到的正则化重构问题的解，是中心分别在输入样本处的一系列径向基函数G(||X–Xi||)

的线性组合，径向基函数的个数与样本数量相同。但这个重构函数与本章(3-4)所表示的拟合函数有着本质上的区别，前者是拟合误差与平滑性权衡的结果，而后者是误差为0的拟合结果。可以证明，曲线拟合是正则化重构问题在l=0

时的特例。2023/12/5第22页多变量Gaussian函数应用最为广泛的Green函数是多变量Gaussian函数：(3-42)其中Xi

是其中心所在，s

决定了钟型的宽度。该函数所对应的自伴随算子为(Poggio

和

Girosi，1990)

：(3-43)其中而是m0维的微分算子，并且(3-45)可以看到，L

包含了无穷阶微分，是通常微分算子的线性组合，故而称为“伪微分算子”。2023/12/5第23页曲线拟合实例给定一维输入/输出样本(1).用(3-33)式计算(12x12)

维Green矩阵fork=1:length(X) x0=X(k); forn=1:length(X) x1=X(n); G(n,k)=exp(-(x1-x0).^2/(2*s^2)); endend(2).用(3-38)式计算W:l=0.1

时得到：W=[-0.90304,1.9742,3.3065,2.3684,1.2824,1.6151,1.9849,1.2454,0.56755,1.0588,0.59034,2.4743]T

l=0.3

时得到：W=[-1.7724,3.0144,4.1495,3.8488,-0.2731,3.4744,0.99487,2.1451,-0.37586,3.0171,-1.4118,4.2776]T

(3).构造正则拟合函数：

forn=1:length(X)form=1:length(X)G(n,m)=exp(-norm(X(:,n)-X(:,m))^2);endendW=inv(G-l*diag(ones(length(X)