神经网络配套Ch12presRBF课件

1、神经网络配套Ch12presRBF1 径向基函数(RBF)网络 神经网络配套Ch12presRBF2 RBF网络结构 径向基神经元结构 径向基神经元的净输入采用距离函数（如欧式距离）乘以偏 置，并使用径向基函数作为激活函数。 权又称为中心 神经网络配套Ch12presRBF3 2 2 )( t etradbas 2 2 1 1 )( t e tradbas )( 1 )( 22 t tradbas)0( 1. 高斯函数： 2. 反射S形函数： 3. 逆多二次函数 ： 称为基函数的扩展常数 或宽度， 越小，径向基 函数的宽度越小，基函数 就越有选择性。 径向基函数（RBF） RBF网络结构（续）

2、 神经网络配套Ch12presRBF4 RBF网络结构（续） 网络结构 RBF网络是个三层结构（-S1-S2）的前馈网，其中，代 表输入层并指出输入维数； S1代表由径向基神经元构成的 隐层并指出神经元数目； S2是线性输出层。 神经网络配套Ch12presRBF5 RBF网络结构（续） RBF网络层间的连接 输入层到隐层之间的权值（中心）固定 隐层到输出层之间的权值可调 神经网络配套Ch12presRBF6 RBF网络工作原理 RBF网络的三层的作用 输入层将网络与外界环境连接起来 隐层是非线性的，实现从输入空间到隐层空 间之间的非线性变换 输出层是线性的，完成隐层输出的加权和 RBF网络是

3、一种局部逼近网络 能以任意精度逼近任一连续函数 常用于解决函数逼近和分类问题 神经网络配套Ch12presRBF7 RBF网络工作原理（续） RBF网络的工作原理 函数逼近：以任意精度逼近任一连续函数。一般 函数都可表示成一组基函数的线性组合，RBF网络 相当于用隐层单元的输出构成一组基函数，然后 用输出层来进行线性组合，以完成逼近功能。 分类：解决非线性可分问题。RBF网络用隐层单 元先将非线性可分的输入空间设法变换到线性可 分的特征空间（通常是高维空间），然后用输出 层来进行线性划分，完成分类功能。 神经网络配套Ch12presRBF8 RBF网络实现内插问题 内插问题（数值逼近） 给定样

4、本数据： 寻找函数，使之满足： ， RBF网络解决内插问题 网络隐层使用个隐节点 把所有个样本输入分别作为个隐节点的中心 各基函数取相同的扩展常数 确定权值可解线性方程组： 设第j 个隐节点在第i个样本的输出为： , 可矩阵表示： ，若R可求逆，则解为： 。 根据Micchelli定理可得，如果隐节点激活函数采用径向 基函数，且 各不相同，则线性方程组 有唯一解。 p1t1,p2t2, pQtQ, )( ii PFt Qi 1 Qi1 i Q j jij tPPradbasw )( 1 Q PPP,., 21 tRw )( jiij PPradbasr tRw 1 神经网络配套Ch12pres

5、RBF9 RBF网络实现内插问题（续） RBF网络的输出为： 其中 为隐节点的激活函数（ RBF函数）； 是第 j个隐节点的RBF函数的数据中心。 RBF网络的结构为： )()( 1 Q j jiji cpwpF )( jj PC 神经网络配套Ch12presRBF10 RBF网络实现内插问题（续） RBF网络可实现对样本完全内插，即在所有样本点网络输 出误差为0。 网络的隐层节点数等于样本数，当样本数较多时，网络 的结构将过大，前述方法中矩阵R也大，使得它的条件数 （ 矩阵的最大特征值与其最小特征值的比）可能过大， 从而导致求逆时不稳定。 同样，当样本数较多时，网络结构将过大，从而有可能 导

6、致网络的泛化性能降低。 为了提高网络的泛化性能，可以采用下面讨论的广义RBF 网络和正则化网络。 神经网络配套Ch12presRBF11 广义RBF网络 隐层节点数(径向基函数个数)远小于样本数，通 常有： 径向基函数的中心不再限制在样本点上，即有： 径向基函数的扩展常数不一定要统一 1 RSQ jj CP 神经网络配套Ch12presRBF12 RBF网络的学习算法 学习算法要确定的参数: 网络隐层神经元的个数（结构设计） 确定各径向基函数的数据中心 扩展常数 连接隐层到输出层的权值 神经网络配套Ch12presRBF13 RBF网络的学习算法 中心固定方法 随机从训练数据中选取网络中隐节点

7、的数据中心，并 根据各数据中心之间的距离确定隐节点的扩展常数 然后用有监督学习（伪逆或LMS方法）确定输出层节 点的权值 中心自组织选取方法 先用无监督学习（k-均值聚类算法对样本输入进行聚 类）方法确定网络中隐节点的数据中心，并根据各数 据中心之间的距离确定隐节点的扩展常数 然后用有监督学习（仿逆或LMS方法）确定输出层节 点的权值 神经网络配套Ch12presRBF14 RBF网络的学习算法（续） 梯度方法 用梯度方法原理，通过最小化性能指数实现对各隐节 点数据中心、扩展宽度和权值的调节 交替梯度方法 为提高网络的训练效率，将梯度方法分为两阶段，这 两个阶段交替进行训练，直到达到要求的精度

8、为止 输入层隐层阶段：固定网络的权值，训练网络的 中心和扩展宽度 隐层输出层阶段：固定网络的中心和扩展宽度， 训练网络的权值 神经网络配套Ch12presRBF15 RBF网络的特点 只有一个隐层，且隐层神经元与输出层神经元的 模型不同。 隐层节点激活函数为径向基函数，输出层节点激 活函数为线性函数。 隐层节点激活函数的净输入是输入向量与节点中 心的距离（范数），而非向量内积，且节点中心 不可调。 隐层节点参数确定后，输出权值可通过解线性方 程组得到。 隐层节点的非线性变换把线性不可分问题转化为 线性可分问题 神经网络配套Ch12presRBF16 RBF网络的特点（续） 局部逼近网络（MLP

9、是全局逼近网络)，这意味着 逼近一个输入输出映射时，在相同逼近精度要求 下，RBF所需的时间要比MLP少。 具有唯一最佳逼近的特性，无局部极小。 合适的隐层节点数、节点中心和宽度不易确定。 神经网络配套Ch12presRBF17 正则化方法（改进泛化性能） 寻找能有效逼近给定样本数据的函数 设有样本数据: , F(P)是逼近函 数。 传统方法是最小化标准误差项来实现 由于从有限样本导出一个函数的解有无穷多个，该问题 是不适定的(ill-posed)。Tikhonov提出了正则化方法来 解决这类问题。就是在标准误差项的基础上，增加一个 限制逼近函数复杂性的项（称为正则化项），即 其中，D是线性微

10、分算子，关于解F(p)的形式的先验知识 就包含在其中，即D的选取与所解的问题有关。 D也称为 稳定因子，它使正则化问题的解稳定光滑，从而连续。 p1t1,p2t2,pQtQ, 2 1 )( 2 1 )( i Q i iS PFtFE 2 2 1 )(DFFEC 神经网络配套Ch12presRBF18 正则化方法（改进泛化性能） 正则化理论要求最小化的量为 其中， 是一个正的实数，称为正则化参数。 正则化参数用来指示所给的样本数据和先验信息对 的最小解函数 作的贡献的大小。 当 时，表明该问题不受约束，解完全由 所给样本决定； 当 时，表明仅由算子D所定义的先验条 件就足以得到问题的解，也就是说

11、所给的样本完全不 可信； 实际应用中，正则化参数取上述两个极限值之间，使 样本数据和先验条件都对解作贡献。 2 2 1 2 1 )( 2 1 )()()(DFPFtFEFEFE i Q i iCS )(FE )(pF 0 神经网络配套Ch12presRBF19 正则化方法（改进泛化性能） 正则化问题的解为： 其中， 是自伴随算子 的Green函数。 可见正则化问题的解是Q个基函数 的线性组 合，即 ),( i PPG Q i iii PPGPFtPF 1 ),()( 1 )( DD ),( i PPG Q i ii PPGwPF 1 ),()( )( 1 iii PFtw 神经网络配套Ch12presRBF20 正则化网络 正则化理论导出一类特定的RBF网络正则化网络 Green函数 的形式依赖于算子D的形式， 如果D具有平移不变性和旋转不变性，则Green函数的值取 决于P和 Pi之间的距离，即 。选择不同的算子D（应具有平移和旋转不变性），便可 得到不同的Green函数，包括Gaussian函数这样最常用的 径向基函数。 Q i ii PPGwPF 1 ),()( ),( i PPG )(),( ii PP