基于最小二乘算法的RBF

1、基于正交最小二乘算法的 RBF神经网络 一、实验环境 位操作系统, 1.5GHZ , 4G 内存，软件版本 MATLAB2015b 硬件平台Win 10 64 二、实验数据 训练数据集： F W M Y Q T 1 0 0 0.0013 0 0 1 0 0 0 0 2 0.0074 0.0335 0.0015 0.0032 0.0106 1 0 0 0 0 3 0.0043 0.0223 0 0.0047 0.0053 1 0 0 0 0 4 0.552 0.3017 0.2581 0.3094 0.2316 0 1 0 0 0 5 0.5452 0.2793 0.2611 0.2988 0.

2、2036 0 1 0 0 0 6 0.5502 0.2458 0.2717 0.3115 0.2347 0 1 0 0 0 7 0.2462 0.1508 0.0947 0.0964 0.0999 0 0 1 0 0 8 0.2535 0.1061 0.0968 0.0971 0.081 0 0 1 0 0 9 0.2665 0.0894 0.0937 0.0994 0.0908 0 0 1 0 0 10 0.6615 0.5251 0.5195 0.471 1 0 0 0 1 0 11 0.6738 0.4413 0.5225 0.4732 0.9667 0 0 0 1 0 12 0.666

3、5 0.4749 0.5255 0.4769 0.9758 0 0 0 1 0 13 1 1 0.9812 1 0.8206 0 0 0 0 1 14 0.9797 0.9777 1 0.996 0.7759 0 0 0 0 1 15 0.9846 0.9727 0.9847 0.9857 0.76 0 0 0 0 1 三、算法介绍 RBF函数网络从结构上看是一个 测试数据集: F W M Y Q T 1 0.0031 0.0235 0.0005 0.003 0.0045 1 0 0 0 0 2 0.5493 0.2626 0.2659 0.3088 0.2221 0 1 0 0 0 3 0.

4、2572 0.1006 0.0958 0.0981 0.089 0 0 1 0 0 4 0.6704 0.4972 0.5235 0.4741 0.9791 0 0 0 1 0 5 0.992 0.9899 0.9979 0.9937 0.7979 0 0 0 0 1 一个输出层和一个 RBF节点, 3层前馈网络，包括一个输入层、 隐含层。输入层节点的作用是将输入数据传递到隐含层节点。隐含层节点称为 其激活函数为辐射状函数的神经元构成，通常采用高斯型函数： 例如， RBF 采 其中 RBF网络中所用的非线性函数的形式对网络性能的影响并不是至关重要的，关键因素 是基函数中心的选取，中心选取不当构

5、造出来的 RBF网络的性能一般不能令人满意。 如果某些中心靠的太近，会产生近似线形相关，从而带来数值上的病变条件。基本的 神经网络采用随机抽取固定中心的方法，在输入样本数据的分布具有某种特性的情况下, 用这种方法解决给定问题就显得简单可行了。而针对其缺陷，已经有许多改进的方法, 之一就是利用最小二乘法选取中心，训练网络权重。 四、程序设计 1.RBF基本算法 程序分为数据准备，网络训练，网络测试，图形绘制四部分。 数据准备部分将EXCEL表格中的训练集测试集数 据导入MATLAB工作空间，作为实验的数据源。然后 对程序参数进行初始化设置在训练集中随机抽取数据 作为RBF中心。网络训练部分进行样

6、本迭代训练，每 一次迭代结束计算误差是否达到精度要求，若未达到精 度要求则调整权值进行下一次迭代。精度达到要求或达 图2基本RBF程序流程图 2.基于正交最小二乘法的改进设计 正交最小二乘法是神经网络中的很重要的一种学习方法。线性回归模型是算法的来源。 不失一般性，考虑网络中只有一个单元的输出层。令网络训练样本对为 X d (n) j (口=1岛,N) 其中、N代表训练样本数。Xn是网络输入数据矢量。d(n)表示网络期望输出响应。网络 的期望输出响应根据选型回归模型可以表达为 d (n)(n)他卄 Cn) (I戶 1,2 N.i=l,2 M) 式中M是隐含层的单元数 M (Ml) e(n)是残

7、差。将4-40写成矩阵方 r4.4Zj Pi 式中，P为回归矩阵。选择回归算子矢量 可以用线性方程组来求解模型参数矢量。通常的 合中做选择。每当选定一组 P. pi是求解回归方程式的关键。P确定以后，就 RBF中心，是从输入的样本数据的矢量集 ti，就能得到一个对应于输入样本的回归矩阵。值得注意的是， 到最大步数则结束训练，进入测试阶段。最后绘制训练 误差图形，输出测试结果。 回归算子的个数 M的选择和它的变化都直接影响回归模型中的残差。我们要选择那些对降 低残差贡献显著回归的算子，剔除对降低残差贡献差的回归算子。为了得到满足二次性能指 pi，分析判断pi对降低残差的贡献，选择贡献显著的回归

8、标的网络输出，OLS法需要的工作是通过学习选择出合适的回归算子矢量，以及它的个数 M，OLS法的基本思想是正交化 算子并确定其个数。 P=UA , U是各列正交的 N*M阵，A为上三角矩阵。经运 将P进行正交三角形分解， 算得到最小二乘解 AW=g 定义误差压缩比 总结OLS算法的具体过程是: （1） （2） （3） （4） （5） CliM) 据此可以选择重要的回归算子。 (6) (7) 进行隐含层单元数的预选工作。 选择一组 RBF中心矢量ti，1兰i兰M 选择输入样本矢量计算 P 正交化P矩阵 分别计算 计算上三角矩阵 检查是否满足以下公式 A，根据 AW=G求连接权重。 ( .翊 ，重

9、新开始第2步。 如果得到满足，则停止计算。否则 五、调试过程及结果 1.RBF基本算法 网络结构及参数：选择5个输入神经元，5个输出神经元，隐层神经元个数20个，目标精 度0.001。训练过程误差变化如图3所示，经过两次迭代就达到精度要求。 n 图3基本RBF训练过程 且精度较 此时输出结果如下表所示，由结果可知经过训练后的网络很好的实现了分类目的, 高。 此时网络权值如下表所示, M为隐层神经元，丫为输出神经元 组别 T 1 1.004037 0.001882 -0. 00703 2.56E-05 -7. 91E-07 2 0.001611 1.004932 -0. 00453 -0. 00

10、043 -8. 48E-06 3 0.004795 -0. 0019 0.999911 -0. 00015 -2. 88E-06 4 -0. 00067 0.000913 0.000904 1.0008 0.000782 5 2.85E-06 -6. 80E-06 -3. 01E-06 -8. 81E-05 1.002592 权值 Y1 Y2 Y3 Y4 Y5 M1 -0. 00237 0.004415 0.002789 0.106885 -0. 21081 M2 2.676136 -4. 14758 2.766328 0.178976 -0. 00172 M3 0.239789 -0. 42

11、605 -0. 30651 8.184746 0.817865 M4 0.001753 -0. 003 -0. 00207 -0. 07083 0.64576 M5 11.02431 6.49787 -16. 6649 0.014763 0.001637 RBF中心取值分别为 中心点 Cl C2C3 C4 Ml 0979/ O?77D1 0996 07769 M2 C 1509. 0CiM7 D.MH 0的g? M3 O6；3 04130.5： 5 0473； uSiST 1 L 0.961： 1 DB206 M5 00074 0 0335100015 00032 00106 M5 52 弓

12、r06195 C471 1 MT 0 EPF f 叩二ma0 7717 T31U LIM3 0.552 CJCIT O,25S1 0.XI9J C M9 5 z Q 口盟口 组别 T 1 0.4257 -0.0053 0.4108 -0.0271 0.0024 2 -0. 0367 0.835 0.2065 0.0304 0.0036 3 0.3894 0.2475 0.4492 -0.0351 -0.0048 4 0.0733 -0.0749 0.0351 1.0176 0.0069 5 0.0108 -0.0088 -0. 0009 -0.0032 1.0038 通过测试数据可以看到并未达

13、到分类要求，因此隐层神经元太少会影响分类精度，而且 在调试过程中由于初始权值以及网络中心都是随机选择，同一参数下测试效果也不相同。 2.基于正交最小二乘法的改进设计 基于正交最小二乘算法的RBF改进算法并没有成功实现。在程序设计调试过程中，开 始并不了解RBF的工作原理，于是参考了智能控制()，MATLAB神经网络：以及 网络上一篇名为RBF神经网络的matlab简单实现的博客文章，了解了 RBF的基本结构 及其实现方法。在基本算法完成的情况下，考虑正交最小二乘算法与RBF神经网络的结合 问题。对于最小二乘法，可以理解为是一种数学优化技术。它通过最小化误差的平方和寻找 数据的最佳函数匹配。 利

14、用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据 与实际数据之间误差的平方和为最小。在知网期刊论文文库搜索了大量相关的文献资料，通 过阅读文献发现最小二乘法常用来进行隐层神经元中心的选择以及权值的修正，上一部分研 究已经发现RBF隐层神经元函数中心的选择直接影响了网络训练结果的好坏，基于正交最 小二乘算法的 RBF改进算法就是利用最小二乘法进行网络中心的选择以及权值调整。接下 来在一篇硕士论文基于 RBF神经网络的浮船坞浮态检验系统辨识中找到基于最小二乘 算法改进RBF神经网络的较为详细的总体步骤。(如第四部分所述)，据此设计程序。 首先进行数据准备工作，将训练数据测试数据导入MAT

15、LAB工作空间，然后初始化所 需参数，计算回归矩阵 P, p(i)为第i个隐层的输出向量，对 P进行正交化处理，程序中采 用QR分解的方法，得到正交矩阵 U以及上三角矩阵 A，之后再求取 g和误差压缩比时针 对多维输出情况遇到困难，至此，问题的关键集中于如何求取误差压缩比并选择最佳的中心 点向量，通过每次迭代增加隐层中心数目更新权值矩阵直至误差达到精度要求。 接下来的工作应该建立在充分理解最小二乘算法的基础上解决多维输出情况下最优中 心点选择的问题。 RBF算法。 对于测试部分、结果处理绘图程序同前述基本 八、 讨论与小结 由实验可知，RBF神经网络在分类问题中具有优越性能。通过动手编制RBF底层学习 未完成的部分还需要 算法程序可以促使我们深入了解算法原理，在其缺陷基础上提出改进措施。由于时间有限， 实验改进算法虽未顺利完成，但也在其中学到了更多程序改进的思路。 继续研究。 参考文献 ,2011. 安徽工业大学：安徽工业大 1 焦玉莹.基于RBF神经网络的浮船坞浮态检验系统辨识D.大连海事大学 2 何加宝.多段径向基函