RBF神经网络设计

1、1会计学RBF神经网络设计神经网络设计目 录 RBF神经网络简介径向基函数的网络结构 径向基函数网络参数选择RBF网络应用于模式分类总结 一一. RBF神经网络神经网络简介简介u从对函数的逼近功能而言，神经网络可分为全局逼近和局部逼近。局部逼近网络具有学习速度快的优点。径向基函数（Radial Basis Function，RBF）就属于局部逼近神经网络。u径向基函数RBF神经网络（简称径向基网络）是由J.Moody和C.Darken于20世纪80年代末提出的一种神经网络结构，RBF神经网络是一种性能良好的前向网络，具有最佳逼近及克服局部极小值问题的性能。二二.径向基函数的网络结构径向基函数的

2、网络结构径向基函数的网络结构二二.径向基函数的网络结构径向基函数的网络结构输入层到隐含层为非线性映射,基函数是高斯函数： 2i2ii2|c-x|-expxR二二.径向基函数的网络结构径向基函数的网络结构RBF神经网络的拓扑结构是一种三层前向网络： 输入层由信号源结点构成，仅起到数据信息的传递作用，对输入信息不进行任何变换； 第二层为隐含层，结点数视需要而定，隐含层神经元的核函数（作用函数）为高斯函数，对输入信息进行空间映射变换； 第三层为输出层，它对输入模式做出响应，输出层神经元的作用函数为线性函数，对隐含层神经元输出的信息进行线性加权后输出，作为整个神经网络的输出结果。三三.径向径向基函数网

3、络参数选择基函数网络参数选择 四四、RBF网络网络应用应用于模式分类于模式分类 以酒瓶分类三元色数据为例，希望将数据按照颜色数据所表征的特点，将数据按各自所属的类别归类。其中，前29组数据已确定类别，后30组数据待确定类别。（1）从样本数据库中获取训练数据 取前29组数据作为训练样本。为了编程方便，先对这29组数据按类别进行升序排序。重新排序后的数据如下表所示。序 号ABC分 类 结 果4864.451647.312665.916877.882031.663071.181161418.791775.892772.91251449.581641.583405.12182352.122557.04

4、1411.532142297.283340.14535.622152092.623177.21584.322182205.363243.741202.692192949.163244.44662.422222802.883017.111984.982242063.543199.761257.21211739.941675.152395.96331756.7716521514.98371803.581583.122163.053111571.171731.041735.333171845.591918.812226.493201692.621867.52108.973211680.671575.

5、781725.13261651.521713.281570.3832373.33087.052429.4745222.853059.542002.3349401.33259.942150.98410363.343477.952462.86412104.83389.832421.83413499.853305.752196.22423172.783084.492328.65427341.593076.622438.63428291.023095.682088.95429237.633077.782251.964 四四、RBF网络网络应用应用于模式分类于模式分类 将排序后的数据及其类别绘制在三维图

6、中直观地表示出来，作为RBF网络训练时应达到的目标。排序后的数据及其类别的三维图如下图所示。 四四、RBF网络网络应用应用于模式分类于模式分类将样本数据及分类结果分别存放到“.dat”文件中。数据文件内容及格式如下图所示。rbf_train_sample_data.dat文件内容及格式rbf_simulate_data.dat文件内容及格式rbf_train_target_data.dat文件内容及格式 四四、RBF网络网络应用应用于模式分类于模式分类（2）设置径向基函数的分布密度 Spread为径向基层的分布密度，又称散布常数，默认值为1。散布常数是RBF网络设计过程中一个非常重要的参数。一

7、般情况下，散布常数应该足够大，使得神经元响应区域覆盖所有输入区间。（3）调用newrb构建并训练径向基函数神经网络；在MATLAB中，构建径向基函数网络的函数文件有两个，分别为newrbe( )函数和newrb()函数。应用newrbe( )函数可以快速设计一个径向基函数网络，并且使得设计误差为0，调用方式如下：net=newrbe(p,t,spread);其中，p为输入向量；t为期望输出向量（目标值），spread为径向基层的散布常数，默认值为1。输出为一个径向基网络，其权值和阈值完全满足输入和期望值关系要求。 由newrbe( )函数构建的径向基函数网络，其径向基层（第一层）神经元数目等于

8、输入向量的个数，那么在输入向量较多的情况下，则需要很多的神经元，这就给网络设计带来一定的难度。函数newrb( )则可自动增加网络的隐含层神经元数目，直到均方差满足精度或神经元数目达到最大为止。 四四、RBF网络网络应用应用于模式分类于模式分类 newrb定义为net= newrb(p,t,GOAL,SPREAD,MN,DF)，各个参数的定义如下：u PQ个输入向量的RQ维矩阵。这里Q=29，R=3u TQ个目标类别向量的SQ维矩阵。这里S=1u GOAL期望的均方误差值，默认时为0.0。这里选择默认值u SPREAD径向基函数的散布常数，默认时为1.0u MN神经元的最大数目，默认时等于Q。

9、这里设置为28u DF每次显示时增加的神经元数目，默认时为25，并且返回一个新的径向基函数网络。这里设置为2。（4）调用sim，测试RBF网络的训练效果（5）再次调用sim识别样本所属类别 四四、RBF网络网络应用应用于模式分类于模式分类基于MATLAB的RBF模式分类程序如下：clear;clc;%网络训练目标pConvert=importdata(C:UsersAdministratorDesktopRBFrbf_train_sample_data.dat);p=pConvert;t=importdata(C:UsersAdministratorDesktopRBFrbf_train_ta

10、rget_data.dat);plot3(p(1,:),p(2,:),p(3,:),o);grid;box;for i=1:29,text(p(1,i),p(2,i),p(3,i),sprintf( %g,t(i),endhold offf=t;index1=find(f=1);index2=find(f=2);index3=find(f=3);index4=find(f=4); 四四、RBF网络网络应用应用于模式分类于模式分类 line(p(1,index1),p(2,index1),p(3,index1),linestyle,none,marker,*,color,g);line(p(1,

11、index2),p(2,index2),p(3,index2),linestyle,none,marker,*,color,r);line(p(1,index3),p(2,index3),p(3,index3),linestyle,none,marker,+,color,b);line(p(1,index4),p(2,index4),p(3,index4),linestyle,none,marker,+,color,y);box;grid on;hold on;axis(0 3500 0 3500 0 3500);title(训练用样本及其类别);xlabel(A);ylabel(B);zla

12、bel(C);% RBF网络的创建和训练过程net=newrb(p,t,0,410,28,2);A=sim(net,p)plot3(p(1,:),p(2,:),p(3,:),r .),grid;box;axis(0 3500 0 3500 0 3500)for i=1:29,text(p(1,i),p(2,i),p(3,i),sprintf( %g,A(i),endhold offf=A; 四四、RBF网络网络应用应用于模式分类于模式分类index1=find(f=1);index2=find(f=2);index3=find(f=3);index4=find(f=4);line(p(1,in

13、dex1),p(2,index1),p(3,index1),linestyle,none,marker,*,color,g);line(p(1,index2),p(2,index2),p(3,index2),linestyle,none,marker,*,color,r);line(p(1,index3),p(2,index3),p(3,index3),linestyle,none,marker,+,color,b);line(p(1,index4),p(2,index4),p(3,index4),linestyle,none,marker,+,color,y);box;grid on;hol

14、d on;title(网络训练结果);xlabel(A);ylabel(B);zlabel(C);%对测试样本进行分类pConvert=importdata(C:UsersAdministratorDesktopRBFrbf_simulate_data.dat);p=pConvert;a=sim(net,p) 四四、RBF网络网络应用应用于模式分类于模式分类 运行程序后，系统首先输出训练用样本及其类别分类图，如下图a所示。 接着输出RBF网络的训练结果图，如下图b所示。图a 训练用样本及其类别分类图图b RBF网络的训练结果图 四四、RBF网络网络应用应用于模式分类于模式分类RBF网络结果网络

15、结果与原始数据对比与原始数据对比序 号ABC目 标 结 果RBF网络分类结果4864.451647.312665.9116877.882031.663071.1811161418.791775.892772.911251449.581641.583405.121182352.122557.041411.5322142297.283340.14535.6222152092.623177.21584.3222182205.363243.741202.6922192949.163244.44662.4222222802.883017.111984.9822242063.543199.761257.2

16、12211739.941675.152395.963331756.7716521514.9833RBF网络结果网络结果与原始数据对比与原始数据对比71803.581583.122163.0533111571.171731.041735.3333171845.591918.812226.4933201692.621867.52108.9733211680.671575.781725.133261651.521713.281570.38332373.33087.052429.47445222.853059.542002.33449401.33259.942150.984410363.343477.

17、952462.864412104.83389.832421.834413499.853305.752196.224423172.783084.492328.654427341.593076.622438.634428291.023095.682088.954429237.633077.782251.9644RBF网络网络分类结果分析分类结果分析训练后的RBF网络对训练数据进行分类后的结果与目标结果完全吻合，可见RBF网络训练效果良好。以下为神经元逐渐增加的过程及对应输出的均方误差。NEWRB, neurons = 0, MSE = 1.1082NEWRB, neurons = 2, MSE =

18、 0.262521NEWRB, neurons = 4, MSE = 0.188316NEWRB, neurons = 6, MSE = 0.104082NEWRB, neurons = 8, MSE = 0.0794035NEWRB, neurons = 10, MSE = 0.0524248NEWRB, neurons = 12, MSE = 0.0377437NEWRB, neurons = 14, MSE = 0.0302773NEWRB, neurons = 16, MSE = 0.0209541NEWRB, neurons = 18, MSE = 0.0124128NEWRB, n

19、eurons = 20, MSE = 0.000818943NEWRB, neurons = 22, MSE = 0.000771163NEWRB, neurons = 24, MSE = 0.000131081NEWRB, neurons = 26, MSE = 7.66274e-07NEWRB, neurons = 28, MSE = 3.75729e-31RBF网络网络分类结果分析分类结果分析 从运行过程可以看出，随着神经元数目的逐渐增加，均方误差逐渐减小。当神经元数目增加到28时，误差已经很接近0，基本可以达到要求。 继续执行程序，系统将给出训练后的RBF网络对训练样本数据的识别结果图

20、，如图所示。RBF网络网络分类结果分析分类结果分析继续执行程序，可得到测试样本的分类结果：a =1 至 9 列1.0000 1.0000 1.0000 1.0000 2.0000 2.0000 2.0000 2.0000 2.000010 至 18 列2.0000 2.0000 3.0000 3.0000 3.0000 3.0000 3.0000 3.0000 3.000019 至 27 列3.0000 4.0000 4.0000 4.0000 4.0000 4.0000 4.0000 4.0000 4.000028 至 36 列4.0000 4.0000 2.8969 3.2124 2.92

21、32 4.0000 2.2147 2.4485 3.055037 至 45 列4.0009 2.6013 3.1286 3.1476 1.3241 2.1283 4.0008 3.6605 3.9999RBF网络网络分类结果分析分类结果分析 46 至 48 列3.1801 3.9996 1.8306a为测试数据的分类结果，对a进行近似处理后可得最终的分类结果：a =1 至 9 列1 1 1 1 2 2 2 2 210 至 18 列2 2 3 3 3 3 3 3 319 至 27 列3 4 4 4 4 4 4 4 428 至 36 列4 4 3 3 3 4 2 2.4485 337 至 45 列

22、4 2.6013 3 3 1 2 4 3.6605 446 至 48 列3 4 2五、总结五、总结 综上可以发现，在未对数据进行近似处理之前，类别均为小数。而且对于某些数据，分类的结果介于两类之间，无法人为决定其所属类别。这是因为： 其一，虽然目前已经证明径向基函数网络能够以任意精度逼近任意连续函数，但对于本例的离散数据，理论上就不能做到完全逼近； 其二，径向基函数神经网络的输出层为线性层，神经元层的输出乘以输出层权值之后直接输出结果，输出层不会计算某一数据属于某一类别的概率。由径向基函数神经元与竞争神经元一起构成的另一种神经网络结构概率神经网络（PNN）可以解决这个问题。一一. RBF神经网

23、络神经网络简介简介u从对函数的逼近功能而言，神经网络可分为全局逼近和局部逼近。局部逼近网络具有学习速度快的优点。径向基函数（Radial Basis Function，RBF）就属于局部逼近神经网络。u径向基函数RBF神经网络（简称径向基网络）是由J.Moody和C.Darken于20世纪80年代末提出的一种神经网络结构，RBF神经网络是一种性能良好的前向网络，具有最佳逼近及克服局部极小值问题的性能。 将排序后的数据及其类别绘制在三维图中直观地表示出来，作为RBF网络训练时应达到的目标。排序后的数据及其类别的三维图如下图所示。 四四、RBF网络网络应用应用于模式分类于模式分类将样本数据及分类结

24、果分别存放到“.dat”文件中。数据文件内容及格式如下图所示。rbf_train_sample_data.dat文件内容及格式rbf_simulate_data.dat文件内容及格式rbf_train_target_data.dat文件内容及格式 四四、RBF网络网络应用应用于模式分类于模式分类 line(p(1,index1),p(2,index1),p(3,index1),linestyle,none,marker,*,color,g);line(p(1,index2),p(2,index2),p(3,index2),linestyle,none,marker,*,color,r);line(p(1,index3),p(2,index3),p(3,index3),linestyle,none,marker,+,color,b);line(p(1,index4),p(2,index4),p(3,index4),linestyle,none,marker,+,color,y);box;grid on;hold on;axis(0 3500 0 3500 0 3500)