（计算数学专业论文）多层前向神经网络的理论研究与优化.pdf

多层前向神经网络的理论研究与优化 摘要 这篇学位论文首先从多角度分析研究了基于梯度下降算法的增量训练和批 量训练两种方式的优劣性，并结合两个实验加以验证。然后结合小波分析、模糊 聚类知识建立了组合r b f 神经网络系统，并将该系统应用于海洋浮游植物的分 类中，取得了较之于传统方法更好的结果。 论文第一章综述了多层前向神经网络在各个领域中的广泛应用和研究现状。 梯度下降算法是训练多层前向神经网络的一种有效方法，该算法可以以增量 或者批量两种学习方式实现。关于两种学习方式的优劣性在神经网络领域众说不 一，有人对两种学习方法做过比较，但均是从单一的角度进行比较。论文第二章 从准确率、训练时间、计算量、学习速率和惯性系数等多个角度出发，分析了两 种学习算法的优劣性，并找出了有待于进一步研究的问题；提出了“惯性校正法”， 对其能加速学习的原因进行了理论分析，并结合岩性分类和字母识别两个实验， 对理论观点进行了验证。 r b f 神经网络作为多层前向神经网络的一种，同样有着广泛的应用。我们 介绍了r b f 神经网络的理论、主要的学习算法和一种改进的学习算法，分析了 r b f 神经网络逼近性质和分类机理。 在小波变换、模糊动态聚类和r b f 神经网络的基础上提出了一种新的“组 合r b f 神经网络”分类系统，是r b f 神经网络在应用领域中的一种创新，也是 本文的重点。该分类系统首先将复杂的分类问题转化为多个简单的分类问题，然 后通过对每个简单问题的细化分类，最终实现对原问题的有效分类。 第四章利用“组合r b f 神经网络”建立了海洋浮游植物分类系统，是对该 网络实际效果的验证。结果表明，该网络较传统的分类方法有着很大的优越性。 同时对广义r b f 神经网络和正规r b f 神经网络算法在该实验中的数值结果进行 了对比分析。 最后，应用m a t l a b 编程语言设计了海洋浮游植物数据预处理系统和物种识 别系统，直观地将数据预处理过程中每一步操作对数据的影响和组合r b f 神经网 络的工作原理显示出来，实现系统可视化。 关键词：批量学习；增量学习；模糊聚类；小波变换；径向基函数 t h e o r e t i cr e s e a r c ha n do p t i m i z a t i o no ff n n a b s t r a c t i n c r e m e n t a lt r a i n i n ga n db a t c ht r a i n i n gb a s e do ng r a d i e n tl e a r n i n ga r ed i s c u s s e d i nt h i st h e s i sf r o md i f f e r e n ta n g l e s a n dt w oe x p e r i m e n t sa r ep r e s e n t e dt ov e r i f yv i e w s o ft h i st h e s i s t h e nan e wc o m b i n e d 脚n e u r a ln e t w o r ki sd e v e l o p e db a s e do n w a v e l e tt r a n s f o r m i n ga n df u z z yc l u s t e r i n g i t g e t sb e t t e rr e s u l t st h a nt r a d i t i o n a l m e t h o d sw h e ni ti su s e dt oc l a s s i f yp h y t o p l a n k t o n t h ea p p l i c a t i o nb a c k g r o u n da n dr e s e a r c hs t a t eo ff w na r es u m m a r i z e di n c h a p t e ro n e g r a d i e n td e s c e n ta l g o r i t h mi sa ne f f i c i e n tm e t h o dt ot r a i nf n n a n di tc a l lb e r e a l i z e di nb a t c ho ri n c r e m e n t a lm a n n e r s o m ec l a i mt h a tb a t c hm a n n e ri sb e t t e r ， w h i l eo t h e r ss h a r et h eo p p o s i t eb e l i e f i nc h a p t e rt w op r o sa n dc o n sb e t w e e nt h e s et w o a l g o r i t h m si na c c a r a c y ，t r a i n i n gt i m e ，c o m p u t a t i o nc o m p l e x i 哆，l e a r n i n gr a t ea n d m o m e n t u mc o e f f i c i e n ta r ed i s c u s s e d a l s op r o b l e m sw a i t i n gt ob es o l v e da r ef o u n d t h eg r a d i e n td e c e n tl e a r n i n gw i t hm o m e n t u mi si n t r o d u c e d ，a n da n a l y s i si sd e s c r i b e d w h y i tc a l ls p e e du pl e a i 血gs p e e d f u r t h e rm o r e ，t w oe x p e r i m e n t sa r ep r e s e n t e dt o v e r i f yp r e v i o u sv i e w s a so n eo ff n n ，r b fn e t w o r ki sa l s ow i d e l yu s e di nm a n yf i e l d s i nc h a p t e rt h r e e ， t h eb a s i ct h e o r y , p r i m a r yl e a r n i n ga l g o r i t h ma n da ni m p r o v e dl e a r n i n gm e t h o do fr b f n e t w o r ka r ep r e s e n t e d a l s ot h ea p p r o x i m a t i o na n dc l a s s i f i c a t i o na b i l i t i e so fr b f n e t w o r ka r ea n a l y z e d an e wc o m b i n e dr b fn e t w o r kf o rc l a s s i f i c a t i o ni sd e v e l o p e db a s e do nw a v e l e t t r a n s f o r ma n df u z z yc l u s t e r i n g ，w h i c hi sa l li n n o v a t i o ni nt h ea p p l i c a t i o n 舶l do fr b f n e t w o r k a l s oi t st h ek e y s t o n eo ft h et h e s i s i td e c o m p o s e st h eo n ed i f f i c u l tp r o b l e m i n t om u l t i - s i m p l ep r o b l e m sa tf i r s t t h e ni tu s e sm u l t i p l er b fn e t w o r k st os o l v ee v e r y s i m p l ep r o b l e m ，w h i c hm a k e st h eu l t i m a t eo b j e c t i v ec o m et r u e as p e c t r ao f p h y t o p l a n k t o nc l a s s i f i c a t i o ns y s t e m i se s t a b l i s h e db a s e do n c o m b i n e dr b fn e t w o r ki nc h a p t e rf o u r s i m u l a t i o nr e s u l t ss h o wt h a tc o m b i n e dr b f n e t w o r ki sp r i o rt ot r a d i t i o n a ln e t w o r k s c o n t r a s ta n a l y s i sb e t w e e ng e n e r a l i z e dr b f ， n e t w o r ka n dn o r m a lr b fn e t w o r ka r ea l s om a d e f i n a l l y ，s i m u l a t i o ns y s t e m sf o rd a t ap r e t r e a t m e n ta n ds p e c t r ao fp h y t o p l a n k t o n c l a s s i f i c a t i o na r ed e s i g n e d t h er e s u l to fe a c hs t e pa n dt h ep r i n c i p l eo fc o m b i n e dr b f n e t w o r kc a nb ec l e a r l ys e e ni nt h es i m u l a t i o ns y s t e m s k e yw o r d s ：b a t c ht r a i n i n g ：i n c r e m e n t a it r a i n i n g ；f u z z yc i u s t e r i n g ； w a v e i e tt r a n s f o r m ；r a d i a ib a s i sf u n o t i o nn e t w o r k 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含未获得 洼! 翅塑直基丝益要挂别直明的：奎拦豆窒2 或其他教育机构的学位或证书使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 一二竺兰竺兰塑一兰三竺! 二兰坐竺三 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人 授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密的学位论文在解密后 适用本授权书) 一虢驸 签字醐：1 年( 肋日 学位论文作者毕业后去向： 工作单位： 通讯地址： 导师签字： 签字日期：年月日 电话： 邮编： 多层前向神经网络的理论研究与优化 第1 章前言 神经网络具有高度非线性、模拟并行性、高度容错性、鲁棒性、自联想、自 学习和自适应等许多特点“，已在智能控制、模式识别用、计算机识别、自适应 滤波和信号处理、导弹非线性优化、自动目标识别、连续语音识别、声纳信号的 处理、知识处理、传感技术与机器人、图像处理、生物医学工程、传感器信号处 理、机器人控制、卫生保健、医疗、处理组合优化问题等方面取得了令人鼓舞的 成就。 近年来，世界各国的科学家正在组织和实施有关神经网络的重大项目。如美 国的d a r p a 计划，日本的h f s p 计划、法国的“尤里卡”计划、德国的“欧洲 防御”计划和俄罗斯的“高技术发展”计划。我国在1 9 9 0 年举办了神经网络的 学术年会，研究工作已在高等院校和研究单位相继开展。 1 1 多层前向网络的研究现状 多层前向神经网络是人工神经网络中应用最为广泛的网络之一，误差反向传 播( b p ) 算法是其基本的学习训练算法。尽管b p 算法已获得了广泛的应用，但 仍存在一些问题，如收敛速度慢、学习效率较低、易于陷入局部最小点、推广性 能差等。为此，人们在传统b p 算法的基础上，提出了带动量项的b p 算法、动 态学习率b p 算法、一般权值光滑b p 算法j 超松弛权值光滑b p 算法、含“退 火”光滑因子的b p 算法、正则化b p 算法、变步长b p 算法、权值平衡b p 算法、 动态学习率b p 算法以及广义误差b p 算法等等。 r b f ( r a d i a lb a i l sf u n c t i o n ) 神经网络是今年来应用较多的神经网络之一，主 要用于函数逼近和模式识别【3 1 领域。它具有良好的局部性，能够提供平滑的、性 能优秀的离散数据内插特性；可以提供完备的、最优的逼近功能。其网络隐含层 至输出层的权值一股使用线性的l s ( 最小方差) 方法获得：隐含层基函数的中 心和宽度，目前存在三种训练方法，即k 。均值法、o l s 算法【4 】和梯度下降法。 多层前向神经网络的理论研究与优化 各种算法可谓各有千秋，但有些算法的改进效果不是十分明显，特别是有的 算法无形之中又增加了可调节的人为参数，从而使算法实施时又多了不确定性或 增加了难度，不便于实际应用。 近年来，将多层前向神经网络与其它技术( 尤其是进化计算技术) 结合生成 混合方法和混合系统，正成为一大研究热点。 1 2 本文主要研究内容 1 、 在阅读了大量的国内外相关文献的基础上，对神经网络领域的研究状况 和发展情况进行了综述。 2 、对基于梯度下降算法的增量学习( 在线学习) 和批量学习算法进行了介 绍，结合岩性分类和字母识别两个实验对两种方法的优劣性进行了对比分析，并 找出了有待于进一步研究的问题；提出了惯性校正法，并分析了其能加速学习的 原因。 3 、介绍了小波变换和模糊动态聚类的基础知识，r b f 神经网络的理论、主 要的学习算法和一种改进的学习算法，分析了r b f 神经网络的逼近性质和分类机 理。 4 、提出了一种新的“组合r b f 神经网络”分类系统。该分类系统首先将复 杂的分类问题转化为多个简单的分类问题，然后通过对每个简单问题的细化分类， 最终实现对问题的有效分类。 5 、 利用“组合r b f 神经网络”建立了海洋浮游植物分类系统，验证了该网 络分类方法的优越性。同时对广义r b f 神经网络和正规r b f 神经网络算法在该 实验中的数值结果进行了对比分析。 最后，应用m a t l a b 编程语言设计了海洋浮游植物数据预处理系统和物种识 别系统，直观地将数据预处理过程中每一步操作对数据的影响和组合r b f 神经网 络的工作原理显示出来，实现系统的可视化。 2 多层前向神经网络的理论研究与优化 第2 章前向神经网络的学习方法分析与研究 梯度下降法四是在前向神经网络各算法中使用的较多的一种算法，如感知器 学习规则、b p 算法等。本章所讨论的增量学习和批量学习两种方法都是基于梯 度下降算法的训练方法，对于两种方法的优劣性在神经网络研究领域有很多说 法。其中一种说法是：因为批量学习用的是真正的误差梯度，所以能紧跟梯度下 降方向：而增量学习则会在误差梯度方向上走“之”字形路线。另有一种说法是： 增量学习要比批量学习快( 尤其是在处理“大样本集”的模式识别问题时) ，也 就是说增量学习在处理冗余样本时有着批量学习不可比拟的优越性。 在训练过程中，学习速率( 常数、变量) ，惯性系数( 常数、变量) ，样本集 大小、训练时间等参数都会对网络的训练效果产生影响因此，对两种方法的对 比分析必须考虑到这些参数 2 1 1 梯度下降法 即 2 1 理论基础 可微函数e ：r 4 - - - 9 r 在w 处的梯度等于f 的一阶求导向量，表示为g ， 咖) _ ( 面) 竺 掣：掣，掣 r ， 协- ， 通常省去g ( w ) 中的自变量w ，只使用g 来表示。 定义2 1 如果直接下降方向d 是在目标函数e 的梯度( g ) 基础上确定的， 那么这种下降法就称为基于梯度的下降法。 这种梯度下降法具有如下的基本形式： w 2 w m w 一叩g 3 ( 2 - 2 ) 多层前向冲经网络的理论研究与优化 其中玎是正的步长。理论上，希望找到满足下式的w 。： g ( w 。) 一a e a ( ，w ) l ，。= 0 ，( 2 - 3 )咖。一 然而，实际上很难解析求解方程( 2 3 ) 。为了使目标函数趋于最小值，需要 不断重复下降过程，直到满足如下条件之一： 1 目标函数值足够小； 2 梯度向量g 的长度小于一个特定值； 3 超出规定的计算时间。 2 1 2 批量学习和增量学习 对于批量学习而言，每个周期包括一个前向传播过程和一个反向传播过程， 在前向传递中，每给出一个输入向量( 训练样本) 后，就逐层地计算网络中结点 ( 神经元) 的输出，并计算该向量的误差指标和梯度向量；对其它输入向量重复 这一过程，直到训练集中所有输入向量处理完毕；累计梯度向量，然后对权重矩 阵按照式( 2 4 ) 进行更新。 w 。= 一刁g 以) ( 2 4 ) i d 对增量学习而言，每个周期也同样包括一个前向传播过程和一个反向传播过 程，在前向传递中，每给出一个输入向量后，就逐层地计算网络中结点的输出， 并计算该向量的误差指标和梯度向量，随即用该梯度向量按照式( 2 - 5 ) 更新权 重，对其它输入向量重复这一过程，直n i i l 练集中所有输入向量处理完毕。 w s “，o ) = w 。，0 ) 一i g 以) ，n = 1 , 2 ( 2 - 5 ) 当r 专。时，a w = r x g ( w ( f ) ) 斗0 ，也即权重改变量趋向于零，此时批量 学习和增量学习的权重都基本上得不到改变，两种学习方法的效果趋于一致。 增量学习在每个训练样本输入之后进行权值更新，对每一个权植来说需要更 少的局部存储，且网络的训练模式以随机方式给定( 利用一个模式接一个模式的 方法更新权值使得在权值空间的搜索具有随机性) ，使得算法陷入局部最小的可 能性降低了。同样地，增量学习方法的随机性使得实现“算法收敛”变得困难了。 4 多层前向神经网络的理论研究与优化 批量学习在一个周期的所有样本输入之后进行权植更新，为梯度向量提供了 一个精确的估计，只要简单的条件就可以收敛到局部最小值。较之于增量方法， 批量处理方法更容易实现并行化。 2 1 3 惯性校正法 在每一次对连接权重或输出阗值进行校正时，按一定比例加上前一次学习时 的校正量，即惯性项，从而加速网络学习的收敛( 防止两次权重改变量相差太大) 。 具体做法如下式所示： 4 o + 1 ) = ，7 占( w g ) ) + 盯a w q ) ( 2 6 ) 式中，4 ( f + 1 ) 为本次校正的改变量，4 e ) 为前次校正量，f i x 占如o ) ) 为由本 次误差计算得到的校正量，仃为惯性系数( 0 - j 的b p 网络程序。网络含 有三层，为全连接结构。连接函数为“加权和”函数，作用函数选择工，= 再， 每一个神经元都有一个可调节的阂值。在以下的两组实验中，为避免初始权重和 阂值的不同导致网络训练结果不同，使用相同的初始权重和阂值。 2 2 1 岩性分类 岩性粗略估计为三类旧：砂岩、页岩和石灰岩。经验表明，自然电位和电阻 率这两个物理量同岩石地质属性类之间有一定的关系。在这里，建立三层的神经 网络分别用增量算法和批量算法实现其岩性的分类，输入层含有两个神经元，分 别代表自然电位和电阻率；隐含层取l o 个神经元；输出层取3 个神经元( ( 1 ，0 ，o ) ， ( o ，1 ，o ) 和( o ，0 ，1 ) ) 分别代表三种岩石的类别。 为了使网络达到更好的效果，首先需要对输入数据进行归一化，将自然电位 和电阻率的初始数据转化至【1 ，1 】内，原始样本集中含有2 1 0 个样本，其它样本 集为对原始训练集的多次复制。 本文分别用批量学习和增量学习实现了这一分类，并选择测试集对两种学习 方式进行了测试，对各自的最大准确率及达到这一准确率所需用的最小周期数进 行了比较，在加入动量项后，又对两种算法的性质进行了比较。 表2 1 训练集大小对两种学习方法的影响 注1 ：在表2 1 中，1 0 4 1 一表示增量学习可以花费少于1 0 4 1 个周期达到准确率9 3 8 1 表 中的准确率是两种算法所达到的准确率的较小值，周期为达到这一准确率的最小周期 6 多层前向神经网络的理论研究与优化 对于小批量学习对准确率和训练时间的影响，也做了分析和比较，批块大小 对两种学习方法的影响如表2 2 批块大小对两种学习方法的影响。 表2 2 批块大小对两种学习方法的影响 2 2 2 字母识别 现用两种方法来识别字母 7 1 ，网络为三层的全连接结构，输入层有3 5 个神 经元( 每个字母的3 5 个像素) ，隐含层有l o 个神经元，输出层有2 6 个神经元。 原始训练集为2 6 x 3 5 的矩阵，其他训练集为对该训练集的不同倍数的复制。该 实验中，着重研究学习速率对两种算法的影响 对于增量学习，令学习速率j 7 以步长0 0 1 取遍( o 1 ) 内的所有值，观察学习速 率对准确率和训练时间的影响；而对批量学习，令学习速率野以步长0 0 0 1 取遍 ( o ，1 ) 内的所有值，观察学习速率对准确率和训练时间的影响。分别选取学习速率 r = 0 0 5 ，0 1 ，0 1 5 时，将两种学习方法对准确率和训练时间的不同程度的影响作图 对比，如图2 1 ( a ) 、图2 1 ( b ) 、图2 1 ( c ) 所示。 表2 3 训练集大小对两种学习算法的影响 通过将学习速率在( o ，1 ) 内以一定的步长遍历取值，找到了两种方法在不 同大4 , i j l l 练集下的最佳学习速率，并将两种方法在各自最佳学习速率下的训练时 间进行了对比，如表2 3 所示。 7 多层前向神经网络的理论研究与优化 田2 1a 、b 、c 分别为训练周期数与达到的最大准确率的关系曲线，d 为岩石分类结果。 2 3 结果分析 1 在岩性分类实验中( 如表2 1 ) ，对于增量学习，随着训练集的成比例增大， 达到最大准确率所用周期有着明显的规律性。设训练集含有个样本，达到 最大准确率所用的最小周期数为e o 。当训练集增大到f x y 时，所用周期近 似为乞。2 ，而批量学 - j 却没有这样的规律。这说明增量学习能够记住训练 集的内部结构，因此对冗余信息的处理有着明显的优势。加入动量项后，两 种方法所用周期数都明显减小，但增量学习仍明显优于批量学习。 2 在字母识别实验中( 如表2 , 2 及图2 1 中a 、b 、c ) ，增量学习可以使用比批 量学习大的学习速率，而达到相同的准确率，同时使用较少的训练时间。当 学习速率非常小时，两种学习方法没有太大的区别，这可从两种学习方法的 8 多层前向神经网络的理论研究与优化 学习公式( 式( 2 - 4 ) ，式( 2 5 ) ) 得到解释。 3 在字母识别实验中( 如表2 2 批块大小对两种学习方法的影响) ，增量学习中， 最佳学习速率和训练时间随样本集的变化不明显：批量学习中，随着样本集 的增大，最佳学习速率呈明显的减小趋势，训练时间也有增长趋势。 4 对两种学习方法加入动量项后，训练时间都有不同程度的减少，但总体来看， 增量学习仍需用较少的训练时间就可达到与批量学习相同的学习效果。 9 多层前向神经网络的理论研究与优化 第3 章组合r b f 神经网络理论 径向基函数r b f ( r a d i a lb a s i sf u n c t i o n ) 网络理论，最早是f h h a r d y 9 】和 d e s m a r a i s t t o 等人提出的，是一种新颖有效的多层前馈网络。它不仅避免了反向 传播网络中繁琐的计算，提高了学习速度，而且克服了梯度下降算法中的局部 极小值问题，因而在语音识别、数据分类、函数逼近、时间序列预测、图形处理 以及自适应信道均衡等方面有着广泛的应用 针对r b f 神经网络提出的各种算法可谓各有千秋，但有些算法的效果较之 传统的算法优势并不明显，特别是有的算法无形之中又增加了可调节的人为参 数，从而使算法实施时又多，不确定性，增大了实施的困难。 为了减少训练时间和提高计算精度，本文将r b f 神经网络与小波变换、模 糊聚类结合起来建立起一种优化的组合r b f 神经网络，并将这一混合系统应用 于海洋浮游植物的分类中。 3 1 1 小波变换的原理 3 1 预备知识 小波变榭1 4 1 是基于傅立叶变换发展起来的一种新的数学方法，近年来，被广 泛用于化学图谱数据的压缩中。 从数学中的函数逼近论的观点来看，压缩的本质是用尽可能少的小波基函数 的加权和来最大限度地逼近原信号。基函数与原信号越相似，越能用较少的求和 项来逼近原信号，在同样的恢复均方差下，压缩比就越高、压缩性能就越好，可见 小波函数的选取对压缩是很重要的。 定义3 1 设口 o ，b r ，则按如下方式生成的函数族j o ) j ： 山) = p i 彤睁 ( 3 1 1 ) 称为连续小波或分析小波。( f ) 叫做小波函数或者母小波( m o t h e rw a v e l e t ) t o 多层i i 茸向神经网络的理论研究与优化 其中口是尺度参数，b 是时移参数。改变的值，对函数l ：f ，。具有伸展q 1 ) 和收缩g o ，r e r )( 3 5 ) l ， | | i t 、 。 - i - 、i i l t f 。一一j 图3 2 高斯函数图像 ：。x 。f 一击羔( 一) 2 。砷l 一砰刍飞jj 其中x 。= 【矗，t ：，如】为高斯函数的中心，q 为高斯函数的方差。 ( 3 - 6 ) 一幡 卜 多层前向神经网络的理论研究与优化 正规化网络是一个通用逼近器，只要隐单元足够多，它就可以逼近任意膨元 连续函数。 2 、广义网络 正规化网络的训练样本x 。与基函数伊( x ，x 。) 是一一对应的，当很大时， 网络的实现很复杂，且在求解网络的权值时容易产生病态问题。为解决这一问题 可用g a l e r k i n 方法来减少隐层神经元的个数。假设训练样本有个，如图3 3 示。 圈33 广义r b f 神经网络结构 广义网络的输入层有肘个神经元，其中任一神经元用搬表示；隐层有 j ( j ) 个神经元，任一神经元用f 表示，第f 个隐单元的激励输出为基函数 妒( x ，t 。) ，其中t i = 【，k ，o 】o = l ，2 ，) 为基函数的中心；输出层有_ ， 个神经元，其中任一神经元用- 表示。隐层与输出层突触权值用 ( f _ l ，2 ，；，= l ，2 ，j ) t t 示。在上图中，输出单元还设置了阔值吼，其做 法是令隐含层的一个神经元g 0 的输出恒为1 ，而令输出单元与其相连的权值为 w 0 ( ，= l ，2 ，) 。 设训练样本集为x = 【x ，x ：，x 。r ，任一训练样本为x 。= 【耳。， ：，置。j ( 七= l ，2 ，) ，对应的实际输出为k = 【儿l ，儿2 ，】( k = 1 ，2 ，n ) ，期望 输出为d l = 【d n ，以：，】( 七= 1 ，2 ，) 。 1 6 多层耵向神经网络的理论研究与优化 当网络输入训练样本x 。时，网络第，个输出神经元的实际输出为： ( 邑) = j + k 妒( x 。，x 。) ， j = l ，2 ，；_ ， ( 3 _ 7 ) 当基函数为高斯函数时，可表示为： 妒( x 。，t 。) = g ( 1 l x 。- t 。i i ) 一( 音k 叫j 2 ) 唧( 音薹( 一“ p 8 ， 其中= 【。，：，】为高斯函数的中心，q 为高斯函数的方差。 其它可以采用的非线性径向基函数有：立方函数( ，g ) = 工3 ) ，薄板样条函 数( ，= j 2 l o g ：j ) ，多二次函数( ，g ) = g 2 + c 2 广，o 口 1 ) 和反多二次函 数( ，g ) = g 2 + c 2 ) - 。，o o ，使得由该i m f 网络实现的输 入一输出映射函数f g ) 在工，( p b ，o 。】) 范数下接近于，g ) 。 证明： ( 1 ) 若径向基函数( i l x - - c j t l ) 在r 。上可积，且l o ( 悴一c 净o 。设 叱( x ) = 占。m ( 1 等一c ，| 1 ，则对卷积( 。：，) ( x ) = ，( x ) ( f x ) e x ，当占_ 。， l p ? 时，满足l l ，一啦州f p ) 专o ( 2 ) 径向对称、r 4 上连续可积函数中( i 降- - c j f l ) 满足j ：，。一中( 8 x - - c j i i 声o ， 则f ( x ) = 妻w 产( i 陋- - c j l l ) 在口( ) 空间上稠密。 5 、r b f 网络的分类机理 从距离的角度分析两层r b f 网络的分类机理【埘。如果在测量空间对同一类 的多个个体进行多次观察，每次观察结果( 称之为模式、个体或样本) 一般会较 多地分布在特征的均值附近，远离均值的个体较少，不同类别的个体可以被分开 是因为它们位于测量空间的不同区域，不同区域之间的距离越大，类别可分性就 越大。 设= g ，l ，工彬，j ，) r r “为第p 次观察结果，搿，= ( u z u i z , , u i ) r r “ 为类别w ，的中心向量( 称之为均值向量) ，定义距离户b ，w ) 的平方 p 2 g ，1 4 ，) = g ，一，) r ? g ，一峨) ( 3 1 4 ) 1 9 兰星堑塑塑丝塑竺塑堡堡旦圣兰垡些 一一一一 这里，p b p ，w ，) 被称为m a h a l a n o b i s 距离( 简称马氏距离) 。式中p = 1 ，2 ，n ( 为训练集样本数) ，j = l 2 ，n ( 站为模式类别数) ，j 为第j 个类别的协方差 阵，且为对称非负阵，一般为非对角阵。它的极大似然无偏估计为 i = 志如1 b ，) r ，, x p e w i ( 3 - 1 5 ) 式中，n j 为第，类样本数。 判别规则3 1 ：若p 2 g ，w ，) = 。m 。i l 。l , 0 2 g ，一坼) ，则w r ( 3 - 1 6 ) 即样本工，离哪个类别中心的距离小，就判定它属于谁。 利用g a u s s i a n 函数，使得 占( x ，w ，”= e x p ( - p 2 g ，w ，) 1 2 ) ( 3 1 7 ) 判别规则3 2 ：若g 如b ，w ，) ) = 已嚣g b ，w ，) ，则工，w ( 3 _ 1 8 ) 特别地，若p b ，w ，) = o ，则g b ，w ) ) = l ，这时。正好与第，个类别中心向 量“，重合，这与模式分类的要求完全一致。 3 2 2 构造型r b f 网络学习算法 给定一个样本集置= ( 墨咒) ，l f c ，n 岍) ，其中c 为训练样本的类 别数，1 1 1 1 1 1 1 。为第i 类样本的样本个数；x r “为属于第i 类的第j 个样本向量， 咒为其输出的类别标志。 对于任一训练样本x u ，它在同类样本中的密度、估计函数的定义为： 。警一i h i x 啮胛l b ，2 驴卜等矿 “ i吒，z li ，；：m ；i 。l l ( i | x t , 1 - - x t 。i ) 。 其中膏为样本x u 到异类样本的最小欧氏距离，它定义了一个以x “为中心的区 域，这样，在半径以外的样本向量对x u 的密度值见j 几乎没有影响。显然， 如果一个训练样本有较大的密度值，则其周围一定有较多的相同类别的样本点。 多层前向神经网络的理论研究与优化 下面给出神经网络分类器的训练学习算法： ( 1 ) 计算所有未被“包含”的样本数据点在同类样本中的密度q 找出其最大 值。这里仍用墨，表示具有最大密度的样本数据点，它对应的到异类样本的最小 距离为。 ( 2 ) 以样本点x “作为球心w = ( m ，。，) 7 ，以口勺作为阈值口作超球面 。 “一m ) 2 一目2 = o i = l 其中，x = ( 毫，而，毛) r 为球面上任意一点，o 口玉l 为一可调参数。 ( 3 ) 求出满足窆“一w 1 ) 2 一矿 “：， 则印a ；否贝0 s p a 。 随后，建立第三级分类器，由两个r b f 网络构成，记为r b f n e ti i 和r b fn e t i 。两个网络负责精确判定物种的隶属种类。 r b f n e t i i 的训练集从a = 跚，i s ：p 4 ，& ) 5 ) 中以固定步长选取，所选择训练集 中样本数目为测试集中的两倍。选择恰当的变换矩阵膨对训练集和对应的目标 集进行变换，目的是打乱样本的顺序。该网络的输入层含有4 3 个神经元，输出 层含有3 个神经元，设定三类的期望输出分别为( 1 ，0 ，o ) ，( 0 ，1 ，0 ) 和( o ， 0 ，1 ) 。 r b fn e ti i i 的训练集从i = s p 2 ，s p 3 ，s p 6 ) 中选取，仍采用与r b f n e t i i 相同 的方法。该网络的输入层含有4 3 个神经元，输出层含有3 个神经元，设定三类 的期望输出分别为( 1 ，0 ，o ) ，( o ，1 ，o ) 和( o ，o ，1 ) o 判定规则4 2 ：对于r b fn e t i i ，输入任意物种印a 后，设其输出为 多层前向神经网络的理论研究与优化 ( 啦，a 2 ，吗) ，若m a x q ，) = q ，则s ps p i ；若m a x a , ，a 2 ，码) = a 2 ，则 s p s p 4 ； m a x a = ，锡) = a 3 ，则印e $ p 5 r b fn e ti 的隶属种类判定原则与r b fn e ti i 相同。 4 3 结果与分析 利用上一节中选取好的测试集来检验网络，测试集中的矢量都未训练过，所 以可以真实地反映网络的有效性。 为了更准确的考察网络的泛化能力，选取平行样对网络进行检验。 4 3 1 网络训练结果 r b f n e t i 的目标误差为o o l ，实际误差0 0 1 4 ，分布常数为l ，隐含层含有 1 2 5 个神经元，耗时6 6 7 s 1 0 3 1 0 2 p e r f o r m a n c e i s00 1 4 2 4 0 4 , g o di 0 0 1 -_| o2 04 08 0 8 0 1 0 01 2 01 4 01 6 0 1 7 5e p o c h i 图4 7 网络1 的误差曲线 r b f n e t i i 的目标误差为0 4 ，实际误差o “，分布常数为1 ，隐含层含有7 5 个神经元，耗时1 0 5 s 舻 ” 小 古!里罟o。ni鲁ui量e卜 多层前向神经网络的理论研究与优化 1 0 2 p e r b r m a m z ei so 4 3 7 1 3 2 , g o 耐t 搴0 ，1 ，。 。， o ，o 3 0 7 0 7 5e p o c h s 图4 8 网络2 的误差曲线 p b fn e ti l l 的目标误差为0 ，i ，实两；误差0 0 3 4 ，分布常数为1 ，隐含层含有 7 5 个神经元，耗时1 0 5 s 1 0 。2 1 0 d p e r 白r n l a t z o ei s0 0 3 4 2 5 9 4 , g o a li 0 0 1 ： 01 03 04 05 06 0 7 5 e c h 图4 9 网络3 的误差曲线 廿 舻 舻 i 口要m 1 b o o onl6c量壁卜 心 静 坩 妒 卫譬一g面oo宝面-6uui芒卜 多层前向神经网络的理沦研究与优化 4 3 2 网络测试结果 1 、原始样中测试集的测试结果 r b fn e ti 识别a 类和五类的准确率分别为：l o o 和9 6 7 ，平均识别准确 率为9 8 4 。 r b f n e t i i 对物种s p l 。$ p 4 ，s p 5 的识别准确率分别为：1 0 0 、1 0 0 和7 1 4 。 r b fn e ti l l 对物种s p 2 ，5 1 3 ，s p 6 的识别准确率分别为：1 0 0 、1 0 0 和1 0 0 。 2 、平行样的测试结果 在相同的光照、周期和温度条件下继续采平行样作为测试样本检验网络，经 缺样补零、去r a y l e i g h 散射与噪声、小波压缩和归一化等预处理后，得到的平 行样的光谱图如图4 1 0 示。 图4 t 0 平行样本的光谱图 r b fn e ti 对平行样的识别准确率分别为：9 1 5 和9 4 2 ，平均识别准确率 9 2 9 。 r b fn e t i i 对物种s p l ，s p 4 ，s p 5 的平行样的识别准确率分别为9 5 5 、9 2 ， 6 8 2 ；平均识别准确率为8 1 9 。 多层前向神经网络的理论研究与优化 r b fn e t i i i 对物种s p 2 ，s f 3 ，s p 6 的平行样的识别准确率分别为：1 0 0 、 9 6 9 、9 8 4 ：平均识别准确率为9 8 4 。 3 、正规化网络的处理结果 ( 1 ) 对原试样的处理结果： r b fn e ti 识别物种为a 类和a 类的准确率分别为：5 2 a 和9 3 3 ，平均识 别准确率为7 2 9 。 r b fn e t i i 对物种s p l ，s p 4 ，s p 5 的识别准确率分别为：8 8 9 ，9 1 o ，5 7 1 ； 平均识别准确率为7 9 o 。 r b fn e ti 对物种s p 2 。s p 3 , s p 6 的识别准确率分别为：1 0 0 ，1 0 0 和1 0 0 ， 平均识别准确率为1 0 0 。 ( 2 ) 对平行样的处理结果： r b fn e ti 识剐物种为a 类和a 类的准确率分别为：4 2 4 和8 3 3 ，平均识 别准确率6 2 9 。 r b f n e t i i 对物种s p l ，s p 4 ，s p 5 的平行样的识别准确率分别为7 4 2 、9 0 o ， 6 8 3 ；平均识别准确率7 7 5 。 r b fn e ti i i 对物种s p 2 ，s p 3 ，s p 6 的平行样的识别准确率分别为：9 8 4 、 9 2 2 和8 7 1 ，平均识别准确率为9 2 6 。 4 、对比分析 表4 2 正规化r b f 和广义r b f 网络在区分两类问题中的对比 多层前向神经网络的理论研究与优化 表4 3 正规化r f l f 和广义r b f 网络在综合分类中的对比 正规化径向基函数网络在a 和a 类中的原始样区分中，识别准确率较低；不 能准确识别平行样。 广义径向基函数网络在两步操作中均有很好的效果，且对平行样处理时，也 可得到满意的结果。 正规化径向基函数网络的隐层神经元个数与训练集中的样本个数相同，当训 练集中的样本个数过多时，网络过于庞大，从而导致其实用性变差。 从上述两表中可以看出，广义径向基函数网络可以实现对物种的有效分类， 并可以推广使用。 4 4 系统可视化设计 图形用户界面【捌( g u i ) 是由图形对象创建的用户界面，在该界面上，用户 可以根据界面上的提示信息完成自己的工作，简单地说就是包含了各种图形控制 3 5 多层前向神经网络的理论研究与优化 对象，如图形窗口、菜单、对话框及文本等内容的图形界面。利用该图形界面， 用户可以很方便地和计算机进行信息交流。 要创建的图形用户界面对象通常包含以下三类：用户界面控件、下拉菜单和 内容菜单。其中用户界面控件能够创建各种常见控件，如按钮、列表框、编辑框 等；下拉菜单对象能够创建各种菜单和子菜单；内容菜单对象能够创建内容式菜 单，如弹出式菜单等。根据这些图形对象，用户可以设计出功能强大的图形用户 界面。 4 4 1 数据预处理演示系统 为了将数据预处理过程中每一步操