（模式识别与智能系统专业论文）混合神经网络及其应用研究.pdf

浙江大学硕士学位论文 摘要 神经网络是人们模仿人的神经系统信息处理功能的一个智能化系统z 尽管它 还不是大脑的完美无缺的模型，但它可以通过学习来获取外部的知识并存储在网 络内，可以解决计算机不易处理的难题，特别是语音和图像识别、理解、知识的 处理、组合优化计算和智能控制等一系列本质上非计算的问题。因此，神经网络 技术已成为当前人工智能领域中最令人感兴趣和最富有魅力的研究课题。一，” 本论文的具体工作包括以下几个方面： 1通过大量的中外文献阅读，首先介绍了神经网络理论的发展历史和应用 领域，然后介绍了人工神经元网络的特点及目前应用比较广泛的几种典 型的神经网络，并重点分析了当今最流行的b p 网络的特性。 2针对b p 网络存在的缺陷，结合前向神经网络和线性最t j 、- - 乘法的优点， 构造了一种基于混合结构的神经网络，提出了相应的非迭代的快速学习 t 算法。眩学习算法能够根据拟合精度要求，运用线性最小二乘法确定相 、 应的最佳网络权值和线性部分的参数，并自动确定最佳的隐层节点数。 与b p 网络的比较结果表明，本文提出的混合结构前向神经网络的快速 学习算法无论在拟合精度、学习速度、泛化能力、还是隐节点数均显著 好于b p 网络。矿一 l 。 3针对某炼油厂催化裂化装置主分馏塔轻柴油凝固点的软测量估计问题， 本文基于工业现场所采集的样本数据，建立了混合结构神经网络模型， 并讨论该模型的在线自学习问题，同时与多层前向b p 网络、径向基函 ， 数r b f 网络模型进行了比较。( 在此基础上，将该混合模型应用于实际 工业催化裂化装置主分馏塔轻柴油凝固点的在线估计问题。应用结果说 明：该模型具有理想的预测精度，满足实际应用的要求，相信在软测量 技术中具有广阔的应用前景。p 、一、 关键词：三主审经网络，煎自襁经网络，违! 盒揍型，堡童圭壹到、二乘，软测量，、学 习算法，催化裂化装置 - 一一 塑兰垄兰堡主堂堡垒查旦 a b s t r a c t a sac l a s so f i n t e l l i g e n ts y s t e m s ，a r t i f i c i a ln e u r a ln e t w o r k s ( a n n s ) a r e u s e dt o s i m u l a t eh u m a nn e u r a ln e t w o r k st oh a n d l ei n f o r m a t i o n n o tb e i n gt h ep r e f e c tm o d e l s o ft h eh u m a nn e u r a ln e t w o r k s ，a n n sc a r lb ew i d e l yu s e dt oo b t a i nn e wk n o w l e d g e f r o md a t a t h e r e f o r e ，a n n sc a ns o l v es o m ed i f f i c u l tp r o b l e m s ，s u c ha ss p e e c h i m a g er e c o g n i t i o n a n d c o m p r e h e n s i o n ，k n o w l e d g ep r o c e s s i n g ，c o m b i n a t i o n a l o p t i m i z a t i o n ，i n t e l l i g e n tc o n t r 0 1 n o w , a n n sh a v e b e c o m eo n eo ft h em o s t f a s c i n a t i n gr e s e a r c ht o p i c si nt h e f i e l do f a r t i f i c i a li n t e l l i g e n c e t h em a i nc o n t r i b u t i o n so f t h j sp a p e ri n c l u d e ： 1t h i st h e s i sr e v i e w e dt h ed e v e l o p m e n ta n da p p l i c a t i o n so fa n n s ，a n di t p r e s e n t e ds o m et y p i c a la n n s w h i c ha r ew i d e l y u s e d e s p e c i a l l y , i ta n a l y z e d m u l t i - l a y e r f e e d - f o r w a r dn e u r a l n e t w o r k s ( 补烈s ) a n d t h e i rt r a d i t i o n a l l e a r n i n ga l g o r i t h m ，b a c kp r o p a g a t i o n ( b p ) a l g o d t h m ，b e c a u s e f n n sa r et h e m o s tc o m m o nu s e da n n s 2t oo v e r c o m et h el i m i t a t i o n so fg e n e r a lf n n sa n db pa l g o r i t h m ，t h i st h e s i s i n t r o d u c e dah y b r i df e e d - f o r w a r dn e u r a ln e t w o r k ，w h i c hi sc o m p o s e do fa l i n e a rm o d e la n dag e n e r a lm u l t i - l a y e rf n n ，a n dp r o p o s e dan e w l e a r n i n g a l g o r i t h mf o rt h eh y b r i df n n t h el e a r n i n ga l g o r i t h m i s o n l yb a s e do n l i n e a rl e a s t s q u a r e s ，a n d n oi t e m t i v e l e a r n i n gp r o c e s s e s a r en e e d e d a c c o r d i n gt ot h ed e m a n d o fm o d e l p r e c i s i o n ，t h ea l g o r i t h md e t e r m i n e st h e b e s t w e i g h t s o fn e t w o r ka n dt h em i n i m a ln u m b e ro fh i d d e nn o d e s a u t o m a t i c a l l y c o m p a r e dw i t h t h ew e l l - k n o w nb pa l g o r i t h m ，s i m u l a t i o n r e s u l t ss h o wt h a tt h en e w l e a r n i n ga l g o r i t h mf o rt h eh y b r i df n n i sm o r e e f f i c i e n ti nm o d e l p r e c i s i o n ，r a t eo f c o n v e r g e n c ea n dg e n e r a l i z a t i o na b i l i t y 3t o v e r i 巧t h e e f f e c t i v e n e s so ft h e p r o p o s e dh y b r i df n n ，t h i s t h e s i s a d d r e s s e dt h ee s t i m a t i o np r o b l e mf o rt h ef r o z e n p o i n to fl i g h tc y c l i co i li na a b s t r a c t f l u i d i z e dc a t a l y t i cc r a c k i n gu n i t ( f c c u ) i nar e f i n e r y b a s e do nt h es a m p l e d a t ac o l l e c t e df r o mt h ei n d u s t r i a lu n i t ，w eb u i l tas o f ts e n s o rm o d e lb yu s i n g a na b o v e h y b r i df n n f u r t h e r m o r e ，t h e o n l i n es e l f - l e a m i n gp r o b l e mo fs o f t s e n s o rm o d e lw a sa l s od i s c u s s e d f i n a l l y , t h eb u i l tm o d e lw a su s e di na n i n d u s t r i a lf c c u t h e p r e d i c t i v ep r e c i s i o no f t h em o d e li ss a t i s f y i n g ，a n di t c a nm e e tt h ea c t u a ld e m a n do ft h ef c c u a p p l i c a t i o nr e s u l t ss h o wt h a tt h e h y b r i df n n c a nb e w i d e l yu s e da sa b a s i cm o d e lo f s o f t - s e n s o r s k e y w o r d s ：a r t i f i c i a ln e u r a ln e t w o r k s ，f e e d f o r w a r dn e u r a ln e t w o r k s ，h y b r i dm o d e l ， l i n e a rl e a s ts q u a r e s ，l e a r n i n ga l g o r i t h m ，s o f ts e n s o r ，f l u i d i z e dc a t a l y t i c c r a c k i n g u n i t 浙江大学硕士学位论文 v 致谢 本论文是在我的导师戴连奎副教授的悉心指导和帮助下完成的。戴老师严 谨的治学态度、渊博的知识、敏捷的思维和幽默的言语，使我受益匪浅。从2 0 0 0 年入学起，无论是在学习上、工作上还是个人生活问题等等，我自始至终都得 到了戴老师无微不至的关怀和帮助。在此，谨向导师致以诚挚的敬意和衷心的 感谢。 衷心感谢吴铁军教授对我工作学习各方面的帮助和指导。吴教授对待学生 总是和蔼亲切，令人如沐春风。吴教授治学态度非常严谨，对工作一丝不苟， 他对事业孜孜不倦的追求精神令我非常敬仰和钦佩。 在学期间，蔡有元、苏宁军、袁石勇、毛秀伟、汪敬华、王哲等同学给予 的很多帮助，在此向他们表示深深的谢意。 特别感谢与我一个实验室的所有同学，谢谢他们给予我的许多帮助。 最后，特别要感谢我的父母和哥哥，感谢他们对我的关爱和支持，他们多 年来殷切的期望和无尽的关怀是我能够不断进取的动力。 感谢所有关心和爱护我的人，祝他们一生平安。 夏宏飞 二零零三年二月于求是园 浙江大学硕士学位论囊 第一章综述 攘骚捧经网络是入翻模傍入戆大麟专枣经系统信悫娃理翡麓静一个镑麓馥系统，是当翦人 工智能领域中最令人感兴趣和最寓有魅力的研究课题。本文酋先讨论嫩物神经元模 型秘久工裤经网终的特点、糖经疆络的发震与应霹壤壤；然嚣贪绍咒耱最典型瓣a 工神经网络，并详细分析b p 神经网络的特性；最艏概括本文所做的研究工作。 关键词神经网络生物神经元人工 孛经元b p 算法 1 1 弓l 畜 探讨入腩思维的舆秘是人类长期以来的梦想。自从公元前亚里士多德时代开 始，人们就开始研究具有思维能力的机器。第一台电予计算机的闻世使这方颟的 研究有了实旗经的遴震。疆计算机为中心静信怠处毽技术的离速发展，使得计算 机在洳今的信息化社会中起蓿十分重要的作用。但是，当用它来解决菜些人工智 髓润趱嚣却遴弱了穰夫静困难。饲如，一个久可敬缀容易速谈剐谴入的验孔，但 计算机很难做到这一点。这是因为脸孔地识别不能用一个精确的数学模型加以描 述，褥诗算秘王孛# 赠必矮辩援鍪 遴嚣备耱运筹鹃指令雳雩亍，缮不秘精确静模囊， 程序也就无法编制。而大脑怒由生物神经元构成的巨毅网络，它在本质上不同于 诗算凝，是一秘大燕模靛并移鲣理系统，宅其骞学习、联恕、宽忆、综合等能力， 并有巧妙的储息处理方法。 耪经腿终是入稍模仿天瓣大臃神经系统绥悫处毽麓戆戆一令譬缝纯系统。它 的出现为人们迸一步了解人脑思维的嶷秘开辟了新的途径。尽管它还不是大脑的 完美秃缺的模型，但它可以遴过学习寒获取夕 部的知识势存德在霹终痰t 霹激磐 决计算机不翁处理的难题，特剐是语谗和图像识别、璁解、知识的处理、组合优 化计冀和智能控制等一系列本质上非计算的阏题。8 0 年代愿勰，特别是在避每 来，神经网络的研究取得了报大的进腿。在神经网络这个涉及多种学科的新的高 科技领域中，吸引了众多的神经生理学家、心理学家、数学家、计算机与信息辩 学家戳及工稷筛和企妲家等。大量的肖关神缎随络梳壤、模擞、算法特性分祈， 以及在各方面应用的学术论文发表在报刊杂志上和许多国际学术会议中，神经网 络戳及建立奁神经网络基础上的神经计算枫娥为当代商科技领域中方兴未艾的 竞争热点。 第一章综述 1 2 人工神经网络及其特征 1 2 1 生物神经元模型 生物神经元是稳疆神经系统的基本功能单元，它怒入工神经网络研究的熬 础。其撼本构造如图1 1 所示。从生物控制与信息处理的角度麓，神经元具有以 下结椽特 歪： ( 1 ) 细胞体：由细胞核、细胞质和细胞膜等组成。 ( 2 搪突：熬俸土戆短两多戆分支熬突起。鞠当于神经元静输入端，接受传入 的神经冲动。 ( 3 ) 秧突：藏体上懿矮长鼓豹突莛，缀稼耱经绎维，添罄畜缀多耱经柬稻，祷 出神经冲动。 ( 4 ) 突触：毒枣经元之阕魏联接接墨。 ( 5 ) 细胞膜电位：神经细胞在受到电的、化学的、机械的刺激后，产生兴奋， 此时，纲胞膜蠹终有电位差，熬膜电位。 图1 1 神经元的构造 生物神经元的主要功能如下： ( 1 ) 兴奋与撺制：当传入神经冗的冲动，经整合，使细胞膜电位升高，超过动 作电位的闽值时，即为兴奋状态，产生神经冲动，由_ 轴突经神经来趟传如。当传 入神经元豹渖葫，经整合，使缁魏膜电位降低，低于闽值甜，即为抑制状态，不 产生神经冲动。 ( 2 ) 辩窆整合劝髓：神经元对予不同辩澜通过翮一突触传入静神经冲动其有时 间整合功能；对于同一时间通过不同突触传入的神经冲动具有空间整合功能。这 溪耱功戆戆结合，吴有辩空整合输入信怠处理葫髓。 ( 3 ) 突触时延和不应期：突触对神经冲幼的传递具有时延和不成期。神经元在 l 邻的两次净动之阕霉要一令薅闽瀛隔，鼙为不建麓。不蔽鬻透鬻持续咒麓移左 右，在此期间对激励不响应、不能传递神经冲动。 浙江大学硕士学位论文 1 2 2 人工神经元网络特点 人工神经网络是采用物理可实现的器件或采用现有的计算机来模拟生物体 中神经网络的某些结构与功能，并反过来用于工程或其它的领域。 图1 2 是一个人工神经元示意图。图中x l ，x 2 ，妇表示其它n 个神经元的轴 突的输出，w - ，w 2 ，w 。为其它神经元的轴突的连接，其符号的正负分别表示为 兴奋性突触还是抑制性突触，其数值的大小表示突触的不同的化学变化情况。 五 x 2 图1 2 人工神经元示意图 每个人工神经元满足： 墨= w i x j - 0 产l “，= g ( s 。) y ，= f ( u ，) ( 1 1 ) ( 1 2 ) ( 1 3 ) 其中式( 1 - 1 ) 表示神经元i 输入电位的累加值，只为闽值；式( 1 - 3 ) 中“。为细 胞i 的状态，y ，为神经元f 的输出。作用函数g ( s 。) 、厂 ，) 为非线性函数，例如 阶跃函数。 把大量的神经元通过一定的拓扑结构连接起来，就形成了人工神经网络。人 工神经网络是对生物神经系统的模拟，其信息处理功能是由网络的单元( 神经元) 的输入输出特性( 激活特性) ，网络的拓扑结构( 神经元的连接方式) 所决定的。 人工神经网络根据神经元之间连接的不同，通常分为两种基本结构形式。分 别如图1 3 中( a ) 和( b ) 所示。通常，人工神经网络内的神经元之间是相互连接的， 因而该图中( a ) 所示的相互结合型结构是一种最普遍的结构形式。然而，大脑内的 4第一章综述 神经元并非都处于相互结合的状态，一个神经元大约只与一万个其它的神经元相 连。此外，从大脑的工 乍机理来看，还存在着不同的功能性模块，下位的功能模 块向上位的功铙模块传递信息，因此人工神经网络还舆有图中( b ) 所示的层次缡 构。 ( a ) 相互结合型结构( b ) 屡次结构 圈1 3人工毒孛经鄹络懿结拯 下蕊比较一下传统计箕极秘人工毒串缝网络鲍阕题求蜒方式。健统诗葵极霭娶 人将解越的步骤进行编程并输入计算机，最后由计算机一步一步地得到问题的 解；相反地，人工神经网络可以经过训练来解答阻题。换句话说，享孛经网络通过 自身编稚来求解问题。神经网络是一个由大量简单神经元连接而成的复杂的网 络，这样一个网络可以由硬件或软件构成。神经网络的训练过程就是要用一系列 的输入输出数攒对作为调练“梯本”，根据一定的训练算法对网络进行怒够的训 练，使得神经网络的输入输出关系能够觎含这些训练样本的输入输出函数关系。 不仅魏鼗，当诩练完成菇，神经黼络就w 竣嗣采对菲样本输入遂行输出颟测。 虽然人工神经网络和真正的神经网络有很大的差别，但由于吸取了生物神经 网络豹部分饶熹，嚣磊蠢茭露寄豹特点： ( 1 ) 人工神经网络在结构上与目前的计算机根本不同，它是由许多简单的 处瑾蕈元互蠲逡接瑟或，每令鲶疆萃元瓣结秘热强1 2 掰示，势蠢方程( 1 - i ) 、 ( 1 - 2 ) 、( 1 - 3 ) 描述。每个单元的功能简单，但大量简单的处理单元集体的、并 行兹活动霹褥爨颧絮的谈鼷或诗簿结暴，著具鸯较姨懿速度。 ( 2 ) 人工神经网络具有很强的容锚性，即局部的或部分的神经元损坏后， 不影响全局魄活动。 ( 3 ) 人工神经网络所记忆的信息怒存储在神经元之间的连接权中，从单个 涟接权蓉不出其窍储的魄容，因褥是分农式的存德方式。 ( 4 ) 人工神经网络鼠有十分强的学习功能，人工神经网络的连接粳和连接 结构都可以通过学习丽得到。 浙江大学硕士学位论文 1 3 神经网络的发展与应用领域 神经网络的发展史，概括起来可以说经历了三个阶段：4 0 6 0 年代的发展时 期；7 0 年代的研究低潮；8 0 年代以来的突破性进展。 早在1 9 4 3 年，心理学家m c c u l l o e h 和数学家p i t t s 在数学生物物理学会会刊 b u l l e t i n o f m a t h e m a t i c a lb i o p h y s i c s 上发表文章1 ，总结了生物神经元的一些基本 生理特性，提出了形式神经元的数学描述与结构方法，即m p 模型。当模型中 的神经元处于兴奋状态时，其输出为l ：处于非兴奋状态时，输出为0 。在m p 模型中，虽然赋予形式神经元的功能较弱，但网络的计算能力巨大，这种巨大的 计算潜力在于网络中足够多的神经元以及神经元之间丰富的联系，同时神经元还 具有并行计算的能力。m p 神经元模型是人工神经元模型的基础，也是神经网络 理论的基础。 1 9 4 9 年心理学家h e b b 提出了神经元之间的突触联系强度可变的假设【2 1 ，即 有名的h e b b 规则。他认为学习过程是在突触上发生的，突触的联系强度随其前 后的神经元的活动而变化，即：当神经元兴奋时，输入侧的突触结合强度由于受 到刺激而得到增强，这就给神经网络带来了“可塑性”。根据这一假设提出的学 习率为神经网络的学习算法奠定了基础。 1 9 5 7 年，美国学者r o s e n b l a t t 提出了感知器( p e r e a p t r o n ) 模型刚，第一次把 神经网络的研究付诸于工程实践。它是一个具有单层处理单元的神经网络，具体 包括：由接受单元组成的输入层、由m p 神经元构成的联合层和输出层。输入层 和联合层之间的结合可以不是完全连接，而联合层和输出层之间一般是完全连 接，用教师信号可以对感知器进行训练。该模型学习的环境可以是有噪声的，网 络构造中存在随机连接，这符合动物学习的自然环境。当时人们对神经网络的研 究非常乐观，认为只要将这种神经元互联成一个网络，就可以解决人脑思维的模 拟问题。 然而，人工智能的创始人之一的m i n s k y 和p a p e r 于1 9 6 9 年出版了颇有影响 力的( p e r c e p t r o n ) ) 一书1 4 】。书中分析了当时广泛使用的单层线性网络，从理论上 证明了其局限性，最典型的例子是不能解决“异或”问题。m i n s l 殍的悲观结论 使得对神经网络的研究进入了低潮。 8 0 年代以来，神经网络的研究再次复苏并形成热点。产生这种转变的一个重 要原因是美国加州理工学院生物物理学家h o p f i e l d 采用全互联的神经网络模型 胪j ，利用所定义的计算能量函数，成功地求解了计算复杂度为n p 完全型的旅行 商问题( t r a v e l i n gs a l e s m a np r o b l e m ) ，简称t s p 问题。这突破性的进展引起了 广大学者对神经网络潜在能力的高度重视，从而掀起了研究神经网络信息处理方 第一章综述 法和研制神经计算机的热潮。 尽管人们对大脑的神经网络结构、运行机制，甚至单个神经细胞的工作原理 的了解还很肤浅，但是基于生物神经系统的分布式存储、并行处理、自适应学习 这些现象，已经构造出了有一定智能的人工神经网络。当然，这种神经网络仅仅 是对大脑的粗略而且简单的模拟，无论在规模上还是在功能上与大脑相比都存在 着很大的差距。但是，它在一些科学研究和实际的工程领域中己显示了很大的威 力。以下根据一些文献介绍，列出了一些神经网络的主要领域的应用情况。 ( 1 ) 通讯和计算机网络 网络路由选择【6 1 、网络入侵检测系统【7 】、a t m 网络中的呼叫接纳识别及控制、 导航、信号处理【8 1 、自适应均衡及多媒体处理系统等。 ( 2 ) 模式识别与图像处理 主要有印刷体和手写体字符识别、语音识别【9 】、签字识别、指纹识别、人脸 识别加i 、图像处理1 等。 ( 3 ) 控制及优化 化工过程控制【1 2 】、故障诊断【1 孙、机械手运动控制、运载体轨迹控制、旅行 商问题1 1 4 】、数据查询优化、组合优化等、智能交通系统0 5 】。 ( 4 ) 金融预测与管理 股票市场预测f 1 6 】、信用卡欺骗检测、有价证券管理、借贷风险分析1 8 1 等。 ( 5 ) 数据挖掘f 1 9 之o 】 1 4 典型的神经网络 1 4 1b p 网络 8 0 年代中期，r u m e l h a r t 等人提出了基于多层前向神经网络( m u l t i 1 a y e r f e e d f o r w a r dn e u r a ln e t w o r k s ，m f n n ) 的反向传播算法【2 l 】( b a c k p r o p a g a t i o n ， b p ) ，简称b p 算法，它实质上是采用梯度下降法解决多层前向网络的学习问题。 b p 网络的基本结构如图1 4 所示，其输入变量为x 1 ( k ) ，x 2 ( k ) ，如( 七) ；输出 变量为y l ( k ) ，y 2 ( k ) ，y m ( 七) 。隐层节点数为，隐节点输出为z o ( k ) ( i = l ，2 ，f ；产l ，2 ， 聊) 。每一个神经元用一个节点表示，网络由输入层、隐层和输出层节点组成。隐 层可以是图1 4 中所示的一层，也可以是多层，前层到后层的节点通过权联结。 隐节点一般采用s i g m o i d 函数，输入和输出节点可以采用s i g m o i d 函数或者线性 函数。由于采用的是b p 算法，所以常称为b p 神经网络。 浙江大学硕士学位论文 。l ( 七) 而( 七) h ( 七) 输入层节点隐层节点 输出层节点 图1 4b p 神经网络原理图 m ( 七) y 2 ( ) y ，( k ) b p 学习算法由正向传播和反向传播两部分组成。在正向传播过程中，输入 信息从输入层经隐层单元处理后，传至输出层。每一层神经元的状态只影响下一 层神经元的状态。如果在输出层得不到期望输出，就转为反向传播，即：把误差 信号沿连接路径返回，并通过修改各层神经元之间的连接权值，使误差信号最小。 由于多输入一多输出的网络可以转化为多输入一单输出的情况，所以这里我 们采用的是多输入一单输出的神经网络模型。假设该网络有肼层，而第m 层仅 含输出节点，第层为输入节点。另外，假设有个标准样本对 扛。( 女) ，x 2 ( | | ) ，靠( 七) ；y ( 七) jk = 1 ，2 ，n ) ；网络的第m 层的输出为“七) 。而且， 隐层节点和输出层节点的作用函数为s i g m o i d 函数，即 f ( x ) = 壬 ( 1 - 4 ) l + e q 。 这里，9 为调节参数，且q 0 。 假设对某一输入以，网络输出为儿，节点i 的输出为吼，节点的输入为 n e t j , = k ( 1 - 5 ) 并将误差函数定义为 1 生 “ e = 魄- y 。) 2 ( 1 6 ) 其中y 。为网络实际输出。 现定义踣甜护老，i ；1 0 j k = f l n e t d ，于是有 第一章综述 景= 鲁鬻= o e k o n e to n e t 。吣颤吼8 w 口涮i*” ” ( 1 ) 当为输出节点时，c ! f ；。 。两o f = , k 忑o f , k 瓦o y k 2 饥新( 删斗) ( 2 ) 若_ ，不是输出节点，则有 驴嚣2 卺，等案 瓦o e k = 管o e k o 瓦n e t m k = 篇s o e k o n e t 。o n e t k “击莩吼a o 的* 絮8 0 * ”“ = 型ol=nn 拿e t 。k 分”留。“叫 因此 f啄= ，( n e t 律) - k i n l l 鬻= 颤嚷 又由于， 八略，。南t 志吲1 l 赢2 彦 ( 1 7 ) ( 1 罐) ( 1 9 ) f l l o ) 。吉f ( n e t ：) 。( 1 + f ( n e t j k ) ) 。吉。( 1 + ) ( 1 - 1 2 根据前面的推导过程，具体的b p 辣法步骤如下所承： 第一步，选取初始投馕致 第二步，重复下述道程直至满足性熊要求为止： a t对于壮l 到 a ) 计算国bn e t j k 和觑的值( 蕊向过程) ； b ) 对各层从m 层到第二层反向计算f 反向过程) ； b 对简一节点j e m , 由筑( 1 8 ) 和( 1 1 1 ) 计算6 庸； 浙江大学硕士学位论文 9 c 修正权值，哪+ 1 ) = ”嚣，眺其中器2 善崭，为 迭代次数。 图1 5b p 学习算法框图 上述b p 算法所对应的程序框图如图1 5 所示。可以看出，b p 模型把一组输 入输出样本的函数问题转变为一个非线性优化问题，并使用了优化技术中最普通 的梯度下降法。如果把神经网络的看成输入到输出的映射，则这个映射是一个高 度非线性映射。 基于b p 算法的多层前向神经网络已经成为目前实际使用最广泛的一种网络 模型。据统计，约有8 0 的神经网络系统采用b p 网络。b p 网络在信号处理、 计算机网络、过程控制、语音识别等领域均取得了成功的应用。该网络最大的优 ! ! 苎= 主堡查 一 点是良好的非线性映射逼近能力与使用的易实现性。但该算法也存在一些固有的 问题，详细的分析讨论请参见1 5 。 1 4 2r b f 网络 径向基函数( r c d i a lb a s i sf u n c t i o n ，r b f ) 神经网络，是由m o o d y 和d a r k e n x l ( 女) 。2 ( 七) 图1 6r b f 网络原理示意图 于8 0 年代末提出的一种神经网络】，它是具有单隐层的三层前向网络。图1 6 给出了一个多输入单输出r b f 网络的原理图。由于它模拟了人脑中局部调整、 相互覆盖接受域( 或称感受域- - r e c e p t i v ef i e l d ) 的神经网络结构，因此，r b f 网络是一种局部逼近网络，已证明它能以任意精度逼近任一连续函数。 r b f 网络输出与输入的函数关系通常采用以下形式： 夕( 女) = 以乃( | ) ( 1 - 1 3 ) 豕驴羔 ( 1 - 1 4 ) r ，( | ) “1 ” 纵炉斗鼍笋卜”棚瓦 式中，r ， 是第，个隐单元的输出，x 为输入模式，。，为第，个隐单元高斯函 数的中心，盯2 ，为第_ ，个隐节点的归一化参数，砌为隐节点的数目。 通常r b f 网络所选用的非线性函数形式对网络性能的影响不是至关重要 的，其关键因素是基函数中心研的选取。一般选用“缸均值聚类算法”1 2 3 。k - 均 值聚类算法不仅原理简单，而且性能良好，在模式识别中的应用十分广泛。其具 体过程如下： 第一步：聚类中心。j 初始化，= 1 ，2 ， ，其中，为聚类中心数目，由 人工确定。通常将c ，的初值置为最初的，个训练样本。 浙江太荦硕士学位论文 第二步：将所有训练样本按最近的聚必中心进行分组，即：对于任一样本x ， 走诗算该样本至每一令聚炎中心瓣欧氏躁离，再姆该撵本分组至距离最邋粒某 一类。 第三步：根撂簿一聚类艨属熬撵本，黧瑟按下式计算聚类中心： 旷玄争 “。6 其中，m ，为属于第，类的样本数。 第疆步：捡查蘸有蒙炎孛心与上一次聚类缝暴楚否垮不变他。蓉专变缘，剽 转第二步熏新进行分类；糟均无变化，则聚类过程结束，弗退出稷序。 蒙类冀法完袋潋惹，溪豁求褥翔一纯参数巧j ，宅爨表示与每个串心秘联系 的数据分布的一种测度，可以用很多的方法确定。最常见的是令它们等于聚类中 心与调练横式之间的平均鞭离，弹 彰2 击委。一吩罗g 一。) m 1 7 ) 式中m 为属于第，类的样本数。也可以通过对最接近c j 的，个聚类中心取平均值 静办法得到萨；，邵 盯；= 击宝b ，y b 一勺) 海1 8 ) 一旦基遨数豹参数o 、秽2 ，确定，瓿霹获缛对瘦子竣爨层熬赣入蠊出数据集 z ( 的，y ( 砷lk = 1 ，2 ，) ，由此可用线性最小二乘算法估计系数 6 。 r b f 网络出于农 # 线燃浃越上采爰了绦翔基豹全局终建函数，毅蔻具鸯唯一 的逼近特性，无局部极小。但当逼近精度提高时，网络规模迅速增大；另外，尽 管网络麴逐泛糖瘦可以无敝铡地提凝，理由于可能爨现过拟合，赙终的预测糖度 可能随着邋近精度的提高反而下降。 1 4 3 连续h o p f i e l d 嘲络 t 9 8 6 年美国物理学家h o p f i e l d 越续发袋且麓论文，搀爨- j - h o p f i e l d 瓣经弼 络。他利用q 线性动力学系统理论中的能量茵数方法研究反馈人工神经网络的稳 定憔，著剥爝北方法建立求孵谯化诗算闽慰豹系统方程式。篷本豹h o p f i e l d 糖经 网络是一个由非线性元件构成的全连接型单层反馈系统，其电路模型如图1 7 所 示。 2第一章综述 i ) 一 ) ) 1 材 r ( 上 r u c f t _ l j r 。uc c f f |f ， 巧 图1 7h o p f i e l d 网络电路模型 设刚络由玎个节点组成，第i 个节点的方程为 cf堕=喜tvj-uidtr 一考w ， 智。矗 k = f ( u ) 这里，贝) 是s i g m o i d 函数；并假设r f = r 。 若令 击r2 击r + 莩击rj，。争。 w ”2 百 则( 1 - 1 9 ) 可写为： c ，百d u j = 善巧一卺+ 设x i = g ，k = 弘，f ，= r i c , ，只= ，c l ，则 d x _ _ l d t ：軎芝y ，一一+ 谚 c l 鲁”it | t ? y ，= f ( x ，) 式中w i t = w ，w i i = 0 。 ( 1 1 9 ) ( 1 2 0 ) ( 1 2 1 ) ( 1 2 2 ) ( 1 2 3 ) ( 1 2 4 ) ( 1 2 5 ) 浙江大学硕士学位论文 网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元， 同时又都接收所有其它神经元传递过来的信息。即：网络中的神经元f 时刻的输 出状态实际上间接地与自己过去的输出状态有关。所以h o p f i e l d 神经网络是一个 反馈型的网络。其状态变化既可以用式( 1 - 2 4 ) 所示的微分方程来描述，也可以 用相应的差分化方程来表征。反馈型网络的一个重要特点就是它具有稳定状态。 当网络达到稳定状态的时候，也就是它的能量函数达到最小的时候。 h o p f i e l d 网络的能量函数定义为 1 i e = 一寺w ，k 一一k ，+ 寺f + 厂。( v ) d v ( 1 - 2 6 ) 二i = 1 j = j i = li = l 1 、+ 这里的能量函数在表达形式上与物理意义上的能量概念一致。式中第一项为 各单元的交互功率，第二项为各单元的输入功率，第三项是否为电容器上所积累 的电能，三项相加就可以表征网络状态的变化趋势，并可以依据h o p f i e l d 工作运 行规则不断进行状态变化，最终能够达到的某个极小值的目标函数。网络收敛就 是指能量函数达到极小值。如果把一个最优化问题的目标函数转换成网络的能量 函数，把问题的变量对应于网络的状态，那么h o p f i e l d 神经网络就能够用于解决 优化组合问题。 h o p f i e l d 工作时其各个神经元的连接权值是固定的，更新的只是神经元的输 出状态。h o p f i e l d 神经网络的运行规则为：首先从网络中随机选取一个神经元， 按照公式( 1 2 4 ) 进行加权求和，再按公式( 1 - 2 5 ) 计算该神经元的第f + 1 时刻的输出 值。除该神经元以外的所有神经元的输出值保持不变，返回至第一步，直至网络 进入稳定状态。 对于同样结构的网络，当网络参数( 指连接权值和阙值) 有所变化时，网络能 量函数的极小点( 称为网络的稳定平衡点) 的个数和极小值的大小也将变化。因 此，可以把所需记忆的模式设计成某个确定网络状态的一个稳定平衡点。若网络 有m 个平衡点，则可以记忆肘个记忆模式。 当网络从与记忆模式较靠近的某个初始状态( 相当于发生了某些变形或含有 某些噪声的记忆模式，也即：只提供了某个模式的部分信息) 出发后，网络按 h o p f i e l d 工作运行规贝i ( h e b b 学习规则) 进行状态更新，最后网络的状态将稳定在 能量函数的极小点。这样就完成了由部分信息的联想过程。 h o p f i e l d 神经网络的能量函数是朝着梯度减小的方向变化，但它仍然存在一 个问题，那就是一旦能量函数陷入到局部极小值，它将不能自动跳出局部极小点， 到达全局最小点，因而无法求得网络最优解。这可以通过模拟退火算法 2 4 - 2 5 1 或遗 传算法 2 6 - 2 7 得以解决。 第一窜炼避 1 4 4 全递辩羹辩经骶络 遵麴黧事孛经潮络( r e c u r r e n tn e u r a ln e t w o r k ) 燕释溪骞菠壤豹动态襻经嬲 终箨瓣。一羧霹努鸯套暹懿祷经瓣络黪弱帮遴熬褥经骥终嚣糖类燮，皴f 讨论垒遂 嬲神经弼络模型 冽。 簸竣鼹绦蠢拜令沸缝嚣+ 粼卷矛个逶接枝，辫网路孛姆一夸孛擎经元黪与葵宅 棒经元( 瞧捺逡赛) 裙恣，姹静邈鹅型枣孛经耀终袋为全递妇享枣缀斓终。濒1 8 怒 斑3 个秘缀元缓戚的全遴躲棒缀刚络，共霄9 个投蠖。爨1 9 是犟个肄经嚣暴豢 嚣。 琏 择。( 磅 粥) 热) 当毒 濯1 9 黛遂努瓣络懿孛搴经元 矮搜该嚣络熬输入辩舞枣鼹毙溉献冁辜，鼙搿 ，赣凌释鬻鬈裂凳 y l ，：，以秽) ，赠潮绱串程一个穆熙i 酶状卷方鬟耧输爨方襁灏： x ；( t + t ) - - 靠+ 国书谚= i 国+ 爨( 1 - 2 7 ) h# j 冀一矗蔫势( 1 - 2 8 ) 主式中，峨为农t 辩羯繁点i 豹状态；熬转) 为雀t 辩刻繁点f 鹃输瀣； y o ( t ) 为盔f 辩裁节袁拜辩瓣壅馥爵鞋蹩爵； 站。( ) 为客，辩猫的第蝌个多 帮辕入；为与繁i 狂繁歹令葛感的连接 浙江大学硕士学位论文 权值：x t ) 为在r 时刻节点f 的第，个输入( ，可以是m ，h ，f ) ； f ( - ) 为神经元的非线性作用函数；只为节点i 的阈值。 该网络的学习算法包括沿时间的b p 算法( b a c k p r o p a g a t i o n t h r o u 曲t i m e ) 和实时递归学习算法( r e a lt i m er e c u r r e n tl e a r n i n g ) 两种实现形式。现在仅介 绍第一种算法。 假设求解的时间区为，t 】，则可以将图1 8 按时间轴展开，见图1 1 0 所示， 此时便可以将b p 算法扩展应用，求得网络权系数。算法的基本原理与b p 算法 相同，其推导参见1 4 1 节的b p 算法。 u ( t o )u ( t o + 1 ) u ( t 一1 ) 专、 吣穴7 呵 铄瓣 b 互￥ 图1 1 0 沿时间b p 算法原理图 y ( t ) 由于善于处理与上下文有关的内容信息，递归神经网络是目前神经网络领 域里面研究比较活跃的网络之一，已经广泛应用于机器人手臂控制3 0 l 、最短路径 寻优【3 1 1 等等。 1 5b p 网络存在的问题及改进 b p 学习算法是一种有效的学习算法，但是也存在以下四个主要问题： ( 1 )在权值调整上采用梯度下降法作为优化算法，极易陷入局部极小； ( 2 )学习算法的收敛速度很慢，常常需要几万次的迭代甚至更多，且收敛 速度与初始权值的选择有关； ( 3 ) 网络的结构设计，即隐节点数的选择，尚无理论指导，具有很大的盲 目性： ( 4 ) 新加入的样本对已经学好的样本影响较大，且每个输入样本的特征数 目要求相同，泛化能力较差。 ， ”。卅 + “谛 b 第一章综述 针对b p 网络的以上四个缺点，学者们对b p 学习算法进行了改进。下面简 要讨论这些改进算法。 1 5 1 收敛性的改进 ( 1 ) 加八动量项 为了使学习速率足够大，又不易产生振荡，在权值调整算式中，加入“动量 项”f 3 2 ，即： w 舻1 ) ) 一玎器埘w 脚叫 f ( 卜1 ) 】 ( 1 - 2 ” 上式右边第二项是常规b p 算法的修正量，第三项为动量项，其中为调节 因子，这里0 f l l 。上式又可以写成 州f + 1 ) _ _ 叩器够w ) ( 1 - 3 0 ) 其中，a w ，( f ) = w 口( f ) 一峋( f 1 ) a 该等式可以看作是w 口( ，) 的一阶差分方程，于是有 帆( f ) 叫嵩矿1 瓦c 2 ( 两k - 1 ) 拶w ( 1 ) ( 1 3 1 ) 式“- 3 1 ) 的意义在于：当本次害筹告t 与前一次同符号时，其加权求和值增 0 w ，1j 大，使( ，) 增大，从而在稳定时增加了w 的学习速度；当器与前次符号 相反时，说明有一定的振荡，此时指数加权和的结果使( r ) 减小，因而起到了 稳定作用。 ( 2 ) 变步长法 变步长法的基本思想为：先设一初始步长，若一次迭代后误差函数，增大， 则将步长乘以小于1 的常数，沿原来方向重新计算下一个迭代点；若一次迭代后 误差函数，减少，则将步长乘以小于1 的常数。 文【3 3 】提出了一种简单易行的利用误差变化率对b p 算法的学习步长进行修 正的变步长算法。假设传统的b p 算法权值修正公式为 啪+ 1 ) 吲吵叩器 ( 1 3 2 ) 该公式中学习步长玎是一个固定值；而在利用误差变化率的变步长算法中，学习 步长是一个变化量，其修正公式为 叩o + 1 ) = 叩( f ) 一兰鲁 ( 1 - 3 3 ) j 式中玎( f + 1 ) ，叩( f ) 分别为学习步长修正后的值和当前值，一等为步长增量； j o b 0 ，说 明学习误差正在增大，输出值正在远离期望值，权值调整过大，需要减小a w 。 由公式( 1 - 3 2 ) ，若减小，7 ，a w 也必然减小。而学习步长调整公式( 1 - 3 3 ) 中叩确 实是在减小，符合要求，能够加快学习收敛速度。反之，当，= j ( t ) - j ( t 一1 ) 0 ， 说明学习误差在减小，输出