（计算数学专业论文）pisigma神经网络的几种梯度学习算法.pdf

大连理工大学博士学位论文 摘要 到目前为止，人们提出了许多神经网络模型，其中应用最广泛的是前馈神经网 络早期前馈神经网络中只含有求和神经元，在处理复杂非线性问题时效率很低后 来，人们将求积神经元引入到i j 馈神经网络中，用以增加网络的非线性映射能力，提 高网络的学习效率这样的网络可以统称为高阶前馈神经网络但是，如果只通过输 入节点值的简单乘积构造求积神经元以增加网络的非线性映射能力，随着输入样本维 数的增加，所需权值的数量呈指数阶增加，即出现“维数灾难”p i - s i g m a 神经网络是 1 9 9 1 年y s h i n 提出的一种具有多项式乘积构造的求积神经元的高阶前馈神经网络该 网络既提高网络的非线性映射能力，又避免了“维数灾难”的出现此后，为了提高该 网络的应用能力，y s h i n 、a j h u s s a i n a 、c k ，l i 等又以p i - s i g m a 神经网络为模块构 造了更复杂的网络结构，并在模式分类和函数逼近等问题中取得成功应用 学者们对只含有求和神经元的前馈神经网络的收敛性、泛化能力等理论问题已有 深入研究，而对含有求积神经元的高阶前馈神经网络的研究主要集中在实际应用上， 相关理论方面的研究还很薄弱，仍存在许多有待解决的基本理论问题因此，从理论 上分析p i s i g m a 神经网络学习算法的学习能力和收敛性具有很重要的实际意义，这些 问题的研究和解决将对p i - s i g m a 神经网络的应用起到重要的促进作用 梯度算法是一种简单又常用的神经网络训练算法，从样本的输入方式看，包括批 处理和在线两种运行方式；从权值向量的更新方式来看，包括同步和异步两种更新方 式本论文主要研究用于训练p i s i g m a 神经网络的几种梯度学习算法的相关理论问 题，包括学习效率、收敛性等另外，在网络结构优化方面做了一些尝试 本论文的结构及内容如下： 第一章回顾有关神经网络的一些背景知识 第二章指出随机单点在线梯度算法训练p i s i g m a 神经网络过程中因权值较小会降 低网络收敛速度的问题，并从理论上分析了这种现象产生的原因及权值更新受影响的 程度同时，为解决该问题，给出了一种带惩罚项的随机单点在线梯度算法 第三章讨论p i - s i g m a 神经网络异步批处理梯度算法和带动量项的异步批处理梯度 算法的收敛性问题将动量项引入到训练p i s i g m a 神经网络的异步批处理梯度算法 中，有效地改善了算法的学习效率，给出误差函数的单调性定理及该算法的弱收敛和 强收敛性定理及证明，并通过计算机仿真实验验证理论分析的正确性 第四章分析p i s i g m a 神经网络在线梯度算法的收敛性问题并给出收敛性结论 第矗章提出基于狄色关联分析的一种新的剪枝算法，并将其用于训练前馈神经网 络( 包括多层莳馈神经网络和h i g h o r d m + 神经网络) 陔算法运用灰色关联分析对比网 p i s i g m a 神经网络的几种梯度学习算法 络各节点输出值序列之i 日j 联系的紧密程度，实现网络结构的动态修剪训练后的神经 网络具有较合理的网络拓扑结构和较好的泛化能力实例验证该算法的合理性、有效 性 关键词：p i s i g m a 神经网络；收敛性；动量项；惩罚项；剪枝算法 大连理工大学博士学位论文 s o m eg r a d i e n tl e a r n i n ga l g o r i t h m sf o rp i - s i g m an e u r a ln e t w o r k s a b s t r a c t r e c e n t l y , m a n yn e u r a ln e t w o r km o d e l sh a v eb e e np r o p o s e d t h ef e e d f o r w a r dn e u r a l n e t w o r ki sm o s tw i d e l yu s e di na p p l i c a t i o n s i nt h ee a r l yy e a r s ，t h ef e e d f o r w a r dn e u r a l n e t w o r k so n l yu s ea d d i t i v en e u r o n sw h i c hm a yl e a dt op o o rc a p a b i l i t yf o rs o l v i n gn o n l i n e a r p r o b l e m s h e n c e ，p r o d u c tn e u r o n sa r ea p p l i e di nt h ef e e d f o r w a r dn e u r a ln e t w o r k st o e n h a n c et h en o n l i n e a rm a p p i n gc a p a b i l i t ya n dt oi m p r o v et h el e a r n i n ge f f i c i e n c y t h i s k i n do ff e e d f o r w a r dn e u r a ln e t w o r ki sc a l l e dh i g h - o r d e rn e u r a ln e t w o r k s h o w e v e r ，t h e p r o d u c tn e u r o n sa r eo n l yc o m p o s e do ft h ep r o d u c to fi n p u t s ，a n dt h en u m b e ro fw e i g h t s r e q u i r e di n c r e a s e sc o m b i n a t o r i a l l yw i t ht h ed i m e n s i o no ft h ei n p u t s t h i sp h e n o m e n o n i sc a l l e dd i m e n s i o n a le x p l o s i o n t h ep i - s i g m an e t w o r ki sp r o p o s e db yy s h i ni n1 9 9 1 ， w h i c hu s e st h ep r o d u c tn e u r o n sw i t hp o l y n o m i a l so fi n p u t s t h e n ，1 0 r so fr e s e a r c h e r s ， s u c ha sy s h i n ，a j h u s s a i n a ，c k l ie ta 1 ，u s ep i - s i g r n an e t w o r ka sab a s i cb u i l d i n g b l o c kf o ro t h e rm o r ec o m p l i c a t e dh i g h o r d e rn e u r a ln e t w o r k s t h e s en e t w o r k sh a v eb e e n u s e de f f e c t i v e l yf o rs o l v i n gp r o b l e m ss u c ha sc l a s s i f i c a t i o na n da p p r o x i m a t i o n t h ei n v e s t i g a t i o n sh a v eb e e nm a d eb r o a d l yo nc o n v e r g e n c ea n dg e n e r a l i z a t i o no f f e e d f o r w a r dn e u r a ln e t w o r k sw i t ha d d i t i v en e u r o n s b u tt h ei n v e s t i g a t i o n so ff e e d f o r w a r d n e u r a ln e t w o r k sw i t hp r o d u c tn e u r o n sa r ef o c u s e do n l yo ne x p e r i m e n t s t h e r er e m a i n s al a c ko ft h e o r e t i c a la s s u r a n c e t h e r e f o r e i ti sn e c e s s a r yt os t u d yt h ec o n v e r g e n c ea n d g e n e r a l i z a t i o no fh i g h - o r d e rn e u r a ln e t w o r k s t h j sw i l lm a k eag r e a tp r o m o t i o nf o rt h e t h e o r ya n da p p l i c a t i o no fn e u r a ln e t w o r k s g r a d i e n ta l g o r i t h mi sas i m p l ea n dp o p u l a rt r a i n i n ga l g o r i t h mf o rf e e d f o r w a r dn e u r a l n e t w o r k s t h e r ea r et w od i f f e r e n tw a y st oi n p u tt h es a m p l e sd u r i n gt h et r a i n i n gp r o c e s s ： o n l i n em o d ea n db a t c hm o d e t h e r ea r ea l s ot w od i f f e r e n tw a y sf o ru p d a t i n gt h ew e i g h t s ： s y n c h r o n o u sm o d ea n da s y n c h r o n o u sm o d e t h em a i nw o r ko ft h i st h e s i si st os t u d y s e v e r a ll e a r n i n gg r a d i e n ta l g o r i t h m sf o rp i - s i g m an e t w o r k si nt h e o r y , i n c l u d i n gt h ed e - t e r m i n i s t i c a l l yc o n v e r g e n c eo fg r a d i e n ta l g o r i t h m sa n dt h ee f f i c i e n c yo ft r a i n i n g t h e s t r u c t u r a lo p t i m i z a t i o no ft h ef e e d f o r w a r dn e u r a ln e t w o r k si sa l s od i s c u s s e d t h i st h e s i s i so r g a n i z e da sf o l l o w s ： s o m eb a c k g r o u n di n f o l m a r i o na b o u tt h ef e e d f o r w a r dn e u r a ln e t w o r k si sr e v i e w e di n c h a p t e r1 p i s i g m a 神经网络的几种梯度学习算涟 t h es e c o n dc h a p t e rp o i n t so u tap r o b l e mw h e nt h eo n l i n eg r a d i e n ta l g o r i t h mi su s e d f o rp i s i g m an e t w o r k s ，i nt h a tt h eu p d a t ei n c r e m e n to ft h ew e i g h t sm a yb e c o m ev e r y s m a l l e s p e c i a l l yi nt h ee a r l ys t a g eo ft h et r a i n i n g ，r e s u l t i n gi nav e r ys l o wc o n v e r g e n c e ， t oo v e r c o m et h i sd i f f i c u l t y , a na d a p t i v ep e n a l t yt e r mi si n t r o d u c e di n t ot h ee r r o rf u n c t i o n ， s oa st oi n c r e a s et h em a g n i t u d eo ft h eu p d a t ei n c r e m e n to ft h ew e i g h t sw h e ni ti st o os m a l l t h i ss t r a t e g yb r i n g sa b o u tf a s t e rc o n v e r g e n c ea ss h o w nb yt h en u m e r i c a le x p e r i m e n t s t h et h i r dc h a p t e rm a i n l yd e a l sw i t ht h ec o n v e r g e n c eo ft h eb a t c ha s y n c h r o n o u s g r a d i e n tm e t h o dw i t ho rw i t h o u tm o m e n t u m c o r r e s p o n d i n gc o n v e r g e n c er e s u l t sa r e e s t a b l i s h e d t h ec o n v e r g e n c eo fa no n l i n eb pa l g o r i t h mi si n v e s t i g a t e di nc h a p t e r4 t h e m o n o t o n i c i t yo ft h ee r r o rf u n c t i o na n dt h ec o n v e r g e n c eo ft h em e t h o da r ep r o v e d a s u p p o r t i n gn u m e r i c a le x a m p l ei sa l s og i v e n i nc h a p t e r5 ap r u n i n ga l g o r i t h mb a s e do ng r e yi n c i d e n c ea n a l y s i sf o rf e e d f o r w a r d n e u r a ln e t w o r k si sp r o p o s e d ，w h i c hc a no p t i m i z et h et o p o l o g yo ft h en e u r a ln e t w o r k s ， i n c l u d i n gb o t hh i g h - o r d e rn e u r a ln e t w o r k sa n dc o m m o nf e e d f o r w a r dn e u r a ln e t w o r k s ，a n d c a no f f e rb e t t e rg e n e r a l i z a t i o na b i l i t y i nt h i sa l g o r i t h m ，t h er e d u n d a n tc o r r e l a t i o n sa l e p r u n e da c c o r d i n gt ot h ed e g r e eo fg r e yi n c i d e n c eo fe a c ho u t p u ts e q u e n c e t h es i m u l a t i o n r e s u k ss h o wt h ee f f e c t i v e n e s so ft h ep r o p o s e da p p r o a c h k e yw o r d s ：p i s i g m an e u r a ln e t w o r k ；c o n v e r g e n c e ；m o m e n t u m ；p e n a l t y ；p r u n i n ga l - g o r i t h m 1 v 一 独创性说明 作者郑重声明：本博士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名：丝趣日期：望塑：! ! ! 大连理工大学博士学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位 论文版权使用规定”，同意大连理工大学保留并向国家有关部门或机构送 交学位论文的复印件和电子版，允许论文被查阅和借阅本人授权大连理工 大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也可 采用影印、缩印或扫描等复制手段保存和汇编学位论文 作者签名：丝邀： 导师签名 4 型月群曰 大连理工大学博士学位论文 1 绪论 本章主要介绍人工神经网络的特点、发展历史、模型和应用领域，概括论文的主 要研究内容和结构 1 1 人工神经网络简介 目前得到广泛应用的人工神经网络( a r t i f i c i 8 ln e u r a ln e t w o r k s ，简称a n n ) 是 由大量的简单元件连接而成的，用以模拟入脑行为的复杂网络信息处理系统这种模 拟人脑的简化模型能反映出入脑的许多基本特性，如良好的容错性与联想记忆功能、 自组织性和很强的学习能力，表现出良好的智能特性随着对生物脑的深入了解，人 工神经网络汲取了生物神经网络的许多优点，获得了长足的发展，具有了高度的非线 性，能够进行复杂的逻辑操作和非线性关系实现人工神经网络在经历了漫长的初仓q 期和低潮期后，终于以其不容忽视的潜力与活力活跃在几乎所有的工程领域目前， 神经网络的理论和应用研究得到了极大的发展，应用领域也得到了不断的拓展 1 1 1 人工神经网络发展与应用 从第一个神经网络模型诞生至今，人工神经网络已有6 0 多年的发展历史了，在这 半个多世纪的历程中，人工神经网络经历了一条曲折的研究和发展道路人工神经网 络的研究可追溯到1 9 世纪末期。开始于1 8 9 0 年美国著名的心理学家w j a m e s 发表 的一部详细论述人脑结构及功能的专著心理学原理( p 喇礼c i p f e so fp s y c h o l o g y ) ，他 曾预言神经细胞激活是细胞所有输入叠加的结果神经元学说为科学家在神经绍胞水 平上对脑功能进行模拟奠定了基础1 9 4 3 年，心理学家w m c c u l l o c h 和数学逻辑学 家w p i t t s 基于神经元学说，归纳了生物神经元的基本特征，首次提出了模拟生物神 经元的数学模型，即m p 模型，这杯志着人工神经网络作为一门学科的诞生f 1 】1 9 4 9 年，启蒙时期的另一位重要学者。神经生物学家d h e b b 发现，突触前神经元与突 触后神经元总是同时处于兴奋状态，则其联系效率将得到增强，并在行为构成( d 田d 竹娩n 抚d 佗b e h a v i o r ) - - 书中给出了人们现在称为h e b b 学习规则的学习算法1 2 1 从 而激发了人们对模拟生物神经系统的兴趣，引发了人工神经网络早期研究热潮1 9 5 8 年，美国计算机学家f ，r o s e n b l a t t 提出了著名的感知器模型( p e r c e p t r o n s ) ，并且证明 了若模式是线性可分的，则基于h e b b 学习规则的单层感知器训练算法是收敛的f 3 1 基 于h e b b 学习规则的感知器具有了记忆和学习的功能和行为同年，a mk o l m o g o r o v 从数学上证明，任意连续映射可由一个三层酊馈神经网络模型精确实现f 4 1 1 9 6 9 年， 美国的s a p a p e r t 教授和m l m i n s k y 教授出版了感知器( p e r c e p t r o n s ) 一书1 5 】， 对感知器的功能与单层感知器的局限性从数学上作了深入的研究，由于当时并不存在 调节多层感知器神经元连接权值的学习算法，多层感知器可以实现任意的：值逻辑函 p i s i g m a 神经网络的几种梯度学习算法 数只能是理论上存在m i n s k y 教授的个人威望及证明的严格性，感知器的悲观 论调，促使人工神经网络早期研究的热潮迅速降温，相当多的人认为人工神经网络的 研究前途渺茫，用于神经网络研究的经费大减，神经网络研究自此陷入低潮但仍有 一些学者在兢兢业业地研究人工神经网络，并取得一些重要成果，为人工神经网络研 究的复兴和发展奠定了理论基础f 6 - 8 1 1 9 8 2 年，美国物理学家j jh o p f i e l d 总结和汲 取了前人对人工神经网络研究的成果与经验，把网络的各种结构和算法概括起来， 建立了模拟生物神经系统的递归神经网络模型，即h o p f i e l d 网络f 9 ，1 0 最有刨新意 义的是他对网络引用了物理力学的分析方法，把网络作为一个动态系统研究其稳定 性h o p f e i l d 网络具有易于理解且便于集成电路实现的特点，对人工神经网络研究的 复苏起到了关键性的作用另外，1 9 8 6 年，美国的d e r u m e l h a r t 和j l m c c l e l l a n d 领导的研究小组发表了并行分布式处理( p a r a l l e ld i s t r i b u t e dp r o c e s s i n g ) 一书的前 两卷f 1 1 1 ，接着1 9 8 8 年发表了带有软件程序的第三卷p d p 这部书最重要的贡献是发 展了多层感知器的误差反向传播( e r r o rb a c kp r o p a g a t i o n ) 学习算法，即著名的b p 算 法，引起学术界极大反响，鼓舞了人工神经网络研究领域的科学工作者，彻底消除了 感知器给人工神经网络造成的阴影该算法已经成为当今影响最大的一种网络学 习方法1 9 8 7 年6 月2 1 日，首届国际人工神经网络学术会议在美国加州圣地亚哥召 开，标志着世界范围内掀起了神经网络的研究应用热潮同时，在会上成立了国际神 经网络学会1 9 8 8 年，i n n s 的会刊n e u r a ln e t w o r k s 创刊此后，关于人工神经网络 的大型国际会议相继召开，学术期刊相继出版发行现在，新的人工神经网络模型层 出不穷，人工神经网络的结构和算法日趋多样性，神经网络理论的应用已经渗透到各 个领域2 0 世纪9 0 年代以来，神经网络已在众多领域得到很好的应用，其中神经网络 与其它技术相结合，以及由此而来的混合方法和混合系统，已经成为一大研究热点 目前，这方面工作有神经网络与遗传算法、灰色系统、专家系统、模糊逻辑、小波分 析、混沌、粗糙理论和分型理论等相融合，形成所谓“混合神经网络”f 1 2 1 7 1 我国最早涉及人工神经网络的著作是涂序彦先生等在1 9 8 0 年发表的生物控制 论f 1 8 1 ，书中将神经系统控制论单独设为一章，系统地介绍了神经元和神经网络的结 构、功能和模型随着人工神经网络在世界范围内的复苏，国内也逐步掀起了研究热 潮1 9 8 9 年1 0 月和1 1 月分别在北京和广州召开了神经网络及其应用学术讨论会和第 一届全国信号处理一一神经网络学术会议1 9 9 0 年2 月，在北京召开了“中国神经网 络首届学术大会”，| 丌创了我国学术界和工程界在人工神经网络的理论和应用方面研究 的新纪元目| 仃，人工神经网络已在我国科研、生产和生活中产生了普遍而巨大的影 响 人们可以在几乎所有的领域内发现人工神经网络应用的影子： 1 9 - 2 4 当i ；i 神经网 络的 i 耍应用领域有：信息处理领域( 如自适应信号处理、模式识别、数据压缩) 、自 动化钡域( 如系统辨识、神经拧制器、智能枪测) 、一l ：群领域、医学领域( 检测数掘分 大连理工大学博士学位论文 析、生物活性研究、医学专家系统) 和经济领域( 信贷分析、市场预测) 。 1 1 2 人工神经元模型和人工神经网络模型 人工神经元是对生物神经元的一种形式化描述，是神经网络的基本构件，也是对 生物神经元的结构和功能的模拟人工神经元也被称为“节点”或“处理单元”这里给 出具有个输入和单个输出的神经元模型神经元对外界传入的个信号经过权值 矾( i 一1 ，2 ，) 处理后，通过处理器a 得到“综合印象”，如图1 1 所示，再由激 活函数9 ( ) 对此综合印象做出非线性反映( 激活函数的另一个输入是神经元的阈值 p 当然，也可将阈值作为一个权值，将其输入设为固定常数一1 ，其对应权值即为阈值 p 目前神经元模型已有很多，其中提出最早且影响最大的是m p 模型，即处理器取为 求和器该模型经过不断改进，形成目前广泛应用的神经元模型 输。长 图1 1 多输入单输出的神经元模型 f i g 1 1m o d e lo fn e u r o nw i t hm u l t i - i n p u t sa n do n eo u t p u t 按一定规则将神经元连接成神经网络，才能实现对复杂信息的处理与存贮神经 元之间的连接方式不同，网络的拓扑结构也不同根据网络连接特点和信息流向特 点，可将其分为层次型结构和互连型结构【2 1 】 图1 2 层次型神经网络结构 f i g 1 2s t r u c t u r e so ff e e d f o r w a r dn e u r a ln e t w o r k sw i t hm u l t i l a y e r s 层次型结构具有层次结构的神经网络将神经元按功能分成若干层，如输入层、 隐层和输出层，备层顺序相驳层次型网络结构有3 种典型的结合方式 一3 一 p i s i g m a 神经网络的几种梯度学习算法 前馈层次型：神经元分层排列，各层神经元接收前一层输入并输出到下一层，层 内神经元自身以及神经元之矗j 不存在连接通路，如图1 2 ( a ) 所示 输入输出有反馈的前馈层次型：输入层到输出层有连接路径的层次型网络结构 其中输入层神经元既可接收输入，也具有信息处理功能，如图1 2 ( b ) 所示 前馈层内互连型：同一层内神经元有互连的层次网络结构这种结构的特点是在 同一层内引入神经元的侧向作用，使得能同时激活的神经元个数可控，以实现各层神 经元的自组织，如图1 2 ( c ) 所示 豳一 ( a )( b ) 图1 3 互连型神经网络结构 f i g 1 3s t r u c t u r e so ff e e d f o r w a r dn e u r a ln e t w o r k sw i t hl i n k s 互连型结构具有互连型结构的神经网络中任意两个节点之间都可能存在连接路 径可以根据网络中节点的互连程度将互连型网络结构分为3 种形式 反馈全局互连型：网络中的每个节点均与所有其它节点连接，如图1 3 ( a ) 所示 反馈局部互连型：网络中的每个节点只与邻近的节点连接，如图1 3 ( b ) 所示 反馈稀疏互连型：网络中的节点只与少数相距较远的节点连接 1 1 3 人工神经网络的学习规则 生物之所以能适应环境，是因为牛物神经系统具有对周围环境进行学习的能力 对于人工神经网络，学习能力也是其最为重要的特点所渭的学习从狭义上讲，就是 确定网络中神经元之间的连接权值以及神经元阈值的过程，从广义上讲还包括网络结 构的学习和网络中神经元激活函数的学习等目前，神经网络的学习方式己经有几十 种，按照样本提供的信息可以大致分为两类，即有导师学习和无导师学习有导师学 习也称为有监督学习，这种学习方式是纠错规则在学习训练过程中需要不断地给网 络成对提供一个输入模式和一个期望输出模式无导师学习也称无监督学习，学习过 程中，需要不断地给网络提供动态输入信息有导师学习具有分类精细、准确的优 点，但收敛速度较慢无导师学习具肯分类灵活，算法简练的优点，但误差较大以 下简略地介绍神经网络中的几种常川学习规则与方法 4 大连理工大学博士学位论文 h e b b 学习规则是一种前馈的、无导师学习算法，假设人脑神经之间突触联接强 度的改变是学习和记忆的基础f 2 1 该规则至今仍在各种神经网络模型中起着重要的作 用h e b b 学习规则常用于自组织网络或特征提取网络 6 一学习规则，即连续感知器学习规则也称梯度算法，是最常用的一种有导师学习 算法，常用于单层及多层感知器、b p 网络 w i d r o w - h o f f 学习规则是一种有导师学习算法，因为它能使神经元实际输出与 期望输出之间的平方差最小，所以又称为最小均方规则，简称l m s 学习规则实际 上，l m s 学习规则可以看成是矗学习规则的种特殊情况常用于自适应线性单元f a d a l i n e ) 学习 b p 学习算法也称误差反向传播( e r r o rb a c kp r o p a g a t i o n ，b p ) 算法，是一种有 导师学习算法，也是矗学习规则的推广b p 算法是目前应用最广泛的学习规贝0 1 1 1 1 ， 用于b p 网络学习 b o l t z m a n n 机学习规则( 模拟退火算法) 是一种有导师学习算法 2 5 1 ，该算法能 找到全局最优解，用于多层网络的学习 竞争学习规则是一种无导师学习算法在学习过程中，神经元均参与彼此间的竞 争活动，具有最大输出的节点是获胜者适合于竞争网络的学习， 模糊学习规则是一种以模糊理论为基础的学习算法 2 6 - 2 s 。适合于模糊神经网络 的学习 1 2 高阶神经网络 1 2 1 高阶神经网络的结构特点 人工神经网络有效模型的建立和神经计算机的开发研制依赖于对大脑思维过程的 币确理解和大脑结构与功能关系的研究进展神经生物学的最新研究成果表明突触连 接除了二体相互作用基本类型( 如轴一体突触、轴一树交触、轴一轴突触) 外，还存在着多 个神经成分依次排列相互作用产生的超微结构，例如神经元中的侧棘在大脑的高级神 经活动学习和记忆中起着重要作用这种超微结构在中枢神经系统内很多部位出现， 并在很大程度上决定大脑发育的完善程度因此，仅仅考虑生物神经系统二体突触相 互作用的神经网络模型的性能指标往往具有局限性如果在模型中能够迸一步考虑生 物神经系统的超微结构，可提高神经网络的各项性能指标，有利于神经网络的应用 在全互连型神经网络中引入高阶相互作用项符合生物神经系统的超微结构特征，可以 赋予高阶神经网络模型较好的性能指标在层状网络的同一层中引入高阶帽互作用项 则可以简化网络结构( 没有隐层) ，克服b p 网络的不足，其生物学对应可以从神经元 的例抑制功能加以理解f 2 9 1 文献 a o - 3 3 在此摹c d l k 对模拟突触超微结构的高阶神经网 络模型进行理论和计算机仿真研究 一5 p i s i g m a 神经网络的几种梯度学习算法 接下来，给出构造高阶神经网络常用到的两种神经元结构，即分别利用求和器私 求积器构造的神经元结构，如图1 4 和图1 5 所示，这两种神经元分别称为求和神经元 和求积神经元图中给出的是具有个输入、1 个输出的神经元模型，并且每个输入 都通过一个适当的权值i 珑( i = 1 ，2 ，) 连接到神经元节点上激活函数为9 ( ) 求和器就是输入加权求和，即竺1 & 瞰求积器就是输入加权求积，即n 墨1 6 碱， 其中m 可以取为固定值这里将具有求积神经元的网络统称为高阶神经网络下小节 介绍几种常用的高阶神经网络 八重 图1 4 基于求和器的神经元模型 f i g 1 4m o d e lo fn e u r o nw i t ha d d i n g - o p e r a t i o n 图1 5 基于求积器的神经元模型 f i g 1 5m o d e lo fn e u r o nw i t hp r o d u c t o p e r a t i o n 1 2 2 h i g h - o r d e r 神经网络 h i g h o r d e r 神经网络( h i g h - o r d e rn e u r a ln e t w o r k s ，简称h o n n ) 是1 9 8 6 年l e e 等提出的一类i i 馈神经网络的改进形式，它既保留了单层网络收敛速度快的特点，又 具有高度非线性映射能力和较强的存储能力f 3 1 ，3 4 ，已经广泛用于图像识别、分类、 函数逼近、控制等领域【3 5 】- 其网络输出值为： ( 2 9 ( 莩毛+ 莩莩屿t 岛& 十莩莓莩屿埘岛诵) 从式( 1 1 ) 可以看出，在网络输出值中包台样本= ( t ，巳，妇) 备分量值的高阶 项多输的h o n n 神经网络的结构如图1 6 所示 6 一 ： n； ，j0l 八 靖 大连理工大学博士学位论文 图1 6h i g h - o r d e r 神经网络 f i g 1 6h i g h - o r d e rn e u r a ln e t w o r k 求和差( 输出层) 乘积层 输入层 与传统的多层感知器( m u l t i l a y e rp e r c e p t r o n ，简称m l p ) 相比，h o n n 具有以下 特点： h o n n 不但能克服一般网络的对称性，而且具有较强的非线性映射能力h o n n 能够利用比m l p 少的隐节点解决相同的分类问题 h o n n 能将几何变换的不变性构造引入网络，即h o n n 利用输入模式的己知关 系，将所需要的不变量直接引入、构造网络h o n n 被“预训练”后，不需要学习几何 变换的不变量，只需要针对每个要识别对象，而不是识别对象的各种变形进行学习， 因此提高了网络的计算精度 h o n n 只包含输入层和输出层，不包含隐层，避免了隐层数和隐层节点数的选 取问题 h o n n 的缺陷是随着网络阶数的提高，所需权值的个数成指数阶增加，造成所 谓的“维数灾难” h o n n 在很多领域取得了成功的应用 3 2 ，3 6 _ 4 0 】 1 2 3 s i g m a - p i 神经网络 s i g m a - p i 神经网络是稀疏连接形式的h o n n ，同时网络中增加了由求和神经元和 求积神经元交替构造的隐层1 1 1 ，4 1 ，4 2 ，其网络结构如图1 7 所示s i g m a - p i 神经网络 既保留了h o n n 的高度非线性映射能力，又增加了网络的灵活性，即根据具体问题构 造适合的网络结构，提高了网络的学习效率文献f 4 3 ，4 4 1 验证了局部黎曼可积函数作 为s i g m a - p i 神经网络激活函数的特征条件与连续函数时的情形是一致的文献h 5 1 提出 了s i g m a - p i 泛函网络，并给出了s i g m a - p i 泛两网络学习算法， 一7 一 p i - s i g m a 神经网络的几种梯度学习算法 图1 7s i g m a - p i 神经网络 f i g 1 7s i g m a - p in e u r a ln e t w o r k 1 2 4 p i - s i g m a 神经网络 ( 一) p i - s i g m a 神经网络的特点与结构 p i - s i g m a 神经网络( p i - s i g m an e u r a ln e t w o r k s ，简称p s n n ) 是1 9 9 1 年y s h i n 提出一种高阶神经网络它既保留了单层神经网络收敛速度快的特点，又具有高阶神 经网络所特有的高度非线性映射能力 4 6 】 乘积层( 输出层) 求和层 输入鹱 ； l；，一1 图1 8p i - s i g m a 神经网络 f i g 1 8p i s i g m an e u r a ln e t w o r k p s n n 网络结构简单。由一个输入层、个隐层( 即求和层) 和一个输出层( 即 求积层) 构成设给定，个输入样本模式 f 名l ，其中f = ( 器，刍一。，品) r 尸，昂三- - 1 相应的实际输出为 暑，3j d 川c 肽，理想输出为 o ) j - 1c 豫1 u k = ( ”胁w k 2 ，w k p ) 丁( 1 k n ) 为连接输入j 2 - 备节点与求和层节点 的权值阳量， 8 层 层 雌 ，一 大连理工大学博士学位论文 并 记整个输入层与求和层的权值向量为硼= ( 如 ，埘手，媚) 型。p ，连接求和层节 点与求积层节点权值取为固定值1 其结构如图1 8 所示随机单点迭代和异步迭代梯 度算法是训练p s n n 的常用方法 前述h o n n 所用的求积神经元是由输入样本向量的分量乘积构造的与其不 同，p s n n 所用的求积神经元是由输入样本向量分量的线性组合多项式乘积构造的这 样就使得p s n n 既提高了网络的非线性映射能力，又避免了“维数灾难”p s n n 在求 解模式分类和函数逼近问题中取得了成功应用 4 6 - 4 8 1 ( 二1 以p i - s i g m a 神经网络为模块的各种改进形式网络 为了提高该网络的应用能力，y s h i n 、a j h u s s a i r l a 、c k l i 等又以p s n n 为模 块构造了各种改迸形式的网络 r i d g ep o l y n o m i a l 神经网络 由于p i - s i g m a 神经网络中求和神经元的数目不能太多，否则网络的阶数太高， 所用的权值数目过大会降低网络的学习效率，不利于网络训练，因此，如何根据具体 问题确定网络的阶数是十分必要的于是y s h i n 和j g h o s h 在1 9 9 2 年提出了r i d g e p o l y n o m i a l 神经网络( r i d g ep o l y n o m i u ln e u r a ln e t w o r k s ，简称r p n n ) 【4 9 】它是以 p s n n 为模块的神经网络该网络从低阶的p s n n 开始训练，固定已经训练p s n n 模 块的权值，逐渐动态地增加p s n n 模块来提高网络的阶数，直至所构造的网络满足所 处理问题的精度要求r p n n 具有根据所处理问题的复杂程度确定合理的网络阶数， 训练简洁，拥有较强的网络映射能力的特点经验证r p n n 可以逼近定义在紧集上的 任意连续函数图1 9 给出了r p n n 的网络结构图 输 拦 图1 9 r i d g ep o l y n o m i a l 神绎网络 f i g 1 9r i d g ep o l y n o m i a ln e u r a ln e t w o r k c o m p l e xp i s i g m a 神经网络 一9 p i s i g m a 神经网络的几种梯度学习算法 1 9 9 7 年，y s h i n 又提出了c o m p l e xp i s i g m a 神经网络( c o m p l e xp i - s i g m an e u r a l n e t w o r k s ，简称c p s n n ) 5 0 】，其网络结构如图1 1 0 所示 输 层 图l 1 0c o m p l e xp i s i g m a 神经网络 f i g1 1 0c o m p l e xp i s i g m an e u r a ln e t w o r k c p s n n 是p s n n 神经网络在复数域上的推广形式一般网络处理复数问题时，要 经过从复数到实数的转化，这种转换是很复杂的，并且转化中有时会产生一些问题使 得神经网络无法进行计算而c p s n n 可以