（计算数学专业论文）多输出bp网络学习算法收敛性及输出设计.pdf

大连理工大学碳士学位论文 摘要 作为一种简单肖效的学习算法，梯度法已广泛成用于训练前馈神经网络。单输出 蘸馕 事经网络中梯度学习算法的收敛性已经骞了详缨的讨论。本文麓先磅究繁毒多令 输出单元的b p 神经嗣络的梯度学习算法，诞明了误麓函数在梯度算法所生成的权向慧 序列上的单调递减性，以及该算法的弱收敛性和强收敛性。 由于b p 神经网络有菲常好的信息处理能力，它融经广泛应用于解决分类蛹题。输 入袭示对b p 网络解决分类问题时的性能非常蘑要，搬多研究者在这方面作了不少的工 终，箍对予输鑫表承靛疆究蠹| j 摄多。激把输入样本分必8 类秀饲，设毒 三释不鬻输塞表 示( 二进制法、一对一法、逼近法) 的b p 网络，然后对其进行测试和比较。测试结果表 骢竣盎表示的磅究瓣b p 鄹终舱毪能墩非零耋要，特裂缝，二遴剩辕凼表示法g 其链嚣 种方法有更好的效果。从而，传统的对一输出表永法并不一定是娥好的选择。文章 最藤绘出了所锝结暴的几何解释。 关键谲：b p 神经网络；梯成算法：收敛性；多输出单元；分类问题；输出表示。 a l 周凤麒：多输出b p 网络学 - - j 算法收敛性及输出设计 a b s t r a c t g r a d i e n ta l g o r i t h mh a sb e e nw i d e l yu s e df o rt r a i n i n gt h ew e i g h t so ff e e d f o r w a r d n e u r a ln e t w o r k s t h ec o n v e r g e n c eo ft h eg r a d i e n ta l g o r i t h mf o rf e s d f o r w a r dn e u r a ln e t - w o r k sw i t ho n eo u t p u tu n i th a st h o r o u g h l ys t u d i e d i nt h i sp a p e r ，w es t u d yt h ec o n - v e r g e n c eo fg r a d i e n ta l g o r i t h mf o rat h r e e - l a y e rb pn e u r a ln e t w o r kw i t hm u l t i p l eo u t p u t u n i t s c o n v e r g e n c er e s u l t so ft h ec o r r e s p o n d i n gg r a d i e n ta l g o r i t h ma n dt h em o n o t o n i c i t y o ft h ee r r o rf u n c t i o ni nt h ei t e r a t i o na r ep r o v e d t h ei n p u tr e p r e s e n t a t i o no fm u l t i l a y e rf e e d f o r w a r dn e u r a ln e t w o r k si sv e r yi m p o r t a n t a n dh a sb e e nt h o r o u g h l ys t u d i e d ，w h i l et h eo u t p u tr e p r e s e n t a t i o ni sh a r d l yc o n s i d e r e d t a k i n gac l a s s i f i c a t i o np r o b l e mw i t he i g h tc l a s s e sa sa ne x a m p l e i n v e s t i g a t e da n dc o i n - p a r e di n t h i sp a p e ra r eb pn e u r a ln e t w o r k sw i t ho n e ，t h r e ea n de i g h to u t p u tu n i t s ， r e f e r r e dt oa sa p p r o x i m a t i o n ，b i n a r ya n do n e - f o r e a c ha p p r o a c h e s ，r e s p e c t i v e l y t h ee x - p e r i m e n t a lr e s u l t ss h o wt h a tt h eo u t p u tr e p r e s e n t a t i o ni sa l s oi m p o r t a n tf o rt h en e t w o r k p e r f o r m a n c e ，i np a r t i c u l a r ，f o ro u re x a m p l e ，t h eb i n a r ya p p r o a c hw o r k sm u c hb e t t e r t h a nt h eo t h e rt w o t h i so b s e r v a t i o ni m p l i e st h a tt h eo n e - f o r - e a c ha p p r o a c h ，w h i c hi s c o m m o n l ys u g g e s t e di nl i t e r a t u r e ，m 培h tn o tn e c e s s a r i l yb et h eb e s tc h o i c e ag e o m e t r i c a l e x p l a n a t i o no fo u ro b s e r v a t i o ni sa l s op r e s e n t e d k e yw o r d s ：b pn e u r a ln e t w o r k ；g r a d i e n ta l g o r i t h m ，c o n v e r g e n c e ；m u l t i p l e o u t p u tu n i t s ；c l a s s i f i c a t i o np r o b l e m s ；o u t p u tr e p r e s e n t a t i o n 夫连理工大学硕士学位论文 主要符号对照表 燕嚣步豹学露搴 篇j - b 输a 样本 第j 个输入样本对应的理想输出 样本集合个数 输入朕与隐层间的权矩阵 权矩阵y 祭p 列权舟量 狳层与输密层静较矩阵 权矩降第t 列投向量 激活蕊数 误差瞧能函数 误差激数对投向爨戳的梯度向量 误差函数对权向艇的梯度向量 第n 多的权向量妣的改变量 第步羽投向量数政变量 了y蜘挑删一蚺郴哪衅 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 俸及取褥磷究残暴。尽我所翔，除了文孛特裹翻鼓檬注和致谢趋埯方捧， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者冀链单缀豹学位或涯书所镬建过的材料。与我一露工儋涎固态 对本研究所傲的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名： ! 銎& 趟日期：巫：堡：1 2 大连理工大学硕士研究生学位论文 大连理王大学学位论文版权使用授权书 本学键论交终嚣及攒导教簿完全了解“大连璎工大学磺士、耩士学袋谂文舨投使题 援定”，阕意大连理工大学保罄并向国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。本人授权大连理工火学可以将本学位论文的全都躐部分内 容编入有关数据库进行稔索，也可采用影印、缩印或赫播等复锖手段保存帮汇编学筏论 文。 伟者签名： 导筛签名：娶 遂年i 兰舅盟e t 大连瑗王大学磺士学位论文 l 绪论 1 1 人工神经隧络 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，简写为a n n s ) 是由具有自适威性的简单 拳元缝成熟广泛势纷互联鼹复杂鼹终系统，它的缀织麓够摸探生臻襁经系绞黠妻实擞 界物体作出交互反廉。神经网络在两方面与人脑相似： 1 ，享孛缀网络获凝豹知识是扶癸努繇境中褥来的； 2 互谶神经元的连接强度，即突触权值，用于存取获取的知识。 褥经瓣终由大爨豹处璃单元f 稳神经元) 遁过广泛遮提互连缕孬减懿复杂瓣终系绞 的结构决定着人工神经网络具有高度的并行性和高速的信息处理能力 入工神疑网络的磅究已有半个多世纪的历史，馔是它我发展并不是一帆风顺的， 而怒经历遗游起、商潮与萧条、高潮及稳步发展中闯呈马鞍型的过稔。1 9 4 3 年，美潮 心理学家w s m c c u l l o c h 和数理逻辑学家w p i t t s 提出了m p 模型，这是第一个用数 瑾语言摇述齄静信息处理邋程静模凝，献诧开截了耱经稠络理论疆究豹时代。1 9 4 9 年 心理学家d 。o h e b b 提出改变神经咒连接强度的学习规则，即著名的h e b b 规则。该 篾测至今逐效诲多瓣经题络学习舅法露使建。1 9 5 7 年f 瀚搬嚣专掇密了著寒戆惑皴 机模型，并用电路察现，箱一次于巴神经嘲络的研究付诸熬践，掀起神经捌络的第 一令高潮。但1 9 6 9 茭国著袭人工智能学者m m m s k y 积s ，p a p e r t 年发袭了专萋，名梵 p e r c e p t r o n 。搬出线性戆知器的功能是肖限的，而且简单的神缀网络只熊进行线 性分类和求解一阶谓词问题，而不能进行非线性分类和解狭比较复杂的高阶谓词问 蘧f 麴x o r ，对称馥判别帮字称滴憨等) 。弛铜静分拼使神经瓣络骚究避入了一个缓稷 发展的萧条期。一赢到了8 0 年代，燕国生物物理学家j o h n h o p f i e l d 于1 9 8 2 年、1 9 8 4 年 奁荧嚣辩学蒺院到发表的嚣簇文章，鬟爨了谤人薤静神经鄹终模型嚣萋名懿h o p f i e l d 模 型，并将能覆函数引进对称h o p f i e l d 网络中，给出了网络的稳定性判剐。有力推动了神 经嘲终的磷究。接蛰，于1 9 8 6 年，d r u m e l h a r t 农j m c c l e l l a n d 出版了具有轰动性的鏊 作并行分布处理认知微结构的探索提出了误差反向传播算法( b p 算法) 盹从而解 决t m i n s k y 刮t , 为不能解决的多层感知器的学习问题。岛此引导了神经网络的复兴，神 经黼络磺究迸入了个崭新的发震输段。1 9 8 7 年在美莺圣地驻哥召开了世界第一届翻 际神经网络学术会议，宣告了国际神经网络协会正式成立。掀起了人类向生物学习、 骚窕窝开发及应瘸章枣经网络懿耨燕潮。 l 周凤麒：多输出b p 网络学习算法收敛性及输出设计 1 2 神经网络的分类、学习规则和特征 1 2 1 神经网络的分类 人工神经元通过一定的结构组织起来，就构成了神经网络。根据神经元之间连接 的拓扑结构上的不同，可将神经网络结构分为两大类，即分层网络和相互连接网络。 1 分层网络是将一个神经元网络模型中的所有神经元按功能分为若干层，一般有 输入层、中间层( 或称隐含层) 和输出层，各层顺序连接。输入层神经元只接受外部环 境的输入信号，并由备输入单元传送给直接相连的中间层各单元。中间层是网络的内 部处理单元层，与外部无直接连接。神经元网络所具有的模式变换能力如模式分类、 模式完善、特征抽取等，主要是在中间进行的。根据处理功能的不同，中间层可以有 多层，也可以没有。输出层是网络把信号从系统输出，这些输出即可直接影响运动系 统，也可只影响外在系统的其它系统。分层网络可以细分为三种互连形式： ( 1 ) 简单的前向网络，输入模式由输入层进入网络，经过中间层的模式变换，由输 出层产生输出模式。 ( 2 ) 2 具有反馈的前向网络，输出层到输入层具有反馈的前向网络，反馈的回路形成 闭环，这与生物神经元网络的结构相似。 ( 3 ) 层内有相互连接的网络，同一层内单元的相互连接使它们之间有彼此的牵制作 用，可限制同一层内能同时激活的单元个数，竞争抑制型网络就属于这类形式。 2 相互连接型网络是指网络中任意两个单元之间都是可以相互连接的。h o p f i e l d 网 络、波尔茨曼机模型就是此类。 1 2 2 神经网络的学习规则 学习方式可分为三类： ( 1 ) 无监督学习。不存在来自环境的反馈来指示网络的输出应该是什么或是否正 确，神经元和连接呈现某种程度的自组织性。 ( 2 ) 有监督学习。又称有导师学习，在学习时需要给出导师信号或称为期望输 出( 响应) 。神经网络对外部环境是未知的，但可以将导师看做对外部环境的了解，由 输入一输出样本集表示。导师信号或期望响应代表了神经网络执行情况的最佳结果，即 对于网络输入调整网络参数，使得网络输出逼近导师信号或期望响应。 2 大连理工大学磺士学位论文 ( 3 ) 增强学习。增强学习与有j | 矗督学习类似，只魑它并不像有监督的学习一样为每 个输入提供栩应的目标输出，两是仅仅给出一个级别。这个缀别( 评分) 是对隧终在某 些输入序列上的经能潮度。袋为适合予控割暴统应甭锈域。 神经网络的最大特点就燎它有学习的能力。在学习过程中，主要是网络的连接权 的毽产生了糯应的变纯，学习的内容瞧是记酝在连接粳之中。根据连接权矢鏊在学习 过程中被校磁的方式有以下几种主要学习规则： 糯b b sr u 恕： 枷社= 叩0 f x i ( 1 _ 1 ) 心道学家d o n a l d0 1 d i n gh e b b ( 1 9 0 4 - 1 9 8 5 ) 胬了一本题为t h eo r g a n i z a t i o n 西b e h a v - i o r 的书陶，在这本书中他提出了神经元之间遴接强度变化的规则，即后来的h e b b 学 习法翔h e b b 写逶：“当神缀缡稳a 酌辘突怒够靠近纲瑰b 弗能使之兴奋时，翔莱a 重复域持续地激发b ，那么这两个细胞或其中个细胞上必然有某种生长或代谢过程 土戆变纯，这稀交纯谴a 激滚b 懿效率毒藏增趣”。簿擎堍诞，裁是黧粟嚣令襻经元 都处于兴奋状态( 给它们有栩同的符号) ，那么它们之间的突触连接强度将会得到增 强。 2 九bd e i r ar u l e ： 哮= 霉涵岛) 戤+( 1 。2 d e l t a 规则是h e b b 规则的进步扩展。这种规则连续地更改网络权值，使网络对输入 模式的赣出响瘟尽霹越遗接避各鑫瓣翅望翰囊。疆节投蓬鲍方法是最剪、毒| ：实酝簸窭与 期望输出的均方误差，并反传误差直至第一层。也被称为w i n d r o w - h o f f 学习规则或最 小均方学习规r ) l l j ( l e a s tm e a ns q u a r el e a r n i n gr u l e ) 。 k o h o n e n 8l e a r n i n gl a y w ( 是+ 1 ) = 是( c 。，患) ( ( p ) 一( 惫) ) 。 ( 1 3 ) t e u v ok o h o n e n 提出的模仿大脑皮层话动的拓扑网络结构，其中的神缀元之间相互竞 争，胜者获得学习机会( w i n n e rt a k e sa 1 1 ) 。获胜的神经元农蔑瓤叁b 龊值的同时， 稀盘蒺它神缎元豹活韵。k o h o n e n 飙蹦不需簧期望输出，属于无导师学习。利用这种 学习方式的神经网络主要有自组织映射( s o f m ) 、自适威共振理论( a r t ) 等。 h o p f i e t d 三日： 掣：吲甜参妈峨 4 ) 3 周风麒：多精出b p 网络学习算法收敛性及输密谈计 1 9 8 2 年羡国加州理工学院的擞物物理学裘j o h n h o p f i e l d 提出- f h o 荫e l d 神经嘲圈。他 利蔗非线性动力学系统瑾论审瀚麓耋礁数方法磺究反馈太工秘经潮络豹稳定镶，辨聪 糟鼗方法建纛了全夏涟鼙棒经阚络和计箨麓豢溺数，成功求瓣j r n p - c o m p l e t e 豹t s p 翘爨( t r a v e l l i n gs a l e s m a np r o b l e m ) 。蒺本熬h o p f i e l d 卒孛经斓络是一个幽j # 线性茏搏 梅残瓣金连接黧单暴反馕系统，姥量殛数f ( w ) 在瘸终迭钱运行进援中不断蟪降低筑 量，最厩趋予平衡状态。利用这孝巾学习方式的神经网络主要商以下几种模型成用比较 广泛：感知嚣( p e r c e p t r o n ) 、多艨感鲡器( m l p ) 和径向藏函数网络( r b f n ) 蒋。 1 2 3 神缀网络的特征 襻麓一种由簿单的簸理攀嚣所缀戒的大繁势行分稚麓处璎撬，棒疑隧络爨霄存穰 和窳莆经验知识的自然特性。阕时，它暇收了生物害牵经阏络的许多优点，因稀氆育其 露寄豹褥薤； ( 1 ) 分布存储和容错性。在神经阏络中，要获得存储的指示鲻采掰“联糠”静办 法，静当一令糖经掰络输入令激裁辩，它爱在已存憋麴识串寻找与该辕入黩蕺最静 静存镶稚谖强慕解。鲞然在髂惑辕澎辩，瞧述要经过秘筵璞，嚣不是囊接从避忆中 取出。这驰尝髅方式的优点熄在于若部分信息不完全，域者说丢失或损坏甚黧有错误 的稼息对，象仍能恢复出原来正确的究熬信感，系统仍缝运行；这就是网络其有容错 性和联想记忆功能。自然呈璐出较强的耨棒饿。 ( 2 ) 衰度势嚣姓。神经黯络辨彳亍处理的含义奄星翦的辨霉嬷联税膏缀犬的嚣剔，它 的劳行处理能力是通进分布式结构来实现的，即由不同个数的神经元以及它们之间的 连接形式和方法来表现处理道程。 ( 3 ) 高度的日 线性全局能力。一个人工神经咒可以是线性溅非线性的。非线性神经 元桶亘联接组成的卒孛经阕络裔身是非线性的，丽且这种j # 线畿怒分散在粹经两络的各 处。利用神经网络的非线性可以解决许多非线髓问题。若输入信号所隐含的秘理机制 是嚣线性静，餐天王裙经瓣终 # 线性瓣蘩要馊会筵翔突出。 ( 4 ) 强大的自适成学习锈力。神缀网络嵌入了一个调整自身突触权戳适应外界变纯 的髋力。特掰蔫，一个特定运行环境下接受潮懿懿享率经鹅络，环境象锌楚仡不大辩冒 班谶行蓬新调练。爵虽，当富农一个对变环壤串运露时，网络爵瑷设计隧对麓交纯缒 突皴投徨。翔予模式识捌、铸母处理和控制骢耪经鄹终与它瓣囊适应能力稷念，就可 戳变成能避露巍适皮模式识裂、岛适鹿偿号处理鞠童遥感控铡的有效王其。 垂 大连理工大学硕士学位论文 1 3 神经网络的应用 神经网络具有犬规模并行、分布斌存储和处理、自组织、自适应和自学习能力， 特别遁用于处理需要同时考虑许多因素和条件的、不耪确和模糊的信息处理问题。因 既，秭经弼络豹痤焉镁域菲鬻广泛。蒹应用纛取褥7 令久鞲秘豹避震，特副怒在入工 智能、自动控制、计髀机科学、信息处理、机器人、模式识别、c d a c a m 等方面都 有重大戆应蔫实铡。下覆裂窭一些主蘩蕤应鬻镁域： ( 1 】模式识别和图像处理 印霉l 棼嚣手写字餐谖裂、语音谈裂、鉴字识别、捺绞谖剽、人俸瘸瑾癸攒、委稼 检测与识别、图像压缩和图像复原等。 f 2 控裁耱毯纯 化工过獠控制、机器人遂行控制、家电控制、半姆体生产中掺杂控制、石油精炼 优化投毒4 黯越大觏模祭成电鼹布缝设计等。 ( 3 ) 预报和智能信息管理 股票市场预测、她曩预报、蠢价诞卷管理、借赁分险分攒、i c 卡赞理和交遁管理 等。 f 4 1 通讯 囱适应均衡、回波抵消路由选择、a t m 蹲络中的孵叫接纳识捌及控制等。 ( 5 ) 空间科学 空间交会对接控制、导航信息智虢、行器制导、行程穿优化管理等。 l 。4 本文的主要王佟 熟于优化算法中梯度下降学习规则的b p 算法由予其学习意义明确、步骤分明， 镬器p 耱经潮终其有了广泛静应震秀誊囊。銎裁，b p 捧缀赠终在手写字薅静识羁、语音 识别、文本语言转换、图像识别以及生物学信号处理等众多研究领域中取得了广泛的 成功1 4 ，5 1 。入嬲对b p 襁经网终瓣模式识鄹、分炎规理不甑了织。毽是关于蔻续毒睾经薅 络b p 算法的收敛性问题的证明却不多见。近两年，昊微教授在传统的b p 在线学习算 法非线性模型的确定收敛性证明方面佧了大量工作，并取得了许多重要的成果( t j - - 现。 本文我们给出了多输出的b p 神经两络梯度算法的收敛饿证明。 e b 于b p 神经网络j e 常好的信息处理能力，它已经广泛应用于解决分类问题。输入 表示辩b p 潮绦解次分蒺离题瑟尊静往憨簿常重蛩，诲多辑究者在这方面馓了很多工作。 5 周风麒：多输出b p 网络学习算法收敛性及输出设计 而关于输出表示的研究却很少。因此，本文的另一项内容是提出了一种输出表示设计 方案，即二进制输出表示法。将它与传统的一对一输出表示法和另一种逼近输出表示 法进行比较。测试结果表明，输出表示的研究对b p 网络的性能也非常重要，并且二进 制输出表示法比其他两种方法有更好的效果。同时，文章最后也一并给出了所得结果 的几何解释。 6 大连理工太学碳士学位论文 2 多输出的三层b p 神经网络的收敛性证明 2 1b p 神经网络简介 2 。1 ；18 p 网络基本艨理 b p 麴络楚现庭痤用滠黄广泛的享孛缀网络。窀莱焉毙滑滔纯函数，具有一个或多个 隐层，相邻两层之间通过权俊全连接。b p 学习过程可以描选如下； ( 1 ) 工作信号正向传播：输入佰号从输入层经隐单元传向输出层，在输出端产生输 密稽号，这是工作信号躺正商传播。在信号豹商葡传递遥稔中丽络的投值避固定不变 的，每层享孛经元的状态只影响下一层萼孛经元蛉状态。如鬃在竣蹬层不能缨到期望的 输出，则转入误差信号反向传播。 2 ) 误差信号反向传播：网络的实际输出与期耀输出之间差值即为误差信号。误蓑 信琴出输蠢端歼始运层翔蓠倦撵，这是误差信号静反蠢传播。在误差蓿号庋商传播的 过稔中，网络的权谯由误差反馈进荦亍调节。通过权值的不叛修正使网络的实际簸出更 接i 琏期望输出。 2 1 。2b p 网络基本算法 以缝构为一p 一膨的b p 飕终失剑，其挺羚结构如图2 1 所拳。 图2 1b p 棒缀网络结擒 f 逗，2 1 b pn e u r a ln e t w o r k 7 周风麒：多输出b p 网络学 - - z 算法收敛性及输出设计 选定一个非线性光滑活化函数9 ：r 1 一r 1 ，并按稍后给出的规则确定了权矩 阵w = w 仉p h 。s m ，1 p 尸和v = h ! p p l 。s 之后，对任一输入信息向量f = ( 1 知) r ，网络的实际输出为 p 白= g ( w m r ) = 9 ( w m p 丁p ) ，m = 1 ，m ， ( 2 1 a ) f l 其中隐层输出为 n 印= g ( k 。f ) = 夕( 矗) ，p = 1 ，p ( 2 1 b ) 现在，假设给定一组样本输入向量 ) 刍，cr 及相应的理想输出 ) 刍，cr m ，并 记 ) 名1c 渺为相应的实际输出。定义误差函数 j e ( w y ) = ；o 。j 一8 2 一j = 1 jmp n = 石i 阱一9 ( g ( 鳓) 2 ( 2 2 ) 权值矩阵w 和y 的确定( 即学习过程) 应使误差函数e ( 彬y ) 达到极小。为此，一个简单 而又常用的方法是梯度下降法。取当前权值w 茹的改变量为 一町最 = 町( 暖一繇) 9 ( 取) j = 1 = 7 醒昭， ( 2 3 ) j = l 其中竹 o h 学习速率， 馘= ( 一岛) g ( 碟) ，( 2 , 4 ) 而 p 碟= p = l ( 2 5 ) 是隐层单元对第m 个输出层单元的线性输入。进一步，我们可以得到当前权值的改 变量应为： 一嚣一喜嚣器 8 大连理工大学磷士学位论文 其中 = 卵( 0 5 一酝) g ( 碟) 仰锄9 7 ( 蟛) 靠 j = i m = l j甜 = q 醇9 7 ( 砗) 醺， ( 2 , 6 ) 村 嘭一9 ( 蟛) 蝇，) ，a 溉l 综合p a 上n 论我们看到，应用b p 网络时，所处理的信息( 工作流程) 是前向传攒 的( 见( 2 ，1 ) ) 因此猿为翦传阙络。爵在网络学习阶段，是用谈蓑蛉嚏羼( 或称及商) 传援 来邋层修改粳值觅( 2 3 ) n 1 ( 2 6 ) ) ，因此称为魇向传播( b 8 kp r o p a 9 8 屯i o n ) 算法。 2 1 ，3b p 孺络学习串反注意酶闫蘧 活化函数萝( 茹) 的选择 通常选为符号溺数的光滑逼近，帮s i g m o i d 型函数，铡如 ( 2 8 ) 9 ( x ) = t a l l h ( f l x ) ， ( 2 9 ) 其孛黟 o 怒适当选定的霉数。一般地，潢怒如下性矮的荫数拣为s i g m o i d 瓣数：光 滑，单调递增，上、下有界( 称为饱和性) 。饱和值可以怒0 1 ( 例如( 2 8 ) ) ，也可以 是士1 ( 例如( 2 9 ) ) 。以上列举的两个黼数还有一个特点，就是寅们的导数值可以由其函 数德绘蠢，这一往袋存稻子减小计算爨。 当然，也可以选择其他活化函数例如，径向基函数、小波函数、样条函数等等。 这夔丞数在禁些遥主鏊往囊方疆可能t 之s i g m o i d 型丞数好，毽爨s i g m o i d 型函数戆簧耱 性( r o b u s t n e s s ) 更好。 另外，( 2 。1 ) 中群层的活他莓数可以选成不楣厨戆。剿如霹以将( 2 1 a ) 中熬擘。) 选必 线饿函数。 初贻粳俊的瀵取 初始权德o ，俨通常选取为接_ i 驻于零的随机数，太大的初值可能使系统过早地陷 入饱和区( 例如对于s i g m o i d 翻数g ( x ) ，当吲较大时，譬( z ) o ) ，不利予进一步学习。 9 繇 1 l = ，” 周风麒：多输出b p 网络学习算法收敛性及输出设计 学习速率n 的选择 在梯度下降法中，学习速率( 或步长) 田如果太小，则收敛速度很慢；如果q 太大， 有可能引起迭代杰的剧烈震荡。卵的选择并非易事f 9 1 1 1 。下面的所谓的自适应规则是 常用的。在每一步( 或若干步) 权值迭代更新后，给当前的叼值一个改变! t a r ： ，7 。 叩 如果e 0 ，等警是正的或负的( 表示误差函数随权僵分量的 增大而增大或减小) ，则相应地( 。) 减小或增加。a 1 时，式( 2 1 2 ) 容易发散。口 0 9 为1 ，y t ( 0 1 为o ，即每个样本的期望误差定义为= ( o 1 ) 2 = o o l 。样本输入氇必须进行l 翳一纯怒瀵，使魍一纯螽豹样本输入萄筐为零。勇夕 ，痿 使用定成分分析等方法，尽鬃使各输入变量不相关，麓输入变量的协标准差也棱近相 等，鞋疆揉各投蓬斡收敛速菠大致稳鞠。对数据预箍壤的嚣鹣壤褥裂浆数撬蠢联手捧 经网络学习。 2 2 收敛慷证萌 2 。2 + 1 亏l 誉 我髓考虑多输出的三层簸镄神经网络，冀输入层、酶层、输出层黝神经单元个数 分剩沟q ，p t 。假设稍练祥本集为 驴，) 叠1c 蜉f 。输 罄与隐屡之瀚豹权踅 阵记为y 一( t 钿) p 。o ，其中一( 咋1 ，2 ) 穿r o ，p = 1 ，2 ，p 。隐层与输出屡 之蕊翁连绩数短阵势w = 鑫) 蓼。尹，萁孛碱一被l ，锄p ；r 嚣p ，t = 1 ， 记口：r ，酞为隐层梅节点的激活函数，：豫一砖勾输出层备节点的激活函数。 必了表法簿潼，辩x = 茹l ，茹p ) ? 秽，我髑孳l 入囊量葫数g 晖) g ( x ) = ( g ( 茹1 ) ，g ( z 2 ) ，一一，9 ( z p ) ) t ( 2 1 5 ) 样本辫输入矮终蓐，网终豹实际簸出巍 露= ，( 毗a ( v c j ) ) ，t = 1 ，2 ，t ，= 1 ，2 ，一 ( 2 1 6 ) 定义误差丞数先 ， j? 居( w ；v ) ；( 叫一，( 叫t o ( v c j ) ) 2 ( 2 1 7 ) 一j 2 lb i 神经网络学习韵目的楚确定和矿使得误差函数e ( 弼y ) 达到横小。为臧，一个 简单而又常用的方法是b p 学习算滁( 即梯度下降法) 。为简化书写形式，我们作变 换秀t p ) = ( g 一，( 茹) j 2 ，噩g 误差函数变成 f ( 巩y ) = 芝：矗t ( 毗g ( v f ) ) ( 2 1 8 ) 1 2 大连理工大学硕士学佼论戈 那么，对藏形，y 静撵发函数分稍为 j ! 弹；矿) 一蓐( 玩+ g ( y ) ) 落( ；7 ) ， j 兰l jt ( 彤犷) = 蜀( 她g ( 皑) ) 鲫( 晦，f ) ， j = 1t 尝l 镁意缭定麓篷w 。m t 。产释y 。蠢。母，b p 学习冀法的掇藿镑改簸筵l 鲡下 训r 1 一时十埘? ， ? 一一晟( ”，v “) ， 哆+ 1 一喀十喀，哆一一日，( i 俨，犷飞 箕中是第扎次诩练的学习速率。任绘一个初始值，7 0 0 ，援如下规律变化 二= _ = 一+ 筘，耗= 1 ，2 ，盛 0 ， 獒中缪为攀数。对于学习速率的涎论w 鞋参见 1 5 1 。 为了简化证明过攒，记 酽j = a ( v “c j ) 一i l a w ； 1 1 2 ， t = l 妒- j = v n + l d 一伊j p 嵋= 4 俐2 # l 我们首先给堪本文所辩要的几个假设： ( a 1 ) 】口( ( g ) l q ，k 一0 ，1 ，2 ，敢； ( a 2 ) | 蹬( 窖) sq ，一0 ，l ，2 ，1s j z1s t z 歉 a 3 ) 女蠼4 q ，1 曼t t ，n = l ，2 ，、t ； ( a 4 ) i | 哆l lsc 1 ，1 p 茎p ，n 一1 ，2 ， 2 。2 。2 主要弓l 璎和收敛性定理 l l 理2 1 菪条 牛( a 1 ) 一( a 3 ) 裁立，羹存京常数s 0 使 l l a ( z ) l l g 嚣舻， p 缈。1 2 c l 冽2 ， m 酬刊 剐，一i v w i l 2 ) 篆 p + n 口盎j 1 3 ( 2 1 9 a ) ( 2 。1 9 b ) ( 2 2 氆垮 ( 2 2 0 b ) ( 2 2 1 ) ( 2 ，2 2 ) ( 2 2 3 ) ( 2 2 4 ) 周风麒：多输出b p 网络学习算法收敛性及输出设计 证明：m ( 1 1 ) 和1 ) 知( 2 1 ) 显然成立。 对每食7 = 1 ，2 ，j ，由( 1 1 ) 和1 ) 有 炒。临q l l 训 根据c a u c h y s c h w a r t z 不等式得 桫。1 1 2s 慨i l z x v ；1 1 ) 2 g i l z x v ；1 1 2 从( 1 7 ) 得 丽1 ，结合( 2 1 9 ) ，( 2 2 0 ) y 阳( a 1 ) 一( a 3 ) 知i i “删 等，争硎 p t c l 3 扣慨 导， 其中国= ；j p ( c 1 ) 2 ，c 3 = p t ( c 1 ) 3 耋，l i p 盼因此 到州( p 删 ( 鲁) 2 等 令c = m a x c 2 ，a ) ，则 m a x 钏t 嵋忆i l 哆1 1 2 0 ，使 l + l 一l 芏， 则 l i m = 0 引理2 3 设h ：r 耳- + r 在紧集d 上连续可微，假定h 在d 中的临界点集v = f 。 d i u h ( x ) = o ) 是有限的，若序列 矿。) ：1cd 满足 击粤琵l l z ”+ 1 一z ”i i = 0 ，。l i 。m 。i l v h ( x ”) | | = 0 ， 那么存在矿v 使得 l i mx t m = 矿 定理2 1 设条件( a 1 ) 一( a 3 ) 成立，并且对任意给定的初始值w o m t x p 和y o m p 。o ，权值序列 ”，v “) 由学习算法( 2 2 0 ) 生成，则当n 足够大以后有 e ( w ，n “，v ”“) se ( w ”，v ”) 另外，存在e + 0 使得下式成立 熙e ( 胪，v “) = f 1 4 大连理工大学硕士学位论文 诞翳：对每个j 一1 ，2 ，j 稻n = 0 ，1 ，2 ，应溺泰鞠公式褥到 g ( w 1 - ) 一尊( 喀) 一矿( 哆+ 乎) ( 喀+ ) + ；矿( ) ( 喀) 2 ， ( 2 ，2 5 ) 其中= ( 岛罐+ ( 1 一岛) 哆+ 1 ) - f ，( 0 ，1 ) ，p = l ，2 ，p 。根擐( 1 ，1 ) 积( 2 。2 5 ) 鸯 船? 妒”。一崤( 嚯”) 一擘( 哆) ) p = l p ，、 一赡f 矿( 唁) ( 哆* ) + ；( o j ) ( 哆- 乒) 2 ) p = l 、， 上式结合( i 5 6 ) 芹日( i 6 b ) 得 一磊( 婶酽。替；( 矿( 哆t 护) 瑶f + ；矿 每j ) ( 喀。) 。) 、 p 。挚 0牢 一去刭哆1 1 2 + 兰2r ：。1r j = i t = l 层( 3 n d l g n ( 1 , l w ，n ( ，舭v p f ) 2 ( 2 2 6 ) 从中值定理和( 2 1 9 ) ，( 2 2 0 ) ，( 2 。2 6 ) 我们推出 e ( w 州，矿+ 1 ) 一e ( w ”，矿”) 一( 疗t ( 叫件1 g ”+ 1 ) 一矗t ( 伽? 伊。) ) 2 著j 善t ( 磊扣1 x 蝣“g 噼1 。一铷? ，。) + ；嚣) ( 妒1 l g - + l j 一孵g ，l 。) 2 ) 一蓐( 嵋g “。) 叼一+ 苏g “j ) w 7 十岛( 婶伊。) 昭- 妒。+ ；阮，) ( 婶l + 1 j 婶- 伊。) 2 一去喀“删| | 2 + 刭删| 2 ) 城幅娟， ( 2 2 7 ) 其中 h o = 也铷? - ，+ ( 1 一也) 孵”g 卅+ “，也( o ，1 ) ， 趣= ；最( 训? g “。矾) 吗( 喀- ) 2 ， 1 5 j 妒露挑 伊 n t# r 黼 ，域 髑风 | 奄| i ：多稳积b p 网络学髯算法姨簸经及输凄谈诗 如一苏( 蝣，。) 衅- 皆蝴， 。，t 如i 嚣1 埘一瞬铲3 ) 2 “j ；l 镕l 、 痰c a u c h y s c h w a r t z 不譬式辩( a 1 ) 一( a 3 ) 躲 箕中岛一错毛ll 搿积又国芍 毽2 1 恭l c a u c h y s c 7 l 训酊缸不等式褥 如曼 如l 曼n 1 1 a w ? l l l t 扩。1 1 j t l 镕1 ，r 曼；饶曲避1 2 + 1 1 妒- 。i 1 2 ) 扣l 括l ，掌 产 、 冬c 8 i i a w ： 1 1 2 + t i a , , 爹t 1 2 ；， ( 2 3 0 ) 其中懿一m 馘 j 晚， t j c c l 函g l 壤2 1 翻强3 ) 毒下式成立 铲+ 1 j 一皖* 唧 = g l | t 堙- g “。+ 堞妒“。l i 2 c 1 c 2 ( 1 t a w ； l l + l | 妒。l i ) 2 国 l t a w ? l t 2 十l i a v ； 1 1 2 ， ( 2 ，3 1 ) 其中岛一2 c 2 g j t 。令c 一侥十酝+ q ，则从( 2 。2 7 ) ，( 3 2 8 ) ，( 3 t 2 9 ) ，( 3 3 0 ) 易鳎 e ( 秽时1 ，y ”1 ) 一e ( w ”，v ”) 一去( 善| | 蝣8 2 + 薹8 剖2 ) + g ( 萎| | 蚓| 2 + 蚤蜊2 ) 。，t p ， p 、 一( 去一g ) ( 砉* 婶酽十耋”哆泸) e z - s 。， 1 6 2 喀 p 剐 饶 一 最 一 娃 嗲 r 域 ，芦 q g 珏n o ( 2 。3 3 ) 剩用( 2 3 2 ) ，( 2 3 3 ) 得 s ( w ”1 ，y ”) 露( 妒，v ，铭n o ) ， 又联舻，“) 0 ，羁一l ，2 ，敬存簌秽满罡 ， 熙嚣( 秽，v “) = 扩t 得谣。 口 定理2 2 设条件( a 1 ) 一( a 3 ) 成立，对缒爨的初始值w 。搬。产教v o m p x 瑶，投 健序n w - ，“蠹学习算法( 2 2 0 ) 生戏，员l 奢 l i m 蠢( ；矿”，y “) 一0 ，1s # 鬟瓦 2 3 4 ) l i ml 熙。( 胪，矿) 8 = 0 ，1s p 篓p ( 2 3 5 ) 诞爨：擐攒( 2 3 2 ) ，( 2 3 3 ) 褥 f e 妒”，1 ，曼嚣e 妒，矿，一e 去一a ( 娄忪酬2 + 耋峪删2 ) 茎职驴_ 1 ，v 州卜( 击一圆( tl 嵋2 + 蚤pl 唁。0 2 j 。、 一；= 1 一d ) l l 嵋| | 2 + l 则 ” l ；1p l s 露( w 越，矿蟪) 一( 去一e ) ( a i + 迸) ( 2 3 6 ) 瓣任意椎= 0 ，l ，毒联拶”+ 1 ，v ”1 ) 0 ，皴 露( 糯，v ) 一( 圭一c ) ( 盯i + ) o ， ( 圭一) ( 盯i + 以) e ( w n o , 矿) 令n o o 并更换稽标脊 ( 一g ) ( ? + 疃) 曼居( w 挑，v 蝻) o 。， ( 2 3 7 ) n 。帕4 “ 从( 1 7 ) 得 恶鬻一熙荤芸警司， 江 髑氮麒：多输i 籍b p 两络学帮算法袄敏性及输出设计 密( 2 t 3 7 ) 积( 2 3 8 ) 舞t 。 薹壶( 赡+ 霹) 0 搜褥赤 镰e 娜么 耋去忪婶1 1 2 s 耋嘉霹s 萎o o 丽1 杖十醴) 魄耋去娥+ 砖) 。， ， ( 2 3 9 ) 妻n = l 扣玩。( 妒，妒2 一薹到一磊1 蹿1 2 手。= i 去r | | 婶萨 馘 ( 。鼬) 檄撼弓l 壤2 。l 黟孛镶宠理褥 | i i e 。( w 州，v 州) | | _ | | ( 妒，v ) i i | | | 彤”1 ，y 州) 一( w “，v ”) 一| 苏( w f l ，1 。) 铲+ 1 。一苏( 婶+ 伊。) = 1 l ( 婚( 嵋+ 1 g - + 1 。) 一珏( 嵋。) 】。+ 段( 嵋”_ 伊+ 1 。) 妒州) l l 曼g ( 裂t t 绺嘏w t n + l g 蚺一”? 。) t l + 8 妒。的 s c ( 岬十1 妒“。+ 州 俨。| | + 0 扩。) ，塞嚣c ， 1 ) 其中鳓兰蛾嵋g 哪十( 1 一慨) 蝌十1 g 婶+ “，镪( o ，1 ) 。利用( 2 。4 姑( 2 。4 1 ) 放弓l 耀2 2 褥 亲黧蜀t ( ”，v ”) 2 o 同臻， 熙( 秽，v “) 一o 缀证。 口 令妒= ( 蝴f ，婶，孝，醇) 。竣定理2 ，2 孛囊奄条 譬及( a 4 ) 都成立，刚影d ， 蒸中dc 鼯+ p + 尹婚是菜一紧榘。 定骥2 , 3设定理2 。2 中疑饔条伴及( a 4 ) 都成立，势照b 一 形z ) t v e ( w ) 一 0 1 只包岔商限个点，则存在一点彬+ d o 使褥 l i m 霭m = 影4 ，( 锫_ o o ) 。 嘶 1 8 太连理工大学颈士学位论文 证明：由( a 1 ) ( a 3 ) ，( 2 1 9 ) 一( 2 2 1 ) ，可知 l 罅机一蚓i 等，9 矿1 一铡蠢c ，礼= o l ， 故 t i m | | 霹+ 1 一霹| | = 0 ，1 t 霉 n 一” 。1 桌恐| f t 爹+ 1 一喀f l = 0 ，1 p 墅p 从糯 熙l l 妒+ 1 一形”| l = 眦州? + 1 一嵋) t ，( 时1 一嵋) r ， r 1 一” ) r ，秽1 一。) t ) | | 一0 。 根据( 2 3 a ) 和( 2 3 s ) ，我们得到 兰鹜l 池( 彬”硼= 魄 ” ” 其中v 嚣( 谚”) 一( 风，( 缈卜，( 彬) ，风，( 形) ，风，( 奶) 舻舻十 曰。 ( 2 4 3 ) 和弓 理2 。3 ，存在形d o ，往褥 i i m 驴一彬+ 忭 褥疆。 ( 2 。4 2 ) ( 2 4 3 ) 综台( 2 4 2 ) ， 口 周风麟：多输出b p 网络学习算浓收敛憧敷输出设计 3b p 网绪解决分类问题时的输出屡设计 3 1 传统模贰分类嚣 分类目遂鼹数据挖掘、模式谖剐和辊器学野领域