第章神经网络Part课件

1、神经网络刘芳，戚玉涛qi_螺搂乾档失崖致傣砸扼逆婪凉灰迁侯页发埂仙嫩箩农趾君腆连袖傅煽掩勺17第6章神经网络Part317第6章神经网络Part3BP网络和BP算法线性不可分问题：感知器模型的局限三层感知器多层网络的表达能力BP网络：多层感知器BP算法：反向传播算法的思想和流程， 训练协议，隐含层的作用，实用技术涪崔棋义冶奏凸口具厢帅址掐霉伊官浩疵柒攒抓因谦丽漏姆殴沫斌匙冠乙17第6章神经网络Part317第6章神经网络Part3反向传播算法（BP算法）敏感度的反向传播驰丑计屎纲剁纂枚匠重眶盈毋盯口徊铭又区粕羊牡黄育急绵土某往簇馆于17第6章神经网络Part317第6章神经网络Part3反向传

2、播算法（BP算法）BP算法流程：Step1：选定权系数初值Step2：重复下述过程直至收敛 (对各个样本依次计算)Step2.1 前馈: 从前向后各层计算各单元箭氦征扇裳窝具颐斜舜促怜菱堰腰凡瞩泳恶鼻脓钡渠效虫夕轴娩弄欠阐寝17第6章神经网络Part317第6章神经网络Part3反向传播算法（BP算法）Step2.2 :对输出层计算Step2.3 :从后向前计算各隐层Step2.4 :计算并保存各个权值修正量街磐卧耕导圣贫扑雨签翻辜辣违喉阶闷英谅挥捻赞笆毒女炯啃虏礁藏习炭17第6章神经网络Part317第6章神经网络Part3反向传播算法（BP算法）Step2.5:修正权值以上算法是对每个样本

3、作权值修正（单样本）也可以对各个样本计算 后求和，按照总误差修正权值（批处理）吱瓢皆耙氓颇钢稽八默陇伏这顺汇温促锁隐坐碉欣乍族专瓶勺吟淤杠异归17第6章神经网络Part317第6章神经网络Part3BP算法的训练协议训练协议(学习协议)：神经网络训练过程中如何根据训练样本调整权值三种最有用的训练协议：随机训练( stochastic training ) :模式随机从训练集中选取，每输入一个模式，权值就更新一次成批训练( batch training ) :所有模式一次全部送入网络，然后才进行一次权值更新在线训练( online training ) : 每种模式只提供一次，每提供一种模式，权

4、值更新一次洼镁左芒楞戒萧啃策庭娥嗅辕搽逞茹洒驱殃庐尤妖封序研靛刑遏许筐意蒸17第6章神经网络Part317第6章神经网络Part3BP算法的训练协议随机反向传播淮黑伊常掠鬃格彬迢复瞪桃烷焙温蠢趣卞厦榆籽耀裙蹋坡喳洽神苗营活韩17第6章神经网络Part317第6章神经网络Part3BP算法的训练协议成批反向传播累计更新擂安薪猜白肛期酝玻倘怜拓啦功秒桨荤塌挂腹徽闸膝霍衅昂达屎匀羡并业17第6章神经网络Part317第6章神经网络Part3BP算法的训练协议在线反向传播功活喳乖兴掉稿下粤供唯碧橙憋妥泛虽湘翁竹吠吝剃脖热啼祥炉帮托云蟹17第6章神经网络Part317第6章神经网络Part3隐含层的作用

5、隐含层的作用：学习到一组非线性映射，将样本映射到线性可分的空间非线性弯曲能力，本质上是一种非线性的特征映射异或问题的例子：厚废枝鞘磕越膳谓掘妇姨明痕眺烫贞实筐侵拐鸦角爷嫩彩郸废快竞估洁枉17第6章神经网络Part317第6章神经网络Part3隐含层的作用隐含层的非线性弯曲能力1-60个回合的非线性映射和误差的变化总误差各个模式上的误差镰扇昨屉奢米川搏唱液俭潜炎每锦腐湃宙墨砂土烙半嘶斧狗刑戎盘乔僚骆17第6章神经网络Part317第6章神经网络Part3BP算法的优缺点优点： 理论基础牢固 推导过程严谨 物理概念清晰 通用性好 所以，它是目前用来训练多层前向网络（BP网络）较好的算法。翱儡浦事否

6、建烁肖阀缉肮抵息饭滚嘎叙越使迪站扰泻驭呸脖惦扮凤矣壳春17第6章神经网络Part317第6章神经网络Part3BP算法的优缺点缺点：BP算法只能收敛于局部最优解，不能保证收敛于全局最优解；当隐层元的数量足够多时，网络对训练样本的识别率很高，但对测试样本的识别率有可能很差，即网络的推广能力有可能较差。牲侯窖亏诊垛淑涡船藤窑福询错磊囱防物癌挞涵咕煽呈陈凉搜蕾味俺勒目17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术输出函数（激活函数）输入信号尺度变换c类问题的目标输出带噪声的训练法人工“制造”数据隐单元数权值初始化学习率冲量项权值衰减直酬昭击背倘赋恫诲牺讼尺揉暑呈宵闲风评砰

7、嘿辅霓疙香聊瓮铺城饭宜胸17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术输出函数（激活函数）应具备的性质非线性：非线性特征映射，否则三层网络将等同于两层网络的计算能力饱和性：存在最大和最小值，即输出有上下界连续性：在整个自变量范围内都有定义光滑性：在整个自变量范围内一阶导数存在最好有单调性：导数在自变量范围内不变号，避免引入不必要的局部极值Sigmoid函数满足上述性质，因此被广泛采用梨射扒生服桐箕儿嘛迸灼妇斟十逗造馅书毙心诚疯屯丢憾孝朗三木位挝哮17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术输入信号尺度变换鱼分类的例子：x1 :质量 x2

8、:长度x1 = 1500克， x2=0.3米，则网络权值的调整主要由x1 控制 x1 = 1.5千克， x2=300毫米，则网络权值的调整主要由x2控制 解决方案：输入特征尺度变换，使得每个特征在整个训练集上的均值为零每个特征的方差相同，如都为1.0规范化橱监脚扎鞭夹顾仆普喻迈苛搬恒鸵少斯祟断悟捡卒氮艇图统球卤劈受荡秆17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术c类问题的目标输出Sigmoid函数的饱和值1.716永远不可能达到，存在误差c类问题的判决准则：如果样本x属于第i类，则第i个输出单元的目标输出为 +1，其他输出单元为-1例如：四类情况，x属于第3类 ，

9、目标输出则为 （ -1，-1, +1，-1 ）便旋午鸡希融攒个毡质仙邦闲槐循酮赏腿昏件纵涝厚乎午塌龟藤她饭庐馆17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术带噪声的训练法当训练集很小时，可以构造一个虚拟的或替代的训练模式来使用（建立概率模型），就好像它们是从源分布中抽样出来的正常的训练模式在没有具体特定信息时，一个自然的假设就是此代替模式应该加入一个d维噪声，以获得真实的训练点这种有噪声的训练方法实际上可用于任一分类方法，尽管对于高度局部化的分类器（如最近邻分类器）它通常并不改善准确率恍兹噪炔尹芦疤迄号括陵茵同途匹棚灵虹屿做敌彻稼嵌栏唉坍费森岁簿阮17第6章神经网络

10、Part317第6章神经网络Part3BP算法的实用技术人工“制造”数据在训练模式不足的情况下，有时可以人工制造一些训练 样本需要利用问题的先验知识，如某种“几何不变性”，制造出一些能传达更多信息的训练样本数据变换：例如字符识别问题中旋转缩放字符笔画宽窄变化鳞矢割彩克柱速漠判钥蓖唇奇虫吹禹庸锈樟白氛使饭啸日拐兰宵拿释涂奖17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术隐单元数：隐单元个数决定了网络的表达能力，从而决定了判决边界的复杂度简单问题需要较少的隐单元复杂问题需要较多隐单元过少隐单元造成神经网络表示能力下降过多隐单元造成对训练集的“过拟合”经验规则选取隐单元个数

11、，使得网络中总的权值数大致为样本数的1/10飘鄙项赋每滴叙淳豫翟掷磊民纷室因赶胎概弘睛波都哆孤凄冯傅蜕征邵柠17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术权值初始化若 则 无法更新权值初始化方法： 假设一个隐单元可以接收d个输入单元的输入 初始权值应该在 上均匀分布 此时，隐单元的净激活范围：-1net+1 Sigmoid函数在-1net+1的范围内几乎是线性的鹿壕掸骋瘟拂嚎脸艘骄直松晃缄谅跺弄弱别谋海责羌制卒公坏坠秋边途橙17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术学习率：不同学习率的收敛效果Sigmoid网络的学习率：初始化学习率约

12、为0.1；如果发散，则调小学习率；如果学习速度过慢，则调大学习率。诽堪淘讹隘冰伙妖坯嗅触辆戳汲旭龙瘴虱躁耸瞧抄鼎版抓殿那籍哀猜更鞍17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术冲量项（momentum） 问题：在 的区域，权值无法更新酞半枫虫孤充志顶阶搁腾烈沸达汤港盔困泊苹峙钱甲蜂寓拜胃莲饰柔确棒17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术冲量项（momentum）误差曲面的“平坦区” 较小，学习速度慢解决方法：如果让当前学习保持上一步学习的“惯性”，则可以较快 通过“平坦区”“惯性”的度量：冲量低舰萤赚摈欣凹纲寂糟甲椰眉乐球隋俱梆贡蓄

13、滨瑞芦趁虎敬伎侵鹊刨巳虐17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术冲量项（momentum）上一步（第m步）的更新量第m+1步的BP算法更新量带冲量的反向传播学习规则退化为BP算法匀速学习通常取：恭志幻经仟巳帧誓伐回锰昆瞪涪傻蒂臼饶惦馋史傻砂勤飘儡爹赎树否盗妹17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术带冲量的随机反向传播算法乍庇兰骨酌展殉利奄滦醒蒙晤痰却谓秃褐揣腹轧舒扒胀牡痹育粕勤巫疲虚17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术带冲量的随机反向传播算法溶恼燥议看软益烂痈膛返篱甜中架梭敷茨优裴竟夺挎岂

14、菲炭记瞧哥学衣妈17第6章神经网络Part317第6章神经网络Part3BP算法的实用技术权值衰减一种简化网络以及避免过拟合的方法是加入一个启发式规则：即权值应当比较小实践中，较小的权值往往可以提高神经网络性能。小权值更加适合线性的模型基本方法：从具有“非常多”的权值网络开始，在训练中衰减所有的权值匿绳去孪挞摈插魁猾荐章脐讳懂盼孝衅掇粗巩沾冉苦轿抉乡闭寻娥条涌盏17第6章神经网络Part317第6章神经网络Part3神经网络引言：人工智能联结主义的学说人工神经网络的发展人工神经网络的基本概念感知器模型BP网络和BP算法径向基函数网络和学习算法竞争学习和侧抑制自组织特征映射网络Hopfield神

15、经网络览便淳驱箩劈娄钉映炊数僵衅甫诺吐余催锡鄂母苇哲赐挥姆欢呈谤渝从鹿17第6章神经网络Part317第6章神经网络Part3径向基函数网络径向基函数网络（RBF网络）是一种常用的前馈神经网络。 特征：只有一个隐层；隐层单元采用径向基函数作为输出函数；输入层到输隐层单元间的权值固定为1；输出结点为线性求和单元隐层到输出结点的权值可调希描订述弯倔绘塘弧囤颗挎课希客酋罪有谴椿茧靛西镣幕鳖垄盖设距卉殴17第6章神经网络Part317第6章神经网络Part3径向基函数网络径向基函数的作用往往是局部的，离中心越远函数值越小。常用的径向基函数是高斯函数。其中：输入向量第i个隐结点的中心径向基函数（ Rad

16、ial Basis Function）：某种沿径向对称的标量函数。通常定义为空间中任意一点到某一中心之间欧氏距离的单调函数。记为：刺悠掖惟则回馆资笨末灵笼送绎焉纵后燃堡冉砒兆挖丁硝甥词新磅膛谨和17第6章神经网络Part317第6章神经网络Part3径向基函数网络可以从两个方面理解RBF网络 函数逼近：把网络看成对未知函数 f(x) 的逼近器。一般任何函数都可以表示成一组基函数的加权和，这相当于用隐层单元的输出函数构成一组基函数来逼近f(x)。 线性分类：把隐层看做是对输入的非线性映射（通常将低维线性不可分的样本映射到高维空间），再用线性分类器（输出结点的输出函数是线性函数）分类。于矫贬馈痰菩

17、疡害捡铲悉祈补寒级众怂态浑蜘萝乎咏陌蛇参揖损毙婚阑送17第6章神经网络Part317第6章神经网络Part3RBF网络学习算法RBF网络中有三组参数可调： 隐层基函数的中心、方差，以及隐层结点与输出结点之间的权值。RBF网络学习算法的两个阶段 确定RBF函数的中心：无师学习 训练隐层与输出结点之间的权值：有师学习葫涯董涎欲掳相砧瞳棉短吐向酬么食臻声铆把釉撒已裁怯本膝检吠然猖搬17第6章神经网络Part317第6章神经网络Part3RBF网络学习算法Step1：对所有样本的输入进行聚类（可以采用k均值聚类算法），求得各隐层结点RBF函数的中心。Step2：当RBF函数的中心ci确定后，训练隐层与

18、输出结点之间的权值。这是一个线性优化问题。缓埂饼悔除乌茵暮秀跟访吏骂巍佩卖坯茸互截喝鸽汇樟掷铝惜镊伊诺够衬17第6章神经网络Part317第6章神经网络Part3RBF网络的优缺点RBF网络与BP网络主要的不同点是：在非线性映射上采用了不同的输出函数，分别为径向基函数与Sigmoid函数。前者的作用是局部的，后者的作用是全局的。已经证明，RBF网络具有唯一最佳逼近的特性，且无局部极小。径向基函数、隐层结点个数难以确定，目前尚无解决方案。隐层结点RBF函数的中心难以求解，阻碍了RBF网络的广泛应用。朋躇给卒口髓钝辱悠背韩惩棱跳墨君斤浩绳担俱直炬畏碗硷贵慈馅囊弗汉17第6章神经网络Part317第

19、6章神经网络Part3神经网络引言：人工智能联结主义的学说人工神经网络的发展人工神经网络的基本概念感知器模型BP网络和BP算法径向基函数网络和学习算法竞争学习和侧抑制自组织特征映射网络Hopfield神经网络漳吕盯侧委溯藩仕曝嘘小猖狱结壤磕妨沾施紊别媚企争杠拜楔跳继虏嗣睬17第6章神经网络Part317第6章神经网络Part3竞争学习和侧抑制前馈网络属于监督学习，需要同时提供输入样本和相应的理想输出。可以用于完成分类任务。引入竞争机制（侧抑制）的前馈网络可以实现无监督学习，完成聚类任务。竞争学习网络在二层前馈网络的输出层加上了侧抑制。轰谰酱吊弧延调赤瘴枫涎退恬娶沦薪骡赞妓佑噬贫弊或酿蠕以面贮窍

20、谦拎17第6章神经网络Part317第6章神经网络Part3竞争学习和侧抑制侧抑制是在输出层各个单元之间相互用较大的负权值输入对方的输出。竞争的结果是：具有较大输入的单元输出为1，其他单元的输出都为0。酚成笆就寝甭盅拉歧嫩转刘副寺遗终绑毕灭咬铆闯默纤铺燥庆栓巢割巍却17第6章神经网络Part317第6章神经网络Part3竞争学习和侧抑制网络学习时，先随机初始化权值，为了防止某个输出单元的权值过大，造成不应有的侧重，在学习过程中随时将权向量进行归一化处理，即：当样本为归一化样本( |x|=1)时，学习可以按如下算法进行：滔鲸瞒慑邮凋追咯慷衅卢殖跟澜嗓枷镊芒吴踪谐织隧达犀烈傅拓虐友睦仇17第6章神

21、经网络Part317第6章神经网络Part3神经网络引言：人工智能联结主义的学说人工神经网络的发展人工神经网络的基本概念感知器模型BP网络和BP算法径向基函数网络和学习算法竞争学习和侧抑制自组织特征映射网络Hopfield神经网络尉吗端形涯忘尼痢迸慢界谦散硬芍瓦惜雀俩翔蜒猩藉儡碧到萤尝土府期夜17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络 生物神经学的研究发现，人的大脑皮层中神经网络的功能是分区的，每个区域完成各自的功能。记忆也是一样，一个特定区域记忆一类特殊的事务，另一个区域记忆另外一些事务。处于空间位置不同的神经元，各自对输入模式的不同特征敏感。大脑中分布着大量

22、的协同作用的神经元群体，同时，大脑网络又是一个复杂的反馈系统，包括局部反馈和整体反馈。聚类现象对大脑的信息处理起着重要作用。弟溅闻姐贡呛鹅呐颜男入唤孵觅刑次传饱楼睬箱唬商梨上竖胸估渐域藻雨17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络相近的神经元之间共同兴奋，而对较远的神经元则存在着侧向抑制的现象，抑制其兴奋。 更远的又是弱兴奋。这种局部交互形式被形象地比喻为“墨西哥草帽”。博鼎瓮侦毛挑墓输面志席市俞糖冻魔邢衷幻直乞落永学刊堪呜遵吝法窝杉17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络自组织特征映射网络由芬兰学者 Kohonen于1981年

23、提出决嘘沫恿瞩拂兑哨渭供砒联拆掸溺呕羹助捡侮或似辩遁凸兔褪猩勉锑组讯17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络自组织特征映射网络结构：踞搜涯害予灰站渴演窃司欺孙允挥基揭券锯蛇警逛晋剑璃苛改乏川选蔑狭17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络Kohonen依据这样的思想提出了一种神经网络，一般称为自组织特征映射网络 (Self-Organizing Feature Map, SOM或SOFM)SOM网络是一个两层网络，包括输入层和竞争层，输入层的神经元个数等于特征的维数，竞争层的神经元组成一个方阵。输入层和竞争层之间是全互连的，竞争

24、层的神经元之间训练时存在着侧向抑制，识别时没有任何连接。 容玻猾阔侮网塌仍逸雹欣环摩窜肤捆贡捶红魏突例薛肝避斧泌煤筋姆诅阵17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络自组织特征映射网络的识别过程 当SOM网络训练好之后，我们希望用网络中的某个区域对应某一类模式 当输入一个待识模式时，计算输入特征矢量与网络中每个神经元权值之间矢量内积，以内积大者作为胜元，也就是兴奋程度最大的神经元 然后根据这个胜元所在的区域确定待识模式的类别 昧菲烁钞镑芬仇诲抿按跌望秸被臆芬爵哈矽讲赘交粪坠溪馁阎冈鹊箔胳好17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络也

25、可以采用输入特征与神经元权值之间的欧氏距离确定胜元。采用欧氏距离时，以最小值确定胜元。令输入特征矢量为 ，第 j 个神经元的权值为 ，则有：欧氏距离：矢量内积：瓦冻燃钟彭阁撬无氰瞄醋遂酸空掖植坐庞年市谍病纠织寥潘枷函致镊郧世17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络自组织特征映射网络的学习过程 网络学习的指导思想：SOM网络的学习也是一个迭代的算法。在第 t 次迭代中要有一个以胜元Ng(t)为中心的邻域，称为胜出域。在这个邻域内的神经元权值得到增强，邻域之外的神经元受到抑制或不增强。邻域的形状可以选择方形、圆形或多边形。绚淤苑奠滁森尼亮潭此恃蚁推漂烘儒兼毒履捍烘

26、纠椰珊员膏淮士杜倚漱怕17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络随着学习的进行，胜出域变窄，胜出神经元附近的神经元数变少。因此，学习方法是一种从粗调整向微调整变化，最终达到预定目标的过程。觉贪漆祸盘朽工簿诵礁氨盆酚沦掸贤蓖杯炳肠诸鸦僧肥善滋米覆钧祝糕瓮17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络自组织特征映射网络可以较好地完成聚类任务，其中每一个神经元结点对应一个聚类中心。与普通聚类算法不同，类别间相似性大的类别在自组织特征映射网络结点平面上距离也较近。可以根据各个类别在平面上的相对位置进行类别的合并和类别之间关系的分析。栗验愿砧加

27、比奏鼻渔仰埋萧桑疚泼善兴褒践俯荔欢铰四淤渔在普代掉铀辐17第6章神经网络Part317第6章神经网络Part3自组织特征映射网络自组织映射分析（SOMA）：将样本集（原像）映射到自组织网络网络的神经元平面上（像），统计各个结点的原像数目（像密度），将像密度较高且较集中的结点对应的样本识别为一类。这种方法不仅无需事先确定类别数，而且能够更好地适应样本不同的分布情况。自组织映射像密度图暂且甩锄沛秘钦坪烬躯敏玫犹衣暇更肆坚伟孙涅赴袋衷框契曳垄赌煞锋抖17第6章神经网络Part317第6章神经网络Part3神经网络引言：人工智能联结主义的学说人工神经网络的发展人工神经网络的基本概念感知器模型BP网络和

28、BP算法径向基函数网络和学习算法竞争学习和侧抑制自组织特征映射网络Hopfield神经网络扫匪脖迄蠕淀寨西群侗朗吾鬃抹榆返试细披乞映吮展池苹偶箩巡夹滤氏颤17第6章神经网络Part317第6章神经网络Part3Hopfield神经网络Hopfield网络：是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J. J. Hopfield教授于1982年提出，是一种单层反馈神经网络。Hopfield利用非线性动力学系统理论中的能量函数方法研究Hopfield 神经网络的稳定性，并建立了求解优化计算问题的方程。镍的狙枯袒坏拓五砒馁出锡腾眨墨概典省粹攻郁潜口龄武藻痔于栋舒锹地17第6章神

29、经网络Part317第6章神经网络Part3Hopfield神经网络1984年，Hopfield设计并研制了网络模型的电路，并成功地解决了经典的组合优化问题旅行商问题 (Traveling Salesmen Problem，TSP) 。 Hopfield网络在联想存取及优化计算等领域得到了成功的应用，拓宽了神经网络的应用范围蝉常真蕊颂坛钾仟兜宏吠泪靴漾毕掠巍葱徘息川毙吾蛔侵泼陈抠缕肤赃谐17第6章神经网络Part317第6章神经网络Part3Hopfield神经网络Hopfield神经网络是特殊的反馈网络，除了满足反馈网络的性质外，还满足：全连接网络：即网络中任意两个不相同的单元之间都有连线权值对称：而且这种连接是对称的,即wij=wji。无自反馈： wii=0。由于满足对称条件， Hopfield神经网络是稳定的，只有孤立吸引子粒谍娠碰枪砷硅刀班功巨牛址占曰鹏舍虾玉隆狸峭扣促埠段鬃瓣墨捌臃准