人工神经网络及其应用之自组织网络

人工神经网络及其应用

第6讲 自组织网络

一、自组织神经网络二、自组织竞争网络三、科荷伦网络四、自适应共振网络五、内容小结六、考试事宜内容安排2023/1/2221.1自组织网络特点1.2网络类型1.3网络学习规则一、自组织神经网络2023/1/2231.1自组织网络特点特点自组织神经网络可以自动向环境学习，不需要教师指导；而前面所讲到的前向网络、反馈网络均需要教师指导学习与BP网络相比，这种自组织自适应的学习能力进一步拓宽了人工神经网络在模式识别、分类方面的应用思想基础生物的神经网络中，如人的视网膜中，存在着一种“侧抑制”现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制借鉴上述思想，自组织网络能够对输入模式进行自组织训练和判断，并将输入模式分为不同的类型2023/1/2241.2网络类型需要训练自组织竞争网络适用与具有典型聚类特性的大量数据的辨识Kohunen网络训练学习后使网络权值分布与输入样本概率密度分布相似可以作为样本特征检测仪，在样本排序、样本分类及样本检测方面有广泛应用对传网络（CounterPropagationNetwork）在功能上用作统计最优化和概率密度函数分析可用于图像处理和统计分析神经认知机等不需要训练自适应共振理论（ART）分类的类型数目可自适应增加2023/1/2251.3网络学习规则格劳斯贝格(S．Grossberg)提出了两种类型的神经元模型：内星与外星，用以来解释人类及动物的学习现象内星可以被训练来识别矢量外星可以被训练来产生矢量基本学习规则内星学习规则外星学习规则科荷伦学习规则2023/1/2261.3.1内星与外星外星通过联接权矢量向外输出一组信号A内星通过联接权矢量W接受一组输入信号P2023/1/2271.3.2内星学习规则可以通过内星及其学习规则可训练某一神经元节点只响应特定的输入矢量P，它借助于调节网络权矢量W近似于输入矢量P来实现的单内星中对权值修正的格劳斯贝格内星学习规则为内星神经元联接强度的变化Δw1j与输出成正比的。如果内星输出a被某一外部方式而维护高值时，通过不断反复地学习，趋使Δw1j逐渐减少，直至最终达到w1j＝pj，从而使内星权矢量学习了输入矢量P，达到了用内星来识别一个矢量的目的另一方面，如果内星输出保持为低值时，网络权矢量被学习的可能性较小，甚至不能被学习2023/1/2281.3.3外星学习规则外星网络的激活函数是线性函数。它被用来学习回忆一个矢量，其网络输入P也可以是另一个神经元模型的输出外星被训练来在一层s个线性神经元的输出端产生一个特别的矢量A对于一个外星，其学习规则为与内星不同，外星联接强度的变化Δw是与输入矢量P成正比的当输入矢量被保持高值，比如接近1时，每个权值wij将趋于输出ai值，若pj＝1，则外星使权值产生输出矢量当输入矢量pj为0时，网络权值得不到任何学习与修正2023/1/2291.3.3外星学习规则则当有r个外星相并联联，每个外星星与s个线性神经元元相连组成一一层外星时，，其权值修正正方式为W＝s×r权值列矢量lr＝学习速率A＝s×q外星输出P＝r×q外星输入2023/1/7101.3.4科荷伦学习规规则科荷伦学习规规则是由内星星规则发展而而来的科荷伦规则科荷伦学习规规则实际上是是内星学习规规则的一个特特例，但它比比采用内星规规则进行网络络设计要节省省更多的学习习，因而常常常用来替代内内星学习规则则2023/1/711二、自组织网网络2.1网络模型2.2竞争网网络原原理2.3网络训训练2023/1/7122.1网络模模型网络结结构竞争网网络由由单层层神经经元网网络组组成，，其输输入节节点与与输出出节点点之间间为全全互联联结。。因为网网络在在学习习中的的竞争争特性性也表表现在在输出出层上上，所所以在在竞争争网络络中把把输出出层又又称为为竞争争层，，而与与输入入节点点相连连的权权值及及其输输入合合称为为输入入层2023/1/7132.1网络模模型网络权权值的的类型型输入节节点j到i的权值值wij(i＝1，2…、s；j＝1，2…、r)，这些些权值值是通通过训训练可可以被被调整整的竞争层层中互互相抑抑制的的权值值wik(k＝1，2…、s)。这类类权值值固定定不变变，且且满足足一定定的分分布关关系是一种种对称称权值值，即即有wik＝wki相同神神经元元之间间的权权值起起加强强的作作用，，即满满足w11＝w11＝…＝wkk＞0，而不不同神神经元元之间间的权权值相相互抑抑制，，对于于k≠i有wij＜02023/1/7142.1网络模模型网络工工作方方式输入矢矢量经经过网网络前前向传传递网络竞竞争激活函函数为为硬限限制二二值函函数竞争网网络的的激活活函数数使加加权输输入和和为最最大的的节点点赢得得输出出为1，而其其他神神经元元的输输出皆皆为0(?)权值调调整（（可以以处于于训练练与工工作期期间））竞争网网络在在经过过竞争争而求求得获获胜节节点后后，则则对与与获胜胜节点点相连连的权权值进进行调调整调整权权值的的目的的是为为了使使权值值与其其输入入矢量量之间间的差差别越越来越越小，，从而而使训训练后后的竞竞争网网络的的权值值能够够代表表对应应输入入矢量量的特特征2023/1/7152.2竞争网络络原理竞争网络络解释设网络的的输入矢矢量为：：P＝[ p1p2…pr]T对应网络络的输出出矢量为为：A＝[a1a2…as]T由于竞争争网络中中含有两两种权值值，所以以其激活活函数的的加权输输入和也也分为两两部分：：来自输输入节点点的加权权输入和和N与来自竞竞争层内内互相抑抑制的加加权输入入和G。对于第第i个神经元元有来自输入入节点的的加权输输入和为为来自竞争争层内互互相抑制制的加权权输入和和为2023/1/7162.2竞争网络络原理对于第i个输出神神经元假设竞争争获胜，，则有从而如果竞争争后第i个节点“输”了，而“赢”的节点为为l，则有2023/1/7172.2竞争网络络原理所以对整整个网络络的加权权输入总总和有下下式成立立sl=nl+wll对于“赢”的节点lsi=ni-|wii|对于所有有”输“的节点i＝1，2…s，i≠l由此可以以看出，，经过竞竞争后只只有获胜胜的那个个节点的的加权输输入总和和为最大大竞争网络络的输出出为因此判断断竞争网网络节点点胜负的的结果时时，可直直接采用ni2023/1/7182.3网络训练竞争网络修修正权值的的公式为式中lr为学习速率率，且0＜lr＜1，一般的取取值范围为为0.01-0.3；pj为经过归一一化处理后后的输入层中每个最最接近输入入矢量的神神经元，通通过每次权权值调整而而使权值矢矢量逐渐趋趋于这些输输入矢量。。从而竞争争网络通过过学习而识识别了在网网络输入端端所出现的的矢量，并并将其分为为某一类2023/1/7192.3网络训练举例考虑当不同的的输入矢量p1和p2分别出现在同同一内星时的的情况为了训练的需需要，必须将将每一输入矢矢量都进行单单位归一化处处理当第一个矢量量p1输入给内星后后，网络经过过训练，最终终达到W＝(p1)T。给内星输入另另一个输入矢矢量p2，此时内星的的加权输入和和为新矢量p2与已学习过矢矢量p1的点积输入矢量的模模已被单位化化为1，所以内星的的加权输入和和等于输入矢矢量p1和p2之间夹角的余余弦2023/1/7202.3网络训练练根据不同同的情况况，内星星的加权权输入和和可分为为如下几几种情况况p2等于p1，即有θ12＝0，此时，，内星加加权输入入和为1p2不等于p1，内星加加权输入入和为<1p2＝-p1，即θ12＝180°°时，内星星加权输输入和达达到最小小值-1训练结果果当多个相相似输入入矢量输输入内星星，网络络的权矢矢量趋向向于相似似输入矢矢量的平平均值对于一个个已训练练过的内内星网络络，当输输入端再再次出现现该学习习过的输输入矢量量时，内内星产生生1的加权输输入和而与学习习过的矢矢量不相相同的输输入出现现时，所所产生的的加权输输入和总总是小于于12023/1/7212.3网络训练练竞争网络络的学习习和训练练过程，，实际上上是对输输入矢量量的划分分聚类过过程，使使得获胜胜节点与与输入矢矢量之间间的权矢矢量代表表获胜输输入矢量量竞争网络络的输入入层节点点r由已知输输入矢量量决定的的。但竞竞争层的的神经元元数s由设计者者确定，，一般情情况下，，可根据据输入矢矢量的维维数及估估计，再再适当地地增加些些数目来来确定。。2023/1/7222.4局限性竞争网络络比较适适合用于于具有大大批相似似数组的的分类问问题竞争学习习网络的的局限性性竞争网络适适用于当具具有典型聚聚类特性的的大量数据据的辨识当遇到大量量的具有概概率分布的的输入矢量量时，竞争争网络就无无能为力了了，这时可可采用科荷荷伦网络来来解决此类类问题2023/1/723三、科科荷伦伦网络络3.1设计思思想3.2网络模型3.3网络训练2023/1/7243.1设计动机机神经细胞胞模型中中还存在在着一种种细胞聚聚类的功功能柱。。一个功功能柱中中的细胞胞完成同同一种功功能。它它由多个个细胞聚聚合而成成的，在在接受外外界刺激激后，它它们会自自动形成成功能柱柱当外界输输入不同同的样本本到科荷荷伦自组组织映射射网络中中，一开开始时输输入样本本引起输输出兴奋奋的位置置各不相相同，但但通过网网络自组组织后会会形成一一些输出出群，它它们分别别代表了了输入样样本的分分布，反反映了输输入样本本的图形形分布特特征，所所以科荷荷伦网络络常常被被称为特特性图通常科荷伦伦网络的权权矢量收敛敛到所代表表的输入矢矢量的平均均值，反映映输入数据据的统计特特性2023/1/7253.2网络模型科荷伦网络络结构也是是两层：输输入层和竞竞争层竞争层可以以由一维或或二维网络络矩阵方式式组成，且且权值修正正的策略也也不同一维网络结结构与基本本竞争学习习网络相同同二维网络结结构2023/1/7263.3网络训练神经元领域概概念权值调整范围围逐层递减2023/1/727四、ART神经网络4.1网络简介4.2网络结构4.3工作过程2023/1/7284.1网络简介传统神经网络络遇到的问题题在样本数据训训练的过程中中，无论是监监督式还是无无监督式的训训练，均会出出现对新模式式的学习，时时刻面临着新新知识的学习习记忆荷对旧旧知识的退化化忘却的问题题在监督式的训训练情况下，，使网络逐渐渐达到稳定的的记忆需要通通过反复训练练，从而对已已学习过的模模式的部分甚甚至是全部的的忘却在无监督情况况下，对新的的数据的学习习同样会产生生对某种已经经记忆的典型型矢量的修改改，造成对已已学习数据的的部分忘却理想情况能够学会新的的知识，同时时对已学过的的知识没有不不利影响在输入矢量特特别大的情况况下，很难实实现。通常只只能在新旧知知识的取舍上上进行某种折折衷，最大可可能地接受新新的知识并较较少地影响原原有知识2023/1/7294.1网络简介自适应共振理理论(AdaptiveResonanceTheory,ART)网络可以较好好地解决前述述问题网络和算法具具有较大地灵灵活性，以适适应新输入的的模式，同时时极力避免对对网络先前学学习过地模式式的修改记忆容量可以以随样本的增增加而自动增增加，可以在在不破坏原记记忆样本的情情况下学习新新的样本ART是美国波士顿顿大学的A.Carpenter和Grossberg提出。具有两两种形式ART1处理双极性（（或二进制））数据ART2处理连续数据据2023/1/7304.2ART1网络结构构ART1由两层神神经元以以及一些些控制信信号相互互结合而而成2023/1/7314.2网络结结构从输入入矢量量到输输出矢矢量的的作用用部分分被称称为识识别层层或R层（R－Recognition）从输出出A作为输输入返返回到到输入入的层层称为为比较较层或或C层（C－Comparison）从结构构上讲讲R层为一一个竞竞争网网络，，具有有s个节点点，它它代表表了对对输入入模式式的分分类。。该节节点数数能够够动态态地增增长，，以满满足设设立新新模式式地需需要。。C层为一一个Grossberg网络2023/1/7324.3运行过程将网络的训训练与工作作与工作过过程有机技技结合在一一起自C层流向R层的识别阶阶段：输入入新的矢量量P，通过过竞争争得出出输出出A自R层流向向C层的比比较阶阶段按照一一定地地规则则来确确定这这个新新输入入是否否属于于网络络衷已已经记记忆地地模式式类别别，判判别标标准为为新输输入模模式与与所有有已记记忆模模式之之间相相似程程度R＝F（WP＋B）如果R>0,按照科科荷伦伦学习习规则则修改改竞争争层权权值以以使该该类权权值更更加接接近于于新输输入模模式如果R=0,在网络络中设设立一一个新新模式式，用用以代代表和和记忆忆新模模式，，并将将其归归结为为已有有的代代表类类别，，成为为R层的一一个新新的输输出节节点，，作为为以后后可能能输入入的代代表模模式权值修修正阶阶段当外界界输入入P与所激激活的的外星星权矢矢量充充分相相似时时，网网络发发生共共振，，本次次学习习与训训练结结束否则，，进行行特别别的处处理，，直到到共振振现象象发生生时对对本次次输入入的训训练过过程才才最终终结束束2023/1/733五、内内容小小结本次课课程简简单介介绍自自组织织神经经网络络的特特点以以及与与其它它类型型神经经网络络的区区别介绍了了自组组织神神经网网络的的三种种学习习规则则；四四种神神经网网络类类型对自组组织竞竞争网网络、、科荷荷伦网网络和和ART网络的的原理理、网网络结结构和和训练练与工工作方方式进进行了了介绍绍ART网络相相对其其它自自组织织网络络之间间有较较大的的优势势，将将学习习与工工作过过程结结合在在一起起，并并较好好地解解决了了学习习与记记忆的的问题题2023/1/734五、内容小结结本学期《神经网络》课程的全部内内容至此结束束主要的内容包包括简单介绍人工工神经网络与与生物神经系系统、人工智智能学科之间间关系介绍了神经网网络的基本网网络结构和学学习规则以典型网络模模型为代表分分别介绍了三三种主要的神神经网络，前前向神经网络络、反馈神经经网络和自组组织神经网络络介绍了学习和和应用神经网网络的基本方方法网络设计思想想网络结构和应应用设计学习与训练算算法简单分析了神神经网络的稳稳定性问题及及理论BP网络的收敛速速度和稳定问问题反馈网络和Hopfield网络的稳定性性问题神经网络更多多精彩之处需需要大家在今今后的学习与与应用中去发发掘，包括稳稳定性、随机机神经网络、、VLSI设计等2023/1/735六、考试事宜宜考试内容：以以上课所讲内内容为主考试方式：闭闭卷考试时间：课课程结束后四四周ResearchReport上交时间：课课程结束后八八周可以以个人或或者小组方式式提交ResearchReport内容可以包括括各种神经网网络研究进展展、应用的概概述，或者是是结合相关的的研究课题所所做的神经网网络的分析或或者应用的研研究。均需要要附恰当的一一定数量的文文献如果属于概述述，需要有一一定的及时性性、深度和广广度如果属于应用用研究，需要要包括基本问问题介绍、应应用神经网络络的优势分析析、实验和结结果的对比和和分析成绩公布时间间：课程结束束后十周2023/1/736TheEndQuestions&Suggestions？Thanks！2023/1/7379、静夜夜四无无邻，，荒居居旧业业贫。。。1月-231月-23Saturday,January7,202310、雨中黄叶树树，灯下白头头人。。05:52:1105:52:1105:521/7/20235:52:11AM11、以我我独沈沈久，，愧君君相见见频。。。1月-2305:52:1105:52Jan-2307-Jan-2312、故人江海别别，几度隔山山川。。05:52:1105:52:1105:52Saturday,January7,202313、乍见见翻疑疑梦，，相悲悲各问问年。。。1月-231月-2305:52:1105:52:11January7,202314、他乡生白白发，旧国国见青山。。。07一月月20235:52:11上上午05:52:111月-2315、比不了得得就不比，，得不到的的就不要。。。。一月235:52上上午1月-2305:52January7,202316、行动出成成果，工作作出财富。。。2023/1/75:52:1105:52:1107January202317、做前前，能能够环环视四四周；；做时时，你你只能能或者者最好好沿着着以脚脚为起起点的的射线线向前前。。。5:52:11上午午5:52上午午05:52:111月-239、没有失败败，只有暂暂时停止成成功！。1月-231月-23Saturday,January7,202310、很多事情情努力了未未必有结果果，但是不不努力却什什么改变也也没有。。。05:52:1105:52:1105:521/7/20235:52:11AM11、成功就是日日复一日那一一点点小小努努力的积累。。。1月-2305:52:1105:52Jan-2307-Jan-2312、世间成事，，不求其绝对对圆满，留一一份不足，可可得无限完美美。。05:52:1105:52:1105:52Saturday,January7,202313、不知知香积积寺，，数里里入云云峰。。。1月-231月-2305:52:1105:52:11January7,202314、意志坚强强的人能把把世界放在在手中像泥泥块一样