第章 竞争网络

第14章竞争网络

14.1目的

第3章所介绍的Hamming网络，展示了一种用神经网络进行模式识别的技术，这种技术需要事先知道原模型并且将原型模式以权值矩阵的行和网络相结合。本章将讨论一些在结构上以及操作上都与Hamming网络极为相似的网络。14.2理论和实例

Hamming网络是竞争网络中最简单的例子。它的输出层神经元相互竞争以确定胜者。胜者将指出哪一种原型模式最能代表输入模式。这种竞争是通过在输出层神经元之间一组负连接（即侧向抑制）来实现的。早在1959年，FrankRosenblatt就创造了一种简单的“自发”分类器，这是种基于感知机的无监督的神经网络。这种网络能够学会将输入的矢量分类成数目大致相等的两类。

在20世纪60年代后期及70年代早期，StephenGrossberg引入了许多使用侧向抑制而产生良好效果的竞争网络。

1973年，ChristophvonderMalsburg引入了一种自组织的学习规则，这种规则使得相邻的神经元对相似的输入产生反应。他这种网络的拓扑结构以某些方式模仿DavidHubel和TortenWiesel过去所发现的猫的视觉皮层的结构。他的学习规则引起了人们极大的兴趣，但是这种学习规则使用一种非局部计算以保证权值是归格化的。这使得它在生物学上缺少合理性。

在本章我们集中讨论Kohonende竞争框架，他的模型体现了竞争网络的主要特征，而且也比Grossberg的网络在数学上更易处理。这些网络为竞争学习提供了良好的说明。我们将从简单的竞争网络开始。然后将结合网络拓扑结构讲解自组织特征图。最后将讨论学习向量量化。它将竞争和有监督的学习框架结合起来。14.2.1Hamming网络

既然本章所讨论的竞争网络与Hamming网络(见图14-1)紧密相关，所以先回顾一下Hamming网络的一些主要概念。Hamming网络由两层组成。第一层将输入向量与原型向量联系起来。第二层采用竞争方式决定哪种原型向量最接近输入向量。1.第一层从第3章知道，Hamming网络一个神经元只能够识别一种模式。为了能够识别多种模式，就必须有多种神经元。

假设要让网络识别以下原型向量：第一层的权值矩阵为，偏置向量是矩阵的每一行都代表我们想要识别的一种原型向量，的每个元素都设为等于每个输入向量的元素个数R（神经元个数S等于将识别的原型向量的个数Q）。第一层的输出是注意：第一层的输出等于原型向量与输入的内积再加上R。正如我们在第3章节讨论的那样，这些内积表明原型向量与输入向量之间的接近程度。2.第2层

第二层是竞争层。这一层的神经元用前馈层的输出初始化，这些输出指明了原型模型与输入向量的相互关系。然后神经元相互竞争以确定胜者。竞争过后，只有一个神经元有非零输出。获胜的神经元指明输入属于哪类（每个原型向量代表一个类）。第一冤层的害输出摄用蜡来初特始化解第二政层：然后坐第二柏层的都输出踏用如仰下递室规关妇系更扔新：第二阻层的土权值甘矩阵拆的对姜角线壳元素暑都被幸设为1，不神再对康角线蛋上的馆元素趴，设岩为某胞个小沫的负摊数：横向弯抑制这个盆矩阵香产生脂横向选抑制爸，即层每个命神经竞元的滩输出遵都将村对所作有其萌他的等神经蠢元产借生一倒种抑共制作报用。导为了浆说明培这种蓝效果堡，用1和拔的艘权值哑代入曲中合想适的脑元素陕。每次晨迭代志，每坦个神丙经元敏的输学出都卡会随拖着所粥有其滩他神染经元双输出洞的和敏按比晚例下检降（劫最小直的输合出为0）。励初始抚状态些最大签的神蕉经元节比起斧其他交神经苍元的残输出欺降得录慢一保些。远最终嫌这个柱神经烦元将胜成为秀惟一励一个躁有正续值输赴出的继神经搂元。胸这时林网络穷已达允到了文稳定睛状态羞。第二悬层神该经元序中有组稳定疯正值势输出标的神爪经元涛是和缠输入脊匹配配得最稠好的津原型文向量敢的那刻个神岗经元。14尽.2置.2竞争度层竞争Ha场mm下in弹g网络膏的第亮二层疑的神读经元牲激活幕自己唤而抑渡制所击有其唉他神难经元慌，这律就叫挑做竞争。为了己简化很本章窑余下焦部分们的讨情论，偷我们覆将定跃义一裕个传贺输函贡数，篮来作匙一个卵递归迎竞争贤层所继做的赚工作摄：它找币到最摇大净轧输入差的神纽奉经元提的下屠标，末并将缎其输怨出设谜置为1。所头有其申他的勺输出价都设屡置为0。用一绕个作幸用于治第一敲层的洒竞争旧传输报函数瞎代替Ha联mm某in往g网络期的递盖归层亲，将听简化罗此章朱的讨秃论。及竞争贫层如费图14中-2所示揪。正如Ha呆mm弦in屡g网络躺那样窗，原屿型向悬量存览储于W矩阵责的每碎行之例中，喘净输到入n计算厚输入弊向量p和原两每个册原型是之间垄的矩典离（琴假设伴向量训归格偶化长隶度为L）。希每个竖神经为元i的净汤输入ni和p与原笔型向寺量赢之娘间的廊夹角宽成齿正比食：竞争灿传输边函数具对权差值向处量与生输入违向量为方向掌最为消接近虫的神丸经元各的输纪出指愚定为1：1.竞争寒学习我们咳希望移有一绝个学剑习规群则，增在不气知道要原型虏向量盟的情隔况下刑用来骗训练穷竞争骡网络锅的权俗值。尽其中唉一个邪这样疏的学误习规煌则是博第13章讨衡论的in拦st洞ar规则鼻：对于围竞争阿网络趣：a只对涝竞争舌获胜挠神经己元是律非零着的。因查此产绘生Ko隆ho滚ne接n规则如下屡：而因此逃，权呜值矩级阵中园最接秘近输孩入向管量的认行（跌或者疾与输熄入向盗量有惹最大患内积递的行剪）向肃输入鄙向量猴移动上。它岛沿着斩权值铁矩阵绕原有她行与优输入捉向量衡之间美的连惕线移姑动，颠如图14监-3所示猎。现在创用图14狠-4的6个向恩量来睬演示邮竞争羽层如痛何学仇习分许类向景量。6个向旨量为狮：我们颗的竞内争网菠络有3个神贼经元饥，因狂而它归可以策将向碌量分堵成3类。朋下面耽是“伪随机容”选损择的什规格免化初鹅始权钟值：数值塞向量挺如图14位-5所示俊，其舒中权萌值向针量用顶箭头决表示平。我趴们将p2提交棵给网拘络：第2个神换经元个的权滨值向军量与p2最接毁近，择因而铜它竞德争获滋胜养，座且输逗出为1。现惯在应凝用Ko良ho迟ne造n学习添规则横，其治中学练习速素度。Ko荣ho古ne粱n学习蛛规则捞将吗已接跃近至叙，正六如图14悔-6所示保。如抚果不渡断随漠机选酷择输是入向慎量并湖且将富它们昨输入劈燕网络们，那槐么每渴次迭水代与缴输入唱向量率最近挂的权洋值向济量与赌将会亭向输号入向材量移古动。最终祸每个冤权值编向量乖将指蔬向输牙入向厦量的借不同辜簇。健每个萍权值舰向量着会变趋成不悦同的礼簇的小原型案向量。这个仪问题纽奉足够呀简单容，以缴至能健够预繁计哪虾个权哄值向搭量将袋指向躺哪个必簇。轨最终纱的权床值向拉量将寨会如剪图14们-7种所闷示。一旦笛神经芽网络溜学会般了如伤何将贞输入约向量蓄分类括，那茄么对翅于新峡向量促它也裁将同葛样分改类，戚如图14扇-8所示苍。阴杏影表锤示每店个神虹经元热将作蛮出响球应的陆区域鄙。竞叶争层皂通过新使权盗值向川量最渐接近胃输入拐向量p的神芹经元确的输涌出为1为每盾个输乌入向淡量p指定蒸给这变些类虏中的欠一个包。2.竞争呜层中昼存在后的问河题竞争盯网络宜能够梦进行陵有效舞的自粥适应较分类绢，但料它仍叉存在列一些危问题翅。第一图个问糠题就支是学勺习速夸度的削选择减使得践不得屋不在匆学习站速度硬和最仍终权它值向透量的嘱稳定腰性之屈间进激行折毫中（见北图14巧-9）。齿一个勺接近0的学搅习速狮度意锈味着仁慢速薪的学骆习。张然而迅，一直旦权辰值向拜量到修达一撕个簇素的中共心，短它将范保持混在中碗心附伍近。相反段，接族近1.姿0的学怀习速娃度将商导致南快速纸学习宾。然厌而，紫一旦宏权值抽向量米到达请一个梨簇。怨它将债作为陕它所恒代表取的簇游中的话不同师向量础来回精震荡影（见别图14桶-1债0）。有时敌这种插在快速厌学习宫和稳陪定性朋之间很的折柳中能肚够带味来好北处。初避始训轧练对万于快久速学脆习可洗以用桂大的限学习伟速度壳来完迈成。敲然后仪学习鞠速度仍可以覆随着够训练最的进虽程而僚逐渐剃减少侨，以举达到稍稳定烛的原炮型向啦量。暗令人秋遗憾男的是戴如果答网络吃需不幕断地萝对输玩入向俗量的某新排资列作惩出调种整的摆话，碰这种献技术宵就不宅起作题用了蔑。当簇虹彼此头很靠塘近的仅时候，一音种更批为严槽重的兴稳定迅性问秩题产案生了烟。在惊特定误的情方况下等，一个世形成啄某簇矩原型章的权睁值向驰量会沸“侵恐入”康另一对个权发值向揪量的薯领地悉，从盈而破黑坏目克前的愉分类绢状况碰。图14孟-1胃1中的4个图剧说明泉了这量个问猛题。棋两个剩输入聚向量像（图涨（a）中锤用空想心圆阻圈表燃示）运被提仗交了厌几次严。结翁果是渐代表页中间钓和右胶边簇裳的权故值向私量移南向了隆右边彩。最描后右泡边簇俘的一钳个向驱量被炼中心亲权值剥向量屋重新逮分类转。进吼一步坦的提礼交向币量使巾中间辉向量影移向狼右边丹，直芳到它谨“丢钱失”木了一页些它顾的向抓量才构停止接，这谅些丢缸失的爆向量偏成为旋左边艺权值殃向量贪所代兵表的耀类的胡一部据分。第三辣个问味题是毒有时抄一个输神经叶元的刘初始哀权值卧向量渣离输嘉入向笨量太宿远以桑至于手它从摊未在迫竞争射中获馒胜，税因此屑从来宪也得朝不到痒学习。这酷将产伪生一享个毫捐无用雀处的鹿“死戴”神克经元益。例编如图14逢-1源2无论兵以什棉么次醉序把坝向量钓提交炭给网强络，韵向下写指的晓那个必权值妙向量忙永远气都得耗不到茄学习明。这个禁问题醉的一携个解栽决办趴法是申给每鼻个神析经元盲的净谦输入纪加入甲一个识负的烘偏置舍值。塌每次受那个蝇神经娇元竞更争获染胜则密将偏冠置值瞎减少者。这将讯使一沸个经漠常竞串争获她胜的顿神经滑元获拖胜的重机会总减少翻。这种炸机制踪蝶有时直叫做俱“良克心”主。最终滤，一锋个竞菠争层步有多币少个矛神经锯元，为就能灰够有驱多少帖个类伙。这对辽于某羡些应起用将蹈无法拳适用其，尤牢其在王事先途并不幻玉知道创簇的扎个数撕的时剪候。蠢此外席，对杆于竞旋争层学，每数个类信在输觉入空腐间之丈中都艺含有吵一个梅凸区云域。映当在骑非凸拍区域狮或类剂是由购不连木接的界区域暂所组壮成的身时候毒，竞职争层熔不能米形成辆类。14拖.2镇.3生物胜学意抄义上采的竞拿争层在生敌物的争神经厨网络创中，毛神经卵元的两典型尺情况肝是排缸列成薪二维肉层次拆，它阔们通它过横孤向反既馈密旱集地歌联结革在一赠起。豪图14剂-1搞3展示经了以去二维做网络天形式进组织贵的25个神寨经元凝。通常尼权值剧是联姿结的醒神经江元之滚间的性距离冒的函队数。站例如杂，Ha顷mm央in钞g网络叹第二唇层的慕权值随定义锦如下述（14缴.1膏9）等式券（14平.2福0）与赴等式盯（14钢.1创9）定测义了否同样国的值饮，只穷是基于烤神经置元之挖间的忍距离图14稍-1饲4展示铅了等蓬式（14偷.2伐0）或拦式（14考.1致9）所锈定义高的权置值。赶每个详神经强元i都标凯以权绣值蚊，基即从播它到骂神经申元j的权数值。加强斑中心/抑制消周围加强付中心/抑制锣周围烟常被疾用来滔描述放如下感神经短元之腔间的午一种澡联结苏方式有：每个暖神经闸元加殊强自灭身（严中心脏），担并且栋同时题抑制哗周围锻的神茎经元缸。这是框生物席学竞孔争层研中的毕一种脆天然得的近忽似。铃在生门物学孟中，僵大神与经元只不仅爹加强百自己兰，同篮时也妄加强汗接近姐它的革那些鄙神经别元。闸一般他情况搞下，范随着饺神经横元之次间的疾距离滋增加齐，从美加强岗到抑龟制的劲转变大是平忍滑地谷出现丑的。墨西暴哥草派帽函歇数这种按转变饿见图14迷-1牲5中的贪左图众。这简是一闸种将神絮经元悦之间圈的距随离与躲连接乘他们钢的权释值相且联系罗起来解的函脉数。那些庄近似铅的神忌经元犁提供猪互相站加强桨的连谣接，摘并且呀激励筛的幅多度随疑着距妨离的销增加镰而降遥低。尊超过险一定市距离盒，神堵经元碗将呈粥现一没种抑稀制性养联结川，并虹且抑唯制随链着距道离的安增加坦而增滔加。宿因为原这个赏函数辫的形释状，钱它被冒称为较墨西劲哥草狼帽函葛数。图14泻-1促5中的称右图厚是墨而西哥烦草帽矮（加爬强中覆心/抑制段周围团）函必数的快一个山二维颤图示温，每慈个神某经元i都被屑标以纪符号湾及表鸽示它白到神着经元j的权嘉值的嘱相对角强度俯。生物市竞争良系统秧，除了搂在加迫强中良心/抑制葛周围珠的联捕结模演式下帖，从轻激励译区域程到抑袖制区悔域的平转变哭是渐老变以欲外，们还是殿一种泼相对怨于Ha哗mm拒in晴g网络况的“宋胜者代全得挨”竞酒争较秤为弱狼的竞隆争形胡式。生物霞网络盗通常盆不是稀单个喂神经锐元（陵竞争宜获胜植者）榴活跃陕，而招是在门最为疲活跃拳的神塌经元早的周杀围有狐活跃云区。这棕部分肚是由泉于加厘强中宝心/抑制游周围辈的联黎结方警式以息及非障线性王的反浮馈联爬结引蜘起的方。14勇.2咬.4自组钻织特烦征图SO供FM网络掀邻域为了浮模仿扎生物润学系湾统的催活跃铸区，四并且汪不必袍实现越非线含性的刃加强妨中心/抑制可周围泡的反脆馈联刑结，Ko吧ho涝ne桶n作了院如下身的简增化设退计。自组怎织特之征图支（SO鸦FM）网户络首驾先使野用竞珠争层轻所用夹的同趋一过私程来较决出怖获胜饼的神朱经元敲；即然后决，在淹获胜社神经着元周姓围一贞定范蛾围内要的所绑有神那经元弃的权此值向槐量用Ko坡ho岛ne培n规则顺更新，其中催邻域腿包见含所张有落多在以痕获胜凉神经护元透为曲中心晌，半楼径为d的所内有神临经元腐的下闪标：当向斜量p被提艺交，估获胜宋神经汪元的灿权值宇和其吴邻域党内的或神经步元的弦将向p移动躁。结末果是吗多次艰提交加结束拼之后沿，邻域摔内的乞神经骨元将窑通过疼学习趣而拥芝有彼示此相服像的归学习球向量服。为了舞展示原邻域滩的概狱念，纲请考脉虑图14态-1堂6种的锯两幅老图。裙左边村的说豆明围剧绕神览经元13，半琴径为1的二尖维邻朱域；棉右边跃的图培表示奖半径厌为2的邻潜域。这两狡个邻姻域的种定义弃如下宵：我们县必须愤提及肉的是SO驾FM中的璃神经丘元不倾必排析列成勿二维朗的形砍式，一维酱或者刚三维蓝甚至挨多维块的排桂列都替是可及能的常。对粘于一猛维的SO屿FM，神邀经元披在半勾径为1时只缸有2个邻膀域（拾当该惰神经和元位黎于线页之端狱点时精只有洞一个伞邻域屠）。乔当然胆也可港以用封不同食的方狸法来颜定义穷距离占，例带如Ko片ho伯ne们n为了顶更有卫效地波实现杜曾建形议使产用矩限形或反六边残形的窜邻域出。神托经网君络的是性能叫对邻冰域的吐确切掘形状史并不茫敏感仪。现在品我们派演示SO酱FM神经纷网络狼是如均何工尝作的挡。图14苏-1永7表示衡一个香特征糠图以件及其怖神经绸元的貌二维羡拓扑锻结构容。图14秋-1聪8展示抗了特牧征图鸽的初凑始权图值向胡量，恳每个节三元绵素权若值向危量都挖用球大体上舟的一迎个点霉表示伤（权朱值已天经规须格化便，都秤能够区落在粘球面巴之上别）。胡邻域纪内的桨神经奖元都堆用线劈燕连接泳起来吃，因必而可叔以看品到拓疤扑结男构在药输入流空间帖中是沈如何共安排火的。图14赴-1妻9展示特了一尚个球苗面上压的方移形区做域。浩我们星将从公这个爪区域绒中随聚机抽辨取向暑量，搁以提皮交给宵特征进图。每当车一个歪向量费被提及交，泰具有叠最近翼权值霸向量已的那砖个神侵经元块将竞肥争获望胜。封获胜活神经指元及降其邻拿域内姑的神奔经元奇将移棒动它骄们的攀权值赢向量恩从而蹲离输箭入向柴量更柳近一如些。宣本例欺中我岭们使傲用的恋邻域奸半径峡为1。权值成向量馆有两织个趋盟势：首先塑，它留们随似着更莫多的势输入元向量联被提禁交而巡寿分布俗到整股个输妙入空悄间。戚其次哈，它兵们移击向邻少域内缠的神旨经元播。这两呀个趋屑势共狼同作龙用使雕神经但元在讲那一情层重困新排抽列，博从而飞最终阵输入掩空间崭得到壶分类机。图14贞-2率0所示塌的一敌系列浇图展洞示了25个的数神经朋元如雁何在节活动跨的输丑入空却间内充展开腹，并蔽自组搏织以凳匹配唱其拓顿扑结博构。在这映个例纯子中基，输入扬向量猎以等盆概率农产生很于输脉入空爸间的愉任何葡位置。因狮此，烟神经岔元能伙够将变输入顽空间筛分成旷大致摧相等饥的区她域。图14丽-2轰1提供贫了更汪多的舅关于健输入捐区域提及自岛组织盘之后千的结盯果特坚征图涛的例漆子。有时丛特征往图不舟能够摸与他淹们输崭入空讯间的汉拓扑曾结构屠相匹遥配。这种貌情况艘通常新发生你在网蓄络的塔两部吵分与颗输入嗽空间蒸的独德立部流分的炕拓扑低结构蚁相匹凶配，胃但网恋络在椅这两凝部分致之间艇却发讨生了们扭曲四，见梢图14铺-2壮2中的物例子府。这史种扭卧曲现记象不辨大可唉能消我除，触因为祖网络搂的两牙端都践已经絮形成下对不骗同区疾域的拦稳定祖的分峰类。改进济特征拳图到目民前为仔止，猛我们蜘不仅梁讨论加训练雕特征野图的炉最基海本算右法。顷现在考虑毒几种蜡能够冻加速觉自组吉织过欧程并秋且使曾它更注加可田靠的廉技术轮。一个群改进颜自组猪织图量的方链法是途在训魂练过痒程中盾改变若邻域牧的大苏小。开始下，邻继域的妹半径d设置徒得较飞大。掌随着支训练插的进趁行，d逐渐僻减少械，直纽奉到最滥终只也包含肢竞争尊获胜目的神鱼经元糖。这坟种方扒法加践速自勤组织泛并且堡极不惑可能两在网湾络中该造成圾扭曲寸。学习施速度逗也可稿以随泽着时樱间而尺改变欧。初始哪学习彼速度围为1使神拦经元斥能够职很快绪地学筐习提油供的旅向量笑。在存训练者过程牵中，悦学习夏速度职逐渐谷降至0，于康是学脂习变弱得稳备定了洪。另一听种加件速自若组织节的改烟进是命使竞洲争获走胜的敌神经朴元有姥比其换邻域兽内的牧神经眼元更袭大的烦学习辽速度勤。最终设，竞争美层和桃特征拍图通串常使厚用另森外一亏种表袋达式稍作为轨净输议入。它们鼠能够湾直接两计算犹输入监向量伐与原冬型向步量之凡间的距离而不雄采用稀计算内积的方溉法。这种汇利用胆距离紫的方川法，登优点困在于惨输入述向量碌不必书规格渴化。玩这种路改进革的净阴输入懂表达杰式在狼下一润节的LV交Q网络猪中介夏绍。14赶.2轧.5学习稼向量肤量化这章郊我们烛讨论盯的最住后一彩种神呈经网回络是浙学习党向量疮量化栗（LV究Q）网桑络，锈见图14感-2捆3所示缝。LV厅Q神经哀网络纵是一姐种混仙合网拥络。通竞过有矛监督碎及无懂监督巡寿的学毁习来乒形成赶分类缝。在LV午Q网络谨中，咏第一着层的庭每个样神经腰元都羡指定柴给同稠一类驻。每滨类再令被指尝定给控第二章层的记一个碧神经匹元。六第一灰层神易经元占的个懒数杰，泪与第通二层桶神经盗元的毫个数房诚至晚少相亭同，蔬并且果通常盟要大悠一些溪。和竞蚕争网洁络一警样，LV猫Q网络旱的第豆一层冶的每靠个神军经元州学习眠原型暴向量访，它捧可以死对输底入空孕间的原区域客分类涨。然而贼，不刺是通短过计论算内嫁积得榆到输钓入和巡寿权值汉向量辫中最嚷接近宇者，我我们瓜通过疮直接弟计算转距离穗的方决法来战模拟LV运Q网络煤。直接各计算朋距离往的一初个优插点是圆向量罚不必双先规寄格化券，当向笑量规资格化透了，交无论增是采述用计鼓算内忠积的视方法阴还是短直接艺计算刘距离港，网蠢络的查响应吗将是抄相同扭的。LV筛Q网络备的第割一层哀的净袭输入诉是或者件，用讲向量哲形式LV豪Q网络稻第一塞层的立输出拿是因此靠那种相权值扒向量粗与输顷入向据量最状为接骡近的爬神经胡元的酷输出帜将为1，而抚其他压神经运元的勒输出秘为0。子类迄今透，LV磨Q网络毅与竞沟争网慎络的斥特性膊几乎很相同雀。然扔而，理其解边释方挎面有顽区别玩。对于昼竞争角网络顶，有湾非零肯输出今的神纠经元倚表示屈输入板向量垦属于煮那个走类。而对撒于LV硬Q网络蜡，竞煌争获彼胜的见神经伸元表彩示的企是一矛个子结类而粒非一慢个类即。一肯个类泰可能壮由几虹个不牌同的婶神经垫元（站子类哨）组垃成。LV猎Q网络尝的第母二层卸将子沿类组危合成蹦一个梯类。这是鸦通过充矩阵亩来实持现的脖。矩阵葵的列泳代表厕子类哈，而朱行则瞎代表迟类。礼的每每列仅迅有一验个1，其樱他元陵素都自设置杀为0。1出现纪的行辛表明牌这个秧子类嫌属于冲那个坝类。这种斥将子舒类组默合成屡为类姓的过主程使背得LV害Q网络喜产生吓了复群杂的就类边沾界。一个串标准王的竞栏争层捡存在廊局限胸，即裤只能相够创坟造凸锣的判疤定区弦域。LV视Q网络带克服她了这欢个局助限。1.舒L还VQ学习LV亏Q网络管的学扇习结合佩了竞蒙争学遮习和乡丰有监铸督的毒学习解。正如圈所有蔑有监录督的哨学习帜算法端一样笛，它鸟需要妖一组膏正确盈网络得行为台的例间子：每个伯目标埋向量央除了代一个丧是1以外柜，其盾余必回须全慢是0。1出现密的行悼表示彻输入确向量蚂属于访那个倡类。逮例如刷，如劣果有尚这样鞠一个腔问题苦，必汉须将讯一个牺特别股的三巡寿元素危相量帝归类击入四克个类羊中的演第二陶类，角我们亿可以孝这样悬表达还：在学坚习能黎够进园行之解前，把第睡一层磁的每盛个神危经元舞指定馒给一肤个输鸣出神施经元。这旬样就敌产生抖了矩谱阵右。丝式典型岂情况浊下，宋相同猾数量俘的隐裕藏神缴经元浑联结轨到每现个输搅出神税经元鸡，因做而每刺个类红都能芳够由腾相同屿数量捡的凸避区域塔组成孕。梳矩阵婶的所炼有元这素都珠设置炸为0，除授了如恰下情薄况：一旦糟定义剥了伍，握它将灭不会设再改眨变了挂。隐藏波权值帆将用Ko极ho础ne堆n规则闪的一密个变中化形仿式训渴练。LV森Q学习啄规则买以如眠下方竿式进浪行。对在每廉次迭堆代过砌程，汪一个只输入法向量p被提宅供给翅网络沾，并刃且计嗽算每泊个原巡寿型向损量与p的距另离。亭隐含跪的神威经元桐进行蚂竞争档，神帮经元屿竞坛争获删胜，姐的第i个元势素被基设置检为1。接镜着秘与漠相乘摆从而垂得到停最终执输出屈，也阵是只床有一籍个非逼零元难素拍，浴表明p是指匪定给卵类的驱。Ko乐ho忠ne缘瑞n规则历被用企在两战个方银面以改玩进LV感Q网络冤的隐盘含层功。首芽先，扒如果p分类也正确故的话求，那亏么获韵胜的黑隐含剖神经扫元向p移动膜：其次扑，如若果p被不替正确亡归类爆，那韵么我愈们知凶道错顶误的殿隐含翁层神歇经元摇竞争恳获胜辩，因湖此，昨移动恢它的搬权值远离p：结果仗是每盐个隐愈含神飞经元胸移向穷那些铁落入吼形成慢子类膏的类真中的寇向量妻，而括远离盈那些蒙落入肿其他颈类中着的向免量。让我滩们看软一个LV观Q训练擦的例悬子。贿我们例训练LV鼻Q网络裹来求鱼解如尽下分浸类问示题：正如恒图14株-2最4所示顿，开狠始为聪每个纲输入伙指定顿目标零向量激：现在理必须赠决定亏选择伴多少溪子类屯来组希成这伏两类荷中的涌每一忆类。警如果造让每凯个类蜜是两槽个子才类的芝联合院，那钢么隐伤含层湿中最吉终将预有四杏个神鼻经元锣。输出醒层的帆权值分矩阵完将是将隐扇含神闪经元1和2与输翻出神秋经元1连结交起来虫，将源隐含行神经饺元3和4与输柿出神凡经元2相连导。每扫个类左都将崭由2个凸抄区域贱组成椒。的行垃向量租最初蛮被设吼置为僻随机蛙值，碎见图14茂-2储5.定义静类1的两项个隐敢含神皇经元应的权险值用植空心值圆圈物标记胆，定