（理论物理专业论文）神经网络中的自组织临界行为研究.pdf

神经网络中的自组织临界行为研究周黎明南开大学物理学院内容提要本文主要研究在神经网络巾所能体现的自组织临界行为。首先，在标准的自组织特征映射神经网络( s o m ) 的基础上，通过加入种神经元间脉冲的累积一发放机制，引入了一个耦合振子模型来研究生物神经系统中的自组织临界性机制在这个模型中可以发生一定的自组织i 艋界行为我们研究了非线性因素和神经生物学因素，比如神经元之间不同的相互作用函数形式，不应期等对系统的s o c 行为的影响，进而我们又在一种模拟生物神经网络的简化模型中，研究可变的突触强度和时延等对系统s o c 行为的影响。通过模拟计算发现这些因素对系统的s o c 具有重要的影响。这有助于理解大脑中所存在的s o c 现象和联想功能关键词：自组织临界性，神经网络，幂律行为s e l f - o r g a n i z e dc r i t i c a l i t yb e h a v i o ri nn e u r a ln e t w o r k sm a j o r ：t h e o r e t i c a lp h y s i c sa u t h o r ：z h o ul i m i n ga d v i s o r ：c h e nt i a n h l na b s t r a c tt h i sd i s s e r t a t i o ns t u d i e st h es e l f - o r g a n i z e dc r i t i c a l i t y ( s o c ) b e h a v i o ri nn e u r a ln e t w o r k s f i r s t ，b a s e do nt h es t a n d a r ds e l f - o r g a n i z i n gm a pn e u r a ln e t w o r km o d e la ，n dan l o r ed e t a i l e di n t e g r a t e a n d f i r em e c h a n i s m ，w ei n t r o d u c eak i n do fc o u p l e dm a p p i n gl a t t i c es y s t e mt oi n v e s t i g a t es o ci nt h ea c t i v i t yo fm o d e ln e u r a lp o p u l a -t i o n so u rm o d e lc a nd i s p l a ys o cb e h a v i o r w ei n v e s t i g a t et h ei n f l u e n c eo fs o m en o n l i n e a rf a c t o r sa n dn e u r a lb i o l o g i cf a c t o r so ns o cb e h a v i o r so ft i l es y s t e m ，s u c ha st h ei n t e r a c t i v ef u n c t i o na n dt h er e f r a c t o r y p e r i o d b a s e do nas i m u l a t i v eb i o l o g i cn e u r a ln e t w o r km o d e l ，w ei n v e s t i g a t et h ei n f l u e n c eo ft h ec h a n g e a b l ys y n a p t i ce l -t i c a c i e sa n dt h et i m e - d e l a y e do ns o cb e h a v i o r so ft h es y s t e m w ec a df i n dt h a tt 1 1 e 8 ef a c t o r sh a v ei m p o r t a n ti n f l u e n c e so i ls o cb e h a v i o r s t h e s er e s u l t sc a nh e l pu sl e a r nm o r ea b o u ts o cb e h a v i o r sa n dt h ea s s o c i a t i o n a lf u n c t i o ni nt h eb r a i n k e yw o r d s ：s e l f - o r g a n i z e dc r i t i c a l i t y , n e u r a ln e t w o r k s ，p o w e rl a w南开大学学位论文电子版授权使用协议( 请将此协议书装订于论文首_ 页)论1 曼衲绷虢舛确百绸锨i 晦即悻碲粝系本人存南开大学工作和学习期间刨作完成的作品，并p 通过论文答辩。本人系本作品的唯一作者( 第一作者) ，即著作权人。现本人同意将本作晶收录于“南开大学博硕十学位_ 睑文全文数据库”。本人承诺：已提交的学位论文电子版与印刷版论文的内容一致如冈不同而引起学术声誉上的损失由本人自负。本人完全了解直珏太堂图蓝值差王握叠：焦田堂焦j 金室曲鳘墼壶洼n 同意南开大学图书馆在下述范嗣内免费使用本人作品的电子版：本作品呈交当年，在校圊网上提供论文目录检索、文摘浏览以及论文全文部分浏螭服务( 博士论文前2 4 吹，帧士论文前1 6 贝) 。公开缀学位论文全文电子版十提交1 年后，在校园网上允许读者浏览并p 载全文。汗：本协议书对于“非公开学俯论文”存保密期限过后同样适用。院系所名称：卅绣旁阮作者签名：周绷学号。d 扣泖日期：2 0 0 4j ，月五1 日第一章绪论人们对事物的认识总是南浅到深的，而且随着科学技术的发展，认识还在不断的变化。我们所处的年代，科学本身也经历着重大的变革以往科学的发展使人们陶醉于自然界的和谐与完美之中我们总可以找到一条简单的规律或用一组确定的方程来描述。物理学家几乎都认为宇宙的基本定律是决定性的和可逆的牛顿第二定律是这种观点的代表。根据牛顿第二定律，事物的演化完全由初条件决定，正如著名物理学家拉普拉斯所说；“只要给我初条件，我就可以决定未来的一圩j ”多么完美的自然! 爱因斯坦的相对论正是这种时间和空间高度对称性的产物事物果真是如此简单的演化吗? 时空果真是如此对称吗? 复杂，多样化和不稳定的自然界本身就是最好的回答在这个复杂的世界上既可以发现可逆性，也可以发现不可逆性的事物的演化。除了决定性的现象还有随机性的现象。统计力学的研究虽然认为未来是可预测的，但只是在统计意义上来讲的，量子力学的“测不准原理”已经告诉我们未来的有些量是不能预测的。象生物那种在形态和功能上最复杂最有组织的物体，其基本形成过程本身就是不可逆和随机的正象著名物理学家普利高津所说：“许许多多塑造着自然之形的基本过程本来是不可逆和随机的，那些描述相互作用的决定性和可逆性的定律不可能告诉人们自然界的全部”。普利高津的“耗散结构”学说的提出【1 1 ，对时间的对称性发生了疑问，为研究自然界不可逆的复杂现象提供了新的理论依据，因而1 9 7 7 年普利高津获得了诺贝尔奖。混沌学说的提出，给“决定论”以巨大的冲击，长期不能解决的湍流现象，又看到了希望这些学说大大丰富了我们对事物演变的认识。如果“未来已经包含在过去之中”，那么我们还要研究什么新的现象呢? 如果“未来是确定性的”，那还谈得上变化的多样化的世界呢? 新的观点正把科学家们的热情引导去探索复杂的世界，正象普利高津和尼克里斯说的，“未来并不完全包含在过去之中”代替“未来即意味着将来”的观念结构。我们正步入一个世界，在这里未来是不确定的，时间是一种构造，我们所l ! ! ! 望塑堕墨垡! ! q 里! 煎堂!有的人都可以参与其中f 2 1 。复杂性科学是一门新兴科学，所以它涉及到许多非常有前途的研究方向和热点课题。其中一个方向是研究大量简单的独立个体通过相互作用而在不同的层次上所涌现出的独特动力学行为自组织临界性( s e l f - o r g a n i z e dc r i t i c a l i t y )现象就是这一方向的一个重要研究课题。自然界的复杂行为反映了有许多分支的大型系统会朝着均衡的临界态发展的一种趋势，这种趋势偏离了平衡，而且微小的扰动可能导致大大小小的雪崩。大多数的改变是通过灾难性的事件而不是通过遵循一种平和渐变的路线来实现的。朝着这种非常微妙的态的演化并没有受到任何来自外部因素的影响这种态之所以建立起来仅仅是因为系统中的单个元素之间的动力学相互作用；这种临界态是自组织的。自组织i 临界性是目前所知道的产生复杂性的唯一的普遍机制【3 】1 1自组织临界性( s o c ) 简介在我们的生活中，到处存在着具有幂律行为的事件例如地震模型，森林火灾模型，沙堆模型，生物演化模型，经济学模型，交通阻塞模型。在地震模型中，我们发现地震模型满足著名的古登堡一里特定律l o g ( m ) = a b m ，这一关系在双对数坐标上表现为一条直线，具有幂律行为【4 】。其中m 代表地震震级的大小，n 代表m 出现的频率。以上关系说明，在现实生活中小地震出现的概率大，大地震出现的概率小，而且它们并不特殊，和小地震遵循1 样的规则。在生物学领域中，达尔文的理论对于地球上生命进化的一些普遍现象进行了简单、精确的描述但是，达尔文否认大规模灭绝事件的存在。那么我们又如何来解释类似恐龙这类大规模灭绝事件呢? 经过科学家的努力发现灭绝事件的双对数图是一条平滑的曲线【5 】，这征明大规模的灭绝事件和小规模灭绝事件遵从同样的机制，否则大灭绝事件的大小和频率就和小灭绝事件没有什么关系。第一章绪论在经济学方面，也存在一个同古登堡一里特定律一样的经验性的模式。纽约i b m 的rj 沃特森中，l - 的贝罗特曼得布罗特在1 9 9 6 年指出，证券、棉花以及其他商品价格低和高的波动的概率，遵从一种非常简单的模式【6 】。也就是所谓的列维分布。曼得布罗特收集了几年中棉花价格逐月波动的资料他然后计算出月波动在i o 到2 0 之间的是多久一次，5 到l o 之间的又是多久一次，并且把这些结果画在一个对数图上价格波动的分布近似地遵从一条直线，一个幂律规律。价格波动是“标度自由的”，即波动没有典型的特征尺度，正如地震没有一个特征大小。对于交通阻塞现象也可以发现类似的规律。每个大阻塞中都包含小的准阻塞。经过大量的 卜算机模拟，可计算出不同的交通阻塞数。科学家们发现了个幂律分布，幂律定律的幂次与3 2 较接近。交通阻塞是一个讨厌的事物，是因为我们缺乏能力，无法预测它。有时为了一个大阻塞我们被迫减速，有时则不然。可能会有人猜测是不是有一种处理交通阻塞的更有效的态。系统自组织到汽车流通速度最高的临界态。如果密度稍低一点，高速公路就没有被完全利用，如果密度稍高，那就会存在一个长久的、巨大的拥挤，把很多车吸进去了。在这两种情况下，流通速度都会降低自组织临界态可能在现实中不是最好的态，但它是动力学上能获得的最好的态。尽管大的事件以一定的概率出现，但这并不意味着这个现象是周期性的长时间没有发生地震这个事实并不意昧着将有地震发生。这种情形和用来赌博的轮盘转动一样。尽管平均来说隔一次蹦现黑子，但这不意味着红子与黑子交替出现。经过七次连续的红子之后，下一次黑子的出现的概率仍然是i 2 地震在某个平均间隔内发生并不意味着它们是周期性的。例如，战争平均每三十年就会爆发一次这个事实并不能用来预报下一次战争。这种间隔的变化是巨大的。l ! ：! ! 塑墨t 堕墨挂f ! q 9 堕坌!1 1 1自组织临界性概念自组织临界性的概念是b a k ，t a n g ，w i e s e n f e l d 在1 9 8 7 年提出的【7 】，其含义主要是指一大类有多个单元组成的复杂系统，在外界驱动和内部组元间的相互作用下，能够通过一个漫长的自组织过程演化到一个动力学临界状态，在这个状态下，系统的一个微小的局域扰动可能会通过类似“多米诺效应4 的机制被放大，其效应可能会延仲到整个系统，形成一个大的雪崩。从自组织的方面来说，不需要对外部控制参量的明显调节，s o c 系统就可以自发演化到一个临界状态。这与平衡态统计力学中平衡相变的临界性的出现是不同的，比如在铁磁相变中，当系统的一个参数( “温度”) 经调节逐渐下降到居里点时，会发生由无序的无磁性状态到有序的磁化状态的相变，同时出现一些临界行为。从上述过程我们可以看到，平衡系统的相变需要调节系统的某个参数，而一般认为s o c 的产生是通过系统内部组元间的复杂的相互作用而产生的，纯粹是系统自身的一种动力学，不依赖于任何参数。从临界行为的意义上说，处于s o c 状态的系统中会出现各种大小的“雪崩”( a v a l a n c h e ) 事件，而且“雪崩”的大小( 时间尺度和空间尺度) 均服从“幂律”分布，这意味着系统的雪崩动力学行为没有一个特定的特征长度，各种尺度上的雪崩行为都可能发生，具有时间和空间上的“标度无关性”，体现了由短程的局域相互作用导致的系统组元间的一种长程时空关联。这时，系统的行为与第二类相变时临界点的行为有相似之处，也有临界指数等概念，也可以用一些在相变现象中行之有效的方法来处理，因此，b t w 在对s o c 行为的表述中，借用了“临界性”这一概念。1 1 2 自组织临界模型1 1 2 ，1b t w 沙堆模型沙堆模型是最早提出来的s o c 模型【7 ，8 ，9 ，1 0 1 。在一个平整的台子上，把沙缓缓地加到台子上，而且每次只加一粒沙。沙粒可以被加到任意的位置上，第一章绪论6或者只加在某个点上。最初，沙粒或多或少地会停留在它们落下的位置上。当我们不断加进沙子的时候，沙堆会变得陡峭起来，并且小沙粒会滑动起来或者说雪崩发生了。沙粒会附在其他沙粒的顶部，同时跌到一个较低的层次。这个过程也会使其他沙粒轮流倒塌。一粒沙的加入必会导致一个局域的扰动，而对沙堆来说不会有任何戏剧性的事情发生。但是当沙堆变得更为陡峭的时候，一粒沙就很有可能使其他沙粒倒塌最终，当沙粒的陡峭到达一定程度的时候，沙堆就不可能再增长了，因为平均来看加到沙堆上的沙的数量与从沙堆边缘上掉下的沙的数量足相等的。偶尔，整个沙堆中也会有雪崩事件插进来。这就是自组织临界( s o c ) 态把沙粒落在其上的台面用一个二维的格子来表示。每个方格子都有一个坐标( 。，y ) ，我们用一个数z ( z ，y ) 来表示落在方格中的沙粒数。随便选取一个格子，并把那个格子的高度z 增加1 ，从而就把一粒沙加到了那个方格子中：z 扛，y ) _ z 0 ，y ) + 1( 1 1 )一遍又一遍地重复这个过程一旦某个方块地高度z 超过了一个临界值z 。，z c ，是任意设置的，比如设为3 ，那么这个方块就会向邻近的四个方块中的每个方块输送一粒沙。因而，当z 达到4 的时候，那个方块的高度就会减小4 个单位，z ( x ，y ) 一z ( x ，y ) 一4( 1 2 )当z ( z ，y ) 玩，并且与那个方块邻近的四个方块的高度分别增加1 个单位时，z 土1 ，y ) 一z 0 士l ，y ) + 1( 1 3 )z ( z ，y 土1 ) 一z ( x ，y 士1 ) + 1( 1 4 )如果不稳定的格子碰巧在边缘上，那么沙粒就离开了这个系统，它们从台子的边缘上掉下去了，我们就不用再关心这些沙粒，如图1 1 的过程刚开始时，格点的高度都很低，因而没有不稳定的格点。所有格点的z 都小于3 ，因而沙粒恰好就停留在它们落下时的位置上经过多白组织临界性( s o ( ：) 简介次把沙加到方格子中，某处格予的高度必定会超过3 ，因而就有了第一个倒塌事件。而这个格子的四个邻近格严的高度不町能马上超过3 ，因而没有更进一步的倒塌事件发生当这个过程继续f 去的时候，很有可能至少一个邻近格子的高度会达到临界值，因而最紊u 的倒塌事件就导致了第二个倒塌事件。一个倒塌事件导敏下一个倒塌事件，就像倒i j 的多米诺骨牌一样。当更多的沙粒加入的时候，就会有越来越大的滑坡事件，或雪崩。经过7 个时间步，这个沙堆进入了一个稳定态，在这个稳定态t t 所有格点的平均高度不再增长。3o2i3l31i3i2，i ? j13一o2f 12033_ _ _ i23401l13223陪21021 。_ - 。2322o3l1i3鞋2l3i2312023_ 1 。_ 23230_ _ _ _ _ _ _ 12432。_ _ _ - 1 1 313210)2121213324011133231 _ _ 一32102。_ _ 一0232212023_ _ 。_ _ _ _ 1 - 23330_ _ 130423142102212；j0102l0l23l3l43i2j02l0l42i3l1303图【1 ：一个小沙堆中的倒塌雪崩事件的插图说明。一粒沙掉在位于格子中央且高度为3 的方块中，从而导致了一个由9 个倒塌事件组成的雪崩，并且整个过程持续了不断变化的7 个步骤。这个雪崩的量级s = 9 。黑色的方格子显示了8 个已倒塌的方格。有一个方格倒塌了两次。对于一个5 l j 5 0 的二维沙堆模型来说，雪崩的数量与大小之间的关系由塑= 童堑逭!图1 2 给出，直线表明雪崩遵从古登堡一里特幂率律定律。幂律定律表明稳定态是临界的。- 口一s图1 2 ：沙堆模型中的雪崩大小分布，这个图利用对数坐标显示了各种大小的雪崩的数量。这是一个幂指数为1 , 1 的幂律分布。1 i 2 2o f c 地震模型地震可能是自然界中自组织临界现象最明显而且最直接的例子。大多数时间里，地壳是静止的，处于郁滞时期。这种显而易见的平静有时被很强烈的问歇爆发活动所打断于是产生少数非常大的地震，但更多的是小地震。小地震对我们根本没有多大影响，因而科学上一直致力于对少数几个大的、灾难性的地震作出预测。在阐述单个地震或地震带的理论或解释方面，科学家们已取得一些直接进展，但还没有任何人尝试对地震现象作一个全面的了解。在地震学的研究中，有一种公认的观点是地震的动力学与地壳的粘连一! ! 自里塑! 堕墨堡! ! 竺竺2 堕坌!滑动( s t i c k s l i p ) 机制有关当地壳的某一处发生滑动时，该处的能量就被释放出来，且随之传播到附近的环境当中。基于这种物理图景，并对b u r r i d g c 和k n o p o f f 著名的弹簧一板块( s p r i n g - b l o c k ) 模型 “j 做了一定的简化，o l a m i 、f e d e r 、c h r i s t e n s e n 提出了二维格子的o f c 模型1 2 ，1 3 1 。他们用二维的格子来模拟地壳。给每个格点j 赋予一个动力学变量毋，在【o ，1 】之问取僵。给出一个阈值瓯= 1 ，如果一个格点的动力学变量毋1 ，就认为该格点不稳定，就会向近邻格点释放能量，遵从以下规则：( 1 5 )l ，k 。+ n 日( i6 )其中n n 代表格点i 的近邻格点，至于。可以根据模型是不是守恒的来确定。譬如，如果模型是守恒的而格点i 叉不是边界上的点，我们取n = 0 2 5 在每次雪崩开始的时候，我们找出最大的e 值，记为e + 。给所有的e 都加上既一e + ，使拥有最大值口的格点达到阈值，就可以开始一个雪崩。在地震模型中有三种边界条件；( i ) 自由边界条件：队为处于边界的格点有三个近邻格点，而处于中央的格点有四个近邻格点。( i i ) 开边界条件t 认为所有处于边界的格点都有四个近邻格点。处于边界上的格点就会造成一定的能量流失。( i i i ) 周期边界条件：认为所有的格点有四个近邻格点，边界的格点除了向三个近邻格点释放能量之外，还要向对边格点释放能量，端点上的格点除了向近邻的两个格点释放能量之外，还要向两个对边的格点释放能量，根据以上的规则，我们可以由图1 3 中看出以上的这种地震模型动力学演化呈现幂律行为，通常我们都是通过双对数图来研究临界行为。但是通过这种方法我们无法准确的确定出当。下降到多少时，还能使系统体现出幂律行为，一般我们认为0 n o2 5 ，系统可以体现出幂律行为【1 4 】。第一章绪i 仑m 删u “l ”d l o i( n )图1 3 ：( a ) 1 9 7 4 1 9 8 3 年间美国东南部的新马里兰地区地震大小的分布，孟菲斯州立大学的阿克约翰斯通和苏珊娜娃收集。这些点显示了量级大于给定的m 的地震的数量。这个简单的定律就是众所周知的古登堡一里特定律。( i ，) 在这个图上表示了地震的方位分布。点的大1 、代表了地震的量级。由罔l4 中可以看出当系统的格点数增加的时候，幂律定律以一种系统化的方式延展到较大的躯什七去，也即不同大小的系统的曲线遵从同一个系统行为这种方式被称为有限大小杯度性，只有临界系统才满足这个标度性相反地，如果系统不是临界的，那么截断就不受系统大小的影响。我们可以从双对数图推测出一个公式p ( s ) 一s p z p ( 一s s i )( 1 7 )假定玩随系统增大而增大，有人认为5 o l ”一啪m州c#，-4l：_、f1 l 自组织临界性( s o c ) 简介罩鲁兽=q- 口e a x t h q u a k ee n e r g yr e l e a s e de图1 4 ：在人造地震的图表中找到了古登堡一里特定律，这些图表中的数据来源于阿拉米等( 9 9 2 年) 研究的弹簧块阵模型。不同的曲线对应于不同大小的系统。1 l 2 3b s 生物演化模型1 9 9 3 年b a k 和s n e p p e n 提出了一类新的s o c 模型，b s 生物演化模型f 1 5 1为s o c 理论的应用提供了另一领域。由于物种之间屉相互联系的，为了更好地知道物种之间谁和谁相互作用，b s 模型将所有的物种放在一个环上( 如图1 5 ) 。环上的一个格点代表一+ 个物种，给每个物种赋一个( o , 1 ) 的随机值代表它的适应性。人们认为晟不适于生存的物种变异或者在生态学适当位置的另一个物种对这个物种的取代，是由这个物种同与之相互作用的物种之间的关系所决定的。适应性最差的物种是下一个时间段里最可能消失或者变异的物种。如果第一章绪论1 2图1 5 ：一个r s 模型，图中小圈代表物种。有一个物种改变了，它就会影响在环上的两个近邻，在模型中就是分别随机选取适应性值以代替它本身和两个近邻原来的适应性值。在计算机模拟的开始阶段，适应性平均说来会增长，这是因为适应性最差的物种总是要被淘汰的。如图1 6 显示了适应性最差的物种的适应性与时间的关系。尽管会有一些上下的起伏，但平均适应性总体上有一种增长的趋势。最终，平均适应性不再增长。所有物种的适应性都在某个阈值之上，阈值看起来非常接近2 3 。当我们考虑所有物种都在阈值之上：时，在下一个时间段里，适应性最差的物种，它恰好处于阈值处，会被挑选出来，开始形成变异( 或灭绝) 事件中的一个“雪崩”，这就是生态学中的一个多米诺效应过了一段时间，当所有的物种都处于一种“郁滞”状态时，在这种状态中所有适应性又都超过了阈值，雪崩就会停下来。1 2 神经网络简介l 2 1 神经网络的生物学基础神经生理学和神经解剖学的研究结果表明，神经元( n e u r o n ) 是脑组织的基本单元，是神经系统结构与功能的单位。据估计，人类大脑大约包含1 0 ”一1 0 ”个神经元，每个神经元与大约1 0 3 1 0 5 个其他神经元相连接，构成一个极为庞大而复杂的网络，即生物神经网络。生物神经网络中各神经元之间连接的强j 坠兰塑丝旦堡煎堂! !0 8f cn 62o - 已o o? _ ，- 。t ，t 丢i ：1 1 2 i 。jt i i ij - j i ?j 。”。“：。-os】图1 6 一个包含2 0 个物种的小型进化模型中适应性最差的物种的适应性与修正步骤的数量5 之间的关系。弱，按照外部的激励信号作自适应变化，而每个神经元又随着所接受的多个激励信号的综合结果呈现出兴奋与抑制状态。大脑的学习过程就是神经元之间连接强度随外部激励信息作自适应变化的过程，大脑处理信息的结果由各神经元状态的整体效果确定显然，神经元是人脑信息处理系统的最小单元 1 6 1 2 1 1 生物神经元的结构人脑中神经元的形态不尽相同，功能也有差异，但从组成结构来看，各种神经元是有共性的。图1 。7 给出了一个典翟神经元的基本结构和与其他神经元第一章绪论发生连接的简化示意图1 4图1 7 ：生物神经元和其他神经元发生连接的简化示意。神经元在结构上由细胞体、树突、轴突和突触四部分组成。( 1 ) 细胞体( c e l lb o d y ) 细胞体是神经元的主体，由细胞核、细胞质和细胞膜三部分构成。细胞核占据细胞体的很大一部分，进行着呼吸和新陈代谢等许多生化过程( 2 ) 树突( d e n d r i t e ) 从细胞体向外延伸出许多突起的神经纤维，其中大部分突起较短，其分支多群集在细胞体附近形成灌木丛状，这些突起称为树突。神经元靠树突接受来自其他神经元的输入信号，相当于细胞体的输入端。( 3 ) 轴突( a x o l l ) 由细胞体伸出的最长的一条突起称为轴突轴突比树突长而细，用来传出细胞体产生的输出电化学信号。轴突也称神经纤维，其分支倾向于在神经纤维终端处长出，这些细的分支称为轴突末梢或神经末梢神经末梢可以向四面八方传出信号，相当于细胞体的输出端。( 4 ) 突触( s y n a p s e ) 神经元之间通过一个神经元的轴突末梢和其他神经元的1 2 神经网络简介细胞体或树突进行通信连接，这种连接相当于神经元之间的输入输出接i ：1 ，称为突触每个神经元大约有1 0 3 1 0 5 个突触，多个神经元以突触连接即形成神经网络1 2 1 2 生物神经元的信息处理机制在生物神经元中，突触为输入输出接口，树突和细胞体为输入端，接受突触点输入信号；细胞体相当于一个微型处理器，对各树突和细胞体各部位收到的来自其他神经元的输入信号进行组合，并在一定条件下触发，产生一输出信号；输出信号沿轴突传至末梢，轴突末梢作为输出端通过突触将这一输出信号传向其他神经元的树突和细胞体。1 2 2 人工神经网络模型人工神经网络是由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，该系统是靠其状态对外部输入信息的动态响应来处理信息的。人工神经网络不是人脑生物神经网络的真实写照，而只是对它的简化、抽象与模拟 1 7 ，1 8 ，1 9 ，2 0 。1 2 2 1 神经元的建模目前人们提出的神经元模型已有很多，其中最早提出且影响最大的，是1 9 4 3年心理学家m c c u l l o c h 和数学家w p i t t s 在分析总结神经元基本特性的基础上首先提出的m - p 模型 2 1 。该模型在简化的基础上提出以下6 点假定进行描述：f 1 ) 每个神经元都是一个多输入单输出的信息处理单元；( 2 ) 突触分兴奋性和抑制性两种类型【2 2 】；( 3 1 神经元具有空间整合特性和阔值特性；( 4 ) 神经元输入与输出间有固定的时滞，主要取决于突触延搁；( 5 ) 忽略时间整台作用和不应期；第一章绪论( 6 ) 神经元本身是非时变的，即其突触时延和突触强度均为常数。以下是根据以上假定建立的神经元数学模型：令日( ) 表示t 时刻神经元j接收的来自神经元i 的信息输入，o j ( ) 表示t 时刻神经元j 的信息输出，则神经元j 的状态可表达为o a t ) = ，匹o g i j x t ( 一码) 】_ 乃( 1 8 )式中几，一输入输出间的突触时延；乃一神经元j 的阈值；蚍，一神经元i 到j 的突触连接系数或称权熏值；，( ) 一神经元转移函数。1 2 2 2 神经元的转移函数神经元的各种不同数学模型的主要区别在于采取了不同的转移函数，从而使神经元具有不同的信息处理特性神经元的转移函数反映了神经元输出与其激活状态之间的关系，最常用的转移函数有以下4 种形式。( 1 ) 阊值型转移函数阈值转移函数采用了图1 , 8 中的单位阶跃函数，m 110图1 8 ：阀值型转移函数。! ! 塑丝塑堑堕堂一一一! !用f 式定义m ，= r 烹。，具有这一作用方式的神经元称为阈值型神经元，这是神经元模型中最简单的一种，经典的m p 模型就属于这一类。( 2 ) 非线性转移函数非线性转移函数为实数域r 到 o ，1 】闭集的非减连续函数，代表了状态连续型神经元模型。最常用的非线性转移函数是单极性s i g m o i d函数曲线，简称s 型函数，其特点是函数本身及其导数都是连续的，因而在处理上十分方便。单极性s 型函数定义如下m ) 2 再丢( 11 0 )有时也常采用双极性s 型函数( 即双曲正切) 等形式，见图1 9m ) = 熹一- = 篙( 1 1 1 )m ) 。奇一l2 再( 1 1 1 )| lo厂乡图1 9 ：s 型转移函数。( 3 ) 分段线性转移函数该函数特点是神经元的输入与输出在一定区间内满第一章绪沦1 8足线性关系。由于具有分段线性的特点，因而在实现上比较简单表达式如下卜，( z ) = “i1 图11 0 给出该函数的皓线。z 0o 茁 z z c - - j人工神经网络的功能特性由其连接的拓扑结构和突触连接强度，即连接权l ! ：竺塑墅堕整煎坌值决定。神经网络的全体连接权值可用一个矩阵w 表示，其整体内容反映了神经网络对于所解决问题的知识存储。神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出。一学习算法神经网络的学习算法很多，根据一种广泛采用的分类方法，可将神经网络的学习算法归纳为三类：一类足有导师学习，二类为无导师学习，三类是死记式学习( 1 ) 有导师学习也称为有监督学习，这种学习模式采用的是纠错规则。在学习洲练过程中需要不断给网络成对提供一个输入模式和一个期望网络正确输出的模式，称为“教师信号”。将神经网络的实际输出同期望输出进行比较，当网络的输出与期望的教师信号不符时，根据差错的方向和大小按一定的规则调整权值，以使下+ 次网络的输出更接近期望结果。( 2 ) 无导师学习也称为无监督学习在学习过程中，需要不断地给网络提供动态输入信息。网络能根据特有的内部结构和学习规则，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入信息调整权值，这个过程为网络的自组织，其结果是使网络能对属于同一类的模式进行自动分类。( 3 ) 死记式学习是指网络事先设计成能记忆特定的模式，以后当给定有关该模式的输入信息时，模式便被回忆起来死记式学习中网络的权值一旦设计好了就不再变动，因此其学习是一次性的，而不是一个训练过程，二学习规则( 1 ) h e b b 学习律【2 3 。它的中心思想是：两个神经元之间的连接权，正比于两个神经元的活动值，具体做法就是通过调整权值屿t ，使两个处理单元屿和以之间的连接强度适应于两个处理单元的当前状态即如果一个神经单元屿接受从另一个神经单元巩方向传来的输入信息，则当前两个神经元均处于活跃第一章绪论时，它们之间的连接强度应增大，即“。：增大，其增量为u ，= a 屿矾( “ 0 ) ，n 为比例因子h e b b 学习律是权学习中最基本的方法，是一种无教师学习的方法，它只根据神经元间的激活水平改变权值，因此这种方法亦称相关学习律，( 2 ) d 学习律。它的学习途径是用已知例子作为教师对网络的权进行学习。如p e r c e p t r o na d a l i n e 模型和b p 模型中权的学习过程均采用了此方法。( 3 ) 固定式学习律它的思想是：网络的连接权是事先设计好的，值是固定的。如早期的m p 模型的权值在运算中是固定不变的。1 2 2 5 人工神经网络的基本特征与功能一基本特征( 1 ) 结构特征一并行处理、分布式存储与弈错性( a ) 人工神经网络是由大量简单处理元件相互连接构成的高度并行的非线性系统，具有大规模并行处理特征虽然每个处理单元的功能十分简单。但大量简单处理单元的并行活动使网络呈现出丰富的功能并具有较侠的速度。( b ) 结构上的并行性使神经网络的信息存储必然采用分布式方式【2 4 】，即信息不是存储在网络的某个局部，而是分布在网络所有的连接权中。一个神经网络可存储多种信息，其中每个神经元的连接权中存储的是多种信息的一部分。当需要获得已存储的知识时，神经网络在输入信息激励下采用。联想”的办法进行回忆，因而具有联想记忆功能。( c ) 神经网络内在的并行性与分布性表现在其信息的存储与处理都是空间上分布、时间上并行的。这两个特点必然使神经网络在这两方面表现出良好的容错性：一方面，由于信息的分布式存储，当网络中部分神经元损坏时不会对系统的整体性能造成影响，这一点就像人脑中每天都有神经细胞正常死亡而不会影响大脑的功能一样；另一方面，当输入模糊、残缺和变形的信息时，神经网络能通过联想恢复完整的记忆，从而实现对不完整输入信息的正确识别，这一特点就像人可以对不规范的手写字进行正确识别一样。l ! 兰塑丝堕塑煎坌( 2 ) 能力特征一自学习、自组织与自适应性( a ) 神经网络的自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过自动调整网络结构参数，使得对于给定输入哉产生期望的输出，训练是神经网络学习的途径，因此经常将学习与训练两个词混用。( b ) 神经系统能在外部刺激f 按一定规则调整神经元之间的突触连接，逐渐构建起神经网络，这一构建过程称为网络的自组织。( c ) 自适应性是指一个系统能改变自身的性能以适应环境变化的能力，它是神经网络的一个重要特征。自适应性包括自学习与自组织两层含义，自适应性是通过自组织实现的。二功能神经网络的功能主要包括联想记忆( 包括自联想记忆与异联想记忆两种基本形式) 、非线性映射、分类与识别、优化计算、知识处理等功髓目前已提出上百种人工神经网络模型。令人欣慰的是，这些简化模型的确能反映出人脑的许多基本特性。它们在模式识别、系统辨识、信号处理、自动控制、组合优化、预测预估、故障诊断、医学与经济学等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出良好的智能特性和潜在的应用背景。第一章绪论2 41 3 本论文内容安排本章我们简要介绍了自组织临界性和人工神经网络的基本概念和近期发展。后面的章节将表述我们将人工神经网络与自组织i 临界性结合起来所作的一些：亡作。第二章，第三章中，以标准的s o m 神经网络模式为基础，我们研究了神经网络系统中所能体现出的自组织临界性行为。我们发现，神经网络的各种复杂因素，例如神经元相互作用的函数形式，神经元的不应期，神经元传导时延，突触可塑性对s o c 行为都有重要的影响。这使我们相信，自组织临界现象可以作为对真实神经系统中的标度不变行为的一种可能解释，但必须考虑神经系统中的现实的复杂因素，才能使我们透彻地理解这一行为。第四章是对我们所做研究工作的总结以及对今后工作的展望，也包含本人对自组织临界性研究的一点看法。第二章自组织特征映射神经网络( s o m ) 系统的s o c 行为研究上一章里简单介绍了自组织临界性和神经网络系统的基本概念。本章和下一章中，将讨论在神经网络系统中出现的s o c 行为，以及神经网络的各种复杂因素对s o c 行为的影响。首先介绍我们为什么要研究神经网络中的s o c 行为，阻及该方面的研究动态。2 1 神经网络与s o c 的关系正如我们在第一章中所看到的，由大量简单的个体所组成的系统处于s o c态时，具有空间和时间尺度上的标度不变性，能够发生各个时间和空间尺度上的动力学行为，处于稳定性与可变性的边缘( 交界处) 。因此，有人认为s o c系统具有最大的复杂性和潜在的巨大汁算能力( 2 5 j 。而大脑正是由大量简单神经元所组成的非常复杂的系统，具有巨大的信息处理能力。其信息处理活动具有内稳和可变的特点：一方面大脑存储有相对稳定的信息内容，具备相对稳定的思维方式；另一方面大脑受外界的影响，必须不断更新知识，改变观念。更重要的是，如本节所述，大脑中也能够体现出各个层次的标度不变行为。正是这些相似之处使得很多科研工作者想把s o c 与大脑的学习、联想过程联系起来进行研究 2 6 ，2 7 】。2 1 1 大脑中的标度不变行为研究发现，以大脑为代表的中枢神经系统中，在不同的层次上存在着一定的标度不变行为或标度不变行为的痕迹。t g i s i g e r 就在b i 0 1 r e v 上总结了如下三种f 2 8 1 ：( 1 ) 人类信息交流中存在的标度不变行为：比如语言学中著名的齐普夫定律( z i p f sl a w ) 指出 2 9 】，如果对一篇作品中每个词的使用频率作一统计，并按其出现频率由高到低加以排序，则其频率和序号之间，存在着幂律关系。同时2 5璺三! 旦望塑堑堡堕堑塑丝旦笙! 曼q 坚2 墨塾塑璺q 曼堑塑墅塞丝人们也发现音乐中也会出现1 f 信号 3 0 】。由于语言和音乐是人类信息交流及大脑功能的非常重要的特性，因此一些科学家队为它们体现了大脑中一定的标度不变行为。( 2 ) 认知心理学中也发现有1 f 噪声【3 1 】：在一个可以展现大脑中短期记忆行为的一些特性的心理学实验中，受试者要求通过敲击键盘来重复刚刚被展示给他的时间或空间间隔，把他敲击的间隔与实际间隔的误差作为一个时间序列记录下来，并进行频谱分析。结果发现其中也有1 f 形式的功率谱。( 3 ) 大脑皮层活动会出现标度不变行为：在最近的一项研究中，科学家发现哺乳动物饼i 和短尾猿) 的大脑皮层神经元的连续发放的时间间隔也遵循幂律分布，其发放活动具有长时间的静息和突然的爆发相结合的特点【3 2 ，3 3 】这些现象的存在使得人们会产生很多疑问，如神经活动中的标度不变行为是怎样产生的? 为什么及在什么样的条件下神经元会处于这种标度自由的状态? 科学家们相信这些标度不变行为很可能反映了大脑中的一种普遍的动力学机制。而自组织临界性，由于可以解释标度不变现象，就成为了这种普遍动力学机制的可能候选者之一。2 1 2 大脑中自组织临界现象的研究动态s o c 概念的提出者之一- ，b a k ，就在他的专著大自然如何工作中提出3 1 ；“至少在两种情形下大脑必须是临界的首先，考虑一个大脑位于一些外部信号之中，例如一个视觉图像。输入的信号必须能利用储存在大脑中的一切，因而系统不能是准临界的，因为在这种情况下信息中只有很小的、有限的一部分能被利用。”“大脑也不能足超临界的，因为那时任意的输入都会在大脑里产生爆炸性的分支过程，而且会把输入与大脑中所储存的一切联系起来。”另外，“考虑大脑某处的一个神经元，以及与那个神经元有一段距离的输出神经元。通过改变神经元的性质，例如增加或减少它与邻近神经元的连接强度，应当有可能影响大脑中的输出神经元；否则神经元就不会具有任何有意义的功能了。如果里皇塑丝堕堑皇璺q 里壁墨大脑处于稳定的准i i 缶界态，那个变动只会造成局部的效果。如果大脑是一个混沌的无序态，其中神经元四处点火，那么就不可能和输出神经元交流，并且不可能通过所有的噪声来适当影响其信号。因而，大脑必须工作在临界态上，在那儿信息刚好能够传播在临界态，系统对小的震动有着极高的敏感性”b a k 及其合作者现在正致力于构造一些能体现思维基本特征的神经网络，在这些网络中采用了一些类似产生s o c 的机翩，获得了一系列的成果【3 4 ，3 5 ，3 6 ，3 7 1 。神经网络方而的权威，h o p f i e l d 3 8 1 也已经注意到了脑的神经生物学中的脉冲发放机制与能够体现s o c 行为的地震模型的累积发放机制之间有很强的相似性。1 9 9 4 年，他在”p 1 1 y s i c st o d a y ”上发表的一篇文章就认为可以将地震模型中的滑动( s l i p ) 与神经细胞的动作电位( a c t i o np o t e n t i a l ) 、地层板块间的弹性连接( s p r i n g sb e t w e e ns l i d e r s ) 与神经细胞间的突触连接( s y n a p t i cc o n n e c t i o n s )对应起来，并对将神经网络与s o c 结合起来表现出了浓厚的兴趣。我国中科院生物物理所的郭爱克院士也认为自组织临界行为很可能用来解释人的灵感或顿悟现象，他认为也许在得到某个“复杂而高深想法之前，已历经许久蓄意的意识活动，到达了自组织临界状态和可以完成复杂计算的混沌的边缘，甚至一根针落下，也会引发灵感和顿悟思维”，“它们或许是大脑中一次大规模雪崩的体现” 3 9 】。他及其合作者曾经构造了一个元胞自动机模型，这个模型复制了神经元的关联结构，即每个元胞是一个累积发放的神经元，它们之间的耦合是脉冲似的相互作用他们测量了雪崩大小的概率分布，结果表明在适当的条件下，系统表现出自组织l 临界性，他们还发现癫痫病人的脑海马区很有可能处于超临界状态，并采用耦合映象格子建立了脑海马神经元信息传递的汁算机仿真模型，并得到幂律分布和涨落特征，从仿真角度证明了脑海马区的自组织临界性【4 0 ，4 1 ，4 2 】。另外巴西的d s i l v a 等人，也在b s 生物演化模型的基础上，提出r 一种简单的s o c 模型 4 3 1 。在这令人兴奋的新领域，我们也做了1 些工作，这些工作主要着眼于神经网络的一些独特的神经生物学和非线性因素对其s o c 行为的影响本章将墨三曼皂望塑鲎堡墼堑塑堑塑塑f 璺q 坚2 墨篓塑曼旦里堑垄堑窒丝介绍自组织特征映射( s e l f - o r g a n i z i n gf e a t u r em a p ，简写为s o m ) 网络中所体现出的自组织临界行为。下一节对自组织特征映射神经网络进行简要介绍。2 2自组织特征映射( s o m ) 神经网络模型1 9 8 1 年芬兰h e l s i n k 大学的t k o h o n e n 教授提h 一种自组织特征映射网络( s e l f o r g a n i z i n gf e a t u r em a p ，简称s o m ) ，又称k o h o n e n 网络。k o h o n e n 认为一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性相类似 16 】生物学研究的事实表明，在人脑的感觉通道上，神经元的组织是有序排列。因此当人脑通过感官接受外界的特定时空信息时，大脑皮层的特定区域兴奋，而且类似的外界信息在对应区域是连续映像的。而神经元的有序排列以及对外界信息的连续映像在自组织特征映射网络中也有反映，当外界输入不同的样本时，网络中哪个位置的神经元兴奋开始是