（概率论与数理统计专业论文）逆高斯分布输入下的integrateandfire模型.pdf

摘要 对臻模型的研究，国外较旱。1 9 0 7 年l a p i c q u e 提逛臻模型后，具有。 随机输入的单一神经元模型已经被广泛研究。但都假定输入为p o i s s o n 分 布的情形，而此种假定是对生理学数据的一种很粗略的近似。本文考虑 更一般的更新过程( 逆高斯过程) 作为突触输入的逼近，更符合生物模型 的实际情况 本文首先在前入的基础上采用了两种较好的近似方法，却找一个与 突触输入具有相同的均值秘方差过程，得到了u a s 和o u s 近似方案。然 后用m a t l a b 傲了大量的数值模拟，以逆高斯输入为突触输入，对i f 模型 的输出进行了模拟发现这种网络通过简单几层传输后趋于同步，即输 入与输出服从同种类型分布冼以往p o i s s o n 输入的结果进步了 论文内容安排如下： 第1 章是绪论。主要介绍了神经网络的研究背景、相关的预备知识和 本文的主要结果。 第2 章介绍了神经元结构、神经元信号发放机制、h o d g k i n - h u x l e y 模 型、i n t e g r a t e - a n d - f i r e 模型及具有稳恒输入的两种模型的数值模拟 第3 章给出了i n t e g r a t e - a n d f i r e 模型下随机更新输入的两种扩散逼 近：u a s 、o u s 讨论了逆高斯输入下i n t e g r a t e - a n d - f i r e 模型的输出， 包括输出发放率、发放变差系数、发放间隔。通过数值模拟，我们发现 u a s 、o u s 两种扩散遥近能够很好地近似原始的更新输入，并且随着发 放率的增大，发放变差系数减少，也就是说，发放波动较小，模型趋于稳 定发放 第4 章讨论了自然输入下的i n t e g r a t e - a n d f i r e 模型的输出。在这里自 l 然输入是指：首先以p o i s s o n 输入i n t e g r a t e - a n d f i r e 模型，然后以这个模 型的输出作为下一个i n t e g r a t e - a n d - f i r e 模型的输入通过数值模拟发现： u a s 、o u s 两种近似方案同样能够很好地近似自然输入在第三章、第 四章的基础上构建了矩神经网络 关键词：矩神经网络i n t e g r a t e - a n d - f i r e 模型和h o d g k i n - h u x l e y 模型u a s 近似o u s 近似逆高斯分布 a b s t r a c t i fm o d e lw a se a r l ys t u d i e da b r o a d a f t e rl a p i c q u ep r o p o s e di fm o d e l ，s i n g l e n e u r o nm o d e l sw i t hr a n d o mi n p u t sh a v eb e e nw i d e l ys t u d i e d b u tm o s ts u c hs t u d i e s a r ed o n eu n d e rt h ea s s u m p t i o nt h a ti n p u t sa r ep o i s s o np r o c e s s e s ，t h ea s s u m p t i o ni s av e r yr o u g ha p p r o x i m a t i o no fp h y s i o l o g i c a ld a t a w ew i l lc o n s i d e rt h ec a s eo fr e n e w a l p r o c e s s ( t h ei n v e r s eg a n s s i a nd i s t r i b u t i o n ) i n p u t sw h i c hc o n f o r mw i t hp h y s i o l o g i c a l m o d e l s w ea d o p t e df i r s t l yt w ob e t t e ra p p r o x i m a t i o n so nt h eb a s i so ft h ep r e v i o u si n t h i sp a p e r t h a ti s ，t of i n das a m em e a na n dv a r i a n c ep r o c e s sw i t has y n a p t i c a p p r o x i m a t i o n s ，t h e nw ed oal o to fn u m e r i c a ls i m u l a t i o nt os i m u l a t ei fm o d e lw i t h t h ei n v e r s eg a u s s i a ni n p u t s t h en e t w o r ks y n c h r o n i z e st h r o u g hs i m p l el a y e r s ，t h a t i s ，t h ei n p u t sa n do u t p u t s0 b e yt h es a m ed i s t r i b u t i o n ，b e t t e rt h a ne v e rp o i s s o ni n p u t s i nt h i sp a p e r ，t h em a i nr e s u l t sa sf o l l o w s ： t h ef i r s tc h a p t e ri n t r o d u c e ss t u d yb a c k g r o u n do ft h en e u r a ln e t w o r k ，p r i o r k n o w l e d g ea n dt h em a i nr e s u l t si nt h ep a p e r t h es e c o n dc h a p t e ri n t r o d u c e st h es t r u c t u r eo ft h en e u r o n ，n e u r o n a li n f o r - m a t i o nf i r i n gt h e o r y , h o d g k i n - h u x l e y ( h h ) m o d e l ，i n t e g r a t e - a n d f i r e ( i f ) m o d e la n d s i m u l a t i o no fb o t hm o d e lw i t hs t a b l ei n p u t s t h en e x tt w oc h a p t e r sa r et h em a i nc o n t e n t i nt h et h i r dc h a p t e rw ed e r i v e t h ec o r r e s p o n d i n gu a sa n do u s s c h e m e s t h e nw es h o wt h a tt h e o u t p u ts p i k et r a i n sg e n e r a t e db yi fm o d e l b yt h ec o n t i n u o u sa p p r o x i m a t i o n s ，w e c o n c l u d et h a tb o t hs c h e m e sw o r kr e a s o n a b l yw e l l i nt h ef o r t hc h a p t e rw ec o n s i d e r t h eo u t p u ts p i k et r a i n sb yt h ei fm o d e l b ys i m u l a t i o nw ef i n do u tb o t hs c h e m e s w o r kw e l l ，f i n a l l yw ed e v e l o po u rm n n sf r a m e w o r kb a s e do nt h e m i i i k e y w o r d s ： m o m e n tn e u r o n a ln e t w o r ki fm o d e la n dh hm o d e l u a s a p p r o x i m a t i o n o u sa p p r o x i m a t i o ni n v e r s eg a n s s i a nd i s t r i b u t i o n i v 湖南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方 式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： zl 旋并d 妒年6 月f 箩日 湖南师范大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 研究生在校攻读学位期间论文工作的知识产权单位属湖南师范大学。 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权湖南师范大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密口。 ( 请在以上相应方框内打“刀) 作者签名：zf 疑珲日期：咿年6 月f 扩日 导师签名： 即南 日期：口孑年b 月缈日 逆高斯分布输入下的i n t e g r a t e - a n d f i r e 模型 1 绪论 1 1 研究背景 神经网络是一门活跃的边缘性交叉学科研究它的发展过程和前沿 问题，具有重要的理论意义人是万物之灵，区别人与动物的是其发达的 大脑及进化的智慧研究神经网络，特别是神经学习的机理，对认识和促 进人自身发展有特殊的意义近年来，我国“8 6 3 ”计划、攻关计划、“攀 登”计划和国家自然科学基金等，都对神经网络的研究给予了资助，吸 引了大量的优秀青年人才从事神经网络领域的研究工作，促进我国在这 个领域取得世界上的领先地位 神经网络理论是海量信息并行处理和大规模平行计算的基础，神经 网络既是高度非线性动力学系统，又是自适应组织系统，可用来描述认 知、决策及控制的智能行为它的中心问题是智能的认知和模拟近2 0 年来，神经网络理论与实践有了引人注目的进展，它拓展了计算概念的 内涵，使神经计算、进化计算成为新的学科，神经网络的软件模拟得到 了广泛的应用近几年来科技发达国家的主要公司对神经网络芯片、生 物芯片独有情钟例如i n t e l 公司、i b m 公司、a t & t 公司和h n c 公司 等已取得了多项专利，已有产品进入市场，被国防、企业和科研部门选 用，公众手中也拥有神经网络实用化的工具，其商业化令人鼓舞尽管 神经计算机、光学神经计算机和生物计算机等研制工作的艰巨性和长期 性，但有一点可以使人欣慰：它现在还只是初露锋芒，有巨大的潜力与 机会，前景是美好的 神经网络的发展已到了一个转折的时期，它的范围正在不断扩大，其 应用领域几乎包括各个方面半个世纪以来，这门学科的理论和技术基 础已达到了一定规模，笔者认为，神经网络到了新发展阶段，需要不断 磺圭学盈论交 完善和突破，使其技术和应用得到有力的支持 在过去的2 0 年里，我们见证了人工神经元网络( t h ea r t i f i c i a ln e u r a ln e t - w o r k 简称a n n ) 的发展，它对神经科学与工程应用产生了重大影响人工 神经网络理论是在现代神经科学研究的基础上提出的，它反映了人脑功 能的若干特性，但并非神经系统的逼真描述，丽只是其简化抽象和模拟， 嚣入工神经网络是一种抽象的数学模型寤自不同的研究角度和露的， 它可用作大脑结构模型、认识模型、计算机信息处理方式或算法结构然 而，早期的人工神经元网络仅把神经元当作一个二元装置，这个二元装 置震s i g m a 函数描绘神经元输入与输出关系，并且仅考虑神经元输入的一 阶矩，这篇文章将说明这种考虑过于简单化因为神经元的发放活动不 仅由输入的期望决定，而且还e l j 输入的更高阶矩决定【7 8 ，1 9 ，2 5 ，2 6 ，2 7 烈3 0 一 例如：具有穗藏频率的兴奋性穰抑制性随机输入流输入裂一神经元，在这 种随机输入流的作用下，膜势会偶尔越过阀值而产生脉冲因此，即使当 输入流的均值为零时，输出发放率一般大于零这个简单的例子说明： 人工神经元网络理论在考虑真正棒经系统的活动时有一定的局限性，因 为它并没有考虑随机输入的噪声所带来的影响 于是引出这样的讨论：是否能够构建一种神经计算框架模型，它不仅 考虑神经元输入的一阶矩对神经元脉冲发放的影响，面且还考虑了输入 的二阶矩，甚至更高阶矩对神经元脉冲发放的影响本文将说明这种考 虑是可能的，由予该模型考虑了频率的各阶矩，故称该模型为矩神经网 络模型。 1 2 预备知识 定义1 2 1 更新过程 如果x i ，i = 1 ，2 ，为一非负随机变量。它们独立同分布，记挑= 2 - 逆高斯分布输入下的i n t e g r a t e - a n d f i r e 模型 0 ，w n = 墨。五，w 。表示第n 次事件发生时刻则称 n ( t ) = m a x n ；w n t ) 为更新过程定义中n ( t ) 代表了时刻t 时事件的总数；w ，i = 1 ，2 ，称 为更新点，在更新点上过程重新开始。 定义1 2 2b r o w n 运动 b r o w n 运动由英国生物学家b r o w n 于1 8 2 7 年观察花粉微粒在液面上 的“无规则运动”而提出e i n s t e i n 对这种“无规则运动”作了物理分析， 并首次提出了b r o w n 运动的数学模型( b r o w n 运动的概率模型) 这个模 型给出了b r o w n 运动应遵从的概率分布w e i n e r 、l e v y 等人进一步研究 了b r o w n 运动的轨道性质这些性质异常深刻而奇特( 例如，b r o w n 运动 几乎所有的轨道都是处处连续而不可微的) w e i n e r 提出了在b r o w n 运动 的轨道空间上的定义与积分，从而形成了w e i n e r 空间概念此后对b r o w n 运动及泛函的研究深入发展，又逐渐渗透到概率论及数学分析的各个领 域，成为现代概率论的重要基础 b r o w n 运动一粒子在直线上随机运动，将其在时刻t 的位置记为 b ( t ，w ) 称为随机过程b = b ( ，脚) k o 为b r o w n 运动，若它满足以下条件： 1 ) 粒子在任意有限个互不相交的时间区间( s t ，t t 】上的位移b ( t t ，) 一b ( s t ，伽) 是相互独立，不防设b ( o ) = 0 2 ) b ( t ，w ) 一b ( s ，w ) 遵从正态分布n ( 0 ，t s ) 3 ) 除去一零测集外每固定一条轨道，b ( t ，w ) 对t 连续。 定义1 2 3 扩散过程 设x ( ) ，t 0 是m a r k o v 过程转移概率分布函数为f ( s ，z ；t ，y ) ，假定 过程在时刻t 位于x ，既x ( t ) = z 我们考察在 t ，司中的状态的变化 x ( t + a t ) 一x ( t ) ，由于要求轨道是连续的，即当a t 很小时，x ( t + a t ) 一x ( t ) 也应当很小用式子表示就是：对 一3 硕士学位论文 v o u ， 盘p i x ( t + a t ) 一x ( t ) l 6 i x ( ) = z ) = 0 或用转移概率分布函数表示为 l i m ， 也f ( t ，z ；t + a t ，y ) = 0 z xt - - * oj l 掣一圳 6 。一。 一般要求较强的条件；对任意6 0 ，a t 0 ， 艘忐岬i _ sd y p ( t ，x ；t + a t ，可) = 0 2 土世忐一酬6 d 掣p ( t a t ，z ；t + ，耖) = 0 尘峨击i ! ，一叫 5 ( 掣一x ) d 可f ( t ，z ；t + a t ，y ) 2 盘击正掣一i 0 和b 0 是每个兴奋性键后神经元电位 和抑制性键后神经元电位的强度一旦膜电位k 超过阀值，就产生一 个神经脉冲，膜电位重新设为k 鲥( 静止电位) 这个模型被称为i f 模型 【1 2 】 尽管随机输入的单一神经元模型已经在理论和计算神经科学中被广 泛地研究但大部分研究是在假定输入为泊淞分布的情况下进行的 3 , 9 , 1 4 , 1 9 , 2 4 , 2 6 , 3 1 , 3 2 因为神经元发出和接收放电脉冲一般是更新过程，因此这种假定是对生理 学数据的一种很粗略的近似我们将考虑更新输入的情况，它是对神经元 输入的一种更精确的近似然而分析地处理具有更新输入( 即使是简单的 泊淞过程) 的动力系统是困难的那么怎样用连续的过程来近似具有不连 续轨道的随机过程? 在文献里，早期用通常的近似方案u a s ( u s u a la p p r o x - i m a t i o ns c h e m e ) 来近似泊淞过程输入【3 2 】同时也研究了使用o u ( o r n s t e i n - u h l e n b e c k ) 来近似泊淞输入的神经元模型【2 ，4 6 ，捌两种情况的想法是：找 一个与更新过程具有相同均值和方差的扩散过程我们把这种方法用到 更新输入的情况，得到了相应的u a s 和o u s 近似方案 在以往的文献里，人们仅考虑了在抑制性神经元个数与兴奋性神经元， 个数相等的条件下，输入的一阶矩对i n t e g r a t e - a n d f i r e 模型输出的影响 而由生物本身的特性我们知道：输入的抑制性神经元个数与兴奋性神经 元个数是随机的本文考虑了在抑制性神经元与兴奋性神经元数目是随 机的条件下，输入的一阶矩、二阶矩、三阶中心矩的对模型输出的影响 并在此基础上构建了矩神经网络矩神经网络能够解释许多人工神经网 络不能解释的自然现象，如同步现象 本文在第三章主要研究了i n t e g r a t e - a n d - f i r e 神经元模型下逆高斯输入 的两种近似方案： 一5 硬圭学位论文 ( i ) u a s 近似 fd k 一一( k w 嘲) 凌+ 掣斑+ 熬歹f 两蠢最 iv o k 船= b o ( 2 ) o c s 近似 f d y , =- l ( v t 一珲搿t ) 旋+ 掣丞苁f f 聊藏一臼舻( ) 】 id c p ，0 ) = 一毒尹，( t ) a t + 、+ p r d b 。 v o2y r 。稚2b o lp ，( o ) = 0 l白兰2 一4 酋譬一誊 考虑上面两种近似方案，模拟逆高斯输入下i n t e g r a t e - a n d - f i r e 模型输出的 发放率、发放间隔、发放变差系数第四章考虑了具有自然输入的i n t e g r a t e - a n d - f i r e 模型的输出。通过数值模拟，我镌发现u a s 、o u s 两种扩散遭近 能够很好地近似原始的更新输入、自然输入，并且随着发放率的增大， 发放变差系数减少，也就是说，发放波动较小，模型趋于稳定发放，并在 此基础上构建矩神经网络。 - 6 - 逆高斯分布输入下的i n t e g r a t e - a n d f i r e 模型 2 神经元及其模型 2 1 神经元结构 人脑大约由1 0 也个神经元组成，而其中的每个神经元又与约1 0 2 1 0 4 个其他神经元相连接，如此构成一个庞大而复杂的神经元网络神经元 是大脑处理信息的基本单元，它的结构如图2 1 所示它是以细胞体为主 体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很 像一棵枯树的枝干它主要由细胞体、树突、轴突和突触( s y n a p s e ，又称 神经键) 组成 树突 图2 - 1 神经元结构 细胞体是神经元接受与处理信息的部件树突是细胞体向外延伸树 枝状的纤维体，它是神经元的输入通道，接受来自其他神经元的信息 轴突是细胞体向处延伸的最长、最粗的一条树枝纤维体，即神经纤维，其 长度从几个微米到1 m 左右它是神经元的输出通道。轴突末端也有许多 向外延伸的树枝状纤维体，称为神经末梢，它是神经元信息的输出端， 用于输出神经元的动作脉冲轴突有两种结构形式：髓鞘纤维和无髓鞘 - 7 硕士学位论文 纤维，两者传递信息的速度不同，前者约为后者的1 0 倍一个神经元的 神经末梢与另一神经元树突或细胞体的接触处称为突触，它是神经元之 间传递信息的输入输出接口每个神经元约有1 0 3 1 0 4 个突触 2 2 神经元信号发放机制 由神经生物学的知识可知【埘，理想神经细胞含有钾、钠、氯等离子 和一种大的阴离子这些离子是跨膜分布的，它们在细胞两侧的分布受 到两个主要的限制：( i ) 细胞膜内外的溶液总体上必须是电中性；( 2 ) 细 胞内溶液中的离子和分子的总渗透浓度必须与细胞外液相等每一种跨 膜分布的可通透离子由两种附加的梯度驱使它进出细胞：一个是浓度梯 度；一个是电位梯度比如钠离子胞外浓度比胞内浓度高得多，由于浓 度梯度的作用，钠离子将向胞内渗透，钠离子内渗引起胞内电位变高， 形成电位梯度，电位梯度将阻止钠离子向胞内渗透，最终在两种梯度作 用下钠离子达到平衡n e r n s t 方程给出了任何离子在细胞内外浓度比与 平衡电位之间的关系 大量的实验表明，膜电位主要是由细胞膜对两种存在的离子( 钠和钾) 相对通透性所决定，其发放脉冲的过程主要是钠的通透性发生变化引起 的首先对于内负外正平衡状态的神经细胞对钠的跨膜通透性变大，大 量带有正电荷的钠离子渗透到胞内，打破已有的浓度梯度与电位梯度之 间的平衡，胞内电位变高，引起去极化，由于受到前面所述的两个限制 的作用，膜电位迫使钾离子向胞外渗透，胞内电位变低，引起超极化尽 管钠、钾离子的胞内、胞外渗透是同步的，但钠的通透度远远大于钾的 通透度，所以膜电位总体是升高的，当膜电位达到阀值时，神经元将发 放脉冲( 即点火) 之后钠将处于失活状态，当钠失活后，钠离子继续向 胞外渗透，膜电位变低，最后整个细胞又恢复到冈! 开始的平衡状态这 就是神经细胞信号发放机制 逆高斯分布输入下的i n t e g r a t e - a n d f i r e 模型 2 3 h o d g k i n - h u x l e y 模型 1 9 5 2 年心理学家h o d g k i n 和数学家h u x l e y 在研究神经细胞膜等效电 路时，首次提出了描述神经细胞膜动作电位产生和传导的电神经生理数 学模型，简称h h 模型其模型如下： c d v = - - g n 。m 3 h ( v 一n ) 出一g k n 4 ( y v 七) d t g l ( v y l ) d t 十矾 ) ( t ) 这里l ) ( t ) 是神经键的输入，其中几，m ，h 满足下列微分方程： d n n o o nd mm 一md o 。一h 一：= ：一一= 一一= 一 出 出 丁m 出 死 和 o z n 2 丽，a n 十工) ” 1 2 丽q n 十工) “ q m m 2 忑干瓦，q m 十 1 m 2 丽a m 十) k = 盎o t h十上) h k = 而1q h 十工) j l 以及 =五o01而(v+鬲55)，风=o125ezp(otn x p t 一等) 2 f 面而j 两，胁2 u e 一百j 0 1 ( y + 4 0 )y + 6 5 、 2 f 之裔奄，如24 e x p ( 一可) 该模型基于可兴奋细胞膜k + 和口+ 离子电流对动作电位的影响在h h 模型的基础上，发展了不同类型和功能的神经元放电模型，其中的典型 例子如：加q + 离子对神经元膜电位影响的c h a y 模型；根据海马区神经 元形态特征描述的神经元放电的t r a u b 模型等以上几种模型都是描述 神经元在放电过程中某些离子通道电导的变化，这类基于电导的神经元 放电模型被称为细节神经元( d e t a i l e dc o n d u c t a n c e - b a s e dn e u r o n ) 模型。第二 类神经元放电模型是以神经元的放电时间为研究对象，不考虑在放电过 程中离子通道的电导变化，被称为形式放电神经元( f o r m a ls p i k i n gn e u r o n ) 模型其中的典型例子如：m c c u l l o c h p i t t s ( m p ) 模型，整合放电( i n t e g r a t e - a n d - f i r e ) 神经元模型等。第三类神经元放电模型将细节神经元模型和形 式放电神经元模型结合在一起，例如m a c g r e g o r 放电神经元模型等 磺圭学位论文 取h h 模型的参数 1 t , 3 1 1 c l # f c m 2 ，9 帆= 1 2 0 m s c m 2 ，g k = 3 6 m s c m 2 ，g c ： 0 3 m s c m 2 ，坛一- 1 2 m v , v n 一1 1 5 m v , a n d 圪= l o 6 1 3 m v ，动力输入的参 数初值为：m 一0 ，耗= 0 ，张一1 ，k = 1 0 ，碥= 一1 0 i n v 图2 - 2 稳恒输入下的h h 模型的貘势随时间变化图 模拟结果表明：外部电流为稳恒输入的h o d g k i n h u x l e y 模型产生稳定发 放。 2 4 i n t e g r a t e - a n d f i r e 模型 传统的h o d g k i n - h u x l e y 模型因其复杂的活动方程，给研究此模型的运 行特性和训练方法带来了很大的困难，即使在计算机高速发展的今天，其 运算复杂度也是相当大的在人类目前计算能力有限的情况下，简化一下 h o d g k i n - h u x l e y 模型，降低其运算复杂度对于发挥巨大的应震潜力是有必 要的基于这种思想，在保持模型生物元特性的基础上，简化支配神经元 膜动作的h o d g k i n - h u x l e y 方程，从而得到一种新的i n t e g r a t e - a n d - f i r e ( i f ) 模 逆高斯分布输入下的i n t e g r a t e - a n d f i r e 模型 型。i n t e g r a t e - a n d - f i r e 模型最早是由l a p i c q u e 在1 9 0 7 年提出的【1 0 l ，最近它 又引起研究人员极大的关注 4 , 1 1 , 1 s , 1 5 , 2 1 ，尽管有人认为相对于真正的神经 元过于简化，但不可否认它已经具备了真正神经元的一些特性在近几 年中，有许多研究人员对i f 模型进行了大量的性能分析和仿真实验，试 图驾驭并训练此模型，使其在实际应用中发挥巨大潜力在此模型中，我 们忽略由具体的离子通道构造的动力系统，而主要考虑发放机制系统 2 4 1i f 模型 记v ( t ) 表示膜电势，则原来主要受钠、钾离子通道和漏离子通道影 响下的膜电压可简化为一阶微分方程 d v j 广( t ) ：一v ，( t ) + 1 一孓1 一( t ) ( 2 1 ) 7 m 了- 2 一【t j + 【纠【z 1 ) 其中，表示膜时间常数，主要由钠离子和漏离子通道的平均传导率决 定输入电流m ) 是由各个前突触神经元发放的行为势所产生的突触电 流之和它与单个突触的效能( 即突触权重或连接强度) 有关，并记哟表 示第j 个前突触神经元对后突触神经元的权重若假定突触之间无相互 连接，则总的输入电流为： m ) = w j a ( t 一巧) ( 2 2 ) j 巧 其中，函数q ( ) 表示后突触神经元反映形式，变量f 表示前突触神经元 的第j 个突触发放行为势的时间当后突神经元的膜电压v ( t ) 到达某个 预先给定的阀值时，该神经元发放一个行为势则： v ( t s ) = k h 另外，当发放一个行为势后，立刻重设膜电势v ( t ) 为某一固定的值k t ， 用公式可表示为 2 嘎v ( t i + ) = t ( 2 4 ) - 1 l 一 硕士学位论文 若考虑冰冻时间乃。f ，则上式变为 l i m 。v ( t s + t r e ，+ t ) = k t ( 2 - 5 ) 综上所述，联立方程( 2 - 1 ，2 2 ，2 3 ，2 4 ，2 5 ) ，称为i n t e g r a t e - a n d f i r e 神经元模 型，简称i f 模型 2 4 2 数值模拟 当k 时，方程( 2 - 1 ) 是一个关于膜势的非线性动力方程在数值 模拟中，取= l o m v , v o = o m v ( 1 ) 若外部输入流i r ( t ) = 0 ，则膜势初始值u ( t ) = 1 ，方程( 2 - 1 ) 为一个线 性微分方程 7 m 掣t t ) + 仳( t ) = o ( 2 - 6 ) 解方程( 2 - 1 ) 得膜势 ( 2 7 ) 由上式知，随着时间的增加，膜势越来越小且不能达到阀值，从而神经 元不能产生发放 ( 2 ) 若输入电流为稳恒电流且r i ( t ) = 7 m v 时，由于i ( t ) ，则模型产生 规则发放，且每产生一个发放，膜势重设为初始值( 如图2 - 3 b 图) _ 1 2 逆高斯分布输入下的i n t e g r a t e - a n d f i r e 模型 ： b 图2 - 3a 图，r 1 = 7 m v 时膜势随时间变化图随着时间的增大，膜势越来越大，最后达到稳恒状态，但不 会产生发放 b 图；r = 1 2 时，膜势随时间变化图随着时间的增大，膜势越来越大，到达阀值时，神经元产生发放。膜 势重设为初始值如此循环往复，神经元产生稳定发放 扣1 0 ，1 5c v - - n 9 2 9 2 图2 - 4p o i s o n 输入发放间隔图参数a = 1 0 0 0 1 5 ，n s p i k e s = 5 0 0 0 c vt 发放变差系数( 发放标准差与发放 期望之比) 1 3 硕士学位论文 ( 4 ) 若输入为随机输入( p o i s s o n 过程) 时，假设发放间隔服从指数分布，相 应的概率密度函数为 舭州加 a i 甾： 则发放链服从p o s s i o n 分布，概率密度为 p 彤( z ；a ) ( z ) = 可e - a ( 待1 ，2 ，) 参数a = 1 0 0 0 1 5 ，发放个数n s = 5 0 0 0 发放间隔矩形图( 图2 4 ) 图2 4 表 明：p o i s s o n 输入后的i n t e g r a t e - a n d - f i r e 模型的输出不是p o i s s o n 分布，而 是服从指数分布，即输入与输出不一致 1 4 逆高斯分布输入下的i n t e g r a t e - a n d f i r e 模型 3 逆高斯分布输入下的i n t e g r a t e - a n d - f i r e 模型 3 1 逆高斯分布 在统计学中，t w e e d i e 于1 9 4 5 年提出了一种被称为逆高斯分布( i n v e r s e g a u s s i a nd i s t r i b u t i o n ) 概率密度得名于该分布的累积母函数与高斯分布( 正 态分布) 的累积母函数之间的逆关系【，叫；该分布也称为首次通过时间 分布或沃尔德( w a l d ) 分布t w e e d i e 在1 9 5 7 年发表的论文中，系统地研 究了高斯分布的基本特性与统计性质此后，逆高斯分布才引起数学界 的重视，并得到进一步的研究和应用 逆高斯分布导出于在给定瞬时点输入后独立单一方向颗粒( 或质点) 移动的到达时间，这种颗粒的运动起因于微小独立随机增量，而增量的 分布与颗粒位置无关其密度函数的表达式为： f ( t ) = 嘉e x p 驾) ( 3 - 1 ) 其中参数u ，k 的取值区间为( 0 ，。) ，均为自变量t 的量纲。u 为位置参 数，k 为形状参数逆高斯密度函数为一单峰正偏的铃形曲线，其峰值 位于 拈“【( + 熹) 1 2 一丢1 式中，当a _ 时，鲁_ 1 密度曲线的形状取决于参数u 和k 的值 逆高斯分布函数可由正态分布函数表示，结果为： f ( t ) = 圣【、鲁( 一1 + 三) 】+ e 警圣【、鲁( 1 + 老) 】 式中，西( ) 为标准正态分布函数当k 趋于无穷大时，逆高斯分布逐渐趋 近于高斯分布逆高斯分布有多项类似于高斯分布的特性力逆q 可能容 易引起混淆，其实他的含义是高斯分布描述的是布朗运动中某一固定时 刻的距离分布，而逆高斯分布描述的是到达固定距离所需时间的分布 1 5 硕士学位论文 3 2 服从逆高斯分布的随机数的生成 如果y i a ( k ，仳) ( 参数为钍，七的逆高斯分布) 那么根据文献资料 2 0 , 2 8 1 有 y = k ( y 而- 广u ) 2 ( 3 - 2 ) 其中 y x 2 ( 1 ) 故首先产生服从标准正态分布的随机数，然后再平方，得到服从自由度 为1 的卡方分布的随机数v 解方程( 3 - 2 ) 得到两个根： y 1 = t + t 0 5 u ( u v 一抓硒矿厕 y 2 = 并 由文献 2 0 i 可知：以而1 1 的概率产生y 1 和以概率i 一尚产生y 2 可得 到服从参数为u ，七的逆高斯分布的随机数 逆高斯分布输入下的i n t e g r a t e - a n d - f i r e 模型 图3 - 1 逆高斯随机数直方图与逆高斯密度曲线拟合图上图：k = 2 5u = 5 下图tk = 3 0 u = 2 0c o u n t s = 3 0 0 0 0 图3 1 表明：如上方法产生的随机数能够很好地拟合逆高斯密度曲线，这 表明产生逆高斯随机数的方法是正确的 3 3 i n t e g r a t e a n d f i r e 模型下逆高斯输人的两种扩散近似 l a p i c q u e 在1 9 0 7 年提出i n t e g r a t e - a n d f i r e ( i f ) 模型后，具有随机输入的 单一神经元模型已经被广泛地研究，但都假定输入为p o i s s o n 分布的情形 1 , 3 , 9 , 1 4 ，1 9 ，2 4 3 13 2 ，而此种假定是对生理学数据的一种很粗略的近似，且只 考虑输入的一阶矩对放电脉冲的影响本章考虑更一般的更新过程( 逆高 斯过程) 作为突触输入的逼近，更符合生物模型的实际情况由于输入的 随机性，考虑在抑制性神经元与兴奋性神经元个数是随机的条件下，输 入的一阶矩、二阶矩甚至更高阶矩对输出的影响通过对更新输入进行 逼近，模拟模型的输出，包括发放率、发放变差系数、发放间隔 - 1 7 磺圭学位论文 然而，分析处理具有更新过程输入的动力系统是困难的，需要一种合 理的连续近似。在文献里，早期用通常的近似方案u a s ( u s u a la p p r o x i m a t i o n s c h e m e ) 来近似溜凇过程输入同时也研究使用o u ( o r n s t e i n - u h l e n b e c k ) 来 近似泊凇输入的神经元模型两种情况的想法都是：找一个与泊凇过程具 有相同均值和方差的扩散过程我们把这种方法用到更新输入的情况， 得到了相应的u a s 和o u 近似方案溺通过数值模拟，发现发放率在2 0 h z 与1 5 j h z 之间两种近似方案能够很好地近似原始的逆高斯输入，且随着 发放率的增大，发放变差系数减小；既发放波动减小，也就是说，i f 模 型趋予稳定发放。 3 3 1 更新过程的两种近似方案 u a s 近似 为了运算的方便，我们首先考虑单一的更薪过程，用互，是，来表 示事件的时间间隔，他们是一列独立同分布的的随机变量，用t 表示它 们记，( ) 为t 的概率密度函数，假定t 的均值、方差和三阶中心矩存 在，分别用天，a 2 ，a s 表示。设 越：o 是楣应的更新过程。在o ，t ) 内事 件的期望和方差1 5 ，6 j 坤) = 。 于是得到更新过程的另一个近似方案 d 前( t ) = 妻出+ 耳o 万l d b t c r 武( t ) 】 ( 3 1 0 ) 其中c r 由方程( 3 - 9 ) 定义， ( t ) 由方程( 孓7 ) 定义总结上面的结果有 引理2 更新过程n ( t ) 的o u s 近似采用下列形式 d f d ( t ) = 圭如+ y z 2 d b t c r 武( ) 】 武( t ) = - ( t ) d t - i - d b t ( o ) = 0 c = c r 兰2 一y 4 + 器+ 譬一券 3 3 2 突触输入 考虑突触输入的i f 模型对给定的两个量( 阀值) w 。引( 静息电 压) ，当k 0 是衰退率，l ( t ) 是突触输入，且满足 p口 d k ( t ) = n d 孵( t ) 一b e 。d 碍( t )( 3 1 2 ) t = 工，= l 其中a 是兴奋性后突触电势强度，b 是抑制性后突触电势强度，哗，f 分 别是由第i 个与第j 个神经元产生的更新过程，p ，q 分别是兴奋性和抑制 性神经元总数目一旦k 就产生一个发放，膜势重设为k t _ b o 逆高斯分布输入下的i n t e g r a t e - a n d f i r e 模型 这个模型被称为i f 模型1 1 2 1 假定碟，；( 磁j ) 是发放时i ；- i i ；- 隔，我们定义 阀值首中时： 7 = ：i n f t 0 ：v t = k ，i ) ( 3 1 3 ) 为发放时间既然突触输入s , c t ) 是更新过程的和，我们可以运用前面 的结果为了记法的方便，我们假定i = 1 ，2 ，p ，歹= 1 ，2 ，q 碟j = 碟，j