（概率论与数理统计专业论文）基于矩神经网络下的不变分布.pdf

基于矩神经网络下的不变分布 摘要 过去的二十年中，神经网络有了长足的发展，在神经科学和工程应用 中发挥着越来越重要的作用而在计算神经科学中，一个最主要的问题 是关于神经元的编码问题，即信息在大脑中是如何编码和解码的，而现 在对编码问题的热点又主要是在神经网络中应用h h 模型和模型进行 的比率编码本文主要讨论了在该类型编码的前提下，通过构建适当的 模型，使整个神经网络得以稳定 近年来，大量的研究表明，神经元发放的脉冲行为不仅仅受到输入的 一阶矩影响，还受到其输入流的更高阶矩的制约例如，具有相同频率 的兴奋型和抑制型随机输入流输入到一神经元，在这种随机输入流的作 用下，膜电势偶尔也会高于阀值从而产生脉冲( 彳亍为势) ，这与神经网络 的假设矛盾，这说明原来构建的网络模型不能很好的解释实际的大脑神 经系统这是因为一般的神经网络模型没有很好的考虑。噪声。所带来 的影响 因此，在本文中，主要研究结果如下t ( 1 ) 、对h h ( h o d g k i n - h u x l e y ) 模型和i f ( i n t e g r a t e - a n d - f i r e ) 模型做了理论与 数值上的分析，并在两个模型基础上做了一些推广； ( 2 ) ，建立了个新的神经网络模型，该模型不仅考虑释放频率的一阶矩、 二阶矩，还考虑了更高阶的统计属性这将更好地处理”噪声”由于该 模型考虑了频率的各阶矩，故我们把该模型称为矩神经网络模型； ( 3 ) 、在矩神经网络中，若以p o i s s o n 过程输入进去，则经过第一层后，输 出流便不是p b i 翻过程因此，在本文中，考虑了在更新过程输入流的 作用下，矩神经网络的稳定性的问题，即输入流与输出流是否具有一致 性的问题 i 关键词，神经网络职和i t l t 模型矩神经网络更新过程不变分布 基于矩神经罔络下的不变分布 a b s t r a c t d 啦t h ep b 8 t2 0y e a r 9 9 w eh a v ew i t n e s s e dt h ed e v e l o p m e n to ft h ea r t i f i c i a l n e u r o n a ln e t w o r k st h e o r ya n di t sm o r ea n dm o r ei m p a c to nn e n r o e c i e n c ea n d 静 g i n e e r i n ga p p l i c a t i o n s o n eo ft h ec e n t r a lt o p i c si nc o m p u t a t i o n a ln e u r o s c i e n c e i st h ec o d i n gp r o b l e m , t h a tj 8t os a y , h o wd o e st h en e r v o n ss y s t e me n c o d ea n dt h e n d e c o d ei n f o r m a t i o n ，f r o mt h e no n ，t h e o r i e so fc o d i n gi nt h en e r e v o u ss y s t e mf o c u s e d o nr a t ec o d i n ga p p l i e db yh ha n di fm o d e l a 8i nc o n v e n t i o n a ln e u r a ln e t w o r kt h e - o r y i nt h i sp a p e r w em a i n l yd i s c u s s e dt h es t a b i l i t yo ft h en e u r o n a ln e 咖r l b y c o n s t m c t i n gs u i t a b l em o d e l sb a s e do nt h i st y p eo fe n c o d e i nr e c e n ty e a r s ，m a n yr e s e a r c h e sa r ef o u n dt h a tt h es p i k ea c t i v i t yo fan e u r o n i sd e c i d e dn o to n l yb yt h em e a nr a t e ，b u ta l s ob yh i g h e ro r d e rs t a t i s t i c so fi t si n p u t c o n s i d e r ，f o r 礅a n 。an e u r o nw h i c hr e c e i v e si n h i b i t o r ya n de x c i t a t o r ys t o c h a s t i c i n p n t so fe q u a lr a t e d u et ot h ef l u c t u a t i o n so ft h ei n p u t ，t h em e m b r a n ep o t s m i a l m a yo c c 越血l a yc 嗍t h et h 嘲h o l df o rs p i k i n g ，t h e r e b yc o n t r a d i c t i n gt h eb s s i e8 8 - s u m p t i o n so ft h ea r i f i c i a ln e u r a ln e t w o r k s 黜s i m p l ee x a m p l ei l l y s t r a t e st h a ti t i sn om u c hu s ei nu n d e r s t a n d i n gt h eb e h a v i o u ro fr e a ln e r v o n ss y s t e m s ，i nt h a ti t c o m o l e t e l yd i s c a r d st h e ”n o i s y ”n a t u r eo ft h en e u r a lc o d e i nt h i sp a p e r t h em a i nr e s u l t s 嬲f o l l o w s ： ( 1 ) m a d et h e o r e t i ca n dn u m e r i c a la n a l y 出t ot h eh hm o d e la n di fm o d e l ，a n de x - t e n d e dt w om o d e l s ； ( 2 ) c o n s t r u c t e da n e wn e u r o n a ln e t w o r k sm o d e l i ti sc o n s i d e r e dn o to n l yt h ef i r s t a n dt h es e c o n dm o m e n t ，a n dp o 翻i b l yh i g h e ro r d e rs t a t i s t i c so ff i r i n g i tw i l lb eb e t - t e rt od e a lw i t ht h e ”n o i s y ”b e c a u s ew ec o n s i d e rt h em o m e n t so ft h ef i _ d n g ，w ec a l l m o m e n tn e u r o n a ln e t w o r k sm o d 吐 ( 3 ) b a s e do nt h em o m e n tn e u r o n a ln e t w o r k s ，i fp o i s s o np r o c e s si n p u t si t ，i t so u t p u t w o i i tb ep o i s s o np r o c e s s s o ，i nt h i sp a p e r ，w ec o n s i d e r e dt h es t a b i l i t yo ft h em o m e n t h i m 伽【a ln 咖o r k 8 试t hr e m w a lp r o c e s s 糟i n p u t 8 t h a tj 8t o 鼬吼w h e t h e rh a st h e u n i f o r m i t yb e t w e e nt h ei n p u t 8 柚dt h eo u t p u t s k e y w o r d 8 ：n e 缸邛描w d r b 巧m o d e la n dh hm o d e lm o m 印tn e u r o n 8 ln e t w o r b 刖班i e w 砒p r o c e s s e sm v a r i 眦td i s t f i b u t i o n 湖南师范大学学位论文原创性声明 本人郑重声明。所呈交的学位论文，是本人在导师的指导下，独立进 行研究所取得的研究成果除了文中特别加以标注引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写的成果作品对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明本人完全 意识到本声明的法律后果由本人承担 学位论文作者签名 瞬即系 i & 雨年y 其；lb ， 湖南师范大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅本人授权湖南师范大学可以将学位论文的全部或部分 内容编人有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存和汇编本学位论文 本学位论文属于 1 、保密口，在年解密后适用本授权书 2 、不保密面 ( 请在以上相应方框内打“ ”) 作者签名t 导师签名t 日期摊，月多日 日期；2 却年r 月即日 基于矩神经网络下的不变分布 第一章绪言 1 1 研究背景 自上个世纪五十年代，由科学家m c c u l l o c h 和p i t t s 对简单的神经网络 的研究以来，人们对神经网络的研究越来越受到关注【1 】1 ，这是因为它在 计算机、工程测算和人工智能方面起到越来越重要的作用神经网络的 发展大致分为四个阶段： 第一阶段是在五十年代中期之前，首先西班牙解剖学家c a n 于十九 世纪末创立了神经元学说，该学说认为神经元的形状呈两极，其细胞体 和树突从其他神经元接受冲动，而轴索则将信号向远离细胞体的方向传 递在他之后发明的各种染色技术和微电极技术不断提供了有关神经元 的主要特征及其电学性质接着，美国的心理学家w s m c c u l l o c h 和数学 家w a p i t t s 等人提出了个非常简单的神经元模型，该模型将神经元当 作一个功能逻辑器件来对待，从而开创了神经网络模型的理论研究五 十年代初，生理学家h o d y k i n 和数学家h u x l e y 在研究神经细胞膜等效电 路时，将膜上离子的迁移变化分别等效为可变的n a + 电阻和k + 电阻， 从而建立了著名的h o d y k i n - h u x l e y 方程陋4 】这些先驱者的工作激发了 许多学者从事这一领域的研究，从而为神经计算的出现打下了基础 第二阶段是从五十年代中期到六十年代末，f r o s e n b l a t t 等人研制出了 历史上第一个具有学习型神经网络特点的模式识别装置，即代号为m a r k i 的感知机( p e r c e p t r o n ) 5 - 6 1 ，这一重大事件是神经网络研究进入第二阶 段的标志对于最简单的没有中间层的感知机，r o s e n b l a t t 证明了一种学 习算法的收敛性，这种学习算法通过迭代地改变连接权来使网络执行预 期的计算稍后，b w i d r o w 等人创造出了一种不同类型的会学习的神经 网络处理单元，即自适应线性元件a d a l i n e ，并且还为a d a l i n e 找出了一种 1 硕士学位论文 有力的学习规则，这个规则至今仍被广泛应用 第三阶段从六十年代末到八十年代初，m m i n s k y 和s p a p e r t 等人对 对单层神经网络进行了深入分析，并且从数学上证明了这种阿络功能有 限，甚至不能解决象一异或”这样的简单逻辑运算问题同时，他们还发 现有许多模式是不能用单层网络训练的，从而为多层网络的研究奠定了 基石 第四阶段从八十年代初至今，最初是美国科学家j j h o p f i e l d 采用全 互连型神经网络模型吲，利用所定义的计算能量函数，成功地求解了 计算复杂度为n p 完全型的旅行商问题( t r a v e l l i n gs a l e s m a np r o b l e m ，简 称t s p ) 这项突破性进展标志着神经网络方面的研究进入了新的阶段 h o p 丘e l d 模型提出后，许多研究者力图扩展该模型，使之更接近人脑的功 能特性不久之后，t s e j n o w s k i 和g h i n t o n 提出了”隐单元”的概念，并 且研制出了b o l t z m a n n 机日本的福岛邦房在r o s e n b l a t t 的感知机的基础 上，增加隐层单元，构造出了可以实现联想学习的”认知机”k o h o n e n 应 用3 0 0 0 个阈器件构造神经网络实现了二维网络的联想式学习功能1 9 8 6 年，d r u m e l h a r t 和j m c c l e u a n d 出版了具有轰动性的著作鬣并行分布处 理认知微结构的探索，该书的问世宣告神经网络的研究进入了高潮 1 2 相关结论 在本文中，针对一般神经网络模型对。噪声”的处理不足，我们应用 神经网络的原理和随机动力学模型，建立了一个新的神经网络一一矩神 经网络并在该模型的基础上，讨论了整个神经网络的的稳定性问题， 即输入与输出是否具有一致性的同题，对于输入类型的研究，本文主要 用到了几类重要的过程tp o h * o n 过程、更新过程、扩散过程，o u 过程， 这里我们一一给出定义 a 9 1 2 基于矩神经网络下的不变分布 定义1 2 1t 点过程 ( t ) ，t o ) 称为泊松过程，具有参数a ，a 0 ，如果 满足t ( 1 )( 0 ) = o ； ( 2 )过程具有独立增量； ( 3 )在任一长度为t 的区间中事件的个数服从均值为a t 的泊松分布 即对一切s ，t 0 ， p ( t + s ) 一( 力= n ) ；e - x t ( , x n t ! ) 2 n = o , 1 , 2 注；双条件( 3 ) 可知，泊松过程有平稳增量且研( t ) 】_ 沁，故通常情况 下称 为该过程的速率或者强度 为了定义更新过程，首先定义来到事件间隔序列考虑一随机过程，记 表示第( n 1 ) 个到第n 个事件之间的时间，则序列 墨，n 1 ) 称为来到事 件间隔序列 定义1 2 2 ，若来到时问间隔序列 矗，n 1 ) 按独立同分布，但分布函数 任意，且记岛= 0 ，& ；五，l 1 则到时刻t 为止发生的事件的个 数n ( t ) 为， n ( t ) 皇s u p n ：r ( 1 2 1 ) 则称随机过程 ( t ) ，t2o ) 为更新过程特别地，若来到事件间隔分布服 从指数分布，则更新过程即为p o i m o u 过程 定义1 2 3 考虑取值于中的时齐马尔可夫过程，且设它的转移函数是 p ( t ；z ，a ) ) ，又设对垤 0 ， 如( t ) 皇s u pp ( t z ，忙，e ) ) = “t ) ( 1 2 2 ) 0 e 尉 一3 - 硬士学位论文 其中，0 ，) = b ；b z 1 2 ) 且设 b ；l 邶i m t l ，z 叫。白一喾) p ( t ；毛西) ， a 。) = l 删i m l 名础白一) b 一功叩似，嘞 ( 1 2 3 ) 这里b ( 妨是一个列向量，a ( z ) = ( p ) ) 一。一为非负定的函数方阵现设 p ( t ) ) 是的半群； 县，( 功= p ( t ；z ，d y ) ，( ，) ( 1 2 4 ) 称仍) 的形式无穷小生成元为彳，若对，c 矿( ) ， ( 刃) ( 垒船盹z ，训m ) 一m ) ) ( 1 2 _ 5 ) 在前面的假定下，若( 霉) 局部有限，则 p ( t ) ) 的形式无穷小生成元 为t 枷垆凌删器+ 委等 。脚 则这样的马氏过程称为一个以a 扛) 为扩散系数，b ( z ) 为漂移系数的古 典扩散过程 定义1 2 4 给定一概率空间( n ，莎，p ) ，称建立在具有不变测度p 的h 留 上的高斯扩散过程为o r n s t e m - u h l e n b e c k 过程，如果满足t ( 1 ) 高斯过程w ( 8 ，1 - ) ，s f o ，o o ) ，r 【o ，明，使得昱( ( s ，r ) ) = o ，且 e ( w ( s ，r ) ( ，) ) = ( s a ，) p 一) ； ( 2 ) w ( s ，一) 与标准们m e r 过程x o = ( 妇，) ) ，e f o 刃独立 接下来，我们将介绍在随机动力模型中常用的i t o 公式，它在实际应 用中相当广泛 4 基于矩神经阿络下的不变分布 足义1 2 5 l 议 以，t 墨= x o + z 如 ) 川+ 上口( 驯) 出，o 其中，g 是两个循序可测过程，f 砑，g 为工l 可积又设函数f ( t ，霉) 对t 一阶连续可导，对x 二阶连续可导，并且警，筹，留有界，那么 f ( = f ( t x o ) - i - r 口( 8 ，”) d 职+ f 雕川出0 z t ) 其中 m = 警球“咄 口( 岛t t ，) = 刁o f i ( 禹咒) + 筹( 禹咒m s ，叫) + ；等( s ，五舻( 毛叫) 最后，在计算神经网络和随机动力系统中，还用到了一些常用的概 念，这里也一一做介绍【1 0 1 定义1 2 6 ，设更新过程的事件来到间隔时间的分布为正，l = i ，2 ，记 e c t , ) = p ， 酊) = 矿，则更新过程的方差系数( c v ) 定义为t c v = ： ( 1 特别地，当c v = i 时，更新过程即为p o i s s o n 过程 定义1 2 7 ；称a 为状态空间x c t ) 的吸因子，如果满足t 若x ( 0 ) a ，则对 v t 0 ，x c t ) a 成立 定义1 2 8t 考虑n 维动力系统x ( 0 ，如果满足t 百a x c t ) ：e x c ) ( 1 2 9 ) 出 。、7 则矩阵的特征值称为该动力系统的l y a p u n o v 指数 5 基于矩神经网络下的不变分布 第二章h h 模型和i f 模型及其推广 人们在研究动物的神经系统中发现【1 1 1 3 j 。神经元细胞在整个系统中 起着非常重要的作用，因为它们能迅速的传递外界的信息，它们是通过 产生脉冲( s p i k e ) 来完成各类信息的传递工作的，而电脉冲能够把信息传 递到神经纤维神经元是通过脉冲的发放序列来进行信息的描叙和传递 的，因此神经元如何对信息的编码和解码又是整个计算神经网络中最重 要的一个问题这里最为重要的是如何对信息的编码和解码，这就需要 我们构建合理的模型来进行解释二十世纪五十年代，h o d y k i n 和h u x l e y 在研究神经细胞膜的等效电路时，建立了h o d y t d n - h u x l e y ( h h ) 模型，后来 又在简化该模型的基础上，l a p i c q u e 等人创立了i n t e g r a t e - a n d - f i r e ( i f ) 模 型，本章在介绍两类模型的同时，又对两类模型进行了理论与数值上的 分析，最后适当的推广了这两类模型 2 1 神经元的介绍 神经元被定义为在化学物质或其他的输入作用下，能够产生电信号 并且将她们传递给其他细胞的一种特殊的细胞它主要由突触、细胞体 和轴突三个部分所构成，其中神经元的突触是用来接收从其他神经元的 电信号，我们也称为神经元输入端，而神经元的轴突是将神经元所产生 的电信号发送给其他的神经元，我们也称为神经元的输出端突触的结 构就象具有很多分支树上的分支结构，这种结构使得神经元通过突触的 连接点接收来自许多其他神经元的输入，通常情况下，神经元的突触连 接点的个数可以达到1 0 0 1 0 0 0 0 个左右而单个神经元的轴突的数目不是 很多，但它的长度能够覆盖大脑的很大一部分，在某些生物体中，甚至 于可以覆盖整个大脑例如，在老鼠的大脑中，据估计表层的神经元一 7 顼士学位论文 般具有4 0 r a m 的轴突和大约4 r a m 的突触树状主干平均每p m 长度，轴 突就与其他神经元的1 8 0 个突触连接点相连，而突触树平均每胂就有2 个突触输入通常情况下，一个典型的表层神经元细胞体的直径范围介 于1 0 一5 叩仇 除了神经元自身形态上的特征外，神经元还有一些生理上的特征f l 垂 15 】其中最显著的一个特征就是在细胞膜上有大量不同类型的离子通 道，其中主要的离子通道有钠( n a + ) 离子通道、钾( k + ) 离子通道、钙 ( c a + ) 离子通道，氯( g f 一) 通道等随着细胞膜内外电势的变化和内外信 号的差异，离子通道通过开或关控制着离子的进出但相对于整个神经系 统而言，电信号与神经元内外之间的电势是有区别的在休息状态下， 相对于一个神经元细胞膜的外部区域的电势( 通常情况下认为该电势为 o m v ) 而言，它的膜内部电压大约是7 0 m v 这时我们称细胞被极化而 在细胞膜上有一个叫离子泵的装置，是用来控制和调节浓度的深浅以便 产生膜电势的差异例如，一个神经元膜外的n a + 离子浓度要比它在神 经元膜内部的浓度要大得多；而相比之下，在神经元膜的内部，+ 离 子浓度就要比它在神经元膜的外部要高得多通过电势和浓度差异，离 子就能够进出神经元而我们知道，电流就其形式上来说，就是带正电 的离子流出细胞体( 或者是带负电的离子流进细胞体) ，而这种电流一旦 通过开着的通道流出的话，就会使膜电势负地更多，这个过程我们称之 为超极化而电流通过开通道流进神经元内部，会使膜电势负的要少一 些，这个过程我们称之为去极化 如果一个神经元去极化足够大，以至于它能使膜电势高于阀值水平， 则这个时候就相应的产生了个反馈过程，我们称此时神经元产生个脉 冲个脉冲其本质是通过细胞膜的电势中的一个大约l o o m v 的振幅， 这种行为一般持续时间在1 m s 左右当然脉冲的产生还与细胞前面发放 s p i k e 的情况有关，在一个脉冲发放以后的几毫秒，又产生个新的脉冲 8 基于矩神经网络下的不变分布 一般是不可能的，这段时间我们称为冰冻时间如果在产生一个s p i k e 后 的一段更长的时间内仍然很难产生一个新的s p i k e 的话，那么我们就把这 个时期称为相对冰冻时间脉冲之所以很重要是因为它是膜电势波动的 唯一表现形式而这种具有电势波动的脉冲可以传播很长的一段距离 而在阎值以下的膜电势波动传播到距离差不多是l m m 的时候，强度就会 很快的减弱下来另一方面，脉冲能够在神经元的轴突的地方重新产生， 并能够快速的传播一段很远的距离而强度又不会有很大的减弱 最后，在轴突的末端突触的地方，脉冲的电势波动这个瞬间现象打开 了离子通道，使得c a + 离子流入，而c a + 离子的流入造成了神经元传递 索的释放，这种神经元传递素紧挨着信号接收器或者突触的后突部分， 它的释放将会引起以离子导电的通道的开放根据离子流动的本质，突 触对后突神经元可以产生兴奋型( 去极化) 抑制型( 超极化) 的效果 硼模型 ! i 2 2h h 模型及其推广 从2 1 节我们可知，神经元的膜电势的改变是通过对前突神经元的神 经传递素( n e u r o t r a n s m i t t e r ) 的释放引起的而这种神经传递素的释放又是 由于对前突神经元膜上的某些特定的离子通道的开或关的变化情况所引 起的而离子通道的开闭，使得神经元内外的离子浓度发生变化，因而 造成膜电势的变化当膜电势变化到一定的程度，我们称产生了一个脉 冲接下来，我们将构建一个适当的模型来描叙产生脉冲的过程而对 脉冲的最适当的描叙是由h o d g k i n 和a n d r e wh u x l e y 通过对乌贼大突触上 的神经元细胞的研究完成的 图2 1 为脉冲的一种典型的表现形式最开始处于休息状态，由于n a + 离子通道的打开，使得膜电势的值迅速的上升，这个过程我们称为去极 9 硬士学位论文 图2 1 ：典型的脉冲形式图 化( d e p o l a r i z a t i o n ) ，紧接着，n a + 离子通道失去活性并打开k + 离子通 道，又造成膜电势的迅速下降，甚至下降到低于刚开始休息态的膜电势 值，这一过程我们称为超极化( h y p e r p o l a r i z a t i o n ) 最后随着n a + 和k 十离 子通道的关闭，膜电势又慢慢回升到休息态的值从而就构成了个“循 环”，我们把这一。循环”过程称为产生了个s p i k e h o d 幽n 和h u x l e y 第 一次用方程的观点对脉冲的描叙形式做了定量的分析事实上，后来得到 的实验数据也很好的吻合了他们所创立的模型，我们称为h o d g k i n - h u x l e y 模型 h o d g k i n 和h u x l e y 用四个微分方程来定量的描叙脉冲的产生过程【1 6 - 1 7 】，这里记五。表示通过膜的离子电流( 离子的定向移动可看成是电流) 而打开的离子通道的数目与电传导率( 电传导率与电阻成反比) ，还记v 表示膜电势，g h 表示电传导率，则易得到下列的方程 k = 一) ( 2 2 1 ) 1 0 基于矩神经同络下的不变分布 其中，蜀。表示该离子通道平衡态的电势能它也可以表示神经元休息 态的膜电势，在电路中可被认为是电池 由2 1 节可知，脉冲产生的原因主要是受到n a + 和耳+ 离子通道的离 子制约的因此，引进了三个动态变量n ，m 和h 分别用来描叙离子通 道与膜电压的相关性其中变量n 描叙k + 离子通道的活性；变量i n 描 叙n a + 离子通道的活性；变量h 则描叙n a + 离子通道的惰性程度这里 k + 和n a + 离子通道的电传导率与他们又有如下的函数关系t g k = k 衬， g n q = 9 n a m 3 h ( 2 2 2 ) 其中，如和耍口分别表示n a + 和+ 离子通道的最大电传导率从( 2 2 2 ) 式可以易知。 n 4 1 ； m 3 h 1 ( 2 2 3 ) 之所以选择这样的三个变量来描叙是为了与实验数据尽可能的吻合 h o d g l d n 和h u x l e y 用三个一阶微分方程来具体说明n ，r n 和h 与膜电 势v 之间的关系t 塑d t = 一高h _ 伽( 训；( y ) 。 ” 面d m = 一赤【m t n 0 ( 圳； 出 ( n ”“” 面d m = 一高【m 一伽( 圳 出 ( y ) 。一“。 ( 2 2 4 ) 其中，参数( y ) ，( y ) ，n ( y ) 和伽( y ) ，伽( 叼，_ i t 0 ( y ) 的具体表达形式主要 1 1 硬士学位论文 看所用的神经元是何种类型在一般情况下，这些参数的常用形式如下t 其中 矗( y ) 2 砑币丽； ( y ) = 磊赫 瓴( y ) = 硒丽1 ； 州) = 蒜； 州) = 揣 州) = 湍 n ，i ( y ) = f o o 诵l - ( v + 5 5 ) ， ( ”= 鬻， 佩( ”_ o 。7 - 唧( 一v2 + 。6 5 、， ( 2 2 6 ) 俐= 0 1 2 5 唧( 一喾) 舢h 唧( 一等) 风( y ) = 百诵1 最后，我们考虑神经元如何存储电势在电路中，我们用电容c 来表 示模型可描叙成一个电路图，如图2 2 所示该图由个电容器和三 个电阻构成，且三个电阻各自都带有自己的供应的电池【1 8 】当其中一 个电阻固定时，其他的两个电阻则随着系统状态的变化而变化在形式 上的效果就表示为对电势的存储用公式可表示为t c 等= 一k + k ( t ) ( 2 2 7 ) 一如n 其中，t 。( t ) 表示外部输入电流而这种外部电流在实际的神经系统中 是存在的例如，从神经传递素控制的离子通道输入的电流( 注意t 在 1 2 基于矩神经罔络下的不变分布 图2 2 ：等价电路图 h h 模型中，k ( t ) = 0 ) 公式( 2 2 7 ) 很好的描叙了膜电势与时间的关系 联立公式( 2 2 1 2 2 7 ) ，则h h 模型可表示为 c - 面d v = 一k n 4 ( v e 心一n 4 m 3 h ( v e n a 一豇( y 一既) + j 乙( t ) ； 训) 害= 一脚一n o ( y ) 1 ； ( y ) 面d m = 一b 一椭( y ) 】 , - d v ) 面d h = 一限一 o ( y ) l ； ( 2 2 8 ) 这里我们讨论的是通过n a + 离子、k + 离子和漏电离子通道的作用而产 生的脉冲很显然，脉冲的产生是由很多不同的离子通道共同作用下才 完成的在h h 模型中，电传导率是单个离子通道的属性为了使其产生 个脉冲，那些离子通道的密度不能小于某个特定的f 困值满足这些条 1 3 硬士学位论文 件，发生在轴突上脉冲才能够真正的吻合h h 模型 h h 模型的推广 h h 模型通过把神经元细胞构成一个等效电路图，根据动力学原理， 将神经元发放脉冲的行为用四阶微分方程表示这实际上只是针对乌贼 的大轴突【1 9 - 2 2 进行研究的，而在哺乳类动物神经系统上的神经元细胞 有更多其他类型的离子通道，对神经元的反馈而言，将会变得更加的复 杂化例如，在人类神经元的膜上，就至少有1 2 种不同类型的离子通道 参与了脉冲的产生过程，如此多不同类型的离子通道将会使模型的构建 变得非常的复杂那么对模型的适当简化就必不可少的了，因为对模型 的简化有助予我们对模型近一步的理论分析，并更加有效的进行小网络 的模拟 i h h 模型的推广( ) 根据对k + 和n a + 离子通道产生脉冲的机制，我们可以将其他的相 似类型的离子通道整合到该模型中之所以能够对h h 模型进行简化，是 因为我们根据图( 2 3 ) 发现，相对于膜电势v 的变化而言，时间常数 的变化量很小因此，用来描叙n a + 离子通道活性的变量m 可以很快的 到达其平衡值蛳( y ) ，从而我们可以用其平衡值取代它更进一步地， 从图象上可以看出，n a + 离子通道的非活性参数h 与j p 离子通道的活 性参数r t 具有某种函数关系，大体满足t h = 1 一n ( 2 2 9 ) 这一简化使h h 模型变为一个两维的动力系统，由该动力系统产生的脉 冲与原始的由h h 模型产生的脉冲非常的接近若模型针对皮层的神经 元细胞，可进一步简化。因为在皮层神经元中，通常通常没有n a + 离子 1 4 基于矩神经网络下的不变分布 m e m b m n e p o t e n t i a lv 图2 3 ：h h 模型中，时间常数，t m 与膜电势v 的关系图 通道的非活性参数n ，即n - - - 0 故可设h = t 。则模型简化为t g 尝= g k r ( v 一段) 一帆( 州y e 。) + k ( t ) ； 强石d r = 一 r - 岛( 哪 f 2 2 1 0 ) 其中，变量参数r 表示钾离子通道的活性又因为h = l ，故n a + 离子通 道和漏电离子通道可以组成一个新的n a + 离子通道所以与原h h 模型 相比，没有了漏电离子那一项这里参数r 同时还起到恢复膜电势的作 用 2 珏h 模型的推广( 二) 在前面我们主要描叙了h h 模型的主要机制，并对其进行了必要的简 化但针对哺乳类皮层神经元而言，还有两种很重要的离子通道类型需 要考虑第一种类型的离子通道是具有更多的流入属性的正离子流入通 1 5 硬士学位论文 道，我们用变量t 表示这样的通道，主要有c a + 离子通道，它是构成 哺乳类神经元系统的主要组成部分c a + 离子流入得越多，神经元反应 就越强烈；第二种类型的通道，主要用来描叙阻碍神经元发放的，该种 类型通道流入的离子越多，则神经元反应就越慢，这样的通道，主要是 由c a + ，k + 离子混合通道，用变量h 表示则h h 模型就转化为t c 坐d t = 一鲫。( y ) ( y 一毋。) 一g k r ( y 一既) - 9 1 丁( y 一毋) 一g s h ( v 一翰) + 厶科o ) ； 强等= 一 r - r o w ) ； 印鲁= 一口一而( y ) 】； 仍等一 h - 3 t c v ) ( 2 2 1 1 ) 其中g n 。( y ) ，岛( y ) ，t o w ) 分别由下列多项式函数表示t g n ( v ) = 3 3 8 1 0 4 v 2 + 0 4 7 6 v + 1 7 8 ； r o ( v ) = 3 2 1 0 4 v 2 + 0 0 3 7 v + 1 2 4 ； 矗( n = 8 0 1 0 - i v 2 + 0 1 1 6 v + 4 2 0 5 ( 2 2 1 2 ) 尽管做了大量的简化工作，诸如我们忽略了c a + 离子通道的非活性 参数但该改进模型仍能对脉冲的属性作出一个很好的估计 2 3i f 模型及其推广 在2 2 节我们已对h h 模型进行了分析，虽然非常符合生物实际，但 在人工神经网络中，仍然应用该模型就会使整个网络的运算变得非常的 庞大因此我们将对h h 模型进一步的简化，以便使我们进一步研究脉冲 一1 6 - 基于矩神经网络下的不变分布 的来到事件间隔分布问题，这个问题在神经网络中是个很重要的问题 2 3 - 2 4 i 前面我们已对神经元产生脉冲的形式做了具体的描叙，对于这种 描叙过于老套，且在神经系统中，这中类型的信息传递至少不是占主要 的地位因此，为了更好的讨论信息传递与脉冲时间性的相关性，有必要 对真实的生物模型进一步简化由于此问题对脉冲的具体表现形式没有 做太大的要求，因此在简化时将其忽略在整个神经网络中，只有在前突 脉冲的作用下，后突膜电势的值才会发生变化，这一点才是最本质的 从而我们可以忽略由具体的离子通道构造的动力系统，而主要考虑使得 脉冲产生机制的动力系统，在h i - 模型中，该动力系统主要通过对钠离 子和钾离子通道研究中推导出来的这里为了简单起见，在接下来的推 导过程中，我们将忽略钠钾离子通道对膜电压的相关性，而对漏电离子 通道，只有当膜电压在所设定的f 嚼值之下，才对膜电压值的变化起作用 珥模型 记v ( t ) 表示膜电势，则原来主要主要受钠钾离子通道和漏电离子通 道影响下的膜电压可简化为下列一阶微分方程。 掣= 川讣r 。 ( 2 3 1 ) 其中，表示膜时间常数，主要由钠离子和漏电离子通道的平均传导率 决定输入电流i ( t ) 是由各个前突神经元发放的脉冲所产生的突触电流 之和它与单个突触的效能有关，这里我们用突触权重来描叙，并记畸 表示第j 个前突触神经元对后突触神经元的权重，也可称为连接强度 接下来，我们假定在突触之间是没有相互连接的，在该假定的条件下， 就可具体写出总的输入电流为t j ( t ) = e w ，a ( t 一巧) ( 2 3 2 3 ) ， 巧 1 7 硬士学位论文 其中，函数口( ) 表示后突触神经元反映的形式( 常用的函数a ( ) 见附录) ， 结构如图( 2 4 ) 所示变量巧表示前突神经元的第j 个突触发放脉冲的时 图2 4 ：结构图 间而我们规定t 当后突神经元的膜电压v ( t ) 到达某个预先给定的阀值 时，则称该神经元发放了一个脉冲则易知， y ( 巧) = ( 2 3 3 ) 为了完成该模型，我们需要对在神经元发放后重新设置膜电势的值 常用的重设机制有很多，这里不一一进行描叙，这里介绍其中的一种重设 机制，即当发放一个脉冲之后，立刻重设膜电势v ( t ) 为某一固定的值， 通常记为。用公式可表示为。 概y ( 巧+ t ) = ( 2 3 4 ) 除此之外，我们可考虑一个冰冻时间( 也称为绝对不发放脉冲的时 间) ，通常记为则方程( 2 3 4 ) 变为t 点巴y ( 巧+ 耳e ，+ t ) = ( 2 3 5 ) 1 8 基于矩神经网络下的不变分布 综上，联立方程( 2 3 1 2 3 5 ) ，我们称为i n t e g r a t e - a n d - f i r e 神经元模型， 简称球模型 根据阀值下的动力系统方程( 2 3 1 ) ，该方程是一个非线性常微分方 程，可运用数值发放将其解出但在某些特殊情况下，我们可以采用分 析的方法解决 先讨论最简单的情形，假定i f 神经元用个很短的电流脉冲所引导， 当然该电流脉冲不足以使神经元发放一个脉冲我们开始假定v ( o ) = o ， 现有一个很短的电流脉冲加入进来后，则假定y ( o + ) = v o 0 然后，系 统再无外部电流输入，则方程( 2 3 1 ) 可变为。 v ( 著。三v o 嚣0 仁s 固 【) = 7 解得- v ( t ) = v o e - 素( 2 3 7 ) 由该函数图象可知，v ( t ) 随时间t 的增大而减少，而衰退程度由时间常 数7 m 决定 其次，考虑输入电流j 乙( ) 为固定常数的情形跟前面所叙述的一 样，该常数应足够低，使得神经元不能发放脉冲则方程( 2 3 1 ) 的解为， 即) - - - - r i ( 1 _ e - 去+ 鲁e 一乱 ( 2 舶) 令t 一，得t 。! 骢y ( t ) = r i ( 2 3 9 ) 可知，砒是v ( t ) 的一个稳定状态当耐s 时，根据i f 模型机理，不 能发放脉冲若给定的外部输入电流充分大，使得r i 时，那么神 经元将会按一个固定的时间长度发放脉冲两种情况见图( 2 5 ) 所示 硬士学位论文 图2 5 ：应用巧模型，模拟v ( t ) 的变化趋势图；其中左图取r i - - 8 ，v ；j l - - 1 0 ；右 图取r i = 1 2 ，= 1 0 特别地，该时间长度成为脉冲或者脉冲的间隔时间，记为t ，则由方程 ( 2 3 8 ) 可知， t j = - - 引卵糕 ( 2 3 1 0 ) 并称脉冲间隔时间t i 的倒数为脉冲发放频率，记为r ，则有 ( 丁+ t ，) - 1 一刊叩篇) - l ( 2 3 i i ) 其中，记为冰冻时间发放频率r 又称为珂神经元的活性函数或者 获取函数图( 2 6 ) 描叙了在取不同的初始状态的膜电势和冰冻时间 霉。，时，活性函数r 与剧。的关系图从图象可以看出，当外部输入电 流尺，时，活性函数r 将变成一条渐近线性曲线 i f 模型的推广 大脑中的神经元在发放脉冲时，既不可能按四定的频率发放脉冲，也 不可能杂乱无章的发放脉冲因此上面介绍的m 模型神经元须做适当的 2 0 基于矩神经罔络下的不变分布 图2 6 ：取不同的t r 。和2 7 时，活性函数r 与兄k 的关系图 修正故我们考虑加入随机干扰因子，使其发放频率不再是一个常量， 而是一个随机变量在神经系统中，外部输入电流事实上是与时间相关 的，也并非常量因此对外部输入电流的重新构造有助于使m 模型神经 元不规则发放脉冲甚者，包括神经传递素从突触裂缝口出流出、离子 通道的开和关以及膜电势沿着不同形状的轴突传播等因素在内，都直接 或者间接的影响着神经元的规则发放 首先，考虑p o i s o n 过程输入的砸模型，令n = ( t ) ，o ) 是个简 单的标准泊松过程，参数为a ，在该泊松过程输入的条件下，当v ( t ) k 。 时，方程( 2 3 1 ) 可写成一阶随机微分方程t ja v ( t ) 2 一 ( t ) 一t ) 疵+ a d ( t k ( 2 3 1 2 ) 【v ( o ) = v o 7 其中，1 = 吒1 ，记为衰退时间常数a 表示外部输入电流的强度在时 间区间( t ，t + a * l 内，n ( t ) 和v ( t ) 以概率a a t 跳跃，若不加输入电流项， 2 1 硬士