（生物医学工程专业论文）基于Izhikevich神经元模型的神经网络建模仿真.pdf

天津医科大学硕士学位论文 a b s t r a c t o b j e c t i v e i nt h i sp a p e r a l la r t i f i c i a ln e u r a ln e t w o r ki sb u i l tt os t u d yt h er o l eo f c o n n e c t i o nw e i g h ti nt h es y n c h r o n i z a t i o no ft h en e u r o n si nt h en e u r o n a ln e t w o r k t h e r o l eo fc o n n e c t i o nw e i g h ti nt h ea s s o c i a t i v em e m o r ya n dp a t t e ms e g m e n t a t i o ni s a n a l y z e d m e t h o d s a na r t i f i c i a ln e u r a ln e t w o r kw i t hi z h i k e v i c hn e u r o nm o d e li su s e dt o s i m u l a t et h ea s s o c i a t i v em e m o r ya n dp a a e ms e g m e n t a t i o nw h e nt h e r ei sg a u s s i a n w h i t en o i s ei nt h en e t w o r k t h er o l eo ft h ec o n n e c t i o nw e i g h ti nt h ea s s o c i a t i v e m e m o r ya n dp a t t e r ns e g m e n t a t i o ni ss t u d i e d i nt h ep a p e rt h es t o r e dm e m o r yp a t t e r n si nt h en e u r a ln e t w o r ka r es t o r e db yt h e c o n n e c t i o nw e i g h t t h en e u r a ln e t w o r ki sp r e s e n t e dw i t hg a u s s i a nw h i t en o i s e w h e n t h en e t w o r ka r ep r e s e n t e di n d i v i d u a l l yw i t hp e r f e c ta n dp o l l u t e di n p u tp a t t e r n s t h e f i r i n go f n e u r o n sb e c o m es y n c h r o n o u sg r a d u a l l yw i t ht h ei n c r e m e n to ft h ec o n n e c t i o n w e i g h t r e s u l t t h en e t w o r ki sp r e s e n t e dw i t hb o t hp e r f e c ta n dc o r r u p t e di n p u tp a t t e mw h e n t h e r ei so n l yo n es t o r e dm e m o r yp a t t e r ni nt h en e u r a ln e t w o r kt h en e u r o n si nt h e n e u r a ln e t w o r kf i r er a n d o m l yw h e nt h ec o n n e c t i o nw e i g h ti ss m a l l w i t ht h e i n c r e m e n to ft h ec o n n e c t i o nw e i g h t t h ef i r i n go ft h en e u r o n sw h i c hb e l o n gt ot h e s a m em e m o r yp a t t e mi nt h en e t w o r kb e c o m e ss y n c h r o n o u s t h e n t h em e m o r yo f s t o r e dm e m o r yp a t t e r ni sa c h i e v e d t h en e t w o r ki sp r e s e n t e dw i t hb o t hp e r f e c ta n d c o r r u p t e di n p u tp a t t e r n sw h e nt h e r ea r et w os t o r e dm e m o r yp a t t e r n si nt h en e u r a l n e t w o r k t h en e u r o n si nt h en e u r a ln e t w o r kf i r er a n d o m l yw h e nt h ec o n n e c t i o n w e i g h ti ss m a l l w i t ht h ei n c r e m e n to ft h ec o n n e c t i o nw e i g h t t h ef i r i n g o ft h e n e u r o n sw h i c hb e l o n gt ot h es a m ep a t t e mi nt h en e t w o r kb e c o m e ss y n c h r o n o u s t h e m e m o r ya n ds e g m e n t a t i o no f s t o r e dm e m o r yp a t t e m sa r ea c h i e v e d c o n c l u s i o n i nt h i sp a p e ra na r t i f i c i a ln e u r a ln e t w o r ki sb u i l t t h en e u r o n si nt h e n e u r a ln e t w o r kc a nf i r es y n c h r o n o u s l yw i t ht h ei n c r e m e n to ft h ec o n n e c t i o nw e i g h t t h en e u r o nm o d e li nt h en e u r a ln e t w o r ki si z h i k e v i c hn e u r o nm o d e l t h er e s u l t s s h o wm a tt h ei z h i k e v i c hm o d e li ss u i t a b l ef o rt h es i m u l a t i o no fl a r g es c a l en e u r a l n e t w o r k t h ec o n n e c t i o nw e i g h tp l a y sa ni m p o r t a n tr o l ei nt h em e m o r ya n d i i 天津医科大学硕士学位论文 s e g m e n t a t i o no fs t o r e dm e m o r yp a t t e r n s k e y w o r d s i z h i k e v i c hn e u r a l n e t w o r k c o n n e c t i o n w e i g h t s i m u l a t i o n s y n c h r o n i z a t i o n i i i 学位论文原创性声明 本人郑重声明 所呈交的论文是我个人在导师指导下独立进行 研究工作取得的研究成果 除了文中特别加以标注引用的内容和致 谢的地方外 论文中不包含任何其他个人或集体已经发表或撰写过 的研究成果 与我一同工作的同志对本研究所做的任何贡献均己在 论文中作了明确的说明并表示了谢意 学位论文作者签名 么堑生日期 如语年朔趵日 学位论文版权使用授权书 本学位论文作者完全了解天津医科大学有关保留 使用学位论 文的规定 即 学校有权将学位论文的全部或部分内容编入有关数 据库进行检索 并采用影印 缩印或扫描等复制手段保存 汇编以 供查阅和借阅 同意学校向国家有关部门或机构送交论文 并编入 有关数据库 保密 口 在 年解密后适用本授权书 本论文属于 不保密匪刁 请在以上方框内打 作者签名 熬堡日期 劢 挥5 月口日 导师签名 邋日期 溺钻肘日 天津医科大学硕士学位论文 1 1 研究背景 第一章绪论 在神经科学领域 传统的方法是在单神经元水平上对神经系统进彳亍研究 在细胞和分子水平上对神经系统的结构与功能的了解取得了相当大的进展 尤 其是在单个神经元的结构 功能及其相互联结方面己获得了许多知识 越来越多的实验说明 大脑皮层的许多功能是以分布式处理为基础的 需 要研究神经网络和它表现出的整合行为 i n t e g r a t i v eb e h a v i o r 即在系统 水平上探索信息的整合与处理 因而不同于大量运算单元同时参与计算时所表 现出的趋于某一平衡态的集合行为1 2 1 c o l l e c t i v eb e h a v i o r 视觉信息处理 是建立整体性概念的最恰当的范例 在视觉皮层的大部分区域 神经元处理的 信息仅仅来自于视野的有限部分 也仅对特征构象的限定范围作出响应 因此 大量神经元的输出必须结合起来才能形成特定客体的完整表象 当存储的信息 在记忆与回忆期间重新组合时也需要 种整体绑定的机制i j 圳 在b a r l o w 5 倡导的单细胞学说中 假定从初级处理阶段而来的输入集中到具 有高度专一性响应特点的单细胞 即所谓 主教细胞 或 祖母细胞 以解 决绑定问题 而客观世界的复杂多变性将使细胞数量出现 组合爆炸 式增长 无法获得实验的支持 在经过漫长的探索 实验和理性思维之后 研究工作重 新返回到h e b b 的观点 即视觉客体由相互联结的神经元集群 n e u r o n a le n s e m b l e 来表象要比采用单细胞活性来表象更恰当 这种系统假定由对基本特性进行编 码的神经元组成 复杂的表象在早期的处理阶段已形成 由于神经元在不同时 间可以参与不同的系统 从而避免了b a r l o w 学说面临的细胞数量爆炸式增长的 困难 但是 根据h e b b 的假设 某一时刻皮层的一个特定区域只有一个系统被 激活 其他的系统被抑制 其结果是 如果神经元群a 表达特征a 神经元群b 表 达特征b 当a 与b 重叠起来表达特征c 时 a 与b 就消失了 这就是 叠加灾难 s u p e r p o s i t i o nc a t a s t r o p h e 1 6 l 此外 自然场景中的许多物体需要若干个系 统共同激活且与视皮层的同一区域相对应 因而就无法确定哪些细胞属于哪个 特定的系统 由此产生 绑定问题 b i n d i n gp r o b l e m 或装配问题 从信息编码的观点来看 b a r l o w 的假设和h e b b 的观点都是采用神经元脉冲 天津医科大学硕士学位论文 平均放电速率编码 7 外部刺激的 前者强调信息的串行处理 因而具有等级结构 即知识表达中联系上 下文的句法结构 后者强调信息的并行处理 自然就 缺少等级结构 在信息的整合阶段 前者求助于 祖母细胞 后者受困于 特 征装配问题 究其根源 如何理解神经系统的编码方式就成为解决问题的关键和走出困 境的途径 将神经元仅仅看作是脉冲平均放电速率的积分器的概念 受到越来 越多新实验事实的挑战 神经编码问题又重新唤起不同领域的科学家参与探索 研究的热情 1 1 y o nd e ri a l s b u r g 1 2 在整个8 0 年代致力于神经编码问题的探索 他认为 系统应当用皮层神经元的同步放电来确定 而不应当用平均放电速率单纯的提 高来确定 在这样的 相关模型 中 知觉的相干性质通过相应的特征检测神 经元的同步放电表现出来 与同一客体的特征相对应的神经元同步放电 而与 不同客体相对应的神经元则以非同步的方式放电 本质上 这是时间相关假设 依赖于动态联结方式来实现 神经元由轻微地改变其放电模式的瞬态关系而得 以在系统之间迅速转换 神经元集群通过时间编码形成对客体的同步化响应 处于同一系统之内的不同的神经元群用是否同步放电来标识 在嘈杂 喧嚣的 背景中 人们可以专心听到对方的谈话 这就是m a l s b u r g 己j i 申出的著名的 鸡 尾酒会效应 c o c k t a i l p a r t ye f f e c t 是对相关理论的生动阐述 神经元群的同步振荡和同步响应是继感受野与侧抑制概念之后重要的进 展 通过理性的思维创立的这一新理论 又一次证明了视一脑研究一刻也不能离 开理论的指引 1 9 8 9 年时间相关理论出现了转机 g r a y 等人在猫的初级视皮层 上发现了刺激诱发的神经元群活动的y 同步振荡现象 频率为3 0 7 0 h z 引起神 经科学界的极大关注 其后相继进行的一系列神经生物学实验发现 这种振荡既 存在于人脑 13 1 猫 1 4 鼠 1 5 裂1 6 的脑内 也存在于视觉系统 视网膜 侧膝体 和听觉系统之内 无论实验动物处于麻醉状态 清醒状态或是活动状态 情形 均相同 由此可见 y 同步振荡是神经系统中的一种普遍现象 普遍认为 神经元 活动的同步形态对记忆 计算 运动控制甚至一些疾病如 癫痫等起着重要作 用 是联想记忆 模式分割等功能的基础 l7 1 9 j 2 天津医科大学硕士学位论文 随机共振的概念是由b e n z i 等于1 9 8 1 年提出 用以解释古气象学中冰川期 与暖气候期周期性交替出现的现象 随机共振在神经系统中的理论研究和实验 研究一直被认为是随机共振研究的基石 一方面神经元是可兴奋的非线性系统 并且在神经系统中噪声被认为是普遍的存在着 噪声在神经系统中作用的理论 和实验研究所提出的新问题会促使随机共振的理论发展 而且它的研究无疑会 为噪声在神经元作用的基本问题的回答起到积极的作用 神经元通常是在一定 的噪声背景下进行工作的1 2 0 产生噪声的因素是多方面的 噪声的来源并不只 限于临近细胞活动而引起的电磁影响和输入信号的波动等外在干扰 神经细胞 自身产生的热噪声 神经递质分子数目的变化 离子通道的随机开和关 后突 触摄动效率的波动以及胞体膜参数 放电阈值的随机起伏变化等因素可引起神 经系统的内噪声 噪声在实际神经元中广泛存在 它对于神经元信息编码具有 何作用 是干扰信息的编码还是具有更深层次的正面作用 神经元是如何利用 和处理来自于周围环境以及自身产生的大量的随机噪声以进行可靠有效的编码 和传输信息 s i e g e l 在猫的大脑皮层初级视觉神经元实验中发现这些感观神经 元在外界周期刺激下 不规则的峰峰间期序列串在统计直方图表现出有趣的多 峰分布 而且这些峰正好位于刺激周期的整数倍处 峰的高度随倍数增加呈现 指数递减形式 2 1 1 并且这种放电形式以前也在别的神经元的放电的过程中得到 了发现 如在猴子的听觉神经纤维中 2 2 l o n 昏i n b u l s a r 和m o s s 等人在这些实验 现象的启发下 发现神经元的这种放电行为与双稳系统在弱的周期信号和噪声 的作用下所诱发随机跃迁的滞留时间分布具有相似的结构 从而创造性地提出 噪声可以诱发信息的传递 神经元的信息活动可能与随机共振有关的设想 2 w 引 随后出现了一些有关神经系统中随机共振试验研究的报道 d o u g l a s s 等人在龙 虾的机械水利敏感须机械感受器中观测到了随机共振现象1 2 州 b r a u n 在鲨鱼的 机械感受器中观测到了随机共振 在1 9 9 5 年l e v i n 等人在蟋蟀腹部的感觉神经 元中也发现了随机共振 2 7 1 s i m o n o t t o 在人的视觉的感受器中发现了随机共振 2 8 b e z r u k o v 在神经元的离子通道中也发现了随机共振 以及在哺乳动物大 脑的神经元网络随机共振也被发现 并且c o l l i n s 在大鼠皮肤的机械感受器中发 现了随机共振的现象 2 9 0 0 最近在研究鱼猎取浮游食物的过程中发现了随机共 振 从而在动物的重要的活动捕食中找到了随机共振的证据 3 1 3 2 j 同时在神经 元的模型中也有关于随机共振理论研究的报道 如在f n 模型以及h h 模型中等 3 3 3 4 随机共振在神经系统已取得的和潜在的应用说明随机共振可能是感觉生 天津医科大学硕士学位论文 理中的一个非常普遍的现象和机制 随机共振在神经生理中的应用被认为是随 机共振的领域研究的基石 在实际的生物神经元中总是存在着一定的噪声 而 这些噪声会使神经元变得有序 这对理解神经元集合的一些典型的 规则的 有组织的行为有一定的促进作用 并将随机共振的理论研究进行了深化 脑是我们至今遇到的最为复杂的信息处理装置 有实验表明大规模的神经 元集群的同步活动是脑的惊人计算能力的基础 而这种同步是在充满噪声和缺 乏外界同步时针的条件下达到的 研究表明脉动神经元所组成的网络具有联想 记忆的功能 已有研究者用f i z h u g h n a g u m o 3 5 3 6 埽申经元模型和h o d g k i n h u x l e y 3 7 1 神经元 模型对人脑的联想记与模式分割进行了仿真 但是由于h o d g k i n h u x l e y 神经元 模型和f i z h u g h n a g u m o 神经元模型计算比较复杂 不利于对较大规模的神经网 络进行仿真 需要选择一个新型的神经元模型对网络中存储模式的联想记忆与 恢复进行仿真 1 2 研究现状 1 2 1 人工神经网络研究现状 目前 应用人工神经网络主要是为了实现以下几个方面的功能 联想记忆 识别与分类 优化计算 3 8 人工神经网络的研究主要集中在以下几个方面 1 建立理论模型 从生理学 神经科学等学科对生物神经细胞和神经网络 的研究成果出发 建立概念模型 知识模型 物力化学模型 数学模型等 2 网络模型与算法研究 在理论模型的基础上构造具体的神经网络模型 以便实现计算机模拟和硬件制造 3 应用研究 在网络模型与算法研究的基础上 利用人工神经网络组成实 际的应用系统 以便实现某种实际功能 人工神经网络模型中最具代表性的人工神经网络模型有多层前馈网络 m l p h o p f i e l d 神经网络h n n 随机神经网络和自组织神经网络 1 自从1 9 8 5 年r o s e n b l a t t 提出了反响传播 b p 算法以来 前馈网络的研 究取得了重大发展 但是人工神经网络硬件芯片的进展还十分缓慢 大部分工 4 天津医科大学硕士学位论文 作是在计算机上对标准b p 算法和类似 模拟退火 的具有二阶动量项的b p 算法 具有二次收敛的n e w t o n 法 拟n e w t o n 法 二阶b p 算法 共振梯度法和具有并行 计算特点的m a r q u a r d t l e v e n h e r g 最小二乘法 还有自适应变步长学习算法和基于 k a l m a n 滤波的高阶快速学习算法等 目前在天气预报行情预测数学分类建筑设 计等领域等到了广泛的应用 2 h o p f i e l d 神经网络h n n h o p f i e l d 网络是一种带有反馈的动力学系统 它分离散和连续两种模型 离散模型可用一种加权无项图来表示 它多应用于联想存储 模式识别与优化 计算 连续模型引入了能量函数的概念 使求解优化组合问题转化为求解能量 最小问题 其思想是将求解的问题表达为一个动力学系统 即神经网络 并 研究其收敛性 构造一种合适的能量函数 使其最小值点对应于优化组合问题 的最佳解 目前研究的焦点是构造一种符合问题的能量函数以求解不同的问题 其中最著名的旅行商 t s p 问题 八皇后问题都是利用连续h o p f i e l d 网络求解 并得到了满意结果 3 随机神经网络与模拟退火算法 1 9 8 3 年h i n t o n 等提出的b o l t z m a n n 机是随机神经网络模型的典型代表 它可 以看成h o p f i e l d 联想记忆模型的推广 与h o p f i e l d 网络不同的是 它是具有概率 状态随机转移机制而h o p f i e l d 是确定性的 此外 b o l t z m a n n 机还允许含有隐单元 来捕获学习中的高阶规则 目前常用的算法有模拟退火算法和快速模拟退火算 法及一些改进算法 利用b o l t z m a n n 机 主要应用于优化计算 由于引用一定程 度的随机性扰动 以保证系统从局部极小中爬出来 找到全局极d 臣l j 得到全局 最优 4 自组织神经网络 自组织神经网络是一类无教师监督的网络 它的两个核心是自适应共振理 论 a r t 和自组织特征映射 由于这类网络具有无教师监督学习的特点 因 此它可以实时学习 并可适应非平稳的环境 目前 主要工作是对其自适应算 法进行研究 实际应用中 自组织特征映射网络主要用于自联想最临近分类器 1 2 2 神经元模型研究现状 天津医科大学硕士学位论文 图1 1 神经元结构图 神经元是构成神经系统的结构和功能单位 其结构如图2 1 所示 一个典 型的神经元在形态上可分为胞体和突起两部分 神经元能够产生冲动 并能不 衰减的传递冲动 冲动或者称为动作电位 就是神经元的信息 也可以说神经 元将它的信息编码成了各式各样排列组合的神经冲动 从而来表示变化多样的 来自内外环境或中枢的信息 近年来 人们应用了建模与仿真技术 对神经元 群 放电进行神经信息学的研究 在对其进行建模仿真的过程中人们先后建立了多 种神经元模型 1 i f 模型 i n t e g r a t e a n d f i r e 神经电生理数学模型 简称工f 模型 i f 模型是l a p i c q u e 在1 9 0 7 年首先提出的 i f 模型如下 对给定的两个r v 腑 阈值 v 删 静息电 位 当膜电位v v l i l 时 膜电位v 满足下列动力系统 r1 一砉 形一v r e s t 虮 1 1 y ill g o 甜 其中 为膜电位时间变化常数 k f 为神经元的输入 静息电位 一旦膜电位k 超过 就产生一个神经脉冲 膜电位重新设为 一个新电位 i f 神经元模型已经具有了真正生物神经元的一些特性 在近几十年中 有 许多研究人员对i f 模型进行了大量的性能分析和仿真试验 3 9 啦 但由于其结构 6 天津医科大学硕士学位论文 简单 与真实生物神经元的特性相差较大 经常用于对分析结果的验t i c 1 4 3 1 2 m p 模型 根据解剖学和生理学方面的成果 美国心理学家麦克劳 w s m c c u ll o c h 和数学家匹克 w a p i t t s 在总结生物神经元的基本特征基础上 于1 9 4 3 年提出 了一个非常简单的形式神经元数学模型 即m p 模型m m p 模型将神经元当作 一个功能逻辑器件来对待 从而开创了神经网络模型的理论研究 m p 模型主要 描述了神经元产生动作电位的性质 假定神经元只处于静息电位和动作电位两 种状态 m p 模型是一个多输入单输出的逻辑元件 在k 时刻 其多个输入x 和 单输出y 的关系可以表示为 y k 1 1 薯 七 一秒 1 2 l x j 1 扮o 1 3 io x o 式中 秒为阂值电位 m p 模型比较简单 只是反映了神经元的空间整合和阈值之间的非线性关 系 生物神经元传递的信息是脉冲 而上述模型传递的信息是模拟电压 跟真 实神经元的放电特性相差较大 3 h o d g k i n h u x l e y 模型 单个神经元放电模型是研究神经电生理活动的基础模型 1 9 5 2 年 h o d g k i n 和h u x l e y 4 5 1 首次提出了描述神经细胞膜动作电位产生和传导的电神经生理数 学模型 简称h h 模型 该模型因对神经生理现象的描述高度精确而获得成功 是神经生理学研究中一项具有里程碑意义的成果 是应用数学方法研究生理学 获得成功的典例 他们所建立的数学模型属于抛物型偏微分方程 选择这个模 型将给我们提供一个从物理学引导出生物数学模型的典型例子 也是一个偏微 分方程数学模型的例子 为神经电生理学的发展奠定了基础 在h h 模型的基础 上 发展了不同类型和功能的神经元放电模型 其中的典型例子如 加入c a 离子 对神经元膜电位影响的c h a y 模型 根据海马区神经元形态特征描述神经元放电 的t r a u b 模型等 h h 模型方程如下 7 天津医科大学硕士学位论文 c 鲁一g n a m 3 m 一 一g k n 4 v 一玩 一 1 4 g 1 一圪 孕 口 v 1 一所 一尾 v 所 1 5 a t 象 啪 1 叫 一聃 刀 1 6 警 啪 1 叫一聃 办 1 7 其中c宰为膜电容电流 1 为跨膜电位 墨 朋3办 一 为钠离子电导电at j 流 墨 为最大钠离子电导 m h 为钠偶极子开放概率 为钠离子的平衡 电压 墨k 聆4 v k 为钾离子电导电流 g k 为最大钾离子电导 n 为钾偶极子 开放概率 吆为钾离子平衡电压 g l 1 一圪 为其他离子电导电流 k 为神经 o 2 0 幽 御幽 氆 帕 o l c t 200闺口枷 时间 m s 图1 2h h 方程中膜电位v 随时间变化图 8 天津医科大学硕士学位论文 h h 神经元模型计算比较复杂 仿真时需要运行较长的时间 因此主要用于 研究单个神经细胞的行为 特性和进行小规模人工神经网络的仿真 4 1 1 4 i z h i k e v i c h 丰 经元模型 i z h i k e v i c h 神经元模型 4 6 1 是e u g e n em i z h i k e v i c h 于2 0 0 3 年提出的神经元 放电模型 此模型结合了i f 神经元模型和h h 神经元模型两者的优点 既比较 接近真实生物神经元的放电特性 又便于进行大规模的仿真 其模型如下 一d v o 0 4 1 2 5 v 1 4 0 u i 1 8 d t d u 口 6 v 1 9 a t 如果v 3 0 删忡c 1 1 0 1 扰 d 其中 1 代表神经元的膜电压 u 为恢复变量 反应了k n a 的活动 并 且给膜电压提供一个负反馈 i z h i k e v i c h 神经元模型比较适合进行大规模的仿真 i z h i k e v i c h 和g e r a l dm e d e l m a n 于2 0 0 7 年成功的利用i z h i k e v i c h 神经元模型对哺乳动物的丘脑皮层系统 进行了仿真 4 7 1 2 0 世纪9 0 年代 研究表明 4 8 4 9 1 发放神经 s p i k i n g 元表现出联想记忆的特 性 由于放电神经元更加接近真实生物神经元的特性 因此 由放电神经元模 型构成的联想记忆神经网络模型成为目前科学研究的热点 h o d g k i n h u x l e y o 经元模型 f i t z h u g h n a g u m o 神经元模型等是典型的放电神经元模型 1 3 本论文研究的工作 研究目的 本文选用新型的神经元模型为节点 按h o p f i e l d 结构构建网络 在网络中 存在高斯白噪声的情况下对人脑的联想记忆与模式分割进行仿真 并研究网络 中神经元之间连接强度的大小对网络中神经元之间同步放电的影响 9 天津医科大学硕士学位论文 研究内容 1 以i z h i k e v i c h 神经元模型为节点 构建h o p f i e l d o 经网络 网络中神经 元模型的个数为2 0 0 个 2 在网络中存储一种模式 在不同的输入模式下对人脑的联想记忆进行仿 真 研究连接强度对联想记忆的影响 3 在网络中存储两种模式 在不同的输入模式下对人脑的联想记忆与模式 分割进行仿真 研究了连接强度对网络中神经元同步放电的影响 本论文的创新点 以新型的i z h i k e v i c h o 经元模型为节点构建神经网络 对联想记忆与模式 分割进行仿真 研究了神经元之间连接强度对网络中神经元放电的同步性的影 响 本论文的结构 第一章前言 介绍研究背景 研究现状 论文的结构以及本论文的研究工作 第二章原理和方法 介绍了h o p f i e l d 神经网络 i z h i k c v i c h 神经元模型的意 义并对神经网络及网络中各个参数的意义进行说明 第三章研究结果 在单存储模式和多存储模式两种不同的情况下 通过调 节网络中神经元之间的连接权值大小 对神经网络的输出进行了仿 真 通过神经元的同步放电实现了网络中存储模式的记忆与分割 第四章结论与讨论 1 0 天津医科大学硕士学位论文 第二章原理和方法 2 1h o p fie id 神经网络 神经网络是一个复杂的互联系统神经元之间的连接模式种类繁多其中最著 名的有前向网络和反馈网络f e e d f o r w a r da n df e e d b a c k w a r dn e t w o r k 即多层 前馈网络和h o p f i e l d 网络多层前馈网络中一个神经元的输入只与前一层神经 元的输出有关而与自身和后一层神经元的输出无关h o p f i e l d 网络是一种 h o p f i e l d 网络是一种动态网络 它每一个神经元的输入与任一神经元的输出都 有关 1 9 8 2 年美国物理学家j j h o p f i e l d 陆续发表了一篇论文 5 0 提出 j h o p f i e l d 神 经网络 其电路结构如图2 1 所示 f l l 1 3 1 物 w x lw i 蛀1 虻 蛀1 r l l c lr 2 上gi b l c 3 7弋罗 7 1 y l 1 7v 2 v 3 1 图2 1h o p f i e l d 神经网络结构图 h o p f i e l d 利用非线性动力学系统理论中的能量函数方法研究反馈人工神经 网络的稳定性 并利用此方法建立求解优化计算问题的系统方程式 基本的 h o 两e l d 神经网络是一个由非线性元件构成的全连接型单层反馈系统 h o p f i e l d 人工神经网络中每一个神经元都将自己的输出通过连接权传送给所有其它神经 元 同时又都接收所有其它神经元传递过来的信息 即 网络中的神经元t 时 天津医科大学硕士学位论文 刻的输出状态实际上间接地与自己的t 一1 时刻的输出状态有关 所以h o p f i e l d 神 经网络是一个反馈型的网络 其状态变化可以用如下差分方程来表示 q 掣 窆 盹 一掣 2 1 i 1 杉 f 岛 f j l 2 n 2 2 其中 n 是网络中神经元的个数 k f 为输出电位 u f 为输入电位 反馈型神经网络的一个重要特点就是它具有稳定状态 当网络达到稳定状 态的时候 也就是它的能量函数达到最小的时候 这里的能量函数不是物理意 义上的能量函数 而是在表达形式上与物理意义上的能量概念一致 表征网络 状态的变化趋势 并可以依据h o p f i e l d f 作运行规则不断进行状态变化 最终能 够达到的某个极小值的目标函数 网络收敛就是指能量函数达到极小值 如果 把一个最优化问题的目标函数转换成网络的能量函数 把问题的变量对应于网 络的状态 那么h o p f i e l d 神经网络就能够用于解决优化组合问题 h o p f i e l d i 作 时其各个神经元的连接权值是固定的 更新的只是神经元的输出状态 训练好的网络具有某一类问题的处理能力 但是训练之前神经网络是不具 备这种能力的 所以学习训练功能是人工网络最重要的特征之一 学习的形式 有无监督学习和有教师的监督学习两种 无监督学习就是预先没有标准的输入 输出样本对 而是直接将网络置于 环境 之中 让学习与工作成为一体 边 工作边学习 选定权重初值 由环境逐渐改变以使网络符合环境 这种边工作 边学习的方式与人脑自学习过程十分接近 监督学习是事先根据网络的输入 输出模式确定网络中神经元之间的连接权值 确定好权值的网络就有了处理这 类 环境 的功能 它多应用于联想记忆存储 模式识别等领域 2 2lz hik e vic h 神经元模型 i z h i k e v i c h 冲经元模型是由e u g e n em i z h i k e v i c h 于2 0 0 3 年建立的简单放电神 经元模型 此模型结合了i f 神经元模型和h h 神经元模型的优点 比较接近真实 生物神经元的特性 计算比较简单 i z h i k e v i c h 申经元模型的方程如下 1 2 天津医科大学硕士学位论文 霉 0 0 4 1 2 5 v 1 4 0 一 2 3 d t d u 口 b l u 口j d t j 2 4 如果1 3 0 删忡c 2 5 g 甜 d 其中 v 代表神经元的膜电压 甜为恢复变量 反应了k n a 的活动 并 且给膜电压提供一个负反馈 突触电流或者外部输入电流通过变量i 输入到神 经元中 参数a 为电压恢复变量材的时间尺度 当a 的值较小时表明恢复较慢 参数 b 表示电压恢复变量扰对v 低于阈值时随机波动的敏感程度 参数c 表示神经元 放电后1 的复位值 参数d 为神经元放电后铭的复位值 通过调节参数a b c d 的值 i z h i k e v i c h 神经元模型能够仿真神经元的规 则发放 内部爆发发放 快速发放等不同的放电状态 其仿真波形如下图所示 图2 2 规则发放波形图 图2 3 内部爆发发放波形图 天津医科大学硕士学位论文 酬 图2 4 快速发放波形图 2 3iz hik e vic h 神经网络的建立 实验发现 放电组成的神经网络能表现出联想记忆的特性 h o d g k i n h u x l e y 方程和f i t z h u g h n a g u r n o 方程已用于联想记忆的仿真 但是h o d g k i n h u x l e y 方程 并1 1 f i t z h u g h n a g u m o 方程构建的神经网络计算比较复杂只能用来仿真较小型的 神经网络 本文我们以i z h i k e v i c h 神经元模型为节点构建神经网络 在中等噪声强度下 通过调节网络中神经元之间的连接强度大小 通过神经元的同步放电来模拟神 经网络中存储模式的记忆与分割 神经元网络的建立过程分为两个部分 二是网络方程形式的确定 二是网 络中各项参数的确定 2 3 1 耦合i z h i k e v i e h 神经元网络方程 坐 o 0 4 谚 5 h 1 4 0 一 f f i g a r t w o v j v 西 磊 鲁钏 b u i 口f 如果 v 3 贝u d 2 3 2 方程各项说明 1 4 2 6 2 7 2 8 天津医科大学硕士学位论文 1 a b c d 为常数 本文中a 0 0 2 b 0 2 c 6 5 d 8 2 v i 为神经元的膜电压 扰f 为电压恢复变量 3 厶为外部输入信号 7 为外部输入信号的强度 这里取7 o 2 其中 蕾耿f 蕾 o 1 2 9 忙是 2 1 0 誓是二进制因子 它表示第i 个神经元是否有输入 当i 为1 时表示第i 个神经元有输入 当i 为o 时表示第i 个神经元无输入 4 当 f 是强度为d 的高斯白噪声 满足 茧 f 彭 f d s u 6 t t 2 1 1 n 5 v e g 为神经元问通过突触传导的电流 6 由h e b b 学习规则 第i 个神绠元到第j 个神经元之间的连接权值为的为 其中仃为连接强度 a o 为所有神经元节点的平均值 n 代表网络中神经 元的数目 算代表网络中存储的记忆模式 代表记忆模式的数目 本文我们给网络定义了两种不同的存储 第一种存储模式中 为1 表明 网络中只存储了一种模式 本文定义为 岛 10 其0 0 他 表示网 f 1 1 z 15 0 络中序号为1 0 0 1 5 0 的神经元有外部输入 其它神经元没有外部出入 第二种存 动q 一 劈 o 口一 并 一 p 心意 为 矽 蝴 定 天津医科大学硕士学位论文 储模式中 z 为2 表明网络中存储了两种模式 本文定义为 pf1 1 i 5 0pi1 1 0 0 i 15 0 一10 其他 一10 其他 1 6 天津医科大学硕士学位论文 第三章仿真结果 3 1 单存储模式下的仿真结果 为了更全面的考察连接权值对网络中神经元同步放电的影响 本节在多种 输入模式下 对神经网络进行了仿真 本文中输入模式定义为厶 3 1 1 完整输入模式下的仿真结果 完整输入模式即为与网络中存储的模式完全相同的输入模式 此时 pi1 1 0 0 i 15 0 岛伽 10 其他 3 1 其中i 为网络中神经元的序号 输入模式f 表明序号为1 0 0 1 5 0 的神经元有 输入 记忆模式通过连接权值存储在网络中 本文对不同连接权值下神经网络的输出进行了仿真 仿真结果如图所示 网 络 中 神 经 兀 的 序 口 可 2 0 0 二j t0 咚 7 式 f 专 菇客甚 譬 0 0 i f t j j 叶 每 0 产 7 彳 l t 0 盂 c j 葶z 强鬻搿 麓垮 i f 量 曩 t 0 0 设 0 三 0 0 一 o t ik i 一 一 o 鼍 t 毒 0 誓 i 了 妻 f 7 c j t 盘 7 0 i t i j 0 j f 05 0 i o ol 二02 0 02 5 03 0 02 5 04 0 04 5 05 时间 s 盯 0 1 1 7 鲫 躲 驰 天津医科大学硕士学位论文 焉 毒 善 芋 j 箩 瓣姜至萎澎差琵至i 0 0 霉毒善广宇f 未t 云 摹 o 二o1 0 01 5 02 0 02 5 0 3 0 0 3 5 0 4 0 04 5 0 0 时间 s 盯 0 1 5 冬冬 董专专苇芝喜睾 差毒警 f 辫瓣赋嘲 0 z 苌 乏i 蠢 5 i 复譬毒 t j 05 01 0 01 5 02 0 02 5 0 3 0 0 3 5 04 0 04 5 05 0 0 时间 s c c r o 2 j 象 量薹妻蓦摹衰季至量季季季善差 季 05 0i 0 01 5 02 0 02 5 0 3 0 03 5 04 0 04 5 0 5 0 0 时间 s c r o 2 5 1 8 铂 鲫 铘 o 网络中神经元的序口 r 0 0 0 0 0 0 0 0 0 o 0 掩m h 屹加8 6 4 2 网络中神缍兀的序号 0 0 0 0 0 0 0 0 0 0 0 加璩m h 堙 m 8 6 4 2 网络中神经元的序号 天津医科大学硕士学位论文 0 05 01 0 01 5 02 0 02 5 03 0 03 5 04 0 04 5 0 5 0 0 时间 s 盯 0 3 05 01 0 01 5 02 0 02 5 03 0 0 3 5 04 0 04 5 0 5 0 0 时间 s f 盯 0 3 5 图3 1 完整输入模式时的仿真结果 由图3 1 可见 当网络中神经元之间的连接强度较小时 网络中神经元的 放电有较大的随机性 随着连接强度的逐渐增大 网络中序号为1 0 0 1 5 0 的神经 元的放电逐渐趋于同步 当连接强度达到0 3 5 时 序号为1 0 0 1 5 0 的神经元基 本实现同步放电 也就说明成功实现了神经网络对存储模式的联想记忆功能 在现实环境中 当给出部分信息时 神经系统能通过联想记忆 恢复出原来 的模式 为了进一步验证神经网络的联想记忆功能 下面对输入模式为受到污 染的模式时神经网络的联想记忆功能进行了仿真 1 9 譬r f 一 il y0 玉 氟f 6 哥 譬f 基5irl0 r p 蠢蚤0支3 t r 1 1 fiji l订 一 叶t 一 二一b i 量 譬 l rt 一x 7 乞 亡1 fsl f f一 1t 乏 i 气 矗 r 0lil 0让妒i一土总 气气l 弋 宴 譬 一0t 0瓢 讥 t 皇t薯 t量 j芒rt a毽je不乞p ll y孓 a薹 矗t 17rlj一圣0 t霉 毒t 乏 1ll br 节 j 1 一llflf t j 1 ip 0 0s挚 ll j 10一一 i 一 簟 q l叠 了 鲁 哥0v1 一 崦戟鞑 嚣追苍一 0 0 0 o 0 0 0 0 0 璩m h 圪 m 8 6 4 2 n 毒0 冬 一 y 一蚤on 鬟 泠 0 l jj c譬ps冀蛙oy磅吧乏 委 乏乞后 协爷寸 誊 0 章ij 分f 蚕 jp7露一羔t 一0豇 ft l 专 fz知 聍t p曩冬il tjl ll 交rffp窑r 乞j r f kf j k r二 气 v t ltlo lfl d y1 h铋a口一 暑一 c l p口r 1 一 六一矗1 0 二f正 锛 o l 己 l p气 争 一和 长 童1l r墨毒 羔套 一 4l卫il r lll h a1 x v n n vf r吧 tl j p 置争 2ll z l iili r i 背 譬a了 z守冬 零蚤 0 0 0 0 0 0 0 0 o 0 0 垤m m j m 8 6 4 2 网络中神嗍i兀的序号 网络中神嗍i兀的序口ir 天津医科大学硕士学位论文 3 1 2 缺损输入模式时的仿真结果 缺损输入模式为网络中有输入的神经元数目比存储模式中定义的有输入的 神经元数目少的输入模式 此时 乞 1 其2 0 他 f et tr tt 曼手 f z 吐 t lf 1 善 1卜 j0砭 10lf 一 0矗lt i莨y 1 r王 j i 垡i 石 薹 f100t鲁 奇 t f譬 0 弧引孙 疆莓w 0 0 0 0 0 0 0 0 0 0 0 加璩m h 屹 m 8 6 4 2 网络中神嗍i兀的序号 天津医科大学硕士学位论文 3 2 多存储模式时的仿真结果 人脑不仅有联想记忆的功能 同时人脑还有模式分割的功能 比如 几种 气味混合在一起就成为一种新的气味 但人和其它动物就能轻易把它