卷积神经网络中的脉冲神经元模型分析

1、    卷积神经网络中的脉冲神经元模型分析    摘要：根据脉冲神经元的响应模式和生化模型，学者们提出了一些用于模拟脉冲神经元行为的数学模型，该文将提出三种具体的脉冲神经元模型漏积分点火模型、脉冲响应模型和概率脉冲响应模型，并对这三种模型的表达式进行相对应的分析。关键词：脉冲神经元;数学模型;漏积分点火;脉冲响应;概率脉冲响应：tp3 ：a：1009-3044（2020）19-0170-02开放科学（资源服务）标识码（osid）：1 脉冲神经元模型传统的人工神经元模型主要包含两个功能，一是对前一层神经元传递的信号计算加权和，二是采用一个非线性激活函数输出

2、信号。前者用于模仿生物神经元之间传递信息的方式，后者用来提高神经网络的非线性计算能力1。相比于人工神经元，脉冲神经元则从神经科学的角度出发，对真实的生物神经元进行建模。2 漏积分点火模型在模拟脉冲神经元的过程中，有一类人工神经元使用电容器和模拟电路来实现对电荷存储和电位的改变。rc电路在实现这个功能方面具有一定的优势，而且，用电容来表达神经元对脉冲的积累是比较好的选择。lif模型，我们也成为漏积分点火模型就是借助rc电路实现点火动作，更准确地说，lif模型把神经元模拟成了一个简单的低通滤波器2。外界的刺激被模拟成电流，电流使得电容积累电荷，当电压达到电路预设的较高电位阈值时，电容发生放点的行为

3、，于是便在电路中产生了回路电流，回路电流连接下一神经元向下一神经元充电。一般的漏积分点火模型可以用如图1的电路来模拟：如图所示，利用漏积分点火模型模拟的脉冲神经元的结构主要由rc电路电阻r、累积电容c和阈值电阻组成，一旦电容电荷量超过阈值电阻，电路便向下一电路输出电流，同时，随着电荷的流出，电流逐渐减小最终消失。对于以上模型，可以用一个一阶线性微分方程求解，如式1：上式引用了之前模型中描述细胞膜电位时间常数的tm，同时将静息电位设置为0从而简化方程计算。根据式1可以解得式2：但是，对于式子2来说，并不是对给定时刻膜电压的良好表达，为了更好地表达激发后某一时刻细胞的膜电位，还需要为式2添加约束，

4、用来保证激发时刻的精确定义：3 脉冲响应模型相较于漏积分点火模型，脉冲响应模型的应用更加广泛，因此脉冲响应模型（ spike response model）【3】更加值得讨论，它的形式更加简洁容易理解，同时也比较方便实现。为丁提出脉冲响应模型，需要回到之前提到的脉冲链定义上去。我们定义脉冲激发时刻组成的序列为脉冲链：注意，这里更加明确地提出激发时刻是膜电压达到阈值的时刻。一次神经元点火是由累积时间、点火时间、绝对不应期、相对不应期和恢复期这些时间段组成的。于是，我们根据以上几个时间阶段分别讨论脉冲响应模型的模拟。首先，在脉冲积累期间，脉冲响应模型用以下表达式神经元受到刺激而膜电位上升的流程。式

5、5设计的初衷来源于以下几点：前突触神经元群i与后突触神经元j的连接强度是由权值w决定的，通过计算来自各个前突触神经元psp的时间强度，加上当前后突触神经元既有的外部激励。形成对后突触神经元膜电压表达。该阶段的psp刺激可以是兴奋性的也可以是抑制性的。考虑描述神经元点火之后膜电位骤减到绝对不应期再回归到正常水平的过程。在这里我们利用一个核函数描述膜电位在衰减期的行为，如式6所示：4 概率脉冲响应模型概率脉冲响应模型（psrm）从另外一个角度描述了神经元之间的运行逻辑4。psrm模型将神经元一切组成结构的动作都看作是“不确定”的，而后用各自的动作概率表示。这些动作概率包括：突触前神经元发出psp的

6、概率，神经元产生脉冲的概率以及某神经元收到前突触神经元脉冲的概率。这些不确定性为描述脉冲神经元之间的信息传递不确定性和连接的多样性提供了可能。从神经动力学的角度来讲，使用概率作为描述神经元连接强度的表示具有一定的实际意义。在一般的srm模型中，使用固定的连接权值来模拟神经动力学过程中的连接强度，但是，在实际生物神经元连接中，神经元之间的连接强度并不是一成不变的。通过概率模拟神经元连接强度和其他结构紧密程度能够描述神经元间的随机相互作用和环境噪声，这一点和神经元突触生理结构和特征是相符合的。在突触的生理结构构成中，由于突触壑的存在，导致神经递质在通过突触壑向突触后神经元传播时具有一定的不确定性5

7、。psrm模型主要对srm模型突触连接机制做了修改，添加了概率项来表征连接有效的概率。具体表达式如下：5 结束语对于卷积神经网络，还有许多不同的脉冲神经元模型，但是以上三种脉冲神经元模型是使用最为频繁同时在图像相关任务中效果最好的神经元模型，通常的网络设计和实现也多借助与以上这三种模型。参考文献：1蔡荣太，吴庆祥，王平.脉冲神经元的信息处理j.计算机与现代化，2010（11）：45-49.2 maezawa s，aomori h，tanaka m.image processings of aleaky integrated-and-fire neuron by cnnj. leice techni-cal report， 2011， 111：113-118.3 gerstner w. chapter 12 aframework for spiking neuron mod-els： the spike response modelm/ handbook of biologicalphysics，2001：469-516.4张强.广义脉冲响应模型及其在货币政策非对称性效应分析中的应用d.长春：长春工业大学，2010.5陈燕.神经元的突触可塑性与学习和记忆jl.生物化学与生物物理进展，2008