神经网络基础

神经网络基础第1页/共15页提要：

第一讲神经网络基础第二讲前向神经网络第三讲反馈神经网络第四讲随机神经网络第2页/共15页第一讲神经网络基础

大脑是由生物神经元构成的巨型网络，它在本质上不同于计算机，是一种大规模的并行处理系统，它具有学习、联想记忆、综合等能力，并有巧妙的信息处理方法。人工神经网络(简称神经网络)也是由大量的、功能比较简单的形式神经元互相连接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和简单的思维方式。

第3页/共15页第一讲神经网络基础

人工神经网络（ArtificialNeuralNetworks,简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单的讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。神经网络主要用于非线性系统的辨识建模、非线性过程的预测、神经网络控制及故障诊断等。美国军方认为，神经网络技术是比原子弹工程更重要的技术。第4页/共15页第一讲神经网络基础一神经网络定义：基于模仿生物大脑的结构或功能构成的信息处理系统或计算机。

80年代美国的H.Nidsen定义：神经网络是由多个非常简单的处理单元（神经元）彼此以某种方式相联接而形成的计算机系统。该系统是靠其状态对外部输入信息的动态响应来处理信息的。第5页/共15页第一讲神经网络基础二生物神经元的结构和动作原理以及功能

1.生物神经元的结构

人脑大约由1012个神经元组成，神经元互相连接成神经网络。生物神经元是大脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。第6页/共15页细胞体树突轴突轴突末梢细胞核图1-1a神经元的解剖第7页/共15页图1-1b神经元的解剖第8页/共15页第一讲神经网络基础细胞体：细胞体是由很多分子形成的综合体,内部含有一个细胞核、核糖体、原生质网状结构等,它是神经元活动的能量供应地,在这里进行新陈代谢等各种生化过程。包括细胞核，细胞膜和细胞质。轴突：细胞体突起的最长的外伸管状纤维称为轴突，轴突是把神经元兴奋的信息传出到其它神经元的出口。树突：细胞体的伸延部分产生的一至多个突起，呈放射状的分枝称为树突,它是细胞体向外伸出的许多较短的树状分支,相当于细胞的输入。树突具有接受刺激并将冲动传入细胞体的功能，树突与其树突末梢是接受从其它神经元传入的信息的入口。每个神经元有大约10000个树突连接。第9页/共15页第一讲神经网络基础突触：突触是神经元的树突末梢连接另一神经元的突触后膜(postsynapticmembrane)的部分。它是神经元之间相联系并进行信息传送的结构,是神经元之间连接的接口。两个神经元的细胞质并不直接连通,两者彼此联系是通过突触这种结构接口的。膜电位：神经元细胞膜内外之间存在电位差，称为膜电位。膜外为正，膜内为负。膜电压接受神经其它神经元的输入后,电位上升或下降。当传入冲动的时空整合结果，使膜电位上升，而且当超过叫做动作电位的阈值时,细胞进入兴奋状态，产生神经冲动，由轴突输出，这个过程称为兴奋。第10页/共15页第一讲神经网络基础2突触传递信息动作原理兴奋期,大于动作阈值绝对不应期：不响应任何刺激相对不应期：很难相应根据突触传递信息的动作过程可以分为两种类型：兴奋型和抑制型。神经冲动使得细胞膜电压升高超过动作电压进入兴奋状态产生神经冲动，若使膜电压下降，低于阈值细胞膜进入抑制状态，无神经冲动输出。t(ms)膜电位（mv）-70-553ms1ms1ms123动作阈值图1-2生物神经元动作原理第11页/共15页第一讲神经网络基础

第j路输入信号，从第j路与第i个神经元的连接权，第i个神经元的阈值，

第i个神经元的输出。xNwiNx1wi1x2wi2…...直接刺激三神经元的数学模型图1-3神经元数学模型第12页/共15页第一讲神经网络基础数学模型MP模型：1943年由美国心理学家Mcloch和数学家Pitts提出的。

其中常用的有阈值型，sgnx为符号函数。式中涉及的符号如1-3图所示。第13页/共15页第一讲神经网络基础四人工神经元与生物神经元区别（1）模型