第三章：神经网络基础

1、第三章第三章 神经网络神经网络山东大学控制科学与工程学院提要：提要： 第一讲第一讲 神经网络基础神经网络基础 第二讲第二讲 前向神经网络前向神经网络 第三讲第三讲 反馈神经网络反馈神经网络 第四讲第四讲 随机神经网络随机神经网络第一讲第一讲 神经网络基础神经网络基础 大脑是由生物神经元构成的巨型网络，它在本质上不大脑是由生物神经元构成的巨型网络，它在本质上不同于计算机，是一种大规模的并行处理系统，它具有学习、同于计算机，是一种大规模的并行处理系统，它具有学习、联想记忆、综合等能力，并有巧妙的信息处理方法。联想记忆、综合等能力，并有巧妙的信息处理方法。 人工神经网络人工神经网络( (简称神经网络

2、简称神经网络) )也是由大量的、功能比也是由大量的、功能比较简单的形式神经元互相连接而构成的复杂网络系统，用较简单的形式神经元互相连接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和简单的思维方式。它可以模拟大脑的许多基本功能和简单的思维方式。 第一讲第一讲 神经网络基础神经网络基础 人工神经网络（人工神经网络（artificial neural networks,简记简记作作ann），是对人类大脑系统的一阶特性的一种描述。），是对人类大脑系统的一阶特性的一种描述。简单的讲，它是一个数学模型，可以用电子线路来实现，简单的讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟

3、，是人工智能研究的一种方也可以用计算机程序来模拟，是人工智能研究的一种方法。法。 神经网络主要用于非线性系统的辨识建模、非线性神经网络主要用于非线性系统的辨识建模、非线性过程的预测、神经网络控制及故障诊断等。美国军方认过程的预测、神经网络控制及故障诊断等。美国军方认为，神经网络技术是比原子弹工程更重要的技术。为，神经网络技术是比原子弹工程更重要的技术。第一讲第一讲 神经网络基础神经网络基础一神经网络定义：基于模仿生物大脑的结构或一神经网络定义：基于模仿生物大脑的结构或功能构成的信息处理系统或计算机。功能构成的信息处理系统或计算机。 8080年代美国的年代美国的h.nidsen定义：神经网络定义

4、：神经网络是由多个非常简单的处理单元（神经元）彼此是由多个非常简单的处理单元（神经元）彼此以某种方式相联接而形成的计算机系统。该系以某种方式相联接而形成的计算机系统。该系统是靠其状态对外部输入信息的动态响应来处统是靠其状态对外部输入信息的动态响应来处理信息的。理信息的。第一讲第一讲 神经网络基础神经网络基础二二 生物神经元的结构和动作原理以及功能生物神经元的结构和动作原理以及功能 1.1.生物神经元的结构生物神经元的结构 人脑大约由人脑大约由10101212个神经元组成，神经元互相连接成个神经元组成，神经元互相连接成神经网络。神经网络。 生物神经元是大脑处理信息的基本单元，以细胞生物神经元是大

5、脑处理信息的基本单元，以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触由细胞体、树突、轴突和突触(synapse(synapse，又称神经键，又称神经键) )组成。组成。 细胞体树突轴突轴突末梢细胞核图图1-11-1a a 神经元的解剖神经元的解剖图图1-11-1b b 神经元的解剖神经元的解剖第一讲第一讲 神经网络基础神经网络基础n细胞体细胞体：细胞体是由很多分子形成的综合体：细胞体是由很多分子形成的综合体, ,内部含有内部含

6、有一个细胞核、核糖体、原生质网状结构等一个细胞核、核糖体、原生质网状结构等, ,它是神经元它是神经元活动的能量供应地活动的能量供应地, ,在这里进行新陈代谢等各种生化过在这里进行新陈代谢等各种生化过程。包括细胞核，细胞膜和细胞质。程。包括细胞核，细胞膜和细胞质。n轴突轴突：细胞体突起的最长的外伸管状纤维称为轴突，轴：细胞体突起的最长的外伸管状纤维称为轴突，轴突是把神经元兴奋的信息传出到其它神经元的出口。突是把神经元兴奋的信息传出到其它神经元的出口。n树突树突：细胞体的伸延部分产生的一至多个突起，呈放射：细胞体的伸延部分产生的一至多个突起，呈放射状的分枝称为树突状的分枝称为树突, ,它是细胞体向

7、外伸出的许多较短的它是细胞体向外伸出的许多较短的树状分支树状分支, ,相当于细胞的输入。树突具有接受刺激并将相当于细胞的输入。树突具有接受刺激并将冲动传入细胞体的功能，树突与其树突末梢是接受从其冲动传入细胞体的功能，树突与其树突末梢是接受从其它神经元传入的信息的入口。每个神经元有大约它神经元传入的信息的入口。每个神经元有大约1000010000个树突连接。个树突连接。第一讲第一讲 神经网络基础神经网络基础n突触突触：突触是神经元的树突末梢连接另一神经元的突触：突触是神经元的树突末梢连接另一神经元的突触后膜后膜 (postsynaptic membrane)(postsynaptic membr

8、ane)的部分。它是神经元之的部分。它是神经元之间相联系并进行信息传送的结构间相联系并进行信息传送的结构, ,是神经元之间连接的是神经元之间连接的接口。接口。两个神经元的细胞质并不直接连通两个神经元的细胞质并不直接连通, ,两者彼此联两者彼此联系是通过突触这种结构接口的。系是通过突触这种结构接口的。n膜电位膜电位：神经元细胞膜内外之间存在电位差，称为膜电神经元细胞膜内外之间存在电位差，称为膜电位。膜外为正，膜内为负。膜电压接受神经其它神经元位。膜外为正，膜内为负。膜电压接受神经其它神经元的输入后的输入后, ,电位上升或下降。当传入冲动的时空整合结电位上升或下降。当传入冲动的时空整合结果，使膜电

9、位上升，而且当超过叫做动作电位的阈值时果，使膜电位上升，而且当超过叫做动作电位的阈值时, ,细胞进入兴奋状态，产生神经冲动，由轴突输出，这个细胞进入兴奋状态，产生神经冲动，由轴突输出，这个过程称为兴奋。过程称为兴奋。第一讲第一讲 神经网络基础神经网络基础2 2 突触传递信息动作原理突触传递信息动作原理兴奋期兴奋期, , 大于动作阈值大于动作阈值绝对不应期：不响应任何刺激绝对不应期：不响应任何刺激相对不应期：很难相应相对不应期：很难相应l 根据突触传递信息的动作过根据突触传递信息的动作过l程可以分为两种类型：兴奋型程可以分为两种类型：兴奋型l和抑制型。神经冲动使得细胞和抑制型。神经冲动使得细胞l

10、膜电压升高超过动作电压进入膜电压升高超过动作电压进入l兴奋状态产生神经冲动，若使膜电压下降，低于阈值细兴奋状态产生神经冲动，若使膜电压下降，低于阈值细胞膜进入抑制状态，无神经冲动输出。胞膜进入抑制状态，无神经冲动输出。t (ms)膜电位（mv）-70-553ms1ms1ms123动作阈值图1-2 生物神经元动作原理第一讲第一讲 神经网络基础神经网络基础n 第第j j路输入信号，路输入信号，n 从第从第j j路与第路与第i i个神经元的连接权，个神经元的连接权，n 第第i i个神经元的阈值，个神经元的阈值，n 第第i i个神经元的输出。个神经元的输出。jxijwiiyxn winisx1 wi1x2 wi2.iyi直接刺激三三 神经元的数学模型神经元的数学模型图1-3 神经元数学模型第一讲第一讲 神经网络基础神经网络基础n数学模型数学模型mp模型：模型：1943年由美国心理学家年由美国心理学家mcloch和数学家和数学家pitts提出的。提出的。 n其中常用的有阈值型，其中常用的有阈值型，sgnx为符号函数。为符号函数。1niijjjiw x为第i个神经元的净输入1sgnniijjijyw x()( )( ()()iiiiiiufyg ug fh式中涉及的符号如1-3图所示。第一讲第一讲 神经网