人工神经网络学习总结笔记

1、人工神经网络学习总结笔记主要侧重点：1. 概念清晰2. 进行必要的查询时能从书本上找到答案第一章：绪论1.1人工神经网络的概述“认识脑”和“仿脑”：人工智能科学家在了解人脑的工作机理和思维的本质的基础上，探索具有人类智慧的人工智能系统，以模拟延伸和扩展脑功能。我认为这是人工神经网络研究的前身。 形象思维：不易被模拟人脑思维抽象 推理逻辑思维：过程 ：信息概念 最终结果 特点：按串行模式容易被机器模拟的思维方式人脑与计算机信息处理能力的不同点：方面 类型人脑计算机记忆与联想能力可存储大量信息，对信息有筛选、回忆、巩固的联想记忆能力无回忆与联想能力，只可存取信息学习与认知能力具备该能力无该能力信息

2、加工能力具有信息加工能力可认识事物的本质与规律仅限于二值逻辑，有形式逻辑能力，缺乏辩证逻辑能力信息综合能力可以对知识进行归纳类比和概括，是一种对信息进行逻辑加工和非逻辑加工相结合的过程缺乏该能力信息处理速度数值处理等只需串行算法就能解决的应用问题方便，计算机比人脑快，但计算机在处理文字图像、声音等类信息的能力远不如人脑1.1.2人脑与计算机信息处理机制的比较人脑与计算机处理能力的差异最根本的原因就是信息处理机制的不同，主要有四个方面方面类型人脑计算机系统结构有数百亿神经元组成的神经网络由二值逻辑门电路构成的按串行方式工作的逻辑机器信号形式模拟量（特点：具有模糊性。难以被机器模拟）和脉冲两种形式

3、离散的二进制数和二值逻辑形式信息储存人脑中的信息分布存储于整个系统，所存储的信息是联想式的信息处理机制高度并行的非线性信息处理系统（体现在结构上、信息存储上、信息处理的运行过程中）有限集中的串行处理机制1.1.3人工神经网络的概念：在对人脑神经网络的基本认识的基础上，用数理方法从信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，称之为人工神经网络，是对人脑的简化、抽象以及模拟，是一种旨在模仿人脑结构及其功能的信息处理系统。其他定义：由非常多个非常简单的处理单元彼此按某种方式相互连接而形成的计算系统，外部输入信息之后，系统产生动态响应从而处理信息。它是由许多简单的并行工作的处理单元组成的

4、系统，其功能会因网络结构、连接强度以及各单元的处理方式的不同而不同1.3神经网络的基本特点与功能基本特点：1、结构特点：信息处理的并行性、信息存储的分布性、信息处理单元的互联性、结构的可塑性。神经网络内在的并行性与分布性表现在其信息的存储于处理都是空间上分布、时间上并行的。2、性能特点：高度的非线性、良好的容错性和计算的非精确性。3、能力特征：自学习、自组织（重构）与自适应性。神经网络的基本功能：1、联想记忆：自联想记忆与异联想记忆 2、非线性映射3、分类与识别4、优化计算5、知识处理第二章 人工神经网络建模基础2.12.2 讲述了生物神经系统以及生物神经网络的建模基础神经元所产生的信息是具有

5、电脉冲形式的神经冲动，脉冲的宽度和幅度相同，但是间隔是随机变化的。人脑中，外界的刺激不同可以改变神经元之间的突触关系，即突触厚膜电位的方向以及大小，从突触信息传递的角度来看，表现为放大倍数和极性的变化。空间整合的概念（BP29）信息整合这一段中阀值特性：我认为阀值特性即静息电位必须上升到一定数值范围即超过阀值电位之后，神经元才会产生兴奋，信息才能以脉冲的形式得到传递。所谓的时间整合，如果由一个脉冲所引起的突触膜后电位很小，只有在持续时间内当另一脉冲到达的时候，总的突触膜后电位增大。2.3 人工神经元模型人工神经网络是在现代神经生物学研究基础上提出的模拟生物的过程，反映人脑某些特性的一种计算结构

6、，是人脑神经系统的一种抽象、简化和模拟而不是对它的真实描写。神经网络的基本器件是神经元和突触。人工神经网络当中的神经元是处理单元，也称之为节点。人工神经元是对生物神经元的信息处理过程的抽象模拟，通过数学语言对其进行描述，对其结构和功能进行模拟，用模型图予以表达。2.3.1 神经元的建模其建模的六点假设（BP30）加权系数的概念：又称之为权重值，其正负模拟了神经元当中的兴奋和抑制，大小呢模拟了突触之间的不同连接强度。整合之后的信息相当于生物神经网络当中的膜电位，整合之后的信息通过变换函数可以得出输出以后的信息大小，这个变换函数通常是非线性的。所谓的变换函数我认为它是表征了不用的信息处理特性，反映

7、神经元输入与激活状态之间的关系。2.3.2神经元的数学模型（BP31）神经元的状态表达式（BP31式2.1 2.2 为最基本的表达方式），这个表达式清晰地反映了神经元建模的6种假设。其中，输出oj下标体现了多输入，单输出。权重wij的正负体现了突触的兴奋与抑制，Tj代表了阀值特性，输入的总和为信息的净输入，常用netj或是netj来表示，只有净输入大于阀值的时候，神经元才能被激活，输出值与输入值之间的单位时差则体现了假定当中的突触延搁，而权重值（也就是代表突触之间的连接强度）与时间无关体现了假定当中的第六点神经元本来是非时变的。用向量的关系来表示净输入：netj=wjTX 下表是从0开始的。神

8、经元的模型表达式为oj=f(netj)=f(wjTX)2.3.3神经元的变换函数本节讲述了四种不同的变换函数，分别是阀值型变换函数，非线性变换函数（单极以及双极的Sigmoid函数，即s型函数），分段线性变换函数，概率型变换函数。（其公式在BP32 BP33）2.4人工神经网络模型人工神经网络模型可以按照网络连接的拓扑结构（神经元间的联系方式）分类，还有内部信息流向。 单纯型层次网络结构，定义见BP35 （就是说每一层的神经元只（按功能分成若干层，包括输入层，隐层，输出层） 接受来自上一层的信息，并且只负责把信息传递到下一层，神经元内部以及各个神经元之间没有信息交流)也可称为前馈层次型层次型结

9、构输入层与输出层之间有连接的层次网络结构，与上一种结构不同的是，输入层神经单元具有信息处理功能，也可称为输入输出有反馈的前馈层次型层内有互联的层次网络结构，与第一种结构不同的是这一种结构的同一层神经元之间有互联，也可称为前馈层内互联型拓扑结构网络中任意两个节点之间都可能存在连接路径，根据互联程度对这种结构进行划分（1）全互联型，网络中每个节点都与所有其他节点相连接，也可称为反馈前互联型 互连型结构（2）局部互联型，网络中每个节点只与其邻近节点相连接，也可称为反馈局部互联型（3）稀疏连接性，网络节点只与少数相距较远的节点相连接前馈型网络：单纯前馈型与单纯型层次网络结构完全相同网络信息流向型反馈型

10、网络：单纯反馈型网络与输入层与输出层之间有连接的层次网络结构完全相同决定神经网络特性的三大要素：神经元的变换函数、神经网络的拓扑结构（特点：分布式存储记忆与分布式信息处理、高度互联性、高度并行性和结构可塑性），神经网络的学习方式2.5 神经网络学习学习的定义：根据与环境的相互作用而发生的行为改变，其结果将导致对外界刺激产生反应的新模式的建立。学习过程就是经过训练使个体在行为上产生较持久的改变的过程。通过不停地学习以及训练，改变拓扑结构以及权重值，目的是是输出值与期望值更加接近，这就是学习的过程。人工神经网络的功能特性由拓扑结构以及突触之间连接的强度即权重值决定。学习规则/算法：改变权重值的规则

11、，可能是某一非线性函数。有导师/教师/监督学习：通俗的讲就是给定一个输入值和期望输出值，如果得到的实际值与期望值相差太大，则调整权重值使直到输出值与期望值，之前并没有先验信息。之前这种做法就像有教师指导一般，在学习之后，如果 可以输出期望值的时候，就说明学会了。无导师/教师/监督学习：这种方法本身具有特定的内部结构和信息处理方式学习算法，是可以根据大量的动态输入数据，在总结、提炼的基础上找到规律和模式，（BP37）自动调整拓扑结构和权值，这是个自组织的过程，通过不断地调节之后，使其结构具有适应需求的特性。 灌输式学习：它对信息处理的模式和方法是特定的，只能对相应的例子做出对应的判断通用学习规则

12、：权向量在某一时刻的调整量与该时刻的输入向量和学习信号的乘积成正比。权向量的调整量的数学表达式在（BP39），该表达式表明权向量的改变量与权向量，输入量，以及教师信号们还有决定学习效率的学习常数有关。2.5常用学习算法的介绍，包括Hebb学习规则，离散感知器学习规则。连续感知器的学习规则，最小均方学习规则，相关学习规则，胜者为王学习规则，外星学习规则。其一览表在（BP44）在Hebb学习规则（BP39）当中，它是一种无导师学习方法，学习信号简单的等于信号的输出。连续感知器的学习规则，也称为规则，是一种有导师学习方法，其中对式2.20的理解还不透彻，在例题2.2当中为何未出现关于dj的字样。在B

13、P42 432.5.4最小均方学习规则。（是规则的特例）算法有一个共同点权向量的调整量均为学习常数与学习信号以及输入值的乘积，在例题当中输入值是给定的，求每一个调整向量时，式子当中的输出值中所取的权向量都是上一次输入值经过信息处理单元处理之后的输出值为下一次的输入值。 2.5.5相关学习规则，是Hebb学习规则的特例，区别在于，前者是有导师学习，后者是无导师学习，其权值初始化为零。 2.5.6胜者为王学习规则 为无导师学习，权值初始化为任意值。2.5.7外星学习规则和内星学习规则：内星学习规则与胜者为王的学习规则一致，外星学习规则是有导师学习规则，与内星学习规则不同的是，其权向量是向期望输出向

14、量靠拢，不是向输入向量靠拢 几种不同学习规则的总结表在 BP44 关于静息电位，相当于一个下限的临界点，阀值是一个兴奋的临界点。主要过程在P27思考与练习题的回答人工神经网络是如何体现生物神经网络特性的？答：生物神经网络当中的神经元在人工神经网络当中是用信息处理单元来取代的，神经元的模型表达式为oj=f(netj)=f(wjTX)，生物神经元当中具有不同的突触性质以及突触连接强度，在人工神经网络当中就相当于输入信号的大小，而加权系数也就是权重值其正负模拟了生物神经元当中的兴奋与抑制，大小相当于模拟了突触连接强度的大小，输入强度的总和值就是生物神经网络里面的膜电位。输入和输出的关系一般是非线性的

15、，这种关系相当于是生物神经网络当中的信息处理过程，将输入脉冲处理后输出。如果权值只能按照1和-1来变化，对神经元的学习会有什么影响？我个人的理解是，如果只按照1和-1来变化是说明突出的连接强度只有一种，对生物神经元当中突触连接强度是不相同这一特点没有进行完整的描述，导致整合之后很有可能出现输入和输出正负一致导致权值无约束增长。例子在P39中有所体现。举例说明什么是有导师学习，什么是无导师学习？比较典型的无导师学习是Hebb学习，有导师学习是规则，关于有导师与无导师学习规则具体的概念已经在上面讲述过，拿Hebb学习规则来讲它的权值调整量表达式中没有期望输出，而规则则是相反。第三章：感知神经网络感

16、知器是一种前馈神经网络，具有分层结构，信息从输入层传入从输出层传出。3.1单层感知器3.1.1 感知器模型单层感知器：只有一层处理单元的感知器，包括输入层与输出层，输入层只负责引入外部信息，没有信息处理能力，输出层未处理层，权向量的个数与输出节点的神经元个数相等。净输入以及离散型单计算感知器的输出公式的公式在P48。3.1.2 感知器的功能一个最简单的单计算节点主要是分类的功能，通过改变权值和阀值来改变分界线或者分界面，使分类很好的进行。分界线或者分界面的表达式当中净输入值为0 。并且，分界线以及分界面的表达式并不唯一。线性可分：两类样本可以用直线、平面或超平面分开。反之为线性不可分。异或问题

17、就是线性不可分问题。单计算节点的感知器只能解决线性可分的问题。3.1.4感知器的学习算法 P51权值调整公式中的是指学习效率，表征权值的调整速度。只有当输出值与期望值相等时计算终止。为有监督/教师学习算法。3.2多层感知器 凸域：边界上任意两点之间的连线都在域内，隐层当中的节点每一个节点确定二维分界面上的一条分界直线，隐层的作用就是建立起可以将线性不可分的样本分类的凸域，记住，它只负责建域，分类则是由输出层来完成的。双隐层的感知器足以解决任何复杂的分类问题。3.3自适应性单元简介自适应性单元模型P55其功能是，将其期望输出与实际输出相比较，得到一个误差信号，根据误差信号调节权值，是输出值与期望值相同。LMS算法不能用于多层网络，隐层误差无法获得 BP算法流程图在P64，其权值调整方法有两种：标准BP训练法也就是单样本训练法，还有一种是批训练BP算法，后者是减少全局误差为目标，可以保证总误差