人工神经网络复习题

1、1、 人工神经网络：在对人脑神经网络基本认识的基础上，用数理方法从信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络。2、 自适应：自适应性是指一个系统能改变自身的性能以适应环境变化的能力。3、 自学习：当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过调整网络结构参数，使得对给定输入能产生期望的输出。4、 自组织：神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络，这一构建过程称为网络的自组织。5、 泛化能力：bp网络训练后将所提取的样本对中的非线性映射关系存储在权值矩阵中，在其后的工作阶段，当向网络输入训练时未曾见过的非样本数

2、据时，网络也能完成由输入空间向输出空间的正确映射。6、 模式：模式是对某些感兴趣的客体的定量描述或结构描述，模式类是具有某些共同特征的模式的集合7、 分类：分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。8、 聚类：无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开，其结果实现了模式样本的类内相似性和类间分离性。9、 死节点：在训练过程中，某个节点从未获胜过且远离其他获胜节点，因此它们的权向量从未得到过调整。10、 网络吸引子：若网络的状态,则成称x为网络的吸引子。11、 人工神经网络发展阶段及标志：可分为四个时期：启蒙时期开始于1

3、890年w.james关于人脑结构与功能的研究，结束于1969年minsky和papert出版的感知器一书；低潮时期开始于1969年，结束于1982年hopfield发表的著名的文章神经网络和物理系统；复兴时期开始于j.j.hopfield的突破性研究论文，结束与1986年d.e.rumelhart和j.l.mcclelland领导的研究小组编写出版的并行分布式处理一书。高潮时期以1987年首届国际神经网络学术会议为开端，迅速在全世界范围内掀起人工神经网络的研究应用热潮。12、 神经网络的基本特征：结构上的特征是处理单元的高度并行性与分布性，这种特征使神经网络在信息处理方面具有信息的分布存储与

4、并行计算、存储与处理一体化的特点。而这些特点必然给神经网络带来较快的处理速度和较强的容错能力。能力方面的特征是神经网络的自学习、自组织和自适应性。自适应性是指一个系统能改变自身的性能以适应环境变化的能力，它包含自学习和自组织两层含义。自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过调整网络结构参数，使得对给定输入能产生期望的输出。自组织是指神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络。13、 人脑神经元的基本结构与功能：神经元在结构上由细胞体、树突、轴突和突触四部分组成 功能：细胞体：处理信息的功能 树突：输入信息 轴突：输出信息 突触：

5、传递信息的节点14、 人脑信息传递过程：递质与受体结合电生理反应神经递质释放神经递质产生神经电脉冲 突触前 突触间隙 突触后15、 bp网络的主要能力是什么？答：1、非线性映射能力2、泛化能力3、容错能力16、 bp算法的缺陷及改进方案bp算法的缺陷易形成局部极小而得不到全局最优；训练次数多，使得学习效率低，收敛速度慢；隐节点的选取缺乏理论指导；训练时学习新样本有遗忘旧样本的趋势。改进方案：1 增加动量项2 自适应调节学习率3 引入陡度因子17、 对输入、输出数据进行尺度变换的主要原因是什么？网络的各个输入数据常常具有不同的物理意义和不同的量纲，如某输入分量在范围内变化，而另一输入分量则在范围

6、内变化。尺度变换使所有分量都在或之间变化，从而使网络训练一开始就给各输入分量以同等重要的地位；bp网的神经元均采用sigmoid转移函数，变换后可防止因净输入的绝对值过大而使神经元输出饱和，继而使权值调整进入误差曲面的平坦区；sigmoid转移函数的输出在或之间，作为教师信号的期望输出数据如不进行变换处理，势必使数值大的分量绝对误差大，数值小的分量的绝对误差小，网络训练时只针对输出的总误差调整权值，其结果是在总误差中占份额小的输出分量相对误差较大，对输出分量进行尺度变换后这个问题可迎刃而解。18、 bp网络初始值的设计的原则和方法？答：原则：使每个神经元一开始都工作在其转移函数变化最大的位置。

7、方法：使初始权值足够小；使初始值为+1和-1的权值数相等。应用中对隐层权值可采用第一种方法，而对输出层可采用第二种办法。19、 胜者为王学习规则的三个步骤。向量归一化 首先将自组织网络中的当前输入模式向量x和竞争层中各神经元对应的内星向量全部进行归一化处理，得到和。寻找获胜神经元 当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均与进行相似性比较，将与最相似的内星权向量判为竞争获胜神经元，其权向量记为。测量相似性的方法是对和计算欧式距离（或夹角余弦）：（可补充）网络输出与权值调整 胜者为王竞争学习算法规定，获胜神经元输出为1，其余输出为零。20、 som网权值初始化的原则和一般

8、方法有哪些？答：som网的权值一般初始化为较小的随机数，这样做的目的是使权向量充分分散在样本空间。但在某些应用中，样本整体上相对集中于高维空间的某个局部区域，权向量的初始位置却随机的分散于样本空间的广阔区域，训练时必然是离整个样本群最近的权向量被不断调整，并逐渐进入全体样本的中心位置，而其他权向量因初始位置远离样本群而永远得不到调整。如此训练的结果可能使全部样本聚为一类。解决这类问题的思路是尽量使权值的初始位置与输入样本的大致分布区域充分重合。根据上述思路，一中简单易行的方法是从训练集中随机抽取m个输入样本作为初始权值，即： 式中，是输入样本的顺序随机数，。因为任何一定是输入空间某个模式类的成

9、员，各个权向量按上式初始化后从训练一开始就分别接近了输入空间的各模式类，占据了十分有利的“地形”。另外一种可行的办法是先计算出全体样本的中心向量： 在该中心向量基础上叠加小随机数作为权向量初始值，也可将权向量的初始位置确定在样本群中。21、 som网的局限性隐层神经元数目难以确定，因此隐层神经元往往未能充分利用，某些距离学习向量远的神经元不能获胜，从而成为死节点；聚类网络的学习速率需要人为确定，学习终止往往需要人为控制，影响学习进度；隐层的聚类结果与初始权值有关。22、 正则化rbf网络与广义rbf网络的不同：径向基函数的个数m与样本的个数p不相等，且m常常远小于p。径向基函数的中心不再限制在

10、数据点上，而是由训练算法确定。各径向基函数的扩展常数不再统一，其值由训练算法确定。输出函数的线性中包含阈值参数，用于补偿基函数在样本集上的平均值与目标值之间的差别。23、bp网络与rbf网络的不同rbf网络只有一个隐层，而bp网络的隐层可以是一层也可以是多层的。bp网络的隐层和输出层其神经元模型是一样的；而rbf网络的隐层神经元和输出层神经元不仅模型不同，而且在网络中起到的作用也不一样。rbf网络的隐层是非线性的，输出层是线性的。然而，当用bp网络解决模式分类问题时，它的隐层和输出层通常选为非线性的。当用bp网络解决非线性回归问题时，通常选择线性输出层。rbf网络的基函数计算的是输入向量和中心

11、的欧氏距离，而bp网络隐单元的激励函数计算的是输入单元和连接权值间的内积。rbf网络使用局部指数衰减的非线性函数（如高斯函数）对非线性输入输出映射进行局部逼近。bp网络的隐节点采用输入模式与权向量的内积作为激活函数的自变量，而激活函数则采用sigmoid函数或硬限幅函数，因此bp网络是对非线性映射的全局逼近。rbf网络最显著的特点是隐节点采用输入模式与中心向量的距离（如欧式距离）作为函数的自变量，并用径向基函数（如gauss函数）作为激活函数。径向基函数关于n维空间的的一个中心点具有径向对称性，而且神经元的输入离该中心越远，神经元的激活程度就越低。隐层节点的这个特性常被称为“局部特性”。24、

12、 支持向量机的基本思想/方法是什么？答：支持向量机的主要思想是建立一个最优决策超平面，使得该平面两侧距平面最近的两类样本之间的距离最大化，从而对分类问题提供良好的泛化能力。对于非线性可分模式分类问题，根据cover定理：将复杂的模式分类问题非线性的投射到高维特征空间可能是线性可分的，因此只要变换是非线性的且特征空间的维数足够高，则原始模式空间能变换为一个新的高维特征空间，使得在特征空间中模式以较高的概率为线性可分的。此时，应用支持向量机算法在特征空间建立分类超平面，即可解决非线性可分的模式识别问题。25、 cover定理：将复杂的模式分类问题非线性的投射到高维空间比投射到低维空间更可能是线性可

13、分的。26、 画图并说明权值调整的通用学习规则。答：通用学习规则可表达为：权向量在t时刻的调整量与t时刻的输入向量和学习信号r的乘积成正比。用数学表达式为：式中，为正数，称为学习常数，其值决定了学习速率。基于离散时间调整时，下一时刻的权向量应为：（补充图）27、bp算法的误差曲线存在平坦区，利用图形、相关公式说明造成平坦区的原因、平坦区造成的问题、如何改进进而快速度过平坦区。答：造成平坦区的原因：造成这种情况的原因与各节点的净输入过大有关。平坦区造成的问题：会使训练次数大大增加，从而影响了收敛速度。如何改进进而快速度过平坦区：自适应调节学习率引入陡度因子28、批训练bp算法步骤 29、som神

14、经网络学习算法初始化 对输出层各权向量赋予小随机数并进行归一化处理，得到，建立初始优胜邻域；学习率赋初始值。接受输入 从训练集中选取一个输入模式并进行归一化处理，得到，寻找获胜节点 计算与的点积，从中选出点积最大的获胜节点；如果输入模式未经归一化，应计算欧式距离，从中找出距离最小的获胜节点。定义优胜邻域 以为中心确定t时刻的权值调整域，一般初始邻域较大，训练过程中随训练时间逐渐收缩。调整权值 对优胜邻域内的所有节点调整权值： 30、 k-means聚类算法确定数据中心 （1） 初始化 选择m个互不相同向量作为初始聚类中心：选择时可采用对各聚类中心向量赋小随机数的方法。（2） 计算输入空间各样本点与聚类中心点的欧式距离： （3） 相似匹配 令代表竞争获胜隐节点的下标，对每一个输入样本根据其与聚类中心的最小欧式距离确定其归类，即当有如下等式时： 被归为第类，从而将全部样本划分m个子集，每个子集构成一个以聚类中心为典型代表的聚类域。（4） 更新各类的聚类中心 可采用两种调整方法，一种方法是对各聚类域中的样本取均值，令表示第j个聚类域，为第j个聚类域中的样本数，则：另一种方法是采用竞争学习规则进行调整，即式中，是学习率，且。可以看出，当时，该竞争规则即为