人工神经网络温习题

1、1、人工神经网络：在对人脑神经网络大体熟悉的基础上，用数理方式从信息处置的角度对人脑神经网络进行抽象，并成立某种简化模型，就称为人工神经网络。2、自适应：自适应性是指一个系统能改变自身的性能以适应环境转变的能力。3、自学习：当外界环境发生转变时，通过一段时刻的训练或感知，神经网络能通过调整网络结构参数，使得对给定输入能产生期望的输出。4、自组织：神经系统能在外部刺激下按必然规那么调整神经元之间的突触连接，慢慢构建起神经网络，这一构建进程称为网络的自组织。5、泛化能力：BP网络训练后将所提取的样本对中的非线性映射关系存储在权值矩阵中，在其后的工作时期，当向网络输入训练时不曾见过的非样本数据时，网

2、络也能完成由输入空间向输出空间的正确映射。6、模式：模式是对某些感爱好的客体的定量描述或结构描述，模式类是具有某些一起特点的模式的集合7、分类：分类是在类别知识等导师信号的指导下，将待识别的输入模式分派到各自的模式类中去。8、聚类：无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开，其结果实现了模式样本的类内相似性和类间分离性。9、死节点：在训练进程中，某个节点从未获胜过且远离其他获胜节点，因此它们的权向量从未取得过调整。10、网络吸引子：假设网络的状态Xf(WXT),那么成称X为网络的吸引子。11、人工神经网络进展时期及标志：可分为四个时期：启蒙时期开始于18

3、90年W.James关于人脑结构与功能的研究，终止于1969年Minsky和Papert出版的感知器一书；低潮时期开始于1969年，终止于1982年Hopfield发表的闻名的文章神经网络和物理系统；振兴时期开始于J.J.Hopfield的冲破性研究论文，终止与1986年D.E.Rumelhart和J.L.McClelland领导的研究小组编写出版的并行散布式处置一书。高潮时期以1987年首届国际神经网络学术会议为开端，迅速在全世界范围内掀起人工神经网络的研究应用热潮。12、神经网络的大体特点：结构上的特点是处置单元的高度并行性与散布性，这种特点使神经网络在信息处置方面具有信息的散布存储与并行

4、计算、存储与处置一体化的特点。而这些特点必然给神经网络带来较快的处置速度和较强的容错能力。能力方面的特点是神经网络的自学习、自组织和自适应性。自适应性是指一个系统能改变自身的性能以适应环境转变的能力，它包括自学习和自组织两层含义。自学习是指当外界环境发生转变时，通过一段时刻的训练或感知，神经网络能通过调整网络结构参数，使得对给定输入能产生期望的输出。自组织是指神经系统能在外部刺激下按必然规那么调整神经元之间的突触连接，慢慢构建起神经网络。13、人脑神经元的大体结构与功能：神经元在结构上由细胞体、树突、轴突和突触四部份组成功能：细胞体：处置信息的功能树突：输入信息轴突：输出信息突触：传递信息的节

5、点14、人脑信息传递进程：突触前突触间隙突触后15、BP网络的要紧能力是什么？答：一、非线性映射能力二、泛化能力3、容错能力16、BP算法的缺点及改良方案BP算法的缺点易形成局部极小而得不到全局最优；训练次数多，使得学习效率低，收敛速度慢；隐节点的选取缺乏理论指导；训练时学习新样本有遗忘旧样本的趋势。改良方案：1增加动量项2自适应调剂学习率3引入陡度因子17、对输入、输出数据进行尺度变换的要紧缘故是什么？网络的各个输入数据常常具有不同的物理意义和不同的量纲，如某输入分量在01105范围内转变，而另一输入分量那么在0110-5范围内转变。尺度变换使所有分量都在01或-11之间转变，从而使网络训练

6、一开始就给各输入分量以一样重要的地位；BP网的神经元均采纳Sigmoid转移函数，变换后可避免因净输入的绝对值过大而使神经元输出饱和，继而使权值调整进入误差曲面的平坦区；Sigmoid转移函数的输出在01或-11之间，作为教师信号的期望输出数据如不进行变换处置，必将使数值大的分量绝对误差大，数值小的分量的绝对误差小，网络训练时只针对输出的总误差调整权值，其结果是在总误差中占份额小的输出分量相对误差较大，对输出分量进行尺度变换后那个问题可迎刃而解。18、BP网络初始值的设计的原那么和方式？答：原那么：使每一个神经元一开始都工作在其转移函数转变最大的位置。方式：使初始权值足够小；使初始值为+1和-

7、1的权值数相等。应用中对隐层权值可采纳第一种方式，而对输出层可采纳第二种方法。向量X和竞争层中各神经元对应的内星向量19、胜者为王学习规那么的三个步骤。向量归一化第一将自组织网络中的当前输入模式Vy(j1,2,m)全数进行归一化处置，取得X和Wj(j1,2,m)。寻觅获胜神经元当网络取得一个输入模式向量X时，竞争层的所有神经元对应的内星权向量Wj(j1,2,m)均与X进行相似性比较，将与X最相似的内星权向量判为竞争获胜神经元，其权向量记为Wj*O测量相似性的方式是对Wj和X计算AA1AA欧式距离(或夹角余弦)：XW.*minXWj(可补充)网络输出与权值调jj1,2,m|整胜者为王竞争学习算法

8、规定，获胜神经元输出为1,其余输出为零。20、SO幽权值初始化的原那么和一样方式有哪些？答：SOM0的权值一样初始化为较小的随机数，如此做的目的是使权向量充分分散在样本空间。但在某些应用中，样本整体上相对集中于高维空间的某个局部区域，权向量的初始位置却随机的分散于样本空间的广漠区域，训练时必然是离整个样本群最近的权向量被不断调整，并慢慢进入全部样本的中心位置，而其他权向量因初始位置远离样本群而永久得不到调整。如此训练的结果可能使全数样本聚为一类。解决这种问题的思路是尽可能使权值的初始位置与输入样本的大致散布区域充分重合。依照上述思路，一中简单易行的方式是从训练集中随机抽取m个输入样本作为初始权

9、值，即：Wj(0)X：amj(1,2,m)式中，kram是输入样本的顺序随机数，kram1,2,P。因为任何Xkram必然是输入空间某个模式类的成员，各个权向量按上式初始化后从训练一开始就别离接近了输入空间的各模式类，占据了十分有利的“地形”。另外一种可行的方法是先计算出全部样本的中心向量：_1PX-xpPp1在该中心向量基础上叠加小随机数作为权向量初始值，也可将权向量的初始位置确信在样本群中。21、SO幽的局限性隐层神经元数量难以确信，因此隐层神经元往往未能充分利用，某些距离学习向量远的神经元不能获胜，从而成为死节点；聚类网络的学习速度需要人为确信，学习终止往往需要人为操纵，阻碍学习进度；隐

10、层的聚类结果与初始权值有关。22、正那么化RBF网络与广义RBF网络的不同：径向基函数的个数M与样本的个数P不相等，且M常常远小于P径向基函数的中心再也不限制在数据点上，而是由训练算法确信。各径向基函数的扩展常数再也不统一，其值由训练算法确信。输出函数的线性中包括阈值参数，用于补偿基函数在样本集上的平均值与目标值之间的不同。23、BP网络与RBF网络的不同RBF网络只有一个隐层，而BP网络的隐层能够是一层也能够是多层的。BP网络的隐层和输出层其神经元模型是一样的；而RBF网络的隐层神经元和输出层神经元不仅模型不同，而且在网络中起到的作用也不一样。RBF网络的隐层是非线性的，输出层是线性的。但是

11、，当用BP网络解决模式分类问题时，它的隐层和输出层通常选为非线性的。当用BP网络解决非线性回归问题时，通常选择线性输出层。RBF网络的基函数计算的是输入向量和中心的欧氏距离，而BP网络隐单元的鼓励函数计算的是输入单元和连接权值间的内积。RBF网络利用局部指数衰减的非线性函数（如高斯函数）对非线性输入输出映射进行局部逼近。BP网络的隐节点采纳输入模式与权向量的内积作为激活函数的自变量，而激活函数那么采纳Sigmoid函数或硬限幅函数，因此BP网络是对非线性映射的全局逼近。RBF网络最显著的特点是隐节点采纳输入模式与中心向量的距离(如欧式距离)作为函数的自变量，并用径向基函数(如Gauss函数)作

12、为激活函数。径向基函数关于N维空间的的一个中心点具有径向对称性，而且神经元的输入离该中心越远，神经元的激活程度就越低。隐层节点的那个特性常被称为“局部特性”。24、支持向量机的大体思想/方式是什么？答：支持向量机的要紧思想是成立一个最优决策超平面，使得该平面双侧距平面最近的两类样本之间的距离最大化，从而对分类问题提供良好的泛化能力。关于非线性可分模式分类问题，依口Cover定理：将复杂的模式分类问题非线性的投射到高维特点空间可能是线性可分的，因此只要变换是非线性的且特点空间的维数足够高，那么原始模式空间能变换为一个新的高维特点空间，使得在特点空间中模式以较高的概率为线性可分的。现在，应用支持向

13、量机算法在特点空间成立分类超平面，即可解决非线性可分的模式识别问题。25、cover定理：将复杂的模式分类问题非线性的投射到高维空间比投射到低维空间更可能是线性可分的。26、画图并说明权值调整的通用学习规那么。答：通用学习规那么可表达为：权向量Wj在t时刻的调整量Wj(t)与t时刻的输入向量X(t)和学习信号r的乘积成正比。用数学表达式为：WjrWj(t),X(t),dj(t)X(t)式中，为正数，称为学习常数，其值决定了学习速度。基于离散时刻调整时，下一时刻的权向量应为：W(t1)Wj(t)rWj(t),X(t),dj(t)X(t)(补充图)27、BP算法的误差曲线存在平坦区，利用图形、相关

14、公式说明造成平坦区的缘故、平坦区造成的问题、如何改良进而快速度过平坦区。答：造成平坦区的缘故：造成这种情形的缘故与各节点的净输入过大有关。平坦区造成的问题：会使训练次数大大增加，从而阻碍了收敛速度。如何改良进而快速度过平坦区：自适应调剂学习率引入陡度因子2八、批训练BP算法步骤2九、SOM申经网络学习算法初始化对输出层各权向量给予小随机数并进行归一化处置，取得Wj,j1,2,m;成立初始优胜邻域N(0);学习率赋初始值。同意输入从训练集当选取一个输入模式并进行归一化处置，取得Xp,p1,2,P。AA寻觅获胜节点计算Xp与Wj的点积，j1,2,m,从当选出点积最大的获胜节点*.j;若是输入模式未

15、经归一化，应计算欧式距离，从中找出距离最小的获胜节点。概念优胜邻域Nj*(t)以j*为中心确信t时刻的权值调整域，一样初始邻域Nj*(0)较大，训练进程中Nj*(t)随训练时刻慢慢收缩。调整权值对优胜邻域Nj*(t)内的所有节点调整权值：Wj(t1)Wj(t)(t,N)x/Wj(t)i1,2,n;jNj*(t)30、K-means聚类算法确信数据中心(1)初始化选才iM个互不相同向量作为初始聚类中心：g(0),c2(0),cM(0),选择时可采纳对各聚类中心向量赋小随机数的方式。(2)计算输入空间各样本点与聚类中心点的欧式距离：|Xp-cj(k)|p1,2,P;j1,2,M(3)相似匹配令j代

16、表竞争获胜隐节点的下标，对每一个输入样本Xp依照其与聚类中心的最小欧式距离确信其归类j*(Xp),即当有如劣等式时：j*(Xp)min|XpCj(k)|p1,2,PXp被归为第j*类，从而将全数样本划分M个子集，U1(k),U2(k),Um),每一个子集组成一个以聚类中心为典型代表的聚类域。(4)更新各类的聚类中心可采纳两种调整方式，一种方式是对各聚类域中的样本取均值，令Uj(k)表示第j个聚类域，Nj为第j个聚类域中的样本数，那么：Cj(k1)NlXUj(k)另一种方式是采纳竞争学习规那么进行调整，即Cj(k1)Cj(k)XpCj(k),jj*Cj(k),jj*式中，是学习率，且01。能够看出，当1时