人工神经网络复习题

1、神经网络原理 一、填空题 1、从系统的观点讲，人工神经元网络是由大量神经元通过极其 丰富和完善的连接而构成的自适应、非线性、动力学系统。 2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。 3、神经网络按结构可分为前馈网络和反馈网络，按性能可分为 离散型和连续型，按学习方式可分为有导师和无导师。 4、神经网络研究的发展大致经过了四个阶段。 5、网络稳定性指从t=0时刻初态开始，到t时刻后v(t+ t)=v(t)， (t0)，称网络稳定。 6、联想的形式有两种，它们分是自联想和异联想。 7、存储容量指网络稳定点的个数，提高存储容量的途径一是改 _ 进网络的拓扑结构，二是改进学习方法。 8非稳定

2、吸引子有两种状态，一是有限环状态，二是混沌状态。 9、神经元分兴奋性神经元和抑制性神经元。 10、汉明距离指两个向量中对应元素不同的个数。 二、简答题 1、人工神经元网络的特点 答：(1)、信息分布存储和容错性。 (2) 、大规模并行协同处理。 (3) 、自学习、自组织和自适应。 (4) 、人工神经元网络是大量的神经元的集体行为，表现为复杂的非线性动力学特性。 (5) 人式神经元网络具有不适合高精度计算、学习算法和网络 设计没有统一标准等局限性。 2、单个神经元的动作特征有哪些 答：单个神经元的动作特征有：(1)、空间相加性；(2)、时间相 加性；(3)、阈值作用；(4)、不应期；(5)、可塑

3、性；(6)疲劳。 3、怎样描述动力学系统 答：对于离散时间系统，用一组一阶差分方程来描述： X(t+1)=FX(t); 对于连续时间系统，用一阶微分方程来描述： dU(t)/dt=FU(t)。 4、F(x)与 x的关系如下图，试述它们分别有几个平衡状态，是否 为稳定的平衡状态 答：在图(1)中，有两个平衡状态a、b，其中，在a点曲 线斜率|F (X)|1 ,为非稳定平稳状态；在b点曲线斜率|F X)|1 , 为非稳定平稳状态。 5、对于单个神经元的离散模型， Hebb 学习假设是什么，基本学 习方程是什么 答：对于单个神经元的离散模型， Hebb 学习假设是：只有当神 经元兴奋时， 与其连接的

4、突触结合权才被强化而增大； 当两个神 经元同时处于兴奋状态时，它们之间的连接权应该加强。 基本学习方程是： wij wij (n 1) wij (n) yixj 6、联想形式中的自联想和异联想有何区别 答：自联想指的是由某种代表事物 (或该事物的主要特征或可能 是部分主在特征)联想到其所表示的实际事物。其数学模型为： 当输入x= xo+v时，输出Y=xa异联想指的是由某一事物(或 该事物的主要特征或可能是部分主在特征) 联想到与其相关的另 一事物。其数学模型为：在映射XXY0下，当输入X= X0+V时， 输出 Y=Yo。 7、网络的稳定吸引子和吸引子的吸引域分别指什么 答：当t=0时，对网络输

5、入模式X，网络处于状态v(0)，到时刻t 网络达到状态v(t)，若v(t)稳定，则称v(t)为网络的稳定吸引子。 吸引子的吸引域是指所有经过一定时间能够稳定在吸引子v(t)上 的所有初始状态的集合。 三、论述题 1、 前馈式神经元网络与反馈式神经元网络有何不同 答：(1)、前馈型神经元网络取连续或离散变量，一般不考虑输 出与输入在时间上的滞后效应，只表达输出与输入的映射关系。 反馈式神经元网络可以用离散变量也可以用连续取值， 考虑输出 与输入之间在时间上和延迟，需要用动态方程来描述系统的模 型。 (2)、前馈型网络的学习主要采用误差修正法(如BP算法)，计 算过程一般比较慢， 收敛速度也比较慢

6、。 而反馈型网络主要采用 Hebb 学习规则，一般情况下计算的收敛速度很快。 反馈网络也有类似于前馈网络的应用，例如用作联想记忆或分 类，而在优化计算方面的应用更能显出反馈网络的特点。 2、试述离散型 Hopfield 神经元网络的结构及工作原理。 ( 1)Hopfield 神经元网络的结构如下： 这种网络是一种单层网络，由 n 个单元组成。 每个神精元既是输入单元， 又是输出单元； 各节点一般选用相 同的转移函数，且为符号函数，即： n x (x1,x2, ,xn),x1, 1 n y (y1,y2, ,yn),y1, 1 v(t) (v1(t),v2(t), ,vn (t),v(t) f1

7、(x) f2(x)fn(x) sgnx() 为网络的输入； 为网络的输出； n 1, 1 为 网 络 在 时 刻t的状态，其中t 0, 1, 2,为离散时间变量 Wij为从Ni到Nj的连接权值，Hopfield网络为对称的即有 Wij = Wji yiy2Yn-1yn XiX2 Xn-1Xn (2)、工作原理： 、网络经过训练后，可以认为网络处于等待工作状态，对网络 给定初始输入x时，网络就处于特定的初始状态，由此初始状态 开始运行，可以得到网络的下一个输出状态。 、这个输出状态通过反馈回送到网络的输入端， 作为网络下一 个阶段的输入信号，这个输入信号可能与初始输入信号不同， 由 这个新的输入

8、又可得到下一步的输出，如此重复。 、如果网络是稳定的，经过若干次反馈运行后网络将会达到稳 、Hopfield网络的工作过程可用下式表示： Vj(O) Xj n Vj(t 1) fj( WijVi(t)j) i 1 研究生神经网络试题 A 卷参考答案 一、名词解释（共 5题，每题 5分，共计 25分） 1、泛化能力 答：泛化能力又称推广能力， 是机器学习中衡量学习机性能好坏的一个重要指标。 泛化能力主要是指经过训练得到的学习机对未来新加入的样本 （即测试样本） 数 据进行正确预测的能力。 2、有监督学习 答：有监督学习又被称为有导师学习， 这种学习方式需要外界存在一个 “教师”， 她可以对一组给

9、定输入提供应有的输出结果， 学习系统可根据已知输出与实际输 出之间的差值来调节系统参数。 3、过学习 答：过学习（over-fitting），也叫过拟和。在机器学习中，由于学习机器过于复杂， 尽管保证了分类精度很高（经验风险很小），但由于VC维太大，所以期望风险仍 然很高。也就是说在某些情况下， 训练误差最小反而可能导致对测试样本的学习 性能不佳，发生了这种情况我们称学习机（比如神经网络）发生了过学习问题。 典型的过学习是多层前向网络的 BP算法 4、Hebb 学习规则 答：如果两个神经元同时兴奋 （即同时被激活 ），则它们之间的突触连接加强。如 果用Vi、Vj表示神经元i和j的激活值（输出）

10、，j表示两个神经元之间的连接权， 则 Hebb 学习规则可以表示为：wijvivj ，这里 表示学习速率。 Hebb 学习规则是人工神经网络学习的基本规则， 几乎所有神经网络的学习规则都可以 看作 Hebb 学习规则的变形。 5、自学习、自组织与自适应性 答：神经网络结构上的特征是处理单元的高度并行性与分布性， 这种特征使神经 网络在信息处理方面具有信息的分布存储与并行计算而且存储与处理一体化的 特点。而这些特点必然给神经网络带来较快的处理速度和较强的容错能力。 能力 方面的特征是神经网络的 自学习、自组织与自性适应性 。自适应性 是指一个系统 能改变自身的性能以适应环境变化的能力， 它包含自

11、学习与自组织两层含义。 自 学习是 指当外界环境发生变化时， 经过一段时间的训练或感知， 神经网络能通过 自动调整网络结构参数， 使得对于给定输入能产生期望的输出。 自组织 是指神经 系统能在外部刺激下按一定规则调整神经元之间的突触连接， 逐渐构建起神经网 络。也就是说自组织神经元的学习过程， 完全是一种自我学习的过程， 不存在外 部教师的示教。 二、问答题（共 7题，每题 8分，共计 56分） 3、人工神经网络是模拟生物神经网络的产物，除相同点外，它们还存在哪些主 要区别 答 ; 1单元上的差别 对于生物神经元而言， 影响突触传递信息强度的因素很 多、很复杂。如突触前微细胞的大小与多少、神经

12、传递化学物质含量的多少、神 经传递化学物质释放的速度、 突触间隙的变化、 树突的位置与大小等诸多因素都 会对突触电位产生影响， 从而影响神经元的输出脉冲响应。 而人工神经元则忽略 了这些影响，输入、输出关系十分简单。 2信息上的差别 生物神经元传递的信息是脉冲，而人工神经元传递的信 息是模拟电压。 3规模与智能上的差别 目前，人工神经网络的规模还远小于生物神经网 络，网络中神经元的数量一般在 104 个以下，显然，其智能也无法与生物神经网 络相比。 4、感知器神经网络存在的主要缺陷是什么 答: 1）由于感知器的激活函数采用的是阀值函数， 输出矢量只能取 0或 1，所以只 能用它来解决简单的分类

13、问题； 2）感知器仅能够线性地将输入矢量进行分类。理论上已经证明，只要输人矢 量是线性可分的，感知器在有限的时间内总能达到目标矢量； 3）感知器还有另外一个问题，当输入矢量中有一个数比其他数都大或小得很 多时，可能导致较慢的收敛速度。 5、请比较前馈型神经网络与反馈型神经网络的异同点。（ 8 分） 答：前馈型神经网络只表达输入输出之间的映射关系， 实现非线性映射； 反馈型 神经网络考虑输入输出之间在时间上的延迟， 需要用动态方程来描述， 反馈型神 经网络是一个非线性动力学系统。 （1）前馈型神经网络的学习训练主要采用 BP 算法，计算过程和收敛速度比 较慢；反馈型神经网络的学习主要采用 Heb

14、b 规则，一般情况下计算的收敛速度 很快，并且它与电子电路有明显的对应关系，使得网络易于用硬件实现。 （2）前馈型神经网络学习训练的目的是快速收敛，一般用误差函数来判定其 收敛程度； 反馈型神经网络的学习目的是快速寻找到稳定点， 一般用能量函数来 判别是否趋于稳定点。 （3）两者都有局部极小问题。 6 BP算法的基本思想是什么，它存在哪些不足之处（9分） 答：BP算法（即反向传播法）的基本思想是：学习过程由信号的正向传播与误 差的反向传播两个过程组成。 1）正向传播：输入样本 输入层 各隐层（处理） 输出层 注 1：若输出层实际输出与期望输出（教师信号）不符，则转入 2）（误差反向传 播过程）

15、 2）误差反向传播：输出误差（某种形式） 隐层（逐层） 输入层 其主要目的是通过将输出误差反传， 将误差分摊给各层所有单元， 从而获得各层 单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程） 。 注 2：权值调整的过程，也就是网络的学习训练过程（学习也就是这么的由来， 权值调整）。 虽然 BP 算法得到广泛的应用，但它也存在自身的限制与不足，其主要表现 在于它的训练过程的不确定上。具体说明如下： 1）易形成局部极小（属贪婪算法，局部最优 ）而得不到全局最优； BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面 的全局最小解，很可能是一个局部极小解。 2）训练次

16、数多使得学习效率低下，收敛速度慢（需做大量运算） ； 对于一些复杂的问题，BP算法可能要进行几小时甚至更长的时间的训练。 这主要是由于学习速率太小所造成的。 可采用变化的学习速率或自适应的学习速 率来加以改进。 3）隐节点的选取缺乏理论支持； 4）训练时学习新样本有遗忘旧样本趋势 1、人工神经网络：在对人脑神经网络基本认识的基础上，用数理方法从信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络。 2、自适应：自适应性是指一个系统能改变自身的性能以适应环境变化的能力。 3、自学习：当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过调整网 络结构参数，使得对给

17、定输入能产生期望的输出。 4、自组织：神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起 神经网络，这一构建过程称为网络的自组织。 5、 泛化能力：BP网络训练后将所提取的样本对中的非线性映射关系存储在权值矩阵中，在 其后的工作阶段，当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间 向输出空间的正确映射。 6、模式：模式是对某些感兴趣的客体的定量描述或结构描述，模式类是具有某些共同特征 的模式的集合 7、分类：分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式 类中去。 隐节点的选取缺乏理论指导； 训练时学习新样本有遗忘旧样本的趋势。 改进

18、方案： 1增加动量项 2自适应调节学习率 3引入陡度因子 5 0 1 10 17、对输入、输出数据进行尺度变换的主要原因是什么 网络的各个输入数据常常具有不同的物理意义和不同的量纲，如某输入分量在 范围内变化，而另一输入分量则在 01 10-5范围内变化。尺度变换使所有分量都在 01或 -11之间变化，从而使网络训练一开始就给各输入分量以同等重要的地位；BP网的神 经元均采用Sigmoid转移函数，变换后可防止因净输入的绝对值过大而使神经元输出饱和， 继而使权值调整进入误差曲面的平坦区；Sigmoid转移函数的输出在 01或-11之间， 作为教师信号的期望输出数据如不进行变换处理，势必使数值大

19、的分量绝对误差大， 数值小 的分量的绝对误差小， 网络训练时只针对输出的总误差调整权值，其结果是在总误差中占份 额小的输出分量相对误差较大，对输出分量进行尺度变换后这个问题可迎刃而解。 18、BP网络初始值的设计的原则和方法 答：原则：使每个神经元一开始都工作在其转移函数变化最大的位置。 方法：使初始权值足够小； 使初始值为+1和-1的权值数相等。应用中对隐层权值可采 用第一种方法，而对输出层可采用第二种办法。 19、胜者为王学习规则的三个步骤。向量归一化首先将自组织网络中的当前输入模式 A 向量X和竞争层中各神经元对应的内星向量Wj(j1,2, , m)全部进行归一化处理，得到X AA 和W

20、j(j 1,2, ,m)。寻找获胜神经元当网络得到一个输入模式向量X时，竞争层的 A 所有神经元对应的内星权向量Wj(j 1,2, AA ,m)均与X进行相似性比较，将与 X最相似的 内星权向量判为竞争获胜神经元，其权向量记为 AAA Wj*。测量相似性的方法是对Wj和X计算 欧式距离(或夹角余弦)：X Wj*j in m X Wj (可补充)网络输出与权值调 整 胜者为王竞争学习算法规定，获胜神经元输出为1，其余输出为零。 20、SOM网权值初始化的原则和一般方法有哪些 答：SOM网的权值一般初始化为较小的随机数，这样做的目的是使权向量充分分散在样本 空间。但在某些应用中，样本整体上相对集中

21、于高维空间的某个局部区域，权向量的初始位 置却随机的分散于样本空间的广阔区域，训练时必然是离整个样本群最近的权向量被不断调 整，并逐渐进入全体样本的中心位置，而其他权向量因初始位置远离样本群而永远得不到调 整。如此训练的结果可能使全部样本聚为一类。 解决这类问题的思路是尽量使权值的初始位 置与输入样本的大致分布区域充分重合。 根据上述思路，一中简单易行的方法是从训练集中 随机抽取m个输入样本作为初始权值，即： W（O） xkam j （1,2, ,m） 式中，kram是输入样本的顺序随机数，k ram门2 P。因为任何X am 定是输入空间 某个模式类的成员，各个权向量按上式初始化后从训练一开

22、始就分别接近了输入空间的各模 式类，占据了十分有利的“地形”。另外一种可行的办法是先计算出全体样本的中心向量： -1 P X - xp P p 1 在该中心向量基础上叠加小随机数作为权向量初始值，也可将权向量的初始位置确定在样本 群中。 21、SOM网的局限性 隐层神经元数目难以确定，因此隐层神经元往往未能充分利用，某些距离学习向量远的 神经元不能获胜，从而成为死节点； 聚类网络的学习速率需要人为确定，学习终止往往需要人为控制，影响学习进度； 隐层的聚类结果与初始权值有关。 22、正则化 RBF网络与广义 RBF网络的不同： 径向基函数的个数 M与样本的个数 P不相等，且M常常远小于P。 径向

23、基函数的中心不再限制在数据点上，而是由训练算法确定。 各径向基函数的扩展常数不再统一，其值由训练算法确定。 输出函数的线性中包含阈值参数，用于补偿基函数在样本集上的平均值与目标值之间的 差别。 23、BP网络与 RBF网络的不同 RBF网络只有一个隐层，而 BP网络的隐层可以是一层也可以是多层的。 BP网络的隐层和输出层其神经元模型是一样的；而RBF网络的隐层神经元和输出层神经 元不仅模型不同，而且在网络中起到的作用也不一样。 RBF网络的隐层是非线性的， 输出层是线性的。然而，当用BP网络解决模式分类问题时， 它的隐层和输出层通常选为非线性的。当用BP网络解决非线性回归问题时，通常选择线性

24、输出层。 RBF网络的基函数计算的是输入向量和中心的欧氏距离，而BP网络隐单元的激励函数计 算的是输入单元和连接权值间的内积。 RBF网络使用局部指数衰减的非线性函数（如高斯函数）对非线性输入输出映射进行局 部逼近。BP网络的隐节点采用输入模式与权向量的内积作为激活函数的自变量，而激活函 数则采用Sigmoid函数或硬限幅函数，因此BP网络是对非线性映射的全局逼近。RBF网络 最显著的特点是隐节点采用输入模式与中心向量的距离（如欧式距离）作为函数的自变量， 并用径向基函数（如 Gauss函数）作为激活函数。径向基函数关于N维空间的的一个中心 点具有径向对称性，而且神经元的输入离该中心越远，神经

25、元的激活程度就越低。隐层节点 的这个特性常被称为“局部特性”。 24、支持向量机的基本思想 /方法是什么 答：支持向量机的主要思想是建立一个最优决策超平面，使得该平面两侧距平面最近的两类 样本之间的距离最大化， 从而对分类问题提供良好的泛化能力。 对于非线性可分模式分类问 题，根据Cover定理：将复杂的模式分类问题非线性的投射到高维特征空间可能是线性可分 的，因此只要变换是非线性的且特征空间的维数足够高，则原始模式空间能变换为一个新的 高维特征空间，使得在特征空间中模式以较高的概率为线性可分的。此时，应用支持向量机 算法在特征空间建立分类超平面，即可解决非线性可分的模式识别问题。 25、co

26、ver定理：将复杂的模式分类问题非线性的投射到高维空间比投射到低维空间更可能 是线性可分的。 26、画图并说明权值调整的通用学习规则。 答：通用学习规则可表达为：权向量Wj在t时刻的调整量 W(t)与t时刻的输入向量 X( t)和学习信号r的乘积成正比。用数学表达式为： WjrWj(t),X(t),dj(t)X(t) 式中，为正数，称为学习常数，其值决定了学习速率。基于离散时间调整时，下一时刻的 权向量应为： Wj(t 1) Wj(t)rWj(t)，X(t),dj(t)X(t)(补充图) 27、BP算法的误差曲线存在平坦区，利用图形、相关公式说明造成平坦区的原因、平坦区 造成的问题、如何改进进

27、而快速度过平坦区。 答：造成平坦区的原因： 造成这种情况的原因与各节点的净输入过大有关。平坦区造成的问 题：会使训练次数大大增加，从而影响了收敛速度。如何改进进而快速度过平坦区：自适 应调节学习率引入陡度因子 28、批训练BP算法步骤 29、SOM神经网络学习算法 A 初始化 对输出层各权向量赋予小随机数并进行归一化处理，得到W j，j 1,2， ，m ； 建立初始优胜邻域 N j*( 0)；学习率赋初始值。 A 接受输入从训练集中选取一个输入模式并进行归一化处理，得到Xp ,p 1,2, ，P。 AA 寻找获胜节点计算Xp与Wj的点积，j 1,2, ，m，从中选出点积最大的获胜节点 j*;如果输入模式未经归一化，应计算欧式距离，从中找出距离最小的获胜节点。 定义优胜邻域 Nj*(t)以j