som人工神经网络的改进课件

1、SOM神经网络的改进吴 敏 自组织神经网络(SOM)采用无导师学习方式，更类似于人类大脑中生物神经网络的学习，其最重要的特点是通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。SOM 神经网络基本思想是让竞争层神经元通过竞争与输入模式进行匹配，最后仅有一个神经元成为竞争的胜利者，然后调整与获胜神经元有关的各连接权使其朝着更有利于它竞争的方向调整。传统的 SOM 模型在使用时，竞争层神经元个数需要预先制定，权向量的初始值随机产生，这种网络结构上的限制很大地影响了网络的收敛速度和学习效果。 01基于微粒群算法的SOM网络微粒群算法微粒群算法（Particle Swarm

2、Optimization，PSO）是由 J.Kennedy 与 R.Eberthart 于1995 年共同提出的一种仿生优化计算方法。最初的原型来自于对鸟群捕食行为的研究：一群鸟在随机搜寻食物，如果这个区域里只有一块食物，那么找到食物的最简单有效的策略就是搜寻目前离食物最近的鸟的周围区域。在 PSO 算法中，每个优化问题的潜在解都看做 D 维搜索空间上的一个点，称之为“粒子”。粒子在搜索空间中以一定的速度飞行，这个速度根据其本身及同伴的飞行经验来动态调整。每一个粒子都有一个被目标函数决定的适应值，通过适应值判定位置的好坏。并记录了自己到目前为止发现的最好位置和当前位置，这即是粒子自己的飞行经验

3、。另外，每个粒子还知道到目前为止整个群组中所有粒子发现的最好位置，这即是其同伴的飞行经验。每个粒子通过上述极值不断更新自己，从而产生新一代群体。优化搜索就是在由这样一群随机初始化形成的粒子组成的种群中，以迭代的方式进行。PSO 算法是基于个体的协作与竞争来完成复杂搜索空间中最优解的搜索。微粒群算法粒子xi按如下式子更新每一维速度和位置：d表示维数k为当前迭代次数c1,c2是加速因子，为正常数r1，r2是互相独立的0到1之间的随机数微粒群算法算法流程： （1）随机初始化粒子种群：初始化种群中所有粒子的速度和位置； （2）使用根据优化问题目标定义的适应度函数对所有粒子进行评价； （3）比较各粒子当

4、前的适应值与其经历过的最好位置的适应值 ，如果当前适应值更优，则将xi更新为粒子个体最优位置pi ； （4）再将各粒子的个体最优解与种群内所有粒子发现的最好位置，若前者更好，则将 pi作为全局最好位置pg ； （5）按上述式子进行粒子速度及位置的迭代； （6）重复步骤 2-5，直到满足算法的迭代停止条件为止。将迭代停止条件设定为一个足够好的适应值或达到一个预设的最大迭代次数。 微粒群算法优点：基本 PSO 算法是一种基于迭代的优化算法，依据粒子本身的搜索经验和同伴的搜索经验得到粒子下一个的位置。没有交叉和变异运算，依靠粒子速度完成搜索，并且在迭代进化中只有最优的粒子把信息传递给其它粒子，搜索速

5、度快；算法中的粒子具有一个重要的特点：记忆性。粒子群体的历史最好位置可以记忆并传递给其它粒子。另外，基本 PSO 算法需调整的参数较少，结构简单，实数编码，易于实现。缺点：在参数选择上，若加速系数等参数选择太大，粒子群可能错过最优解，算法不易收敛；而在收敛的情况下，由于所有的粒子都向最优解的方向飞去，粒子失去了多样性，使得进化后期收敛速度变慢。P-SOM算法P-SOM 算法的具体流程如下： （1）用随机数设定网络权向量Wj 的初始值，并选定一组输入样本X1,X2,Xn （2）利用权向量Wj初始化微粒群算法的粒子； （3）将所有输入模式向量与权向量值之间的欧氏距离的叠加做为微粒群算法的适应度函数

6、f（Xi为输入样本）。通过微粒群算法迭代 m 次优化各权值Wj ； （4）将优化后的各粒子的值重新设置为神经网络的连接权值，利用 SOM 神经网络的算法进行训练，迭代 n 次； （5）重复执行（2）到（4），直到达到目标迭代次数为止。 对于 m 和n 值的选取，可根据具体问题设置不同，当n取0时，就还原为了 PSO 算法；相反，m 取0时，则还原为 Kohonen 模型。此网络权值的训练算法，通过 PSO 算法使得网络的每个权值都能得到调整，使得每个权值都向着输入模式靠近，有效避免了“死神经元”现象的产生，提高了 SOM 神经网络的训练精度与速度。 02树形动态自组织映射模型TGSOM定义1

7、对于网络的输入向量V ,称与V距离最近的竞争层结点为V的最佳匹配结点，记为bmn (best matching node)，即满足|VWbmn| |VWq| 其中W为结点的权值向量， q 为网络结点， | |为欧氏距离。定义2 输入向量V与其最佳匹配结点bmn 的距离称为V与bmn的误差，记为E。 其中D为V的维数。定义3 网络中竞争层结点p 及其直接子结点为P的邻域TGSOMTGSOM 的处理过程如下:1 初始化(a) 将根结点的权值向量赋予的随机的归一化向量。(b) 根据用户需求定义生长阈值GT。2 训练从V中随机选取训练样本向量v并归一化，训练样本的输入顺序不同会导致所生成的TGSOM网络结构不同，但不会影响最终聚类结果。(b)从当前的TGSOM网络结点中寻找v的最佳匹配结点bmn 。(c) 计算bmn与v的误差E。 若E G T 转(d) 做调整操作； 否则转(e) 做生长操作。(d ) 调整bmn邻域的权值。K为训练次数。在TGSOM 算法中由GT 决定网络中是否生成新结点, 因此GT 值的大小将决