SOM自组织映射学习汇报课件

九逸作品汇报人：九逸作品汇报人：1我学到了什么我下一步要做什么自组织神经网络SOMAnImprovedNeuralArchitectureforGazeMovementControlinTargetSearching我学到了什么我下一步要做什么自组织神经网络2自组织神经网络自组织神经网络是一类无教师学习方式的神经网络模型，它无需期望输出，知识根据数据样本进行学习，并调整自身权重以达到学习的目的。自组织神经网络的学习规则大都采用竞争型的学习规则。

竞争型神经网络的基本思想是网络竞争层的各神经元通过竞争来获取对输入模式的响应机会。竞争结果会存在获胜神经元，获胜神经元有关的各连接权值向着更有利于其竞争的方向发展。自组织神经网络自组织神经网络是一类无教师学习方式的神3竞争层输入层Wj权值不同的输入归结到1个神经元上，几个输入就是一类，实现了分类。竞争层输入层Wj权值不同的输入归结到1个神经元上，几个输入就4竞争学习：

网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，称为WTA（Winner-Take-All）。竞争学习：5学习规则：1.向量归一化。首先将当前输入模式向量X和竞争层中各神经元对应的向量Wj全部进行归一化处理。2.寻找获胜神经元。当网络得到一个输入模式向量时，竞争层的所有神经元对应的权向量均与其进行相似性比较，并将最相似的内权向量判为竞争获胜神经元。3.网络输出与权值调整。4.重新向量归一化。学习规则：6用竞争学习算法将下列各模式分为2类：

输入向量为：学习率为a=0.5

向量归一化设置两个权向量用竞争学习算法将下列各模式分为2类：学习率为a=0.5设置两7竞争学习X1学习d1=||X1-W1(0)||=1∠36.89°,d2=||X1-W2(0)||=1∠216.89°d1<d2,所以神经元1获胜，W1调整W1(1)=W1(0)+a(X1-W1(0))=1∠18.43°W2(1)=W2(0)=1∠-180°X2学习d1=||X2-W1(1)||=1∠98.43°,d2=||X2-W2(1)||=1∠100°d1<d2,所以神经元1获胜，W1调整W1(2)=W1(1)+a(X2-W1(1))=1∠-30.8°W2(2)=W2(1)=1∠-180°竞争学习X2学习8SOM自组织映射学习汇报9SOM自组织映射学习汇报10SOM自组织映射学习汇报11SOM自组织映射学习汇报12SOM自组织映射学习汇报13SOM自组织映射学习汇报14d1=1∠104°d2=1∠100°d1=1∠104°d2=1∠100°15SOM自组织映射学习汇报16SOM自组织映射学习汇报17SOM自组织映射学习汇报18SOM自组织映射学习汇报19我学到了什么我下一步要做什么自组织神经网络SOMAnImprovedNeuralArchitectureforGazeMovementControlinTargetSearching我学到了什么我下一步要做什么自组织神经网络20SOM

SOM，Self-OrganizingFeatureMaps,自组织神经网络，是一种无导师学习的网络，主要用来对于输入向量进行区域分类。SOM的算法思想：

某个输出节点能对某一类模式做出特别的反应以代表该模式类。

输出层上相邻的节点能对实际模式分布中相近的模式类做出特别的反应。

当某类数据模式输入时，对某以输出节点产生最大刺激（获胜神经元），同时对获胜神经元节点周围的一些节点产生较大的刺激。SOMSOM，Self-OrganizingFea21SOM

网络中有两种链接权值，一种是神经元对外部输入反应的连接权值，另外一种是神经元之间的特征权值。它的大小控制着神经元之间交互作用的强弱。

SOM拓扑结构图SOM网络中有两种链接权值，一种是神经元对外部输入反22SOM算法是一种无导师的聚类法，他能将任意维输入模在输出层映射成一维或者二维离散图形，并保持其拖布结构不变，即在无导师的情况下，通过对输入模式的自组织学习，在竞争层将分类结果表示出来。此外，网络通过对输入模式的反复学习，可以使连接权值空间分布密度与输入模式的概率分布趋于一致，即链接权向量空间分布能反应输入模式的统计特征。

SOM算法是一种无导师的聚类法，他能将任意维输入模23SOM算法是一个竞争-合作的过程。1.竞争。对于输入模式，网络中的神经元计算他们各自判别函数的值。这个判别函数对神经元之间的竞争提供基础，具有判别函数最优值（在欧式距离中是最小值）的特定神经元成为竞争的胜利者。2.合作。获胜神经元的的相邻神经元的是合作的基础。神经元决定兴奋神经元的拓扑邻域的空间位置，从而提供这样的相邻神经元的合作的基础。3.突出调节。最后的这个机制使神经元通过对他们突触权值的调节以增加他们的关于该输入模式的判别的函数值。所做的调节使获胜神经元对以后相似输入模式的响应增强了。SOM算法是一个竞争-合作的过程。24SOM算法步骤Step.1网络初始化用随机数设定输入层和映射层之间权值的初始值：Wij。设定学习次数T，相关邻域Ni(d)。WijX1X2……XijStep.2输入向量把输入向量输入给输入层：Xi。SOM算法步骤Step.1网络初始化WijX125SOM算法步骤Step.3计算映射层的权值向量和输入向量的距离。由欧式距离给出：WijX1X2……XijSOM算法步骤Step.3计算映射层的权值向量和输入向量的26SOM算法步骤Step.4选择与权值向量的距离最小的神经元。计算并选择使输入向量和权值向量距离最小的神经元，把其称为胜出神经元，标记为j*，并给出邻接神经元集合。WijX1X2……XijSOM算法步骤Step.4选择与权值向量的距离最小的神经元27SOM算法在修正神经元的时候，同时要修正获胜神经元的附近区域Ni(d)内所有的神经元。Ni(d)={j,dij<=d}12543671098111215141316172019182122252423N13(1)={8，12，13，14，18}N13(2)={3，7，8，9，11，12，13，14，15，17，18，19，23}SOM算法在修正神经元的时候，同时要修正获胜神经元128SOM算法步骤Step.5调整权值胜出神经元和位于其邻接的神经元的权值通过下式调整。Wij(t+1)=Wij(t)+a(t)h(j,j*)(Xi-Wij)其中，a(t)为学习率，随着t的增大而减小。h（j,j*）为邻域函数，随着学习程度逐渐减小。Step.6若t<=T，则停止学习，否则继续执行Step.2。SOM算法步骤Step.5调整权值29解释：可以用两种方式来解释SOM算法。首先，因为在训练阶段，整个邻域的权值向着相同的方向靠近，所以类似的项目趋向于刺激邻近的神经元。因此，SOM形成了一个使相同样本靠近，不同样本分离的语义映射。这样，SOM便实现了分类的过程。其次，可以考虑神经元的权值作为输入空间的指针，形成了一个训练样本分布的离散近似值。更多的神经元指向了高度训练的样本集中的区域。解释：可以用两种方式来解释SOM算法。30性质：输入空间的近似对于V空间中的向量v，首先根据特征映射Φ确定在输出空间A中最佳的匹配单元S，S的权重向量Ws可视为S投影到输入空间的坐标。通过不断调整权重矩阵，是输出空间A近似的表示输入空间V。SOM实质上是从任意维离散或者连续空间V到一维或者二维离散空间A的一种保序映射。性质：输入空间的近似SOM实质上是从任意维离散或者连续空间V31SOM功能分析1.保序映射：将输入空间的样本模式类有序地映射

在输出层上。2.数据压缩：将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。在SOM中，无论输入空间样本有多少维，都可以在SOFM输出层的某个区域得到响应。3.特征抽取：高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达。SOM功能分析32我学到了什么我下一步要做什么自组织神经网络SOMAnImprovedNeuralArchitectureforGazeMovementControlinTargetSearching我学到了什么我下一步要做什么自组织神经网络33AnImprovedNeuralArchitectureforGazeMovementControlinTargetSearching

论文是对于原来的NeuralArchitectureforGazeMovementControlinTargetSearching的改进。AnImprovedNeuralArchitectu34论文在第三层和第四层之间增加了一个新的MovementCodingNeuron,以便更好地实现gazemotionestimationandcontrol。

原来结构的缺点是，第三层所有的大反应神经元向第四层中运动控制神经元传输了权值响应，从而参与了凝视运动的合成。然而，这些大反应神经元可能产生不同的运动估计量的分组。谈及分组链接权值时，要对这些神经元的运动估计进行分辨及分类，有必要在第四层把这些神经元对应着运动控制神经元组织起来。论文在第三层和第四层之间增加了一个新的Movemen35我学到了什么我下一步要做什么自组织神经网络SOMAnImprovedNeuralArchitectureforGazeMovementControlinTargetSearching我学到了什么我下一步要做什么自组织神经网络361.对于AnImprovedNeuralArchitectureforGazeMovementControlinTargetSearching详细解读。2.对于Self-OrganizingNeuralPopulationCodingforImprovingRoboticVisuomotorCoordination的理解学习。3.对于SOM算法的实现。1.对于AnImprovedNeuralArchite37Thanksforyourattention!Thanksforyourattention!38九逸作品汇报人：九逸作品汇报人：39我学到了什么我下一步要做什么自组织神经网络SOMAnImprovedNeuralArchitectureforGazeMovementControlinTargetSearching我学到了什么我下一步要做什么自组织神经网络40自组织神经网络自组织神经网络是一类无教师学习方式的神经网络模型，它无需期望输出，知识根据数据样本进行学习，并调整自身权重以达到学习的目的。自组织神经网络的学习规则大都采用竞争型的学习规则。

竞争型神经网络的基本思想是网络竞争层的各神经元通过竞争来获取对输入模式的响应机会。竞争结果会存在获胜神经元，获胜神经元有关的各连接权值向着更有利于其竞争的方向发展。自组织神经网络自组织神经网络是一类无教师学习方式的神41竞争层输入层Wj权值不同的输入归结到1个神经元上，几个输入就是一类，实现了分类。竞争层输入层Wj权值不同的输入归结到1个神经元上，几个输入就42竞争学习：

网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，称为WTA（Winner-Take-All）。竞争学习：43学习规则：1.向量归一化。首先将当前输入模式向量X和竞争层中各神经元对应的向量Wj全部进行归一化处理。2.寻找获胜神经元。当网络得到一个输入模式向量时，竞争层的所有神经元对应的权向量均与其进行相似性比较，并将最相似的内权向量判为竞争获胜神经元。3.网络输出与权值调整。4.重新向量归一化。学习规则：44用竞争学习算法将下列各模式分为2类：

输入向量为：学习率为a=0.5

向量归一化设置两个权向量用竞争学习算法将下列各模式分为2类：学习率为a=0.5设置两45竞争学习X1学习d1=||X1-W1(0)||=1∠36.89°,d2=||X1-W2(0)||=1∠216.89°d1<d2,所以神经元1获胜，W1调整W1(1)=W1(0)+a(X1-W1(0))=1∠18.43°W2(1)=W2(0)=1∠-180°X2学习d1=||X2-W1(1)||=1∠98.43°,d2=||X2-W2(1)||=1∠100°d1<d2,所以神经元1获胜，W1调整W1(2)=W1(1)+a(X2-W1(1))=1∠-30.8°W2(2)=W2(1)=1∠-180°竞争学习X2学习46SOM自组织映射学习汇报47SOM自组织映射学习汇报48SOM自组织映射学习汇报49SOM自组织映射学习汇报50SOM自组织映射学习汇报51SOM自组织映射学习汇报52d1=1∠104°d2=1∠100°d1=1∠104°d2=1∠100°53SOM自组织映射学习汇报54SOM自组织映射学习汇报55SOM自组织映射学习汇报56SOM自组织映射学习汇报57我学到了什么我下一步要做什么自组织神经网络SOMAnImprovedNeuralArchitectureforGazeMovementControlinTargetSearching我学到了什么我下一步要做什么自组织神经网络58SOM

SOM，Self-OrganizingFeatureMaps,自组织神经网络，是一种无导师学习的网络，主要用来对于输入向量进行区域分类。SOM的算法思想：

某个输出节点能对某一类模式做出特别的反应以代表该模式类。

输出层上相邻的节点能对实际模式分布中相近的模式类做出特别的反应。

当某类数据模式输入时，对某以输出节点产生最大刺激（获胜神经元），同时对获胜神经元节点周围的一些节点产生较大的刺激。SOMSOM，Self-OrganizingFea59SOM

网络中有两种链接权值，一种是神经元对外部输入反应的连接权值，另外一种是神经元之间的特征权值。它的大小控制着神经元之间交互作用的强弱。

SOM拓扑结构图SOM网络中有两种链接权值，一种是神经元对外部输入反60SOM算法是一种无导师的聚类法，他能将任意维输入模在输出层映射成一维或者二维离散图形，并保持其拖布结构不变，即在无导师的情况下，通过对输入模式的自组织学习，在竞争层将分类结果表示出来。此外，网络通过对输入模式的反复学习，可以使连接权值空间分布密度与输入模式的概率分布趋于一致，即链接权向量空间分布能反应输入模式的统计特征。

SOM算法是一种无导师的聚类法，他能将任意维输入模61SOM算法是一个竞争-合作的过程。1.竞争。对于输入模式，网络中的神经元计算他们各自判别函数的值。这个判别函数对神经元之间的竞争提供基础，具有判别函数最优值（在欧式距离中是最小值）的特定神经元成为竞争的胜利者。2.合作。获胜神经元的的相邻神经元的是合作的基础。神经元决定兴奋神经元的拓扑邻域的空间位置，从而提供这样的相邻神经元的合作的基础。3.突出调节。最后的这个机制使神经元通过对他们突触权值的调节以增加他们的关于该输入模式的判别的函数值。所做的调节使获胜神经元对以后相似输入模式的响应增强了。SOM算法是一个竞争-合作的过程。62SOM算法步骤Step.1网络初始化用随机数设定输入层和映射层之间权值的初始值：Wij。设定学习次数T，相关邻域Ni(d)。WijX1X2……XijStep.2输入向量把输入向量输入给输入层：Xi。SOM算法步骤Step.1网络初始化WijX163SOM算法步骤Step.3计算映射层的权值向量和输入向量的距离。由欧式距离给出：WijX1X2……XijSOM算法步骤Step.3计算映射层的权值向量和输入向量的64SOM算法步骤Step.4选择与权值向量的距离最小的神经元。计算并选择使输入向量和权值向量距离最小的神经元，把其称为胜出神经元，标记为j*，并给出邻接神经元集合。WijX1X2……XijSOM算法步骤Step.4选择与权值向量的距离最小的神经元65SOM算法在修正神经元的时候，同时要修正获胜神经元的附近区域Ni(d)内所有的神经元。Ni(d)={j,dij<=d}12543671098111215141316172019182122252423N13(1)={8，12，13，14，18}N13(2)={3，7，8，9，11，12，13，14，15，17，18，19，23}SOM算法在修正神经元的时候，同时要修正获胜神经元166SOM算法步骤Step.5调整权值胜出神经元和位于其邻接的神经元的权值通过下式调整。Wij(t+1)=Wij(t)+a(t)h(j,j*)(Xi-Wij)其中，a(t)为学习率，随着t的增大而减小。h（j,j*）为邻域函数，随着学习程度逐渐减小。Step.6若t<=T，则停止学习，否则继续执行Step.2。SOM算法步骤Step.5调整权值67解释：可以用两种方式来解释SOM算法。首先，因为在训练阶段，整个邻域的权值向着相同的方向靠近，所以类似的项目趋向于刺激邻近的神经元。因此，SOM形成了一个使相同样本靠近，不同样本分离的语义映射。这样，SOM便实现了分类的过程。其次，可以考虑神经元的权值作为输入空间的指针，形成了一个训练样本分布的离散近似值。更多的神经元指向了高度训练的样本集中的区域。解释：可以用两种方式来解释SOM算法。68性质：输入空间的近似对于V空间中的向量v，首先根据特征映射Φ确定在输出空间A中最佳的匹配单元S，S的权重向量Ws可视为S投影到输入空间的坐标。通过不断调整权重矩阵，是输出空间A近似的表示输入空间V。SOM实质上是从任意维离散或者连续空间V到一维或者二维离散空间A的一种保序映射。性质：输入空间的近似SOM实质上是从任意维离散或者连续空间V69SOM功能分析1.保序映射：将输入空间的样本模式类有序地映射

在输出层上。2.数据压缩：将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。在SOM中，无论输入空间样本有多少维，都可以在SOFM输出层的某个区域得到响应。3.特征抽取：高维空间的向量经过特征抽取后可以在低维特征空间更加清晰地表达。SOM功能分析70我学到了什么我下一步要做什么自组织神经网络SOMAnImproved