自组织神经网络

1、自组织神经网络常见的自组织网络v自组织竞争网络（Kohonen网络）v自组织特征映射网络（SOFM网络）v学习矢量量化神经网络（LVQ网络）学习方法分类v有师学习（分类）已知输入已知期望输出（每个输入分别属于哪一类）在特征空间中，各个类的核位置已知v无师学习（聚类）已知输入期望输出未知（但可能已知分为几类）在特征空间中，各个类的核位置待确定自组织竞争网络神经元功能分析v权值W：R维向量（与输入向量维数相同）v处理函数：求权值向量W与输入向量I之间的距离的负值-dv输出：阈值b与-d的和vn = b - dist(p , w)自组织竞争神经网络的结构自组织竞争神经网络结构分析v输入：R维列向量，

2、表示待分类的特征空间是R维的。（每个样本有R个分量）v输入层：有S个神经元，分别通过学习确定S个类的核心（在特征空间的）位置v竞争层（输出层）：输出一个S维列向量，若输入的第i个分量最大，则输出向量中的第i个分量为1，其它分量为0基本竞争型神经网络结构自组织竞争神经网络的学习过程v根据一个输入向量与初始状态下各个核心的距离判断它属于哪个类v根据确定分类的输入向量对相应的核心位置进行修订v对所有训练样本都进行上述处理v反复将训练样本进行多次处理，直到不再发生分类改变为止，学习过程完成修正神经元权值的规则v内星学习规则v外星学习规则vKohonen学习规则v阈值学习规则内星学习规则vinstar学

3、习规则:wij = lr (pj wij) aiv例一：内星学习规则函数learnis()外星学习规则vOutstar学习规则：wij = lr (aj wij) pjv例二：外星学习规则函数learnos()Kohonen学习规则v对instar规则的改进v将ai取值为1vKohonen学习规则： wij = lr (pj wij) v例三：科荷伦学习规则函数learnk()阈值学习规则v阈值的作用：调整的是某个神经元响应的半径v为什么除了调整权值以外还要调整阈值：某些神经元的初始位置离样本区域太远先将这些“死”神经元的响应半径增大当有样本能够吸引到该神经元后再缩小半径v阈值学习函数lear

4、ncon()自组织竞争神经网络的创建v创建自组织竞争神经网络的函数vNET = NEWC(PR,S,KLR,CLR)PR：Rx2维矩阵，确定输入范围S：神经元个数（分类个数）KLR：Kohonen学习规则的学习率，默认为0.01CLR：阈值学习率，默认为0.001v例四：自组织竞争神经网络的创建（注意初始状态）例五：自组织竞争神经网络的设计v设置初始训练向量v创建初始态的自组织竞争神经网络v设置训练参数v训练v观察训练后网络的状态v检验网络功能例六：自组织竞争神经网络用于模式识别v通过语句生成待分类点集，8组，每组10个v创建一个有8个神经元的网络v观察训练前网络的状态v对网络进行训练v观察网

5、络训练后的状态v用新的输入向量进行测试自组织特征映射神经网络vSelf-Organizing Feature Maps，简称SOFMv设计来源：模拟大脑的“不同感知路径”（拓扑结构）引入神经元所处位置的空间信息每个神经元受到的激励除了外部输入信息之外还有来自周围神经元的反馈信号v特点：神经元只有权值，没有阈值神经元之间有相互联系自组织学习SOFM模型（二维）v输入信号：n维v输出：2维SOFM网络学习方法vKohonen学习规则v起作用范围是竞争胜出神经元及其周围邻域中的所有神经元，但是修正率不同)()1 ()()1()()1()1()(qpiiiqpiiqwqwqwqwqw邻域v距离中心神经

6、元距离小于指定半径d的所有神经元的集合,)(ddjdNiji拓扑结构v矩形拓扑结构：gridtop()（例一）v六（三？）角型拓扑结构：hextop()（例二）v随机拓扑结构：randtop()（例三）v注意：指的是神经元组织拓扑结构，而不是特征向量空间的拓扑结构几种距离定义niiiiininiiiyxDYXyxDyxD1112()mandistManhattan4()linkdistlink3)()boxdistbox2)()distEculindean1max（例七）（曼哈顿）距离：）（经过的步数到从（例六）距离：）（例五）距离：）（例四）（欧几里德）距离：）（SOFM结构SOFM的构建函

7、数vNET = NEWSOM(PR,D1,D2,.,TFCN,DFCN,OLR,OSTEPS,TLR,TNS) v PR - Rx2 矩阵确定输入范围v Di - 第i层神经元个数,缺省为5 8v TFCN - 拓扑函数，缺省为 hextop.v DFCN - 距离函数，缺省为 linkdist.v OLR - 排序阶段学习率，缺省为0.9.v OSTEPS - 排序阶段最大学习步骤，缺省为1000.v TLR - 调整阶段学习率，缺省为0.02;v TND - 调整阶段最大学习步骤，缺省为1例八：SOFM网络的构建和训练v构建网络v设置训练样本（待聚类样本）v观察训练前网络的状态v根据样本进

8、行训练排序阶段（粗调）调整阶段（细调）v观察训练后网络的状态例九：一维SOFM网络设计v输入为二维向量，神经元分布为一维v将二维空间的特征映射到一维拓扑结构v步骤设置输入向量构建网络根据输入向量进行训练显示训练结果并进行测试例十：二维SOFM网络设计v输入为二维向量，神经元分布为二维v将二维空间的特征映射到二维拓扑结构v步骤设置输入向量构建网络根据输入向量进行训练显示训练结果并进行测试学习矢量量化神经网络vLearning Vector Quantization Network简称LVQv两层网络：竞争层：同自组织竞争网络线性层：对竞争结果进行量化组合v可以进行子类合并LVQ的网络结构LVQ的学习规则)(i)(ii)1(*)1(*)(*)1(*)1(*)(*1 , 11 , 11 , 11 , 11 , 11 , 1qIWqIWqIWqIWqIWqIWiqpiiiqpii该样本个神经元的权值更远离修正第若分类不正确：该样本个神经元的权值更接近修正第若分类正确：类，被分到第输入样本经过网络分类已知样本分类LVQ的网络构建函数vNET = NEWLVQ(PR,S1,PC,LR,LF)v PR - Rx2 矩阵确定输入范围v S1 竞争层神经元个数v PC 大样本情况下各种分类所占比例v LR 学习率缺省为0.01.v LF 学习函数，缺省为learnlv1例：LVQ网络的设计v设定