人工神经网络3

1、2022-1-17第第5章章 对传网对传网 5.1 网络结构网络结构 5.2 网络的运行网络的运行 5.3 kohonen层的训练层的训练 5.4 kohonen层联接权的初始化方法层联接权的初始化方法 5.5 grossberg层的训练层的训练 5.6 补充说明补充说明 2022-1-17第第5章章 对传网对传网 robert hecht-nielson 在在1987年提出了对年提出了对向传播神经网络向传播神经网络(counter propagation networks，cpn)，简称对传网。，简称对传网。 cpn为异构网：为异构网： kohonen1981年提出的自组织映射年提出的自组织

2、映射(self-organization map，som)算法算法kohonen层层; grossberg1969年提出的散射星年提出的散射星(outstar)算算法法grossberg层。层。2022-1-17第第5章章 对传网对传网 kohonen层层无导师学习算法，解决网络隐无导师学习算法，解决网络隐含层的理想输出未知问题；含层的理想输出未知问题； grossberg层层有导师学习算法，解决输出有导师学习算法，解决输出层按系统要求给出指定输出结果的问题。层按系统要求给出指定输出结果的问题。 训练时间短：训练时间短：bp的的1%； 应用面：比较窄。应用面：比较窄。 让网络的隐藏层执行无导师

3、学习，是解决让网络的隐藏层执行无导师学习，是解决多级网络训练的另一个思路。多级网络训练的另一个思路。2022-1-175.1 网络结构网络结构x1y1wv自组织映射自组织映射（无导师学习）（无导师学习） kohonen层层散射星散射星（有导师学习）（有导师学习） grossberg层层输入层输入层 k1g1k2g2x2y2khgmxnym2022-1-175.1 网络结构网络结构 以以kohonen层的神经元为层的神经元为“中心中心”讨论问题讨论问题 k1 w1=(w11，w21，wn1)t v1=(v11，v12，v1m) k2 w2=(w12，w22，wn2)t v2=(v21，v22，v

4、2m) kh wh=(w1h，w2h，wnh)t vh=(vh1，vh2，vhm)2022-1-175.2 网络的运行网络的运行 除拓扑结构外，网络的运行机制也是确定除拓扑结构外，网络的运行机制也是确定网络结构（同构、异构）和性能的重要因网络结构（同构、异构）和性能的重要因素素 。 cpn是采用竞争型网络学习规则的异构网。是采用竞争型网络学习规则的异构网。 竞争学习：同一层次的神经元相互竞争，竞争学习：同一层次的神经元相互竞争，胜利的神经元修改与其连接的权值模式胜利的神经元修改与其连接的权值模式分类。分类。2022-1-175.2 网络的运行网络的运行 5.2.1 kohonen层层 “强者占

5、先、弱者退出强者占先、弱者退出” （the winner takes all ）knetj=xwj = (x1，x2，xn)(w1j，w2j，wnj) t = w1j x1+w2j x2+wnj xn向量形式向量形式 knet=(knet1，knet2，kneth) 2022-1-175.2.1 kohonen层层 k1，k2，kh的输出的输出k1，k2，kh构构成向量成向量 k=(k1，k2，kh) 1jhjh1 1knetknetj j=max=max knet1，knet2，kneth k kj j= = 0其它其它 2022-1-17上式等价于上式等价于几何意义：几何意义：学习目的：寻

6、找与输入向量学习目的：寻找与输入向量x x最大相似度最大相似度（最接近）的（最接近）的w wo omaxiixwmin |iixw2022-1-175.2.2 grossberg层层 grossberg层的每个神经元层的每个神经元gj （1jmjm）gnetj= k (v1j，v2j，vhj)t = (k1，k2，kh) (v1j，v2j，vhj)t =k1v1j+ k2v2j+ kh vhj唯一输出唯一输出1的神经元为的神经元为ko gnetj= k1v1j+ k2v2j+ kh vhj= voj 2022-1-175.2.2 grossberg层层 gnet=( gnet1 ，gnet2

7、，gnetm) =(vo1，vo2，vom) =vo 散射星散射星：vo的各个分量是从的各个分量是从ko到到grossberg层各神经元的联接权层各神经元的联接权 2022-1-175.2.2 grossberg层层 cpn用于模式的完善用于模式的完善，此时，此时n=m：接受含：接受含有噪音的输入模式有噪音的输入模式(x1，x2，xn)，而输，而输出去掉噪音后的模式出去掉噪音后的模式(vo1，vo2，vom) 对训练启示对训练启示 w1，w2，wh，各类，各类x的共同特征的共同特征 v1，v2，vh，x对应的理想输出对应的理想输出y的共同的共同特征特征 2022-1-175.3 kohonen

8、层的训练层的训练 5.3.1 输入向量的预处理输入向量的预处理 单位化处理单位化处理x= (x1，x2，xn)x= (x1，x2，xn)= (x1/xx，x2/xx，xn/xx) 即：即： xj xj/x,x,1/ 221|niixx2022-1-17算法算法 5-1 kohonen层训练算法层训练算法 1 1对所有的输入向量，进行单位化处理；对所有的输入向量，进行单位化处理；2 2对每个样本（对每个样本（x，y）执行下列过程）执行下列过程 2.1 for j=1 to h do 根据相应式子计算根据相应式子计算knetj； 2.2 2.2 求出最大的求出最大的knetkneto o: :2.

9、2.1 max=knet2.2.1 max=knet1 1；o=1 o=1 2.2.2 for j=1 to h do 2.2.2 for j=1 to h do if knetjmax then max=knetj；o=j； 2022-1-17算法算法 5-1 kohonen层训练算法层训练算法2.3 计算计算k 2.3.1 for j=1 to h do kj=0； 2.3.2 ko=1；2.4 使使wo更接近更接近x：wo(new)=wo(old)+(x- wo(old); 2.5 对对wo(new)进行单位化处理进行单位化处理 2022-1-17w wo o(new)(new)=w=w

10、o o(old)(old)+(x- w+(x- wo o(old)(old) )（0 0，1 1）wo(new)=wo(old)+(x- wo(old) = wo(old)+x-wo(old)x-wo(new)=x-wo(old)+(x- wo(old)=x-wo(old)-x+wo(old)= x(1-) -wo(old)(1-)=(1-)()(x-wo(old)由由00(1-)1)max then max=knetj；o=j；2022-1-17算法算法5-2 cpn训练算法一训练算法一2.3 计算计算k：2.3.1 for j=1 to h do kj=0；2.3.2 ko=1；2.4 使

11、使wo更接近更接近x：wo(new)=wo(old)+(x- wo(old)；2.5 对对wo(new)进行单位化处理；进行单位化处理；2.6 使使vo更接近更接近y：vo(new)= vo(old)+(y- - vo(old)。 2022-1-17算法算法5-3 cpn训练算法二训练算法二 对应对应kohonen的每一个的每一个ki，它将代表一组，它将代表一组输入向量，所以希望这个输入向量，所以希望这个ki对应的对应的vi能代能代表这组输入向量对应的输出向量的平均值。表这组输入向量对应的输出向量的平均值。0 对对w、v进行初始化；进行初始化；0清空清空kohonen层各神经元对应的纪录表：层

12、各神经元对应的纪录表：for j=1 to h do skj=；1 对所有的输入向量，进行单位化处理；对所有的输入向量，进行单位化处理；2022-1-17算法算法5-3 cpn训练算法二训练算法二 2 对每个样本（对每个样本（xs，ys）执行下列过程）执行下列过程2.1 for j=1 to h do2.1.1 根据相应式子计算根据相应式子计算knetj；2.2 求出最大的求出最大的kneto：2.2.1 max=knet1；o=1;2.2.2 for j=1 to h do 2.2.2.1 if knetjmax then max=knetj；o=j； 2022-1-17算法算法5-3 cp

13、n训练算法二训练算法二 2.3 计算计算k：2.3.1 for j=1 to h do kj=0；2.3.2 ko=1；2.4 使使wo更接近更接近xs：wo(new)=wo(old)+(xs- wo(old)；2.5 对对wo(new)进行单位化处理；进行单位化处理；2.6 将将ys放入放入sko：sko=skoys；3 for j=1 to h dovj= skj中各向量的平均值中各向量的平均值 2022-1-17算法的进一步优化算法的进一步优化 集合变量集合变量sk1， sk2 ，skh改为其它存改为其它存储量更小，而且更容易实现的变量储量更小，而且更容易实现的变量 在在xs激发激发ko时，时，ys被放入被放入到到sko中中会出现一个向量被放入多个会出现一个向量被放入多个sksk中的问题中的问题 2022-1-175.6 补充说明补充说明 1、全对传网全对传网wvxyyx输入层输入层kohonen层层grossberg层层2022-1-17 2、非简单工作方式、非简单工作方式 对给定的输入向量，对给定的输入向量，kohonen层各神经元层各神经元可以给出不同的输出可以给出不同的输出 输