机器学习-神经网络与支持向量机部分6

1、机器(j q)学习For 2013级计算机应用技术(jsh)研究生主讲 李鹤喜共一百六十二页机器(j q)学习人工神经网络1、概述人工神经网络（ Artificial Neural Networks， 简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connectionist Model） ，是对人脑或自然神经网络（Natural Neural Network）若干基本特性的抽象和模拟。人工神经网络以对大脑的生理(shngl)研究成果为基础的，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能。国际著名的神经网络研究专家，第一家神经计算机公司的创立者与领导人Hecht Niels

2、en给人工神经网络下的定义就是：“人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作状态相应而进行信息处理。” 共一百六十二页2、人工神经网络的提出(t ch)人工神经网络是对人类大脑系统的一阶特性的一种(y zhn)描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种(y zhn)方法。共一百六十二页3、人工神经网络的特点(tdin) 人工神经网络的以下几个突出的优点使它近年来引起人们的极大关注： (1)可以充分逼近任意复杂的非线性关系； (2)所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁

3、棒性和容错性； (3)采用并行分布处理方法，使得快速进行大量运算成为可能； (4)可学习和自适应不知道或不确定的系统(xtng)； (5)能够同时处理定量（函数逼近）、定性（分类判别）知识。 共一百六十二页4、生物(shngw)神经元模型1、生物(shngw)神经网络由树突 轴突 突触 其他神经元构成轴突细胞体突起的最长的外伸管状纤维称为轴突。轴突最长可达1米以上。轴突是把神经元兴奋的信息传出到其它神经元的出口。 树突细胞体的伸延部分产生的分枝称为树突，树突是接受从其它神经元传入的信息的入口。突触是一个神经元与另一个神经元之间相联系并进行信息传送的结构共一百六十二页3、生物(shngw)神经元

4、模型神经元的六个基本特征：1）神经元相互联接，呈网状结构；2）神经元之间的联接强度决定信号传递的强弱；3）神经元之间的联接强度是可以随训练改变的；4）信号可以是起刺激作用的，也可以是起抑制作用的；5）一个神经元接受的信号的累积效果(xiogu)决定该神经元的状态；6)每个神经元可以有一个“阈值”。共一百六十二页4、神经元的MP模型(mxng)MP-模型(mxng)如图所示，神经元由输入量 x1，x2， xn，对应每个输入量的权值 wi、门限和输出y组成，f为传递函数x1x2xnfyw1w2wnf (v)v共一百六十二页4、一般(ybn)神经元模型共一百六十二页一组连接（对应于生物神经元的突触）

5、，连接强度由各连接上的权值表示，权值为正表示激活(j hu)，为负表示抑制。一个求和单元，用于求取各输入信号的加权和（线性组合).一个非线性激活函数(作用函数)，起非线性映射作用并将神经元拘出幅度限制在一定范围内.此外还有一个阈值4、一般(ybn)神经元模型共一百六十二页4、一般(ybn)神经元模型两种阈值，一种(y zhn)为负起抑制作用，一种(y zhn)为偏置共一百六十二页激活函数(hnsh)的作用1、控制输入对输出(shch)的激活作用；2、对输入、输出进行函数转换；3、将可能无限域的输入变换成指定的有限范围内的输出。 共一百六十二页几种(j zhn)常见的激活函数 1、阈值(y zh

6、)函数 M-P 模型共一百六十二页2，分段线性函数(hnsh) 它类似于一个放大系数为1的非线性放大器，当工作于线性区时它是一个线性组合器，放大系数趋于无穷大时变成一个阈值单元。几种(j zhn)常见的激活函数共一百六十二页3。Sigmoid函数(hnsh)双曲正切(zhngqi)函数这类具有平滑和渐近性，并保持单调性几种常见的激活函数共一百六十二页神经网络的基本(jbn)模型 共一百六十二页4、神经网络结构(jigu)模型1、前向神经网络结构(jigu)（feed-forward Networks）所谓前向网络，是各神经元接收前一层的输入，并输出给下一层，没有反馈。节点分为两类，即输入节点和

7、计算节点，每一个计算节点可有多个输入，但只有一个输出，通常前馈型网络可分为不同的层，第i层的输入只与第i-1层的输出相连，输入与输出节点与外界相连，而其他中间层则称为隐层。共一百六十二页4、神经网络结构(jigu)模型2、反馈(fnku)神经网络结构（feedback neural network）反馈神经网络是一种反馈动力学系统。在这种网络中，每个神经元同时将自身的输出信号作为输入信号反馈给其他神经元，它需要工作一段时间才能达到稳定。Hopfield神经网络是反馈网络中最简单且应用广泛的模型，它具有联想记忆的功能，如果将李雅普诺夫函数定义为寻优函数，Hopfield神经网络还可以用来解决快速

8、寻优问题。共一百六十二页4、神经网络结构(jigu)模型3、随机(su j)型神经网络结构（Random Neural Networks） 前向型和反馈型的网络是确定性的网络，即给定输入则输出是确定的，但实际上按照神经生理学的观点, 生物神经元本质上是随机的. 因为神经网络重复地接受相同的刺激, 其响应并不相同, 这意味着随机性在生物神经网络中起着重要的作用. 随机神经网络正是仿照生物神经网络的这种机理进行设计的. 随机神经网络一般有两种: 一种是采用随机性神经元激活函数; 另一种是采用随机型加权连接, 即是在普通人工神经网络中加入适当的随机噪声。共一百六十二页4、神经网络结构(jigu)模型

9、3、自组织(zzh)神经网络（Self Organizing neural Networks ）自组织神经网络是一种无导师学习方式，更类似于人类大脑中生物神经网络的学习，其最重要特点是通过自动寻找样本中的内在规律和本质属性，自组织自适应地改变网络参数与结构。这种学习方式大大拓宽神经网络在模式识别与分类方面的应用。输入模式输出模式竞争层共一百六十二页人工神经网络的学习(xux) ANN研究中的核心问题 ：How to determine the weights(权值)人工神经网络最具有吸引力的特点是它的学习能力。1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学

10、会它可以表达的任何(rnh)东西。人工神经网络的表达能力大大地限制了它的学习能力。人工神经网络的学习过程就是对它的训练过程 共一百六十二页有导师学习(Supervised Learning)与有导师训练(Supervised Training)相对应。输入向量与其对应的输出向量构成一个“训练对”。有导师学习的训练算法的主要步骤包括：1） 从样本集合中取一个样本（Ai，Di）；2） 计算出网络的实际输出O； 3） 求E=Di-O；4） 根据(gnj)E调整权矩阵W； 5） 对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。 监督学习(xux)(有教师学习(xux)共一百六十二页监

11、督学习(xux)(有教师学习(xux)共一百六十二页无导师学习(Unsupervised Learning)与无导师训练(Unsupervised Training)相对应 抽取样本集合中蕴含的统计特性(txng)，并以神经元之间的联接权的形式存于网络中。非监督(jind)学习(无导师学习)共一百六十二页强化(qinghu)学习（reinforcement learning再励学习） 这种学习(xux)介于上述两种情况之间，外部环境对系统构出结果只给出评价（奖或惩）而不是给出正确答案，学习(xux)系统通过强化那些受奖励的动作来改善自身性能共一百六十二页神经网络的学习(xux)规则1）直接设计

12、计算 例如 Hopfield 作优化计算2）学习得到,即通过(tnggu)训练(training)共一百六十二页神经网络学习(xux)规则a)误差纠正(jizhng)学习令 为输入 时神经元 在n时刻的实际输出， 表示相应的应有的输出（由训练样本给出）误差：训练指标：权值调整：共一百六十二页b) Hebb学习 神经心理学家Hebb提出的学习规则可归结为”当某一突触（连接）两端的神经元的激活同步（同为激括或同为抑制）时，该连接的强度(qingd)应增强，反之则应减弱”。 Heb规则(guz)：权值调整函数：神经网络的学习规则共一百六十二页c) 竞争学习 顾名思义，在竟争学习时网络各输出单元互相竟

13、争，最后达到只有一个(y )最强者激活。最常见的一种情况是输出神经元之间有侧向抑制性连接，这样众多输出单元中如有某一单元较强，则它将获胜并抑制其他单元，最后只有比较强者处于激活状态。神经网络的学习(xux)规则共一百六十二页BP反向(fn xin)传播神经网络 BP（Back Propagation）网络是1986年由Rumelhart 和 McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用(shyng)误差最速下降法

14、，通过误差反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。共一百六十二页BP反向(fn xin)传播神经网络 Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(Back Propagation)学习算法BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此(rc)一层一层的反传下去，就获得了所有其他各层的误差估计。 J. McClelland David Rumelhart 共一百六十二

15、页BP神经网络模型(mxng)多层BP神经网络（这里(zhl)是4层）共一百六十二页BP神经网络算法(sun f)的推导在第 n次迭代中输出(shch)端的第 j个单元的输出(shch)为 , 则该单元的误差信号为定义单元 j的平方误差为 ,则输出端总的平方误差的值为:其中c包括所有输出单元, 设训练集中样本总数为N, 则平方误差的均值为共一百六十二页采用误差下降法，就是根据误差E(n)变化情况调整权值w，另一个角度(jiod)说就是，权值w变化对误差E信号有何影响。即要求取 ，如果 为正，表示随着w增加E增加，显然应该减少w, 如果 为负，表示随着w增加E减少，当然应该增加w, 即按下列算式

16、调节，是比例因子，也称学习效率：BP神经网络算法(sun f)的推导故取w为:故问题的关键在于如何求共一百六十二页误差(wch)前级输入(shr)BP神经网络算法的推导 设E（n)为学习的目标函数, 学习的目的是使 E（n)达到最小. 下面就逐个样本学习的情况推导BP算法.上图表示第 j 个单元接收到前一层i信号并产生误差信号的过程求和传递函数实际输出期望函数误差前级输入权重前级输入前级输入前级输入前级输入前级输入前级输入前级输入误差前级输入前级输入前级输入前级输入前级输入共一百六十二页BP神经网络算法(sun f)的推导第 j节点(ji din)汇聚输入的加权和为定义传递函数为(.),则节点

17、 j 的输出为:求误差E(n) 对各权值 wji(n)的偏导共一百六十二页BP神经网络算法(sun f)的推导由于(yuy)故有:按梯度下降法，权值的修正量为：其中负号表示修正量按梯度下降方式，j(n)称为局部梯度其记为：共一百六十二页BP神经网络算法(sun f)的推导对两种节点进行(jnxng)讨论1、单元j是输出节点2、单元j是隐节点 其结构如下图所示神经元k神经元 j共一百六十二页BP神经网络算法(sun f)的推导将此式对yj(n)求导得：2、单元 j 是隐节点(ji din) 其结构如下图所示j 节点后面是输出节点k, 则误差平方和由于所以共一百六十二页BP神经网络算法(sun f

18、)的推导上式式对yj(n)求导得：而其中(qzhng)q 为单元 的输入端个数所以有代入式得：即当j为隐层节点时，其局部梯度等于下一层局部梯度加权和与激活函数的乘积。共一百六十二页BP神经网络算法(sun f)的推导(1)对于输出节点(ji din) j, j(n) 为 与误差信号ej(n) 之积;总结以上推导, 对于节点j权值修正量可写为 的计算有两种情况:(2)对于隐节点 j, j(n) 为 与与后面一层的 k(n)加权和 之积;共一百六十二页BP神经网络算法(sun f)的推导权值训练周期: 学习时每输入(shr)一次全部训练样本称为一个训练周期, 学习一个周期一个周期地进行, 直到目标

19、函数达到最小值或小于某一给定值.训练网络有两种方式: (1)每输入一个样本修改一次权值; (2)批处理方式, 待组成一个训练周期的全部N个样本都依此输入后计算总的平均误差: 权值调整: 其中 计算方法与前面一样共一百六十二页BP神经网络算法(sun f)的推导BP算法的步骤如下:(1)初始化, 选定一结构合理的网络, 置所有可调参数(cnsh)(权和阈值)为均匀分布的较小数值;(2)对每个输入样本做如下计算: 前向计算 对 l 层的j 单元其中 为前一层（l-1)的单元 送来的工作信号. i=0时共一百六十二页BP神经网络算法(sun f)的推导设单元 j 的传递函数（激活(j hu)函数）为

20、sigmoid函数，则 求导: 当l=1时，有若j属于输出层(l=L), 共一百六十二页BP神经网络算法(sun f)的推导反向(fn xin)计算对输出单元 按下式修正权值（3）n=n+1 输入新的样本(或新一周期样本), 直至Eav 达到预定要求, 训练时各周期中样本的输入顺序要重新随即排序。对隐层单元共一百六十二页共一百六十二页BP网络(wnglu)的标准学习算法学习的过程：神经网络在外界输入(shr)样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。学习的本质：对各连接权值的动态调整学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整

21、规则。共一百六十二页BP网络(wnglu)的标准学习算法-算法思想学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入(shr)层逐层反传学习的过程：信号的正向传播 误差的反向传播将误差分摊给各层的所有单元各层单元的误差信号修正各单元权值共一百六十二页6.4.2 BP网络的标准(biozhn)学习算法第一步，网络初始化 给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值 和最大学习次数M。第二步,随机(su j)选取第k 个输入样本及对应期望输出第三步，计算隐含层各神经元的输入和输出共一百六十二页BP网络的标准学习(xux)算法第四步，利用网络期望输

22、出和实际输出，计算误差函数对输出层的各神经元的偏导数。第五步，利用(lyng)隐含层到输出层的连接权值、输出层和隐含层的输出计算误差函数对隐含层各神经元的偏导数 。 第六步，利用输出层各神经元和隐含层各神经元的输出来修正连接权值。第七步，利用隐含层各神经元的 和输入层各神经元的输入修正连接权。 共一百六十二页6.4.2 BP网络的标准学习(xux)算法第八步，计算全局误差第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取(xunq)下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。 共一百六十二页BP网络(wnglu)的标准学习

23、算法BP算法直观解释情况一直观表达 当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望(qwng)输出，权值向减少方向调整，使得实际输出与期望输出的差减少。whoe0，此时who0共一百六十二页6.4.2 BP网络的标准(biozhn)学习算法BP算法直解释情况二直观表达当误差对权值的偏导数小于零时，权值调整量为正，实际(shj)输出少于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少。e0who共一百六十二页BP神经网络的特点(tdin)非线性映射能力能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进

24、行学习训练，它便能完成由n维输入空间(kngjin)到m维输出空间的非线性映射。泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。共一百六十二页BP神经网络学习算法(sun f)的矩阵实现设BP神经网络有输入层、隐层和输出层三层结构，其节点(ji din)数分别为n1,n2,n3共一百六十二页BP神经网络学习算法批训练(xnlin)的矩阵实现设有个训练样本集X1,X2,XN, Xi是n1维向量，将训练样本按列排布，得到批输入(shr)矩阵考虑到阈值，输入矩

25、阵增加一行 -1，即将X扩充成：共一百六十二页BP神经网络学习算法(sun f)批训练的矩阵实现隐层有n2个节点，设输入层与隐层节点间的权值矩阵为IW（含有(hn yu)阈值），则有则N个样本的输入加权求和v1矩阵为：共一百六十二页BP神经网络学习(xux)算法批训练的矩阵实现设隐层的传递函数（激活(j hu)函数)=1/(1+e-v), 隐层输出Y矩阵为：与隐层类似，对输出层加权求和v2矩阵为：共一百六十二页BP神经网络学习(xux)算法的矩阵实现设输出层的传递函数(hnsh)（激活函数(hnsh)=1/(1+e-v), 输出O矩阵为：反向计算，误差矩阵E为反向计算，输出层的局部梯度共一百六

26、十二页BP神经网络学习(xux)算法的矩阵实现删除(shnch)隐层与输出层的权矩阵HW的第一列有：计算隐层的局部梯度更新隐层与输出层之间的权值矩阵HW共一百六十二页BP神经网络学习算法的矩阵(j zhn)实现更新(gngxn)输入层与隐层之间的权值矩阵：计算所有样本批输入后的误差平方和判断EE阈值（如0.0001），网络训练结束，保存权值IW和HW。共一百六十二页6.4.3 BP神经网络学习算法(sun f)的MATLAB实现 MATLAB中BP神经网络的重要(zhngyo)函数和基本功能 函 数 名功 能newff()生成一个前馈BP网络tansig()双曲正切S型(Tan-Sigmoid

27、)传输函数logsig()对数S型(Log-Sigmoid)传输函数traingd()梯度下降BP训练函数共一百六十二页BP神经网络学习(xux)算法的MATLAB实现MATLAB中BP神经网络的重要函数和基本功能newff()功能 建立一个(y )前向BP网络格式 net = newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF)说明 net为创建的新BP神经网络；PR为网络输入取向量取值范围的矩阵；S1 S2SNl表示网络隐含层和输出层神经元的个数；TFl TF2TFN1表示网络隐含层和输出层的传输函数，默认为tansig；BTF表示网络的训练函数，默认为t

28、rainlm；BLF表示网络的权值学习函数，默认为learngdm；PF表示性能数，默认为mse。 共一百六十二页BP神经网络学习算法(sun f)的MATLAB实现MATLAB中BP神经网络的重要函数和基本功能tansig()功能 正切sigmoid激活(j hu)函数格式 a = tansig(n)说明 双曲正切Sigmoid函数把神经元的输入范围从(-，+)映射到(-1，1)。它是可导函数，适用于BP训练的神经元。logsig()功能 对数Sigmoid激活函数格式 a = logsig(N)说明对数Sigmoid函数把神经元的输入范围从(-，+)映射到(0，1)。它是可导函数，适用于B

29、P训练的神经元。共一百六十二页x1x2xixny1ykyq实际(shj)输入x实际(shj)输出y期望输出d根据误差e=d-y网络权值w调节wBP神经网络算法的基本思想共一百六十二页MATlAB NN工具箱多层BP神经网共一百六十二页MATlAB NN工具箱多层BP神经网共一百六十二页MATlAB NNT传递函数类型(lixng)共一百六十二页net=newff(-1 2; 0 5, 3,1,tansig,purelin,traingd);在MATLAB7.0下使用newff创建BP神经网。例如我们创建一个2维输入向量，具有3个隐层节点和一个输出(shch)节点的3层结构的BP神经网络：隐节点

30、(ji din)数输出节点数BP神经网络的创建、训练与仿真1、BP神经网络的创建隐层传递函数输出层传递函数输入分量范围训练方式共一百六十二页2、BP神经网络的训练(xnlin) 当确定完神经网络的具体结构输入向量维数、隐层节点数、输出节点数，就要采用一定的训练方法对神经网络进行训练，目前应用最多的是梯度下降法。在Matlab神经网络工具箱中，设置了这一算法。并通过train( )函数来实现神经网络的训练。基本(jbn)语法为：Trained_net= train (net, P, T) 待训练的网完成的训练网输入的特征向量训练目标BP神经网络的创建、训练与仿真共一百六十二页仿真(fn zhn)

31、是对已经训练完成的BP神经网络进行应用模拟，以检查神经网络的响应性能。即当网络权值w,偏移值确定后，通过给定输入Pgiven，检查实际输出y与期望是否相符。对于仿真结果满足要求的网络就可定型。仿真采用下列函数：y=sim(trained_net, P);完成(wn chng)的训练网输入的特征向量网络的实际输出3、BP神经网络的仿真 BP神经网络的创建、训练与仿真共一百六十二页1、手写数字字符的识别2、人脸的识别3、车型的识别4、车牌的识别5、指纹的识别6、虹膜(hngm)的识别6、刚体目标的识别7、人体目标的识别基于(jy)BP神经网络的图像识别的应用领域共一百六十二页神经网络手写数字识别设

32、计(shj)实例1、手写数字图像的归一化处理 将图像(t xin)归一到168的像素矩阵2、将168的像素矩阵按列堆叠成128维向量矩阵向量共一百六十二页3、BP神经网络结构的设计 (1)输入节点数的确定 根据输入特征向量是128维，故选输入节点为128个。 （2）输出节点数的确定 辨识10个手写(shuxi)数字，以每个节点为1代表一个数字的 标识，所以输出节点可选10个节点； （3）隐层节点数的确定 可按下列公式估计 式中n为输入(shr)节点m为输出节点数，a=110为可调常数。这里取隐层节点20神经网络手写数字识别设计实例共一百六十二页3、BP神经网络结构的设计 (4)传递函数设计输入

33、节点数的确定 由于以1作为类别的数值(shz)表示，即输出最大限为1，故隐层与输出层传递函数都选择为logsig。 （5）输入数据和期望值按向量排成的矩阵组织，即220神经网络手写数字识别设计(shj)实例共一百六十二页神经网络手写(shuxi)数字识别设计实例实施共一百六十二页神经网络手写数字识别(shbi)设计实例实施共一百六十二页SOM自组织(zzh)神经网络 采用有导师学习规则的神经网络(wnglu)是以网络(wnglu)的误差或能量函数作为算法准则。而在很多情况下，人在认知过程中没有预知的正确模式，人获得大量知识常常是靠“无师自通”，即通过对客观事物的反复观察，分析与比较，自行揭示其

34、内在规律，并对具有共同特征的事物进行正确归类。对于人的这种学习方式，基于有导师学习策略的神经网络(wnglu)是无能为力的。 自组织神经网络的无导师学习方式更类似于人类大脑中生物神经网络的学习，其最重要特点是通过自动寻找样本中的内在规律和本质属性，自组织自适应地改变网络参数与结构。这种学习方式大大拓宽神经网络在模式识别与分类方面的应用。共一百六十二页 自组织网结构上属于层次型网络，有多种类型。如：自组织特征映射（Self Organizing Feature Map）网络SOM）； 对偶（向）传播（Counter Propagation Network)网络CPN)； 自适应共振理论（Adap

35、tive Resonance Theory)网络ART等。 其共同特点是都具有竞争层。最简单(jindn)的网络结构具有一个输入层和一个竞争层。输入模式输出模式竞争层 输入层负责接受外界信息并将输入模式(msh)向竞争层传递，起观察作用。 竞争层负责对该模式进行“分析比较”，找出规律以正确分类。 这种功能是通过下面要介绍的竞争机制实现的。SOM自组织神经网络共一百六十二页 竞争学习是自组织网络中最常用的一种学习策略，首先说明与之相关的几个基本概念。1 基本概念模式、分类、聚类与相似性模式：一般当网络涉及识别、分类问题时，常用输入模式（而不称输入样本）；分类：将待识别的输入模式划分为各自的模式类

36、中去；聚类：无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类；相似性：输入模式的聚类依据。2 相似性测量 神经网络的输入模式用向量表示，比较不同模式的相似性可转化为比较两个(lin )向量的距离，因而可用模式向量间的距离作为聚类判据。 模式识别中常用到的两种聚类判据是欧式最小距离法和余弦法。 一、竞争学习(xux)的概念与原理共一百六十二页（1）欧式距离(jl)法 X和Xi 两向量欧式距离 : 两个模式向量的欧式距离越小，两个模式越相似，当两个模式完全相同时，其欧式距离为零。如果对同一类内各个模式向量间的欧式距离作出规定，不允许(ynx)超过某一最大值 T，则最大欧式距离 T 就

37、成为一种聚类判据。（2）余弦法计算两个模式向量夹角的余弦： 两个模式向量越接近，其类角越小，余弦越大。当两个模式向量完全相同时，其夹角余弦为1。 若同类内各模式向量间的夹角规定不大于T，则成为一种聚类判据。余弦法适合模式向量长度相同或模式特征只与向量方向相关的相似性测量。2 相似性测量共一百六十二页3 侧抑制(yzh)与竞争 自组织网络（竞争型神经网络）构成的基本思想是网络的竞争层各神经元竞争对输入模式响应的机会，最后仅有一个神经元成为竞争的“胜者”，这一获胜神经元则表示对输入模式的识别(shbi)。体现了生物生神经细胞的侧抑制竞争机制。 实验表明，人眼的视网膜、脊髓和海马中存一种侧抑制现象，

38、即，当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用。 这种侧抑制使神经细胞之间呈现出竞争，开始时可能多个细胞同时兴奋，但一个兴奋程度最强的神经细胞对周围神经细胞的抑制作用也最强，其结果使其周围神经细胞兴奋程度减弱，从而该神经细胞是这次竞争的“胜者”，其它神经细胞在竞争中失败。共一百六十二页 自组织网络在竞争层神经元之间的连线，它们是模拟生物神经网络层内神经元相互抑制现象的权值，这类抑制性权值满足(mnz)一定的分布关系，如距离近的抑制强，距离远的抑制弱。 这种权值（或说侧抑制关系）一般是固定的，训练过程中不需要调整，在各类自组织网络拓朴图中一般予以省略。（不省略时，也只看成抑制关系的表

39、示，不作为网络权来训练）。最强的抑制关系是竞争获胜者“惟我独兴”，不允许其它神经元兴奋，这种抑制方式也称为胜者为王。3 侧抑制(yzh)与竞争共一百六十二页4 向量(xingling)归一化 不同的向量有长短和方向区别，向量归一化的目的是将向量变成方向不变长度为1的单位向量。单位向量进行比较(bjio)时，只需比较(bjio)向量的夹角。X向量的归一化： 竞争学习原理（规则）竞争学习采用的规则是胜者为王，该算法可分为3个步骤。得到 ： (1)向量归一化将自组织网络中的当前输入模式向量X和竞争层中各神经元对应的内星权向量Wj(j=1,2,m)全部进行归一化处理。共一百六十二页(2)寻找(xnzh

40、o)获胜神经元 此式看出，欲两单位向量的欧式距离(jl)最小，须使两向量的点积最大。即 因此，求最小欧式距离的问题就转化为按此式求最大点积的问题，而且权向量与输入向量的点积正是竞争层神经元的净输入。共一百六十二页(3)网络输出(shch)与权值调整 胜者为王竞争学习算法规定，获胜(hu shn)神经元输出为1，其余输出为零。即只有获胜神经元才有权调整其权向量，调整后权向量为式中 为学习率，一般其值随着学习的进展而减小。可以看出，当 时，对应神经无的权值得不到调整，其实质是“胜者”对它们进行了强侧抑制，不允许它们兴奋。 应注意，归一化后的权向量经过调整后得到的新向量不再是单位向量，需要重新归一化

41、。步骤（3）完成后回到步骤（1）继续训练，直到学习率衰减到零。 共一百六十二页二、自组织特征(tzhng)映射（SOM）神经网络1、SOM网络(wnglu)的生物学基础 生物学研究表明：人的大脑皮层中，存在许多不同功能的神经网络区域，每个功能区域完成各自的特定功能，如视觉、听觉、语言理解和运动控制等等。 当人脑通过感官接受外界的特定时空信息时，将引起大脑皮层的特定区域兴奋。每个区域有若干神经元组成，当该区域兴奋时，总是以某一个神经元（细胞）为兴奋中心，呈现出墨西哥帽（Mexican Hat）式兴奋分布。共一百六十二页 1981年芬兰(fn ln)学者kohonen提出一个称为自组织特征映射（S

42、elf Organization Feature Map-SOM或SOFM）网络，前述大脑神经细胞兴奋规律等，在该网络中都得到了反应。 网络区域中的这种兴奋与抑制规律，将依据外界输入环境的不同，神经元（细胞(xbo)）要靠竞争机制来决定胜负。 大脑的这种区域性结构，虽有遗传因素，但，各区域的功能大部分是后天通过 环境的适应和学习得到的，这就是神经网络的自组织（self organization）特征.1、SOM网络的生物学基础共一百六十二页2、 SOM网络(wnglu)的拓扑结构与权值调整域2.1 拓扑(tu p)结构 SOM网络共有两层，输入层模拟感知外界输入信息的视网膜。输出层模拟做出响应

43、的大脑皮层。输出层也是竞争层，网络拓扑结构形式常见有一维线阵和二维平面阵。网络实现将任意维输入模式在输出层映射成一维离散图形。共一百六十二页网络实现将任意维输入模式在输出(shch)层映射成二维离散图形。SOM 二维平面阵结构(jigu)共一百六十二页3、 SOM网络(wnglu)的运行原理与学习算法SOM网络的运行(ynxng)原理 SOM网络表现为：网络随机输入模式时，对某个特定的输入模式，输出层会有某个节点产生最大响应而获胜。按生物区域神经兴奋机制，获胜神经元对其邻近神经元存在一种侧抑制（竞争）机制。 SOM网络的侧抑制方式是：以获胜神经元为中心权值调整量最强，且由近及远地逐渐递减程度不

44、同的调整权向量直到抑制。理论上按墨西哥帽分布调整权值，但其计算上的复杂性影响了网络训练的收敛性。因此在SOM网的应用中常采用与墨西哥帽函数类似的简化函数或其他一些方式（如优胜域）。 以获胜神经元为中心设定一个邻域优胜域。优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。优胜邻域开始可定义得较大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零。共一百六十二页SOM网络(wnglu)的学习算法 SOM网络采用的学习算法称Kohonen算法，是在胜者为王算法基础上加以改进而成。其主要(zhyo)区别在于调整权向量的侧抑制方式不同。胜者为王算法中，获胜神经元对周围神经元的

45、抑制是“封杀”式的（只获胜神经调整权向量，周围其它无权调整） 。 当输入模式的类别改变时，获胜节点也会改变。获胜节点对周围的节点因侧抑制作用也产生较大的响应，于是，获胜节点及其优胜邻域内的所有节点所连接的权向量均向输入向量的方向作程度不同的调整。 网络通过自组织方式，用大量训练样本调整网络的权值，最后使输出层各节点成为对特定模式类敏感的神经元，对应的内星权向量成为各输入模式类的中心向量。并且当两个模式类的特征接近时，代表这两类的节点在位置上也接近。从而，在输出层形成能够反映样本模式类分布情况的有序特征图。 Kohonen算法采用优胜域思想，模拟生物区域神经兴奋竞争机制。3、 SOM网络的运行原

46、理与学习算法共一百六十二页Kohonen算法(sun f)（1）初始化 给定学习率初值 (0)，（0(0)1）； 确定初始优胜（邻）域Nj*(0)的初值；一般用半径表示，可取竞争层阵列幅度的1/31/2,甚至可覆盖整个竞争层。对各权向量赋随机(su j)小数并进行归一化，得:（2）接受输入 从训练集中随机选取一个输入模式进行归一化处理，得: （3）寻找获胜节点 计算 与 的点积，j=1,2,m，得到点积最大的获胜节点j*；如若输入模式未归一化，可计算欧式距离，找出距离最小的为获胜节点j*。共一百六十二页（4）调整权值以j*为中心，对优胜域Nj*(t)内的所有(suyu)节点调整权值：（6）更新

47、邻域Nj*(t)及学习率(t) Nj*(t) = INT Nj*(0)(1-t/T) t当前学习次数； T预先设定的最大训练次数. (t)= (0)1-t/T网络在t时刻的学习率. Nj*(t)和(t)不限于(xiny)上述形势，也有其他形式。（5）检查总模式数（P）是否全部参与了学习，否则返（2）Kohonen算法共一百六十二页 Nj*(t)可以说是墨西哥帽函数的一种具体体现形势，更新原则是使邻域不断(bdun)缩小，这样输出平面上相邻神经元对应的权向量之间既有区别又有相当的相似性，从而，保证当获胜节点对某一类模式产生最大响应时，其临近节点也能产生较大的响应。 邻域的形状(xngzhun)可

48、以是圆、正方形或六边形等。 当邻域是半径为d圆时,邻域中的神经元描述为: 若25个神经元排列成55二维格栅拓扑结构,第13神经的指定优胜域半径的区域内神经元为:d=1d=2Kohonen算法共一百六十二页（7）令t=t+1,返回(fnhu)步骤（2）（8）结束检查 判断(t) 是否(sh fu)衰减到某预定精度 或判断 t=T.Kohonen算法共一百六十二页Kohonen学习(xux)算法程序流程共一百六十二页4.2.4 SOM网络(wnglu)的功能SOM网络的功能特点之一是：保序映射，即能将输入空间的样本模式(msh)类有序地映射在输出层上。例 动物属性特征映射1989年Kohonen给

49、出一个SOM网的著名应用实例，即把不同的动物按其属性映射到二维输出平面上，使属性相似的动物在SOM网输出平面上的位置也相近。训练集选了16种动物，每种动物用一个29维向量来表示。前16个分量构成符号向量（不同的动物进行16取1编码），后13个分量构成属性向量，描述动物的13种属性的有或无（用1或0表示）。共一百六十二页16种动物的属性(shxng)向量（29维向量的后13个分量） 动物属性鸽子母鸡鸭鹅猫头鹰隼鹰狐狸狗狼猫虎狮马斑马牛小1111110000100000中0000001111000000大00000000000111112只腿11111110000000004只腿000000011

50、1111111毛0000000111111111蹄0000000000000111共一百六十二页 动物属性鸽子母鸡鸭鹅猫头鹰隼鹰狐狸狗狼猫虎狮马斑马牛鬃毛0000000000000110羽毛1111111000000000猎0000111101111000跑0000000011011110飞1001111000000000泳0011000000000000 SOM网输出平面上有1010个神经元，16个动物模式轮番输入训练，最后输出平面呈现16种动物属性特征映射(yngsh)，属性相似的挨在一起，实现了特征的有序分布。16种动物(dngw)的属性向量（29维向量的后13个分量）共一百六十二页10

51、10神经元X向量(xingling)（29维）前16个分量（16取1，表达动物(dngw)种类。）后13个分量（表达动物属性）鸭鹅鸽母鸡马斑马牛隼狼虎狮猫狗狐猫头鹰鹰动物属性特征映射共一百六十二页 SOM网的功能特点之二是数据压缩(sh j y su)。 将高维空间的样本在保持拓扑结构不变的条件下投影到低维空间。如上例中输入样本空间为29维，通过SOM网后压缩为二维平面的数据。 SOM网的功能特点之三是特征抽取。（规律的发现） 在高维模式空间，很多模式的分布具有复杂的结构，从数据观察很难发现其内在规律。当通过SOM网映射到低维输出空间后，其规律往往一目了然，实现某种特征抽取的映射。即高维空间的

52、向量经过特征抽取后可以在低维特征空间更加清晰地表达，因此映射的意义不仅仅是单纯的数据压缩，更是一种规律发现。如上例29维映射到二维后，相近属性的动物实现了聚类分布的特点。 SOM网有许多应用实例：解决旅行商最优路经问题，皮革外观效果分类等。共一百六十二页SVM支持(zhch)向量机 支持向量机(Support Vector Machine,SVM)是Corinna Cortes和Vapnik等于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础(jc

53、h)上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以求获得最好的推广能力 。共一百六十二页SVM支持(zhch)向量机 SVM有如下主要几个特点：(1)非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射；(2)对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法的核心；(3)支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。(4)SVM 是一种有坚实理论基础的新颖的小样本学习(xux)方法。它基本上不涉及概率测度及大数定律等,因此不同于现有的

54、统计方法。从本质上看,它避开了从归纳到演绎的传统过程,实现了高效的从训练样本到预报样本的“转导推理”,大大简化了通常的分类和回归等问题。共一百六十二页SVM支持(zhch)向量机 (5)SVM 的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了“维数灾难”。(6)少数支持向量决定了最终结果(ji gu),这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单,而且具有较好的“鲁棒”性。这种“鲁棒”性主要体现在:增、删非支持向量样本对模型没有影响;支持向量样本集具有一定的鲁棒性;有些成功的应用中,SVM

55、 方法对核的选取不敏感共一百六十二页SVM支持(zhch)向量机线性分类器 假定大小为n 的训练样本集(xi,yi), i=,n ,由二类别组成, 如果xiRd属于第1类标记为正(yi=1),如果属于第2类,则标记为负（yi=-1). 学习(xux)的目标是构造一判别函数,将检测数据据尽可能正确地分类. 针对训练样本集为线性和非线性两种情况分别讨论.共一百六十二页支持(zhch)向量机分类器SVM线性可分情况先考虑二维情况下的线性可分的两类样本(,),如图所示,存在很多条可能的分类线能够将训练样本分开。显然分类线a最好，因为它更远离每一类样本，风险小。而其他的分类线离样本较近，只要样本有较小的

56、变化，将会导致错误的分类结果。因此分类线a是代表一个最优的线性分类器。所谓最优分类线就是要求分类线不但能将两类无误地分开，而且要使两类的分类间隔最大。图中H是最优分类线，H1和H2分别为过各类样本中离分类线最近的点且平行于分类线的直线，H1和H2之间的距离叫做两类的分类空隙或者分类间隔(margin)。将二维推广(tugung)到高维，最优分类线就成为最优分类超平面。abcHH1H2共一百六十二页SVM线性分类器线性可分情况设线性可分样本集为(xi,yi), i=1,2,n, xRd, y+1,-1是类别号。d维空间中线性判别函数的一般形式(xngsh)为g(x)=wTx+b，则分类超平面方程

57、为： wTx+b0其中，w为分类超平面的法线，是可调的权值向量；b为偏置，决定相对原点的位置。当两类样本是线性可分时，满足条件：(wTxi)+b+1yi =+1(wTxi)+b-1yi = -1共一百六十二页Z1线性可分情况如果(rgu)存在分类超平面使得(sh de) g(x)=wTx+b=0,wTx+b=012SVM线性分类器共一百六十二页点到平面(pngmin)的距离 由于w是可以按比例改变的，因此可以缩放w 和b使得在1类 g(x)=1,和2类 g(x)= -1，可以用方程(fngchng)表示为 1、 存在一个间隔 ， 满足 2、 要求满足SVM线性分类器g(x)=1和 g(x)=

58、-1两条直线间的距离共一百六十二页 下面是数学计算问题，对于(duy)每一个xi, yi（对于1为+1,对于2为-1）表示相应类的标识器。要使间隔 2/|w|最大，实际上就是要|w|最小，即这是一个满足一系列线性不等式条件的非线性（二次方程）最优化问题。采用(ciyng)拉格朗日函数SVM线性分类器共一百六十二页根据Karushi-Kuhn-Tucker条件以上(yshng)最小化问题满足以下条件： = 1, 2, NT是拉格朗日乘子组成(z chn)的向量。 SVM线性分类器共一百六十二页这里(zhl) 可以看出采用|w|2平方的好处(ho chu)，可以将|w|变化成wTw,便于求导运算。

59、数对向量的导数 (wTw)=2w通过L-函数对w求导计算得SVM线性分类器通过L-函数对b求导计算得共一百六十二页拉格朗日乘子只能为0或正数，所以具有最优解的向量(xingling)参数w是Ns=N 个特征向量的线性组合，即其中 i 不为0向量的线性组合这些i 不为0所对应的向量 xi 就是支持向量，这也是支持向量机的由来，这些向量点就是取得最大间隔(jin g)分类两个超平面上的点。两个超平面任何一方的支持向量满足：SVM线性分类器共一百六十二页前面我们(w men)通过拉格朗日函数对w 和b求导得到两个约束:把这两个等式和拉格朗日函数结合起来(q li)，可以把w带入拉格朗日函数 L,SV

60、M线性分类器共一百六十二页SVM 线性分类器共一百六十二页现在(xinzi)求拉格朗日乘子 i 就是求凸函数 L 的最大值，即条件(tiojin)约束 SVM 线性分类器共一百六十二页 i为与每个样本对应的L agrange 乘子. 这是一个不等式约束下二次函数寻优的问题, 存在唯一解。 容易证明, 解中将只有一部分(通常是少部分) i 不为零, 对应的样本就是支持向量. 解上述(shngsh)问题后得到的最优分类函数是.式中的求和实际上只对支持向量进行. b* 是分类(fn li)阈值, 可以用任一个支持向量满足下式中的等号 求得, 或通过两类中任意一对支持向量取中值求得SVM 线性分类器共