计算智能 神经网络计算 (2)课件

神经网络计算反馈型神经网络反馈神经网络是一个反馈动力学系统,它通过神经元的状态变迁,最终稳定于某一状态,得到联想存储或神经计算的结果Hopfield网络I可作为初值,也可作为输入,由于网络是反馈的,I输入后可以撤去,网络仍可运行。如果不撤去永远,则作为一个阈值,当网络经过适当训练后(权值已经确定),可以认为网络处于等待工作状态。给定一个初始输入,网络就处于特定的初始状态,由此初始状态运行,可以得到网络的输出(即网络的下一状态);将这个输出反馈到输入端,形成新的输入,从而产生下一步的输出;如此循环下去,如果网络是定的,那么,经过多次反馈运行,网络达到稳定,由输出端得到网络的稳态输出。径向基函数网络径向基函数(RBF)是一种将输入矢量扩展或者预处理到高维空间中的神经网络学习方法.RBF网络的理论基础是函数逼近,它用一个二层的前向网络去逼近任意函数。中间层与输入完全连接(权值=1).中间层结点选取基函数作为转移函数.输出层的结点是线性组合器,第j个输出结点为参数训练中心调整算法中心调整算法以聚类最小距离为指标,将输入数据集分解为看k类,给出看k个中心。K均值算法。权值更新算法最小二乘法神经网络计算的本质将N维的输入向量映射到M维，M维是事先确定的，不能通过调整参数进行改变维数，使其维数最佳。对所有的训练样本平等对待，不能通过网络进行自适应选择样本网络构建的平面为线性平面线性分类的条件：

贝叶斯分类:目的是使分类错误概率最小。

分类函数是一个单调增函数：每类协方差相等以及各类概率等可能的为常数

为常数

在维空间，特征向量相互独立再将特征向量标准化得到

（分离平面）分类超平面是线性超平面

①利用贝叶斯决策分类时，错分概率最小为目的。

②要错分概率最小且简化计算，常采用线性分类超面。③建立线性分类超平面的假设条件：各类发生的概率相等，各类平等对待。B.每类中各个样本呈现Gaussian分布C.类内特征向量相互独立问题：线性分类计算简单，在L维空间中N类均能线性可分吗？N类L维空间线性可分的概率

问题的提出:

在L维空间中有N个待分点（L维空间中，不存在L+1点在同一直线上），能否找到一个线性超平面将这N个点的任意组合分成两类，如果不能，将他们分成两类，那能正确分开的概率是多大呢？L维空间中，N个点任意组合的方法有

在L维空间中有N个待分点（不存在L+1点在同一直线上），并且能线性可分的组合个数为

L维空间中，N个点任意组合成两类被一个分类的超平面分开的概率为：ABCD线性不可分的组合：

W1ACBDW2BDAC线性可分的组合：

W1ABCDABADABCBCDABDBCDCDBCDBACW2CDBCDBCAABADABCADCBCDBADABCDN趋于无穷大。这是一个具体事实，无法从数学上和理论上进行改进。故能否把特征向量维数L增大，以便使得N与L+1很接近，甚至达到??增大特征向量的维数L增大特征向量维数L，使得N接近于L+1，即为从L维空间向K维空间投影，这有利于提高线性分离的概率能力。但是维数较大，计算复杂度较大。多项式麦克劳林级数展开2阶克劳林级数将2维空间函数转化为6维空间函数的线性组合函数维空间函数经过阶克劳林级数可以得到空间的线性组合函数

空间的线性组合函数可以由维空间的函数得到。以阶为例，在6维空间分类线性超平面方程：

在2维空间分类超曲面方程：

径向量函数

在高维空间中的线性分类面等价于低维空间的

从低维空间到高维空间，能够提高线性分类的概率

高维空间中计算量较大，能否找到一个函数将高维空间的运算转化为低维空间的运算呢？(0,0)(0,1)(1,0)(1,1)核函数低维空间高维空间表示？SVM(0,0,0)(0,1,1)(1,1,0)(1,0,1)在高维空间中，由于维数增加，造成维数灾难。核函数

核函数能够把高维空间的运算转化为低维空间的运算RBF(RadialBasisFunction)核函数:

多项式Polynomials核函数：Sigmond核函数:利用了一个d阶可导函数的泰勒级数展开的形式：

把展开级数展开成的级数之积即为把一维空间函数交换到所组成的高维空间中的离散数值内积运算中进行表示因此，与的内积表达的是同一个对象。

通过核函数，它不仅能把高维空间的运算转化为低维空间的运算，而且不需要指出高维空间的具体维数。多项式核函数(Polynomials)具有明确的数学意义,即将一个任意可导函数分解为一个多项式之和.它没有明确的物理意义.多项式核函数将低维空间映射到高维空间时,可以算出高维空间的具体维数.Gauss核函数:没有明确的数学意义,也没有明确的物理意义.将低维空间映射到无穷维空间,但是它具有生物意义,它是根据人眼成像的原理(对目标信息放大)核函数中支持向量如何得到呢??支撑向量(SV)支撑向量对每类来说，应该是该类中最具有代表性的特征向量，

分类是一个相对的问题，而不是一个绝对的问题。该类中最具有代表性的特征向量不一定具有可分性，而具有可分性的特征向量不一定是该类最有代表性的向量。某类的支持向量也应该是相对的，这是相对其它类而言的。目标：找到一个超平面，使得它能够尽可能多的将两类数据点正确的分开，同时使分开的两类数据点距离分类面最远。解决方法：构造一个在约束条件下的优化问题，具体的说是一个受限二次规划问题(constrainedquadraticprograming),求解该问题，得到分类器简单最优分类面满足条件条件一：对(xi,yi)分类方程g(x)=wx-b应满足条件二：空白长度=2x样本点到直线的距离=2xHH2分类间隔Margin=2/||w||H1最优分类面的数学表示已知：n个观测样本，(x1,y1),(x2,y2)……(xn,yn)目标：最优分类面wx-b=0这样得