神经网络设计专家讲座

神经网络设计神经网络设计专家讲座第1页生物学启示人脑含有巨大并行计算能力

–大脑约有1011个神经元

–每个神经元约有104个连接神经元相对于电子线路要慢许多

–10-3

秒相对于10-9秒树突（输入）轴突（输出）突触（权）细胞体神经网络设计专家讲座第2页神经元模型和网络结构神经网络设计专家讲座第3页单输入神经元输入通用神经元神经网络设计专家讲座第4页传输函数（激活函数）神经网络设计专家讲座第5页传输函数（激活函数）神经网络设计专家讲座第6页多输入神经元简化符号神经网络设计专家讲座第7页神经元层输入Ｓ个神经元层神经网络设计专家讲座第8页简化符号Ww11,w12,¼w1R,w21,w22,¼w2R,wS1,wS2,¼wSR,=b12S=bbbpp1p2pR=aa1a2aS=神经网络设计专家讲座第9页多层网络神经网络设计专家讲座第10页简化符号HiddenLayersOutputLayer隐层输出层神经网络设计专家讲座第11页感知机学习规则神经网络设计专家讲座第12页学习分类•

有监督学习（有导师学习） 提供网络一组能代表网络行为实例集合

(训练集)：•

增强学习（半监督学习） 仅提供一个级别(或评分)，作为网络在一些输入序列上性能测度。•

无监督学习（无导师学习） 学习仅依据网络输入来学会将输入模式分类

（聚类）。(输入,目标输出)。神经网络设计专家讲座第13页感知机结构Ww11,w12,¼w1R,w21,w22,¼w2R,wS1,wS2,¼wSR,=wiwi1,wi2,wiR,=WwT1wT2wTS=神经网络设计专家讲座第14页单个神经元感知机工作原理判定边界：n=w1,1p1+w1,2p2+b=0神经网络设计专家讲座第15页单个神经元感知机工作原理p1+p2–1=0神经网络设计专家讲座第16页判定边界• 全部在判定边界上点与权向量内积相同。• 这些点一定是在一条与权向量垂直线上。神经网络设计专家讲座第17页例子–“或(OR)”神经网络设计专家讲座第18页“或”解答（图解法）选择一个判定边界，把两类模式向量分割在两个区。能够实现这种划分边界有没有穷多个。合理选择是判定边界易于确定，且处于这两类模式向量间隔正中。在判定边界上取一点(0,0.5)来定偏值：选择与判定边界垂直权向量，该权向量能够是任意长度向量，它一样有没有穷多个。这里选择：神经网络设计专家讲座第19页“或”解答（图解法）方程法向量是权向量(与判定边界垂直)：方程常数项是判定边界偏置值：两点式直线方程：比如点(x1,y1)和(x2,y2)：选一个判定边界及其上两点得其方程：比如点(0.5,0)和(0,0.5)神经网络设计专家讲座第20页多神经元感知机•每个神经元将有自己判定边界：•单个神经元能够将输入向量分为两类。•一个有S个神经元感知机可将输入向量分为多类，共有2S种可能类别。神经网络设计专家讲座第21页感知机学习规则•为满足给定训练样本：•设计普通性方法来确定感知机权和偏置值。神经网络设计专家讲座第22页学习规则测试实例测试问题网络神经网络设计专家讲座第23页初始化将p1送入网络：随机初始化权：错误分类神经网络设计专家讲座第24页结构学习规则• 令1w

为p1 –前后振荡• 将p1加到1w上

–1w指向偏向p1规则：神经网络设计专家讲座第25页第二个输入向量(错误分类，见前图)修正规则：神经网络设计专家讲座第26页第三个输入向量三个模式现在都正确分类了(错误分类，见前图)神经网络设计专家讲座第27页统一学习规则偏置可视为对应输入为1权神经网络设计专家讲座第28页多神经元感知机权值矩阵第i行修改为：矩阵表示：神经网络设计专家讲座第29页苹果/香蕉例子训练集：初始权值：第一次迭代：et1a–10–1===神经网络设计专家讲座第30页第二次迭代神经网络设计专家讲座第31页检验神经网络设计专家讲座第32页学习规则能力•只要权值解存在（问题线性可分），该学习规则总能收敛到实现期望分类权值上。神经网络设计专家讲座第33页感知机不足线性判定边界处理不了线性不可分问题神经网络设计专家讲座第34页有导师Hebb学习神经网络设计专家讲座第35页Hebb规则突触前信号突触后信号简化形式无导师形式：有导师形式：矩阵形式：学习速度常数（设α＝１）神经网络设计专家讲座第36页线性联想器训练集:线性层输入神经网络设计专家讲座第37页批操作¼Wt1t2¼tQp1Tp2TpQTTPT==Tt1t2¼tQ=Pp1p2¼pQ=矩阵形式:(权矩阵初始化为０)神经网络设计专家讲座第38页性能分析0qk¹=情况１，输入向量为标准正交向量：所以网络输出等于对应目标输出：情况２，输入向量标准化了但不正交：误差神经网络设计专家讲座第39页例子香蕉苹果归一化原型模式权矩阵(Hebb规则)：测试：香蕉苹果神经网络设计专家讲座第40页仿逆规则-(1)Tt1t2¼tQ=Pp1p2¼pQ=||E||2eij2jåiå=性能参数：矩阵形式：神经网络设计专家讲座第41页仿逆规则-(2)最小化：若矩阵P逆存在,能够使得F(W)为零：当逆阵不存在，F(W)能够用仿逆规则最小化：当矩阵P行数Ｒ大于其列数Ｑ，且P列向量线性无关时，其仿逆为：神经网络设计专家讲座第42页与Hebb规则关系WTPT=Hebb规则仿逆规则假如原型模式正交：神经网络设计专家讲座第43页例子神经网络设计专家讲座第44页性能曲面和最优点神经网络设计专家讲座第45页性能学习性能学习优化分两步骤进行：找一个衡量网络性能定量标准，即性能指数：F(x)。性能指数在网络性能良好时很小，反之则很大。搜索减小性能指数参数空间(调整网络权值和偏置值)。下面将研究性能曲面特征，建立确保极小点(即所寻求最优点)存在条件。学习规则几个类型：

联想学习，竞争学习，性能学习。性能学习目标在于调整网络参数以优化网络性能。神经网络设计专家讲座第46页Taylor级数展开Fx()Fx*()xddFx()xx*=xx*–()+=12---x22ddFx()xx*=xx*–()2¼++1n!-----xnnddFx()xx*=xx*–()n¼++神经网络设计专家讲座第47页例子Taylor级数近似表示：F(x)在x*

=

0点Taylor级数展开式为：０阶近似：１阶近似：２阶近似：神经网络设计专家讲座第48页三个近似图形神经网络设计专家讲座第49页向量情况Fx()Fx*()x1¶¶Fx()xx*=x1x1*–()x2¶¶Fx()xx*=x2x2*–()++=¼xn¶¶Fx()xx*=xnxn*–()12---x122¶¶Fx()xx*=x1x1*–()2+++12---x1x2¶2¶¶Fx()xx*=x1x1*–()x2x2*–()¼++神经网络设计专家讲座第50页矩阵形式Fx()Fx*()Fx()ÑTxx*=xx*–()+=12---xx*–()TFx()xx*=xx*–()Ñ2¼++Fx()Ñx1¶¶Fx()x2¶¶Fx()¼xn¶¶Fx()=Fx()Ñ2x122¶¶Fx()x1x2¶2¶¶Fx()¼x1xn¶2¶¶Fx()x2x1¶2¶¶Fx()x222¶¶Fx()¼x2xn¶2¶¶Fx()¼¼¼xnx1¶2¶¶Fx()xnx2¶2¶¶Fx()¼xn22¶¶Fx()=梯度Hessian矩阵神经网络设计专家讲座第51页方向导数F(x)沿xi轴一阶导数(斜率):F(x)沿xi轴二阶导数(曲率):(梯度第i个元素)(Hessian矩阵第i,i

处元素)pTFx()Ñp-----------------------F(x)沿向量p一阶导数(斜率):F(x)沿向量p二阶导数(曲率):pTFx()Ñ2pp2------------------------------神经网络设计专家讲座第52页极小点点x*是F(x)强极小点，假如存在某个纯量d

>

0,使得当d

>

||Dx||

>

0时，对全部Dx都有F(x*)<F(x*

+

Dx)成立。－强极小点：点x*是F(x)唯一全局极小点，假如F(x*)<F(x*

+

Dx)对全部Dx≠０都成立。－全局极小点：点x*是F(x)弱极小点，假如它不是一个强极小点，且存在某个纯量d

>

0,使得当d

>

||Dx||

>

0时，对全部Dx都有F(x*)≦F(x*

+

Dx)成立。－弱极小点：神经网络设计专家讲座第53页例子StrongMinimumStrongMaximumGlobalMinimum神经网络设计专家讲座第54页向量例子神经网络设计专家讲座第55页一阶优化必要条件Fx()Fx*Dx+()Fx*()Fx()ÑTxx*=Dx+==12---DxTFx()xx*=DxÑ2¼++对很小Dx：假如x*是个极小点,则要求：假如则有这与x*是极小点相矛盾，所以唯一选择只有该式对全部Dx都必须成立Dx，即驻点：使得梯度为零点称为驻点(稳定点)。一个极小点一定为驻点，这是局部极小点一阶必要条件(不是充分条件)。神经网络设计专家讲座第56页二阶条件在x*将存在强极小点，假如对全部Dx

≠

0成立。Hessian矩阵正定是强极小点存在二阶充分条件。一个矩阵A是半正定，假如任意向量z，有：

假如一阶条件满足(梯度为０),则有一个矩阵A是正定，假如对任意向量z

≠

0，有：能够经过检验矩阵特征值来检验这些条件。假如矩阵全部特征值为正，则矩阵为正定矩阵；假如矩阵全部特征值非负，则矩阵为半正定矩阵。Hessian矩阵半正定是强极小点存在二阶必要条件。神经网络设计专家讲座第57页例子Fx()x122x1x22x22x1+++=(不是x函数)检验上述Hessian矩阵特征值来检验正定性。假如特征值全都大于零，则该矩阵是正定。两个特征值是正定，所以x*是强极小点。神经网络设计专家讲座第58页二次函数梯度性质：梯度和Hessian矩阵：二次函数梯度：二次函数Hessian矩阵：(A是对称矩阵)神经网络设计专家讲座第59页二次函数特点小结假如赫森矩阵全部特征值为正，则函数有一个强极小点。假如赫森矩阵全部特征值为负，则函数有一个强极大点。假如赫森矩阵全部特征值有正有负，则函数有一个鞍点。假如赫森矩阵全部特征值为非负，但一些特征值为零，则函数要么有一个弱极小点，要么没有驻点。假如赫森矩阵全部特征值为非正，但一些特征值为零，则函数要么有一个弱极大点，要么没有驻点。驻点：神经网络设计专家讲座第60页性能优化神经网络设计专家讲座第61页基本优化算法pk–搜索方向ak–学习速度or优化目标是求出使性能指数Ｆ(x)最小化x值。这里讨论迭代算法，设初始值为x0，然后按下式迭代：神经网络设计专家讲座第62页最速下降法选择下一次迭代使得性能指数函数减小：对x小改变F(x)可近似表示为（在xk一阶Taylor级数展开）：这里gk是在xk梯度：要使F(xk+1)<F(xk)，则Taylor展式第二项必须为负，即：满足上式任意向量称为一个下降方向。最速下降方向在哪里？当方向向量与梯度反向时，该内积为负，而绝对值最大(设长度不变，只改变方向)。所以最速下降方向向量为：神经网络设计专家讲座第63页例子神经网络设计专家讲座第64页图神经网络设计专家讲座第65页稳定学习速度(二次函数)稳定性由这个矩阵特征值决定.即(1–αli)是[I-aA]特征值。所以最速下降法稳定条件为：若二次函数有一个强极小点，则其特征值为正，上式可化为：假如矩阵[I-aA]特征值小于1，则该系统就是稳定。设li是A特征值，zi是A特征向量。那么神经网络设计专家讲座第66页例子神经网络设计专家讲座第67页沿直线最小化选择ak

最小化其中对二次函数，令该导数为0，可得ak

解析表示：神经网络设计专家讲座第68页例子神经网络设计专家讲座第69页图后继每一步都正交.Fx()ÑTxxk1+=pkgk1+Tpk==神经网络设计专家讲座第70页牛顿法求这个二阶近似式梯度并设它为零来得到驻点：神经网络设计专家讲座第71页例子神经网络设计专家讲座第72页图神经网络设计专家讲座第73页非二次函数例子驻点:F(x)F2(x)神经网络设计专家讲座第74页不一样初始情况F(x)F2(x)神经网络设计专家讲座第75页牛顿法特点牛顿法是在当前初始点确定原函数F(x)二次近似驻点，它并不区分极小点、极大点和鞍点假如原函数为二次函数（有强极小点），牛顿法能够实现一步极小化假如原函数不是二次函数，则牛顿法普通不能在一步内收敛，甚至有可能收敛到鞍点和发散（最速下降法能够确保收敛，假如学习速度不太快）神经网络设计专家讲座第76页共扼向量对于一个正定Hessian矩阵A,称向量集合是两两共扼假如下式成立:矩阵A特征向量组成一个共扼向量集合.(对称矩阵特征向量是正交.)已经证实，假如存在沿一个共扼方向集准确线性搜索序列，就能在最多n次搜索内实现含有n个参数二次函数准确最小化。问题是怎样结构这些共扼搜索方向而毋须先求Hessian矩阵？即找到一个不需要计算二阶导数方法。神经网络设计专家讲座第77页对于二次函数在第k+1次迭代梯度改变是其中共扼条件可重写成：这不需要Hessian矩阵了。神经网络设计专家讲座第78页结构共扼方向选择初始搜索方向为梯度反方向。结构后继搜索方向为共扼方向，即使后继向量pk与{Δg0,Δg1,…,Δgk-1}正交。类似Gram-Schmidt正交化过程（第五章介绍），可有以下简化迭代式：其中oror神经网络设计专家讲座第79页共扼梯度算法第一次搜索方向是梯度负方向。选择学习速度来沿直线最小化。用下式确定下一个搜索方向：假如算法不收敛，回到第二步。一个有n个参数二次函数将在n步内被极小化。(用于二次函数)神经网络设计专家讲座第80页例子神经网络设计专家讲