神经网络模型及算法简介课件

神经网络算法

简介智能算法之一（1）具有高速信息处理的能力（2）知识存储容量大（3）具有一定的不确定性信息处理能力（4）具有健壮性（5）善于处理非线性的系统的能力神经网络算法的特点（1）模式识别图像识别、语音识别、手写体识别等。（2）信号处理特征提取、燥声抑制、统计预测、数据压缩、机器人视觉等。（3）判释决策模糊评判、市场分析、系统辩识、系统诊断、预测估值等。（4）组合优化旅行商问题、任务分配、排序问题、路由选择等。（5）知识工程知识表示、专家系统、自然语言处理、实时翻译系统等。神经网络的应用领域神经网络的基本思想对于第i个神经元的输入：与第i个神经元连接的相应权值为：神经元本身的阀值为则输出Y可表示为：即输出与输入有兴奋与抑制两种状态，兴奋时取值1，抑制时为0。神经网络的分类主要从网络结构和学习方式两方面分类。1.按网络结构分为：前馈网络和反馈网络。前馈网络反馈网络神经网络的分类2.学习方式：有导师学习无导师学习神经网络的学习规则

关键在于如何决定每一神经元的权值。

常用的学习规则有以下几种：Hebb规则Delta规则(最小均方差规则

)反向传播学习方法Kohonen学习规则(用于无指导训练网络)Grosberg学习方法神经网络常用模型共70多种，具有代表性的有：（1）感知器（Perceptron）（2）多层前馈（BP）网络

（3）Hopfield网络(优化)（4）Boltzmann机（在BP中加入噪声）（5）双向联想记忆网络（快速存储）（6）盒脑态（单层自联想，可用于数据库提取知识）（7）自适应共振网络（可选参数，实现粗分类）（8）对传网络（组合式，可用于图像处理）……BP神经网络模型

BP(BackPropagation)网络是一种按误差反向传播的多层前馈网络。输入层隐层输出层基本思想:

学习过程分为两个阶段：第一阶段(正向传播过程)；给出输入信息通过输入层经各隐层逐层处理并计算每个单元的实际输出值；第二阶段(反向过程)：若在输出层未能得到期望的输出值，则逐层递归地计算实际输出与期望输出之间的差值(即误差)，通过梯度下降法来修改权值，使得总误差函数达到最小。BP神经网络模型

BP网络算法思想

以三层BP网络为例。假设网络的输入、隐层、输出节点数分别为n,q,m个，P个样本点。隐层第k个节点的输出为：

输出层第j个节点的输出为：

其中函数f(.)为传递函数。又假设理想(目标)输出为tpj。则定义全局误差函数为BP网络算法思想

一般的传递函数：1.极限函数(hardlim)2.对称函数(hardlims)3.对称饱和线性函数(satlins)6.竞争函数(compet)4.S形函数(logsig)5.双曲正切S形函数(tansig)BP网络算法思想

权值调整公式(梯度下降法)：（1）输出层权值的调整称为学习率，一般取值范围为0.1~0.3。定义误差信号（2）隐层权值的调整BP网络算法思想

BP网络的性能分析BP网络的缺陷：收敛速度慢易陷入局部极小网络结构难以确定泛化能力差……BP算法的改进主要分为六个方面：（1）学习率的改进若学习率过大，可以提高收敛速度，但可能导致振荡现象甚至发散；相反地，若学习率过小，可以保证训练能稳定的收敛，但学习速度慢。退火算法：开始时设置学习率高(0.7-0.9),随学习次数增加而减少。或BP算法的改进（2）误差函数的改进一般情形随着学习次数的增加，越来越小，会导致函数逼近速度减慢。BP算法的改进（3）激励函数的改进导致误差曲面出现“平台”现象。或提出一些新型的激励函数：1.高斯函数2.三角函数3.双极性压缩函数4.分段函数（4）网络初始权值的选取BP算法的改进初始权值对于权值学习是否达到最优解和算法收敛快慢关系很大。一般是随机产生。（1）使用Cauchy不等式和线性代数方法得到最优初始权值；（2）利用独立元分析（ICA）方法；（3）采用遗传算法来初始化权值。……（5）优化网络结构BP算法的改进关键是隐层的层数与隐节点的数目。隐节点过少，学习过程不可能收敛到全局最小点；隐节点过多，网络性能下降，节点冗余。（6）改进优化算法主要有共轭梯度法、Newton法、Gauss－Newton法、Levenberg-Marquard法等2004级胡上蔚同学的工作：BP算法的改进1.基于三项BP算法的最优学习参数估计

分别为学习因子、动量因子和比例因子。2.修改误差函数新的BP学习算法

为标准误差函数，为隐层饱和度，2004级胡上蔚同学的工作：BP算法的改进3.放大误差信号

在[0，0.5)上，理论上证明：算例效果图：BP算法的改进2006级孙娓娓的工作：BP算法的改进1.放大误差信号

2006级孙娓娓的工作：BP算法的改进1.放大误差信号

算例：函数逼近问题标准BP算法改进BP算法2006级孙娓娓的工作：BP算法的改进2.BP网络的联合优化

(1)自适应调节学习率(2)动态调整激励函数的参数算

法迭代步数训练10000次的误差测试样本识别率标准BP算法20000次内无法实现0.005256.67%加动量项法78390.001389.7%自适应学习率法3044.5951e-01193.33%改进算法262.3271e-029100%乳腺癌数据分类问题的实验结果对照表2006级孙娓娓的工作：BP算法的改进3.遗传算法与BP网络结合的模型

先用改进的遗传算法在整个权值空间和结构空间中进行粗略搜索，来代替一般初始权值的随机选取和网络结构的经验设定，然后采用BP算法进行寻优，最终得到问题的精确或近似全局最优解。实际应用问题1、蠓虫的分类问题2、DNA序列分类问题3、癌症诊断问题……P=[1.24 1.361.381.381.381.41.481.541.561.141.181.21.261.281.3;1.721.741.641.821.91.71.821.822.081.781.961.862.02.01.96];%目标向量T=[111111111000000];%建立一个感知器net=newp([03;03],1);%网络训练次数net.adaptParam.passes=100net=adapt(net,P,T);%输出仿真结果Y=sim(net,P)%利用训练好的感知器进行分类p=[1.24,1.28,1.4;1.8,1.84,2.04];a=sim(net,p)a=111准确率达到100%。ApfAfDNA序列模式分类问题一、问题

已知序列标号1—10为A类，序列标号11-20为B类。待判断的序列标号21—40。例如A、B类的片段：a1='aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg';b1='gttagatttaacgttttttatggaatttatggaattataaatttaaaaatttatattttttaggtaagtaatccaacgtttttattactttttaaaattaaatatttatt';……二、特征提取序列特征主要有两个：1、碱基的含量，反映了该序列的内容；统计a、g、t、c序列中分别出现的频率；2、碱基的排列情况，反映了该序列的形式；①从字符出现的周期性来反映。②统计三个字符出现的频率；在遗传学中每三个碱基的组合被称为一个密码子，如agg，att，ggc,cgg等，共有43=64个，还可以由密码子组成20个氨基酸。三、神经网络对DNA序列分类问题的应用a1='aggcacggaaaaacgggaataacggaggaggacttggcacggcattacacggaggacgaggtaaaggaggcttgtctacggccggaagtgaagggggatatgaccgcttgg';编程统计出该片段的字符串（ttt,tta,ggc,cgg,gga）的频数分别为：（0，1，5，7，10）经过统计计算，得到已知类别的输入向量：p=[01051322211918231743122171923;12041114011315131199214127;5580109571190010003100;71016211965860001003200;10111521112129562111011011];待判类别的输入向量：P=[9231331531032659222216218;744859612331247324410210;00415021702204213121;02801150701303311102;23912181502115413112];由前20个已知类别的DNA序列片段可以构造出目标向量：t=[11111111110000000000];1、应用感知器对DNA序列进行分类：（DNAper1.m）net=newp([01;01;01;01;01],1);net.adaptParam.passes=110net=adapt(net,p,t);Y=sim(net,p)%回代检验a=sim(net,P)%对待判类别的序列进行分类A类B类a=01100010100001101000回代检验结果是100%的准确。待判序列的分类结果：A类：22，23，27，29，34，35，37；B类：21，24，25，26，28，30，31，32，

33，36，38，39，40；输出结果：误差曲线图2、应用BP网络对DNA序列进行分类：（DNAbp.m）net=newff([020;016;012;012;013],[51],{'logsig''purelin'},'traingdx');net.trainparam.show=100;net.trainparam.lr=0.5;net.trainparam.mc=0.8;n