基于遗传算法的BP神经网络算法课件

基于遗传算法的BP神经网络算法基于遗传算法的BP神经网络算法1目录1.简要介绍BP网络算法2.简要介绍遗传算法3.介绍基于遗传算法的BP网络迭代流程目录1.简要介绍BP网络算法2BP神经网络

(BackPropagationNeuralNetwork)其主要的学习过程是：将输入从输入层经隐层单元逐层处理，并传向输出层，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则将误差信号沿原来的连接通路反向传播，通过梯度下降法修改各神经元的权值，使误差信号最小。BP神经网络

(BackPropagationNeura3梯度下降循环求导更新w直到E(w)取得最小值，如果函数E(w)包含多个变量，那么就要分别对不同变量求偏导来更新不同变量的值。梯度下降循环求导更新w直到E(w)取得最小值，如果函数E4局部极小化问题传统的BP神经网络为一种局部搜索的优化方法，它要解决的是一个复杂非线性化问题，网络的权值是通过沿局部改善的方向逐渐进行调整的，这样会使算法陷入局部极值，权值收敛到局部极小点，从而导致网络训练失败。局部极小化问题传统的BP神经网络为一种局部搜索的优化方法，5遗传算法(GeneticAlgorithm)遗传算法是一种用于全局优化搜索的迭代算法模仿生物的遗传进化原理，通过选择(Selection)、交叉(Crossover)、变异(Mutation)等机制，使种群中个体的适应性(Fitness)不断提高核心思想：适者生存遗传算法(GeneticAlgorithm)遗传算法是一种6遗传算法特点优点：1）良好的并行性（操作对象是一组可行解；搜索轨道有多条）2）强大的通用性（只需利用目标的取值信息，无需梯度等高价值信息）3）良好的全局优化性和鲁棒性4）良好的可操作性缺点：1）大量计算（涉及到大量个体的计算，当问题复杂时，计算时间是个问题）2）稳定性差（算法属于随机类算法，需要多次运算，结果的可靠性差，不能稳定的得到解）遗传算法特点优点：7遗传算法基本流程Step1：开始Step2：参数编码Step3：初始化种群Step4：计算适应度Step5：判断是否满足终止条件，满足则直接执行Step10Step6：执行选择操作Step7：执行交叉操作Step8：执行变异操作Step9：产生新种群，返回执行Step4Step10：结束遗传算法基本流程Step1：开始8基于遗传算法的BP神经网络通过遗传算法优化BP神经网络的权值和阈值，可以达到克服BP神经网络原有的缺陷。种群中每个个体都包含一个网络所有权值和阈值，个体适应度的值由个体通过适应度函数来计算，遗传算法通过选择、交叉和变异操作找到最优适应度值对应个体。经过以上计算就得到了最适合的BP神经网络的网络初始权值和阈值。基于遗传算法的BP神经网络通过遗传算法优化BP神经网络的权值9基于遗传的BP算法流程图基于遗传的BP算法流程图10参数编码参数编码11选择操作(Selection)M个样本产生的均方误差：适应度(Fitness)：根据各个染色体的适应度函数值，利用轮盘法进行复制操作选择操作(Selection)12交叉操作(Crossover)DNA1DNA2NEWDNA交叉概率：交叉操作(Crossover)DNA113变异操作(Mutation)变异概率：变异操作(Mutation)变异概率：14性能比较BP算法实验时，选用的样本数是550，学习速率α=0.7，输人层结点14个(共有14个特征点)，输出层共有5个，隐含层9个。BP一GA算法实验时，选用的样本数是550，交换概率Pc=0.7，变异概率Pm=0.2，输人层结点14个，输出层结点5个，隐含层9个，种群规模300个。性能比较BP算法实验时，选用的样本数是550，学习速率α=015回填区地表沉降系数预测模型实验结果回填区地表沉降系数预测模型实验结果16小结基于遗传算法的BP神经网络算法结合了两个算法的优点，克服了BP算法中学习效率低、收敛速度慢、容易陷入局部最优等缺点。但是应当注意到，由于BP一GA算法在扩大种群规模的时候，其用于存储染色体的存储空间直线变大，对于网络结构比较复杂的神经网络更是如此，这也是该算法的一个缺点，有待于改进。小结基于遗传算法的BP神经网络算法结合了两个算法的优点，克服17参考文献[1]周志华.机器学习[M].北京,清华大学出版社,2016:97-107.[2]WenyuLv,MengWangandXinguangZhu.ModelforpredictionofsurfacesubsidencecoefficientinbackfilledcoalminingareasbasedongeneticalgorithmandBPneuralnetwork[J].JournalofComputationalMethodsinSciencesandEngineering16(2016)745–753.[3]王崇骏.一种基于遗传算法的BP神经网络算法及其应用[J].南京大学学报(自然科学),2003,39(5).[4]Xiao-MinMA,XinW.AnimprovedBPneuralnetworkalgorithmbasedongeneticalgorithm[J].JournalofYunnanUniversity,2013.[5]DingS,SuC,YuJ.AnoptimizingBPneural