传统BP与遗传算法简介课件

传统BP与遗传算法简介汇报人：传统BP与遗传算法简介汇报人：11：单神经元模型

2：传统的BP神经网络

3：传统的遗传算法

4：总结1：单神经元模型2

1单神经元模型

如图中为神经元的内部状态，为阈值，为输入信号，，为表示从单元到单元的连接权系数，为外部输入信号。神经元模型可描述为：其中为激活函数（进行非线性化）1单神经元模型神经元模型可描述为：其中为激活函数32传统BP神经网络

BP算法又称为误差反向传播算法，它是一个迭代算法，其基本思想是梯度下降法。采用梯度搜索技术，使网络的实际输出值与期望输出值的误差均方值为最小。

输入层隐含层输出层2传统BP神经网络输入层隐含层输出层4前向传播：将训练集数据输入到神经网络的输入层，经过隐藏层，最后达到输出层并输出结果。神经元h1的输入加权和：神经元h1的输出：神经元h2的输出：神经元h2的输入加权和：输入层

隐含层：前向传播：将训练集数据输入到神经网络的输入层，经过隐藏层，最5神经元o1的输入加权和：神经元o1的输出：神经元o2的输入加权和：神经元o2的输出：隐含层

输出层：这样前向传播的过程就结束了，之后计算期望值与输出值之间误差，对误差进行反向传播，更新权重与阈值，重新计算输出。神经元o1的输入加权和：神经元o1的输出：神经元o2的输入加62.反向传播：计算期望输出值与实际输出值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；同时在反向传播的过程中，根据误差调整相连神经元的权重和阈值，使得总损失函数减小。计算损失函数：输出层

隐含层：权值与阈值更新（以w5、b2与w1、b1为例）：w5对整体损失产生的影响：由梯度下降法，权值的修正值

与E的梯度成正比，更新w5、b1：2.反向传播：计算期望输出值与实际输出值之间的误差，并将该7隐含层

输入层：w1对整体损失产生的影响：更新w1与b1：同理可以求出其它权值与阈值，通过不断迭代上述三个步骤，更新权重与阈值（即对数据进行反复训练），直到误差满足条件后停止。由于传统的BP网络是通过梯度下降法进行学习，随机生成权值和阈值，如果这两个初始参数选择不当，网络就会出现局部最优或收敛速度慢等问题。隐含层输入层：w1对整体损失产生的影响83遗传算法遗传算法（GeneticAlgorithm,GA）借鉴了达尔文的进化论和孟德尔的遗传学说。其本质是一种高效、并行、全局搜索的优化方法。GA中每一条染色体，对应着一个解决方案，一般我们用适应性函数来衡量这个解决方案的优劣。所以从一个基因组到其解的适应度形成一个映射。可以把其过程看作是一个在多元函数里面求最优解的过程。3遗传算法遗传算法（GeneticAlgorithm,9例如我们用GA算法在既定的区间找到以下函数的最大值1.个体编码将x表达为基因的过程，称之为编码，常见的编码格式有二进制编码和浮点编码。此处采用9位二进制进行编码：将x的区间[-1,2]进行编码：那么其精度为：例如我们用GA算法在既定的区间找到以下函数的最大值1.个体10离散点-1到离散点2，分别对应于从000000000(0)到111111111(512)之间的二进制编码000000000或111111111都表示一个个体的基因型（如果有多个变量，则直接串联起来构成一个基因型），表示一个可行解2.初始群体的产生遗传算法是对群体进行的进化操作，需要给其淮备一些表示起始搜索点的初始群体数据。本例中，群体规模的大小取为103.适应度计算遗传算法中以个体适应度的大小来评定各个个体的优劣程度，从而决定其遗传机会的大小。本例中，由于是以求函数最大值为优化目标，故可直接利用目标函数值

作为个体的适应度离散点-1到离散点2，分别对应于从000000000(0)11则各个个体被选中的概率（生存概率）为：4.选择运算

进行优胜劣汰的方法是：每次从群体中随机抽取p个人，将p个人中适应度最好的保留下来，重复N次，得到N个保留下的个体形成下一代。很明显，适应度评分越高的个体被选中的概率越大。5.交叉运算

交叉指的是交换染色体片段后产生两个新的后代，例如典型的单点交叉方式：随机选择两个个体组成一个父母对进行交叉，按照以下的方式产生新的子代。则各个个体被选中的概率（生存概率）为：4.选择运算126.变异运算

变异的作用，指的是染色体的某个基因片段或者某个基因点发生突变。例如单点突变可以通过下图进行表示：

突变的作用，是希望能够摆脱局部最优点，往更好的地方去。但是效果具有很大的随机性。7.个体解码6.变异运算变异的作用，指的是染色体的某个基因片段13将个体解码为十进制公式为：遗传算法流程图：将个体解码为十进制公式为：遗传算法流程图：14效果图：第一代适应度的平均值为2.025，