非线性参数估计的数值方法

1、非线性参数估计的数值方法E-mail: 1 提 要概述神经网络算法遗传算法模拟退火算法2一、神经网络算法人工神经网络（Artificial Neural Network，简称神经网络或ANN）是模拟人脑信息处理机制的信息系统，如自组织、自适应、容错性等具有自组织、自适应、容错性；思维、学习、记忆等能力；通过学习和记忆而不是假设，找出输入、输出变量之间的非线性关系（映射）31.1、神经网络的特点分布式存储信息。自适应性。具有自我调节的能力，包含：学习、自组织、泛化及训练。并行性。联想记忆功能。自动提取特征参数。容错性。41.2、神经元模型神经元：生物神经系统是由大量神经细胞（神经元）组成的一个复

2、杂的互联网络。神经元的数学模型： 表示神经激条件， 时，输出元素yk 51.2、神经元模型(续)激活函数： 激活函数f (z)有以下几种形式：1、阈值函数：2、非线性斜面函数：3、Sigmoid函数：61.2、神经元模型(续)神经网络模型两层模型的输出：71.3、典型的神经网络模型BP网络模型：BP算法是非循环多级网络的训练算法，该算法的学习过程由正向传播和反向传播组成。Hopfield网络模型： Hopfield网络是一种简单且应用广泛的反馈网络模型。模糊神经网络（FNN）：神经网络与模糊逻辑有机结合，有两类：1）神经网络中应用模糊逻辑规则；2）模糊逻辑规则用神经网络来实现。81.4、神经网

3、络的学习与推理方法BP网络的学习：其实质是确定相邻层神经元间的连接权，有两类学习：有教师学习和无教师学习；前者已知网络的目标输出，后者则无目标输出。BP网络的学习规则：输入 x，网络输出y ，与目标输出d 间存在误差，调节连接权和阈值，使误差减小，达到不大于目标误差的要求。取连接权 和输入 ，输出为：误差函数为：9误差的导数 ：1.4、神经网络的学习与推理方法(续)其中：；因此，有代入最速下降法迭代关系，得学习规则：， 10BP网络的学习过程1.4、神经网络的学习与推理方法(续)1、信息的正向传播过程：从第r1层到第r层传播，输入为：输出为：，其中：从输入层通过隐层到输出层的传播为：111.4

4、、神经网络的学习与推理方法(续)2、误差的反向传播过程误差函数：连接权和阈值的更公式 ：， ，输出层：隐层：，误差反向传播过程可表示为：121.4、神经网络的学习与推理方法(续)3、基本BP算法：基本BP算法的具体步骤如下：（1）输入共有q组训练样本的样本集（2）设计网络层数，每层神经元数，激活函数；权值和阈值初始化； 设置目标误差，学习速率，最大训练次数T。（3）初始化训练次数t = 0。（4）p = 1，总误差E = 0。（5）输入网络一对训练样本（6）通网络将输入模式的正传播，计算网络的输出。 初值：逐层计算输出：最后一层输出：131.4、神经网络的学习与推理方法(续)基本BP算法（7）

5、计算 的网误差 （8）通过网络将反向传播。 最后一层： 逐层计算：（9）修正网络的权值和阈值。（10）如果p q，那么p = p1，转到（5）；否则，转到（11）。 。 （11）（12）如果E ，那么训练成功，转到（14）；否则，转到（13）。（13）如果t T，那么t = t1，转到（4）；否则，训练未成功，转到（14）。（14）结束。14二、遗传算法原理遗传算法（Genetic Algorithm，GA）：起源于应用计算机模拟生物进化系统。基本原理：1）将优化问题离散后的各个可行解“编码”成“个体”（或染色体），一群个体组成“种群”；2）将参数编码个体（如二进制字符串），各个字符（二进制码

6、0或1）称为“基因”；3）父代初始种群随机产生；4）模拟生物进化，选择“适应度”（如优化问题的目标函数）高的个体，进行“交叉”和“变异”操作，生成子代种群。“选择”、“交叉”和“变异”是遗传算法的三个基本操作算子；5）对子代种群，再进行选择、交叉和变异操作，直至收敛；6）收敛的最优个体，对应于问题的最优或次优解。152.1 遗传算法计算步骤遗传算法的计算步骤：对参数离散化，确定编码方案，随机给定一组初始解，确定初始化种群；用适应度评价这组解的性能；根据评价结果，选择一定数量性能优异的解，进行交叉、变异操作，得到一组新的解；返回到第2步，对该组新的解进行评价；若评价结果满足要求或进化过程达到设定

7、的代数，计算结束；否则转向第3步，继续进行交叉、变异操作。16遗传算法原理框图172.2 介绍遗传算法结合的简单算例【例7.2】对某两点的距离用不同的方法丈量了5次，相应的观测值和观测权如表7.7所示，用遗传算法求解该段距离的最优估值。182.3 遗传编码与译码参数空间到GA编码空间的映射称为编码；从编码空间到参数空间的映射为解码。参数空间中所有的点（潜在解）必须与GA编码空间中的个体必须一一对应，称为编码条件。192.3 遗传编码与译码个体位串编码空间到参数空间的映射为译码，译码函数为：20算例的编码长度为L=5的二进制编码。编码精度为序号位串实参数适应值序号位串实参数适应值00000020

8、.10009.99178161000020.15169.9965810000120.10329.99329171000120.15489.9955220001020.1065 9.99463181001020.15819.9943030001120.10979.99581191001120.16139.9929240010020.11299.99683201010020.16459.9913750010120.11619.99769211010120.16779.9896760011020.11949.99839221011020.17109.9878170011120.12269.99893

9、231011120.17429.9857880100020.12589.99931241100020.17749.9836090100120.12909.99953251100120.18069.98125100101020.13239.99959261101020.18399.97875110101120.13559.99949271101120.18719.97609120110020.13879.99923281110020.19039.97326130110120.14199.99881291110120.19359.97028140111020.14529.9982330111102

10、0.19689.96713150111120.14849.99749311111120.20009.96382212.4 适应度函数222.5 遗传算子选择算子：轮盘赌式选择法规模为n的种群若个体适应值为 该个体被选择的概率为被选择到的期望数目：排序选择法：各个体的适应值满足降序排列，即：各个体被选择的期望数量按等差序列排列：232.5 遗传算子交叉算子：交叉操作的主要步骤如下：1、从交配池中随机取出交叉操作的一对个体；2、位串长度L，交叉点数K，在0, L-1中随机选择K个基因位作交叉位置；3、根据交叉位置，按交叉概率交换配对个体部分内容，形成一对新的个体。单点交叉:交叉后:多点交叉(3点)

11、:交叉后:242.5 遗传算子均匀交叉: 每一位基因按交叉概率1/2，进行交叉操作。个体位串：交叉生成：其中：252.5 遗传算子变异算子按小概率 改变个体基因的值，其作用：1）改变遗传算法的局部搜索能力。 2）维持种群的多样性，防止出现早熟现象。经变异生成：则有：26遗传算例选择操作：根据例7.2的数据，适应度函数（7.4.12）式，在 采用L=5的二进制编码。若种群规模为n=4，随机抽样初始种群；根据适应值排序选择个数为（2，1，1，0）27遗传算例交叉操作：按交叉概率0.8进行交叉操作得交叉操作的基因位：确定交叉操作的概率：28遗传算例变异操作：按变异概率0.05实施变异操作 在此基础上

12、，再用排序选择结合精英选择确定进入交配池的种群，再实施交叉和变异操作，直到适应值指标或最大进化代数达到设定的要求。事实上，表7.11中的最优个体位串01011的实参数20.1355已经接近(7.4.2)式给出的最优解20.1318。292.6、终止判断与控制参数的选择终止判断 预先设定的遗传代数则终止遗传算法 前后两代的最优目标函数值和平均目标函数值相同时控制参数的选择 编码长度： 种群规模n 种群进化代数 选择交叉概率 变异概率等。302.7 遗传算法的特点遗传算法适合求解多参数、多变量、多目标和多区域且连通性较差的优化问题。遗传算法从一个种群即多个点而不是一个点开始搜索。遗传算法仅用适应值

13、来评价个体的性能，基本上不需要搜索空间知识或其它辅助信息。遗传算法与神经网络等算法有较好的兼容性。遗传算法不是采用确定性转移规则，而是采用随机转移规则来引导搜索过程朝着更优的解区域移动。31三、模拟退火关于模拟退火的发展: 1953年，Metropolis E., Rosenbluth A., Rosenbluth M., Teller A., and Teller E., 发表在 J Chem Phys.1983 年，Kirkpatrick, Gelatt and Vecchi 发表在Science .现在广泛用于科学与工程的各种领域。1985 应用于地球物理, 2001应用于大地测量 ？这

14、部份摘自徐培亮的讲稿32模拟退火的物理背景: 将固体加热成液体，使其原子自由排列; 将液体冷却，使其结晶，变成为理想结晶态. 理想结晶态： 物理上能量最小的状态； 数学上全局最优.3.1 模拟退火的物理背景33Basic elements of Simulated annealingHow to translate the physical process of annealing into a mathematical algorithm?Problems to Solve:How to connect it with optimization? the energy state = cos

15、t functionHow to cool mathematically? evolving the state = searching3.2 模拟退火的物理背景343.3 模拟退火算法步骤1 Starting with an initial state (point);2 Perturbing the current state (point);3 Deciding whether the perturbed state can be accepted;4 Repeating the above procedure.2 Perturbing the current state (point)

16、Original Metropolis algorithm random sampling with a uniform distribution to move from one point to the next;3 Deciding whether the perturbed state can be accepted (i) If an improved solution is obtained, accepted; (ii) Otherwise, use a probability to decide its fate.35Example: SA Algorithm is the o

17、bjectivefunction.after Aarts and Korst (1989)Here to decide whether a worse move should be accepted, with a probability a kind of perturbation This parameter plays the role of temperature.36Example: A very fast SA AlgorithmMain points from basic:Draw random numbers by using 1D Cauchy for each compon

18、ent to count for different scalings;(2) Use different cooling schedules during iterations, depending on the ratio of maximum function derivative to its current derivative value.(Inger 1989)can be a problem itself37Example: SA Algorithmwith Cauchy distributionto randomly move to the next point. (after Sen & Stoffa 1995)Obviously, if T is small, only points near the current state will have a chance to select. 38Example: SA Algorithm with different cooling schedules (after Sen & Stoffa 1995)39Example: Liu et al. (1995) reported the failure of SA to find the gl