地球物理反演理论-非线性反演问题pps-武汉大学课件

地球物理反演理论地球物理反演理论课题组武汉大学测绘学院地球物理反演理论地球物理反演理论课题组武汉大学测绘学院1、梯度法2、牛顿法3、共轭梯度法（ConjugateGradientMethod）4、变尺度法5、蒙特卡洛法6、模拟退火法7、遗传算法（simulateannealing）8、人工神经网络（ANN）法9、多尺度反演（Multi-ScaleInversion）10、R.Parker法非线性反演方法1、梯度法非线性反演方法非线性反演方法所谓非线性问题，是指观测数据和模型参数之间不存在线性关系。这种非线性关系既可能呈显式，也可能呈隐式。本章要讲的是目前地球物理资料反演中常用的一些非线性反演方法。它不涉及线性化，而是直接解非线性问题，实现从数据空间到模型空间的直接映射。不管是哪一类的反演问题，归根结底，反演过程都是一个对目标函数(或概率、概率密度)的最优化过程，只是实现最优的途径和方法不同罢了。非线性反演方法所谓非线性问题，是指观测数据梯度法

梯度法又称最速下降法（thesteepestdescentmethod）、最速上升法（thesteepestascentmethod）或爬山法。梯度法是一种古老的反演方法，在地球物理的发展过程中曾起过重要的作用，而且，直到目前仍有一些地球物理资料的反演问题仍采用梯度法求解。梯度法梯度法又称最速下降法（thesteepes梯度法

在模型参数和观测数据呈隐式的情况下，有：（5.1）设：（5.2）令：梯度法在模型参数和观测数据呈隐式的情况梯度法

如将这些非线性函数过程下式，并称之为目标函数：（5.3）显然，的零极值点，就是方程（5.1）式的解。当观测数据和模型参数呈显函数的情况下，在范数意义下，目标函数写为：式中：为观测值；为在第

r次迭代时之理论值。梯度法如将这些非线性函数过程下式，并称之为目标函数梯度法

同样，的极小值所对应的模型参数，就应该是待求模型的解。在多维空间中，一般来说，函数是一个高次曲面。以二维空间为例，此时所形成的曲面与平行的平面之切点就是它的极小值点（图5-1）。极小值点对应，，就是观测数据对应模型之值。如果用（是常数，相当于一系列平行于的平面），与空间曲面相截，可以得到一族平面曲线，将它们投影到平面上，如图5-2所示，称为曲面的等高线族。由外向内，值不断下降，当达到极小点时，即为函数的极值。梯度法同样，的极小值所对应的模型参数，图5-1目标函数空间曲面的示意图图5-1目标函数空间曲面的示意图图5-2用等高线表示的目标函数图5-2用等高线表示的目标函数梯度法

在任意一个初始模型处等高线的法向方向，就是函数在该点的梯度方向，即有：梯度法在任意一个初始模型处等高线的法向方向梯度法

沿的方向是值上升最快的方向。因此，其反方向为：（5.4）就是值下降最快的方向。梯度法，就是从一个初始模型出发，沿负梯度方向搜索函数极小点的一种最优化方法。不难理解，沿目标函数的负梯度方向搜索，只要步长适当，经过反复迭代，最终总可以达到目标函数的极小点。用梯度法反演求取目标函数的极小点时，一要有一个初始模型，二是要沿负梯度方向，三是要有一个合适的步长。下面研究步长因子的求法：梯度法沿的方向是值上升最快的方向。因此梯度法

设第i次搜索迭代时函数的负梯度方向的单位矢量为：（5.5）则模型参数的改正量为：式中：称为搜索（或校正）步长。将目标函数进行台劳级数展开有：（5.6）梯度法设第i次搜索迭代时函数的负梯度方向的梯度法

将（5.5）式代入（5.6）式，则得步长计算式：第二种计算步长的方法是内插法。如对目标函数计算几个不同的步长值，然后用抛物线方程对之进行拟合，抛物线之极小点就是最佳步长值。第三种方法为固定步长法。即在整个搜索的过程中，步长保持不变，只要每次迭代时满足即可接受。（5.7）梯度法将（5.5）式代入（5.6）式，则得步长计算牛顿法

设目标函数在点附近按台劳级数展开，并忽略二次以上高阶项以后得：（5.8）式中：（梯度向量）（模型参数的改正向量）牛顿法设目标函数在点附近按台劳牛顿法

（Hessian矩阵）牛顿法（Hessian矩阵）牛顿法

对（5.8）式再求一次导数，并设：（5.9）则得：写成递推公式，得：牛顿法对（5.8）式再求一次导数，并设：（5.9）牛顿法

牛顿法的不足之处在于Hessian短阵的计算工作量很大，而且其逆往往会出现病态和奇异的情况。梯度法和牛顿法利用了目标函数的不同性质，前者利用了目标函数在初始模型处之梯度，即一阶偏导数，后者不仅利用了梯度，而且利用了目标函数的曲率，即二阶偏导数。因此它们具有不同的特性。前者在远离极小点的地方收敛较快，而后者在极小点附近收敛比梯度法要快。图5-3是牛顿法搜索目标函数极小点的示意图。牛顿法牛顿法的不足之处在于Hessian短阵的计算图5-3牛顿法搜索极小点示意图图5-3牛顿法搜索极小点示意图共轭梯度法

1、共轭向量的定义设目标函数为二次函数，即：（5.10）式中和都是N维的向量，为N*N阶对称、正定矩阵，为常数。定义：若存在：（5.11）则称，相对是共轭的。共轭梯度法1、共轭向量的定义（5.10）式中和共轭梯度法

1、共轭向量的定义与本节内容有关的共轭向量的性质及其求法：1）设有一组M个N为向量彼此相对H共轭，即：则一定是线性无关的。2）关于H共轭的一组向量的求法设是一组线性无关的向量，通过线性组合，可得到一组M个彼此成H共轭的向量。共轭梯度法1、共轭向量的定义则一定是共轭梯度法

1、共轭向量的定义设，取，求与共轭的向量取由于与对H共轭，故所以：（5.12）共轭梯度法1、共轭向量的定义由于与对H共轭，故共轭梯度法

1、共轭向量的定义故与是共轭的。设已求出，它们是彼此H共轭，求一个向量与都H共轭。即：（5.13）使与成H共轭，即有：共轭梯度法1、共轭向量的定义与是共轭的。（5.13）共轭梯度法

将（5.13）式代入上式，得：（5.14）与成H共轭。若取，便得到M个彼此H共轭的向量。将（5.14）式代入（5.13）式，得：（5.15）共轭梯度法将（5.13）式代入上式，得：（5.14）与共轭梯度法

2、共轭梯度法的原理第一步，设第二步，求，其中第三步，求，按上述方法求得的向量彼此是H的共轭向量共轭梯度法2、共轭梯度法的原理第二步，求共轭梯度法

2、共轭梯度法的原理第四步，沿共轭梯度方向上式目标函数的极小点。设沿方向进行第K次搜索时，应满足：设目标函数在处是二次函数，即：或（5.16）共轭梯度法2、共轭梯度法的原理沿方向进行第K次搜索共轭梯度法

2、共轭梯度法的原理根据复合函数的极值理论设，则：可得：（5.17）共轭梯度法2、共轭梯度法的原理设，则：可共轭梯度法

2、共轭梯度法的原理设K=0，即在第一次迭代时，不难看出，如果目标函数是二次型，则沿共轭方向最多各进行一次搜索，就可以找到目标函数的极小点的位置。若非准确的二次函数，则上述搜索过程必须进行反复迭代，直到搜索到目标函数的极小点为止。在共轭梯度法中，每次迭代都必须重新计算初始模型所对应和，及相应的共轭方向，因此，计算量仍然很大。（5.18）共轭梯度法2、共轭梯度法的原理不难看出，如果目标函数是二次变尺度法

以Huang的变尺度法为例说明变尺度法的原理和实施步骤由共轭向量求与之成H共轭的方向，存在如下通式：（5.19）其中：（5.20）设想从点的负梯度方向左乘一个矩阵，就得出与共轭的方向。能否对建立起一个迭代关系，由产生，使：变尺度法以Huang的变尺度法为例说明变尺度法的原理和实施变尺度法

（5.21）能和共轭。假定已知，求出了，并记（5.22）此时，有了便可以求出；同样，有了也可以求出。于是，我们的任务就是如何选取，使从（5.23）求出的具有上述性质。变尺度法（5.21）能和共轭。假变尺度法

为使与关于H共轭，应有：所以令：若对也有：已知：就有：变尺度法为使与关于H共轭，变尺度法

则由得出：所以，将上式中的j换为K，则：（5.24）式和（5.25）式又可改写为：（5.24）（5.25）变尺度法则由得出：所以，将变尺度法

设目标函数为二次型，即：如以左乘，并利用：则（5.24）式可改写为：（5.26）（5.27）变尺度法设目标函数为二次型，即：如以左乘变尺度法

如果能求出满足（5.26）式和（5.27）式的，则利用（5.23）式便能求出满足以上要求的，也就建立起了迭代关系。由上述迭代关系可以看出，变尺度法是从尺度（可以是单位矩阵）开始，由求得。求时，是通过改变尺度为而不是改变系数为，使得和为共轭方向。然后，再改变尺度为，而不是求取系数，使求得的与，成共轭。如此反复，直至求出位置。变尺度法如果能求出满足（5.26）式和（5.27）式的变尺度法

Huang给出了如下关系，并令：（5.28）式中：，为两个需要加以选择的量。Huang选择中的，满足：变尺度法Huang给出了如下关系，并令：（5.28）式中：变尺度法

下面是Huang提出的求取，的公式，因为：所以：变尺度法下面是Huang提出的求取，的公式变尺度法

所以只要取：（5.29）参数，，，满足：便满足和。将（5.29）式代入上两式，于是五个参数，，，，应满足两个关系式，所以独立参数只有三个。变尺度法所以只要取：（5.29）参数，，变尺度法

选定了，，，，满足的条件，便可根据（5.29）求出，。从而算出，将代入（5.26）式就可求得，将代入：即可得与成H共轭的向量。（5.30）变尺度法选定了，，，，蒙特卡洛法

最简单、最直接、最完全的非线性反演法，是彻底搜索法或称穷举法。即在一定约束条件下的对模型参数进行一切可能的组合，从而得到大量不同的模型，然后对所有这些模型进行正演计算，得到相应的理论数据。将这些理论数据与实际观测数据进行比较。如果符合某种可以接受的标准，则模型被接受；否则被排斥，并重新进行计算。如此反复，直至所有可能的模型均被检测为止。因此称为彻底搜索法或穷举法。它的优点是，只要在模型空间存在满足条件的解，一定可以搜索到这些解。其致命的缺点是彻底搜索在计算机上是不现实的。因此，穷举法只有理论上的价值，而没有丝毫实用的意义。蒙特卡洛法最简单、最直接、最完全的非线性反演法，是蒙特卡洛法

和穷举法不同，蒙特卡格法在模型空间中不进行彻底搜索，而是随机搜索。实践表明，如果我们在模型空间中随机选择模型、求取目标函数的总体极小，比规则地划分模型空间，求取模型的总体极小所需的计算时间和耗费的经费都要少。为纪念有名的睹城——蒙特卡洛，人们将反演过程中任何一个阶段，用随机(或似随机)发生器产生模型的方法统称为蒙特卡洛法。它可以用于解决高次非线性、多参数、具有多个局部极小值的非线性反演问题。蒙特卡洛法和穷举法不同，蒙特卡格法在模型空间中不进蒙特卡洛法

蒙特卡洛法又分为传统的蒙特卡洛法和现代的启发式蒙特卡洛法。传统的荣持卡洛法又橡为“尝试法”。这种方法是在计算中按一定的先验信息给出的先验约束随机地生成大量可选择的模型，计算其理论值，并将这些理论值与实际观测值进行比较，并用一些先验约束条件进行比较；如比较和检验符合某些可接受的标准，则模型被接受，否则被排斥。传统的蒙特卡洛法在模型空间进行搜索时，需要产生具有各种概率分布的随机变量。最简单和最基本的随机变量是[0,1]区间上均有分布的随机变量。这些随机变量的抽样值就称为随机数。蒙特卡洛法蒙特卡洛法又分为传统的蒙特卡洛法和现代的蒙特卡洛法

Press反演方法，是一种完全随机的蒙特卡洛法。其作法是：在一定先验信息基础上，给定地球物性参数的变化范围，然后在这一范围内随机生成模型，并计算其理论值以及该理论与实际观测值之间的误差，再按原来设计好的判断标准，决定该模型是否接受或排斥。值得提出的是，Press反演法不是求目标函数小于某一给定值的满意解，而是看求得的模型是否满足先验的约束条件；不是求某种意义下的确定解，而是在承认它们的非唯一性的前提下，求得满足先验约束条件的解集。蒙特卡洛法Press反演方法，是一种完全随机的蒙特蒙特卡洛法

蒙特卡洛法的适应性很强，受反演问题的条件限制少。不管多么复杂的非线性问题，不管其维数多高，非线性程度多大，蒙特卡洛法都可以使用，都可以获得满足约束条件的模型解集；由于蒙特卡洛法的收敛速度与问题的维数（及反演参数的个数）无关，因此，特别适宜于大规模、多参数问题的反演；蒙特卡洛反演法易于编程，便于理解，占用内存少，容易实现。但是。蒙特卡洛法仍不能保持搜索彻底性，不能充分暴露模型空间。因此，谁也不能保证所获得的结果已经“完全”满意了。蒙特卡洛法的致命弱点是计算工作量太大，收敛速度太慢，且拟合误差不确定，仅具概率性。蒙特卡洛法蒙特卡洛法的适应性很强，受反演问题的条件蒙特卡洛法

然而，随着地球物理观测资料的精度不断提高，反演方法不断改进，传统的蒙特卡洛法越来越不适应发展的需要。改进传统的蒙特卡洛法势在必行，改进的主要方向是摒弃完全的随机搜索，实现在一定先验知识引导下有“方向”的随机搜索，即启发式蒙特卡洛法。这就是下面要讲的模拟退火法和遗传算法。蒙特卡洛法然而，随着地球物理观测资料的精度不断提高模拟退火法（SimulatedAnnealing）

模拟退火是模拟物质退火的物理过程，即统计实验的组合优化过程。Rothman（1985,1986）将退火原理引入地球物理资料的反演，并称之为模拟退火法。模拟退火法用于反演的基本思路是将待反演的模型参数看作是融化物体的一个分子。将目标函数看作融化物体的能量函数。通过缓慢的减小模拟温度T，进行迭代反演，使目标函数最终达到极小。模拟退火法（SimulatedAnnealing）模拟退火法（SimulatedAnnealing）

模拟退火法有两种算法，即Metropolis算法（简称MSA）和HeatBath算法（简称HBSA）。两种的区别在于搜索模型空间的方法和模型参数的修改方法不同。MSA算法可在全空间自动搜索，模型修改量是随机的；而HBSA算法则是把模型参数限制在一定的范围内，模型修改量是一固定值。两种算法本质上是一致的。研究表明，HBSA的计算速度比MSA快，特别是在已知某些模型参数的情况下，由于模型空间的缩小，计算速度就进一步加快了。模拟退火法（SimulatedAnnealing）模拟退火法（SimulatedAnnealing）

在模拟退火中，退火温度的选取最为重要，选择不当，将导致反演失败。根据前人研究，T取指数变化的模式，比较切合退火的实质。用模拟退火法反演地球物理资料仍然存在收敛于局部极小的问题，但几率比其他非线性反演方法要小。与其他非线性反演相比，模拟退火法不依赖于初始模型的选择，同时在反演过程中不需要计算雅可比矩阵。模拟退火法（SimulatedAnnealing）遗传算法（GeneticAlgorithm）

遗传算法则是模拟生物进化的自然选择和遗传过程，最早是由JohnHolland与1975年提出来的一种非线性反演方法。它既不是依赖于目标函数梯度的一类非启发式反演法；又不是在模拟空间进行完全、彻底的随机搜索的传统的蒙特卡洛法。和模拟退火法一样，它是一种自模型空间进行启发式搜索的非线性反演方法。选择、交换、变异三个步骤构成了遗传算法的基本框架。为了实现这三个步骤，还必须有其他一些考虑：遗传算法（GeneticAlgorithm）遗传算遗传算法（GeneticAlgorithm）1．模型编码在遗传算法中，不直接处理模型参数，而是对模型参数的二进制（或十进制）码进行操作。将待反演的模型之每一个参数的十进制表达式，变成二进制编码（或仍采用十进制码），并将此二进制（或十进制）编码（或编码的组合）称为“染色体”。每一个（或几个）模型参数对应一条染色体。而在染色体上的每一个代码代表一个“基因”。各二进制代码只能取0或1。遗传算法（GeneticAlgorithm）1．模型编码遗传算法（GeneticAlgorithm）2．初始模型群体的产生初始模型群体是随机产生的。3．选择、繁殖就是在模型群体中，挑选模型配对以进行交换。4.交换其原则，既可以完全随机，也可以根据交换概率的大小来进行。依据的原则不同，交换的结果就不同。交换的实质是在模型空间进行大范围的搜索，充分暴露模型空间。遗传算法搜索出的模型空间，可能与预先约定的空间完全不同，甚至相差和那大。因此遗传算法是一种非邻近区域搜索算法。遗传算法（GeneticAlgorithm）2．初始模型群遗传算法（GeneticAlgorithm）5．变异在遗传工程中，变异是物质进化的必然规律和要求。在非线性反演中，变异是对模型空间进行更彻底搜索的重要手段。在遗传算法中，选择、交换和变异三个步骤各具其特殊功能。选择决定哪些父代模型能繁殖，其依据是目标函数的拟合度；交换决定了模型中包含的基因遗传或重组；变异可以产生父代不具备的基因，形成父代没有的特征，使反演迭代更优化，其依据是变异概率。遗传算法（GeneticAlgorithm）5．变异人工神经网络（ANN）法1．神经网络的基本特征（1）巨量并行性（2）信息存储和信息处理时合在一起（3）自组织、自学习的功能人工神经网络（ANN）法1．神经网络的基本特征人工神经网络（ANN）法2．简单人工神经元模型（1）M-P神经元模型特点：1）多输入，但输出；2）阈值作用；3）输入与输出均为两态（抑制、兴奋）；4）每个输入通过权值来表征它对神经元之耦合程度（若无耦合可取wj=0）。人工神经网络（ANN）法2．简单人工神经元模型图5-4M-P神经元模型图5-4M-P神经元模型人工神经网络（ANN）法2．简单人工神经元模型（2）连续神经元模型为反映神经元状态参数连续变化的情况，常用一阶非线性微分方程来模拟生物神经元膜电位随时间变化的规律人工神经网络（ANN）法2．简单人工神经元模型图5-5连续神经元模型图5-5连续神经元模型人工神经网络（ANN）法4．Hopfield网络及其在地球物理资料反演中的应用

Hopfield网络的最重要的应用之一是最优化问题。这样应用的关键在于：将Hopfield网络的能量函数和地球物理最优化问题的目标函数联系起来，找到地球物理反演问题中的模型（mi,i=1,2,…,M）、核函数Gij（i,j=1,2,…,M）在神经元稳定输出状态下，和神经元诸要素（如神经元的输入、输出和它们之间的连接权等）之关系。

Hopfield网络在地球物理反演中应用的另一重要内容问题是如何将地球物理的模型参数用二进制的形式表示人工神经网络（ANN）法4．Hopfield网络及其在地球人工神经网络（ANN）法4．Hopfield网络及其在地球物理资料反演中的应用用Hopfield网络进行地球物理资料反演时，也同样存在有收敛到局部极小的可能性。初始模型的选择对反演结果关系很大，应尽量使初始模型逼近待求的真实的模型，这样既可以减少计算时间，又可避免陷入局部极小。人工神经网络（ANN）法4．Hopfield网络及其在地球人工神经网络（ANN）法5．回传（BackPropagation）理论及其在地球物理资料反演中的应用

BP回传学习的原理是：把希望输出与实际输出之偏差归结为连接权的“过错”，通过把输入层单元的误差，逐层向输入层逆向回传，分摊给各层单元，从而获得各层单元的参考误差，以调整相应的连接权。最基本的BP网络是三层前馈网络。即输入层LA，隐含层LB和输入层LC之间前向连接。通常BP网络可以有多个隐含层，可以跨层连接，可以有单元自身的反馈连接，也可以有层内单元横向连接。如图5-6所示人工神经网络（ANN）法5．回传（BackPropaga图5-6最基本的BP网络的拓扑结构图5-6最基本的BP网络的拓扑结构人工神经网络（ANN）法5．回传（BackPropagation）理论及其在地球物理资料反演中的应用

BP学习有两个阶段。在第一个学习阶段中，对于给定的网络输入，通过现有连接权沿其正向传播，获得各个元素的实际输出。如实际输出和理论输出一致，则学习终止；否则进入第二阶段，将输出层各单元的误差，逐层向输入层方向逆向传播，并调整各中间层的连接权，直至输出层的输出误差达到最小为止。人工神经网络（ANN）法5．回传（BackPropaga人工神经网络（ANN）法5．回传（BackPropagation）理论及其在地球物理资料反演中的应用利用BP回传原理进行地球物理资料反演的基本步骤和必须注意的几个问题：（1）结构设计。确定输入层、输出层中神经元（节点）的数目和类型；隐层的层数、类型、内部连接方式；与输入、输出层的连接方式。一般采用三层模式：即输入、隐层和输出三层。（2）训练。就是根据期望输出和实际输出之误差去调整输入层和输出层之间的各个连接权，以使期望输出和实际输出之间的差异达到最小。人工神经网络（ANN）法5．回传（BackPropaga人工神经网络（ANN）法5．回传（BackPropagation）理论及其在地球物理资料反演中的应用利用BP回传原理进行地球物理资料反演的基本步骤和必须注意的几个问题：（3）检查网络的可信度。用含有误差的数据输入神经网络，检查网络的实际输出和期望输出之间的偏离，以估计可信度。（4）在专家的监督下用大量数据作输入，估算神经网络的成功率。（5）推广应用。人工神经网络（ANN）法5．回传（BackPropaga多尺度反演（Multi-ScaleInversion）

1．尺度的概念尺度是指当我们以离散方式描述某一空间（或时间）函数时，均匀离散点之间的距离。尺度是分辨率的倒数。分辨率被定义为单位距离内离散点的个数。多尺度反演时把目标函数分解成不同尺度的分量，根据不同尺度上目标函数的特征逐步搜索全局极小。一般情况下，在大尺度（或低波数）上，目标函数极值点少，且分得很开，且显示大尺度上的极小。用通常的方法很容易直接搜索出大尺度（总体背景）上的“全局极小点”。多尺度反演（Multi-ScaleInversion）1多尺度反演（Multi-ScaleInversion）

1．尺度的概念在相对较小尺度（稍大波数）上，目标函数极值点较多，如无大尺度搜索结果之指导，直接寻找全局极值点，虽比作尺度分解之前容易，但仍然比较困难。但是，只要我们以大尺度搜索到的背景“全局极小点”为起点，在其附近继续搜索，也较容易的搜索到中等尺度上到的“全局极小点”。如此，不断的缩小尺度，提高分辨力，目标函数的尺度降至原始尺度（即最下尺度）时，对应搜索出的全局极小点，就是真正的总体极小点。多尺度反演（Multi-ScaleInversion）1多尺度反演（Multi-ScaleInversion）

1．尺度的概念优点是，在大尺度（或低波数）上，反演稳定，反演结果不受初始模型的影响，在一定程度上，能避免其后的反演受局部极小所困扰，使收敛速速加快。多尺度反演（Multi-ScaleInversion）1多尺度反演（Multi-ScaleInversion）

2．小波与多尺度分析

Goupillaud，Grossmanne和Morlet（1984）引进了小波的概念。根据定义，我们称满足条件：（5.31）的函数为小波函数或母小波，式中是的傅氏变换。多尺度反演（Multi-ScaleInversion）2多尺度反演（Multi-ScaleInversion）

2．小波与多尺度分析

若（5.32）式中：为由母小波生成的依赖于参数a,b的连续小波；a称为尺度变量；b为位置变量。尺度变量a的改变，标志着相对于母小波发生了伸缩改变；而位置变量b发生变化时，标志着相对于母小波发生了平移。多尺度反演（Multi-ScaleInversion）2多尺度反演（Multi-ScaleInversion）

2．小波与多尺度分析

若（5.32）式中：是归一化因子，它使所有的小波具有相同的模。因此，所有的连续小波都具有相同的能量。多尺度反演（Multi-ScaleInversion）2多尺度反演（Multi-ScaleInversion）

2．小波与多尺度分析对于任一的函数而言，其小波变换定义为：（5.33）式中：为内积；而与是共轭。其逆变换公式为：（5.34）多尺度反演（Multi-ScaleInversion）2多尺度反演（Multi-ScaleInversion）

2．小波与多尺度分析式中：（5.35）在实际计算中，常用其离散形式，若令：，则有著名的二进制小波，即：（5.36）多尺度反演（Multi-ScaleInversion）2多尺度反演（Multi-ScaleInversion）

2．小波与多尺度分析二进制小波构成L2(R)的一个正交基。利用可以将在无穷大处衰减得充分快的任意函数f(t)分解为：（5.37）（5.38）设：多尺度反演（Multi-ScaleInversion）2多尺度反演（Multi-ScaleInversion）

2．小波与多尺度分析则（5.37）式可写为：（5.39）基于（5.39）式的分析方法称之为尺度分析法。多尺度反演（Multi-ScaleInversion）2多尺度反演（Multi-ScaleInversion）

2．小波与多尺度分析如果基于尺度上对函数f(t)的光滑近似属于空间Vj，f(t)的细节部分属于的正交补空间Wj，则有：（5.40）当j=1时，（5.41）这种分解法可用图5-7表示：多尺度反演（Multi-ScaleInversion）2图5-7多尺度分解示意图图5-7多尺度分解示意图多尺度反演（Multi-ScaleInversion）

2．小波与多尺度分析当我们把反演问题从Vj空间分解为时，由于Vj+1空间仅包含Vj空间中的低波数成分。因此，在Vj+1空间求得的解应是Vj空间中反问题在所有模型参数附近局部化的某种平均值解。又由于Vj+1在Vj中的正交空间Wj+1含有Vj空间中的高波数成分，因此在Vj+1空间中不能得到分辨的小尺度特征，却能通过在Vj空间中的求解得到分辨。这就是多尺度方法逐步提高分辨率的原理。多尺度反演（Multi-ScaleInversion）2多尺度反演（Multi-ScaleInversion）

3．多尺度反演法多尺度反演算法可以表示为三个基本算子的操作过程：第一个算子将地球物理反演问题从尺度零（小尺度）开始，依次分解为尺度1，2，…等大尺度的问题；第二个算子求取各尺度上反问题的解；第三个算子将尺度上的解嵌入尺度j-1，并将其作为j-1尺度上反问题寻优的起始点。多尺度反演（Multi-ScaleInversion）3R.Parker法

在研究大地电磁测深资料反演中，R.Parker在20世纪80年代初提出了著名的D+,H+和C+模型。Parker法不仅能用于电磁感应资料，而且适用于某些频率域的地球物理资料的反演。它是一种非线性反演方法。R.Parker法在研究大地电磁测深资料反演中，RThankYouThankYou地球物理反演理论地球物理反演理论课题组武汉大学测绘学院地球物理反演理论地球物理反演理论课题组武汉大学测绘学院1、梯度法2、牛顿法3、共轭梯度法（ConjugateGradientMethod）4、变尺度法5、蒙特卡洛法6、模拟退火法7、遗传算法（simulateannealing）8、人工神经网络（ANN）法9、多尺度反演（Multi-ScaleInversion）10、R.Parker法非线性反演方法1、梯度法非线性反演方法非线性反演方法所谓非线性问题，是指观测数据和模型参数之间不存在线性关系。这种非线性关系既可能呈显式，也可能呈隐式。本章要讲的是目前地球物理资料反演中常用的一些非线性反演方法。它不涉及线性化，而是直接解非线性问题，实现从数据空间到模型空间的直接映射。不管是哪一类的反演问题，归根结底，反演过程都是一个对目标函数(或概率、概率密度)的最优化过程，只是实现最优的途径和方法不同罢了。非线性反演方法所谓非线性问题，是指观测数据梯度法

梯度法又称最速下降法（thesteepestdescentmethod）、最速上升法（thesteepestascentmethod）或爬山法。梯度法是一种古老的反演方法，在地球物理的发展过程中曾起过重要的作用，而且，直到目前仍有一些地球物理资料的反演问题仍采用梯度法求解。梯度法梯度法又称最速下降法（thesteepes梯度法

在模型参数和观测数据呈隐式的情况下，有：（5.1）设：（5.2）令：梯度法在模型参数和观测数据呈隐式的情况梯度法

如将这些非线性函数过程下式，并称之为目标函数：（5.3）显然，的零极值点，就是方程（5.1）式的解。当观测数据和模型参数呈显函数的情况下，在范数意义下，目标函数写为：式中：为观测值；为在第

r次迭代时之理论值。梯度法如将这些非线性函数过程下式，并称之为目标函数梯度法

同样，的极小值所对应的模型参数，就应该是待求模型的解。在多维空间中，一般来说，函数是一个高次曲面。以二维空间为例，此时所形成的曲面与平行的平面之切点就是它的极小值点（图5-1）。极小值点对应，，就是观测数据对应模型之值。如果用（是常数，相当于一系列平行于的平面），与空间曲面相截，可以得到一族平面曲线，将它们投影到平面上，如图5-2所示，称为曲面的等高线族。由外向内，值不断下降，当达到极小点时，即为函数的极值。梯度法同样，的极小值所对应的模型参数，图5-1目标函数空间曲面的示意图图5-1目标函数空间曲面的示意图图5-2用等高线表示的目标函数图5-2用等高线表示的目标函数梯度法

在任意一个初始模型处等高线的法向方向，就是函数在该点的梯度方向，即有：梯度法在任意一个初始模型处等高线的法向方向梯度法

沿的方向是值上升最快的方向。因此，其反方向为：（5.4）就是值下降最快的方向。梯度法，就是从一个初始模型出发，沿负梯度方向搜索函数极小点的一种最优化方法。不难理解，沿目标函数的负梯度方向搜索，只要步长适当，经过反复迭代，最终总可以达到目标函数的极小点。用梯度法反演求取目标函数的极小点时，一要有一个初始模型，二是要沿负梯度方向，三是要有一个合适的步长。下面研究步长因子的求法：梯度法沿的方向是值上升最快的方向。因此梯度法

设第i次搜索迭代时函数的负梯度方向的单位矢量为：（5.5）则模型参数的改正量为：式中：称为搜索（或校正）步长。将目标函数进行台劳级数展开有：（5.6）梯度法设第i次搜索迭代时函数的负梯度方向的梯度法

将（5.5）式代入（5.6）式，则得步长计算式：第二种计算步长的方法是内插法。如对目标函数计算几个不同的步长值，然后用抛物线方程对之进行拟合，抛物线之极小点就是最佳步长值。第三种方法为固定步长法。即在整个搜索的过程中，步长保持不变，只要每次迭代时满足即可接受。（5.7）梯度法将（5.5）式代入（5.6）式，则得步长计算牛顿法

设目标函数在点附近按台劳级数展开，并忽略二次以上高阶项以后得：（5.8）式中：（梯度向量）（模型参数的改正向量）牛顿法设目标函数在点附近按台劳牛顿法

（Hessian矩阵）牛顿法（Hessian矩阵）牛顿法

对（5.8）式再求一次导数，并设：（5.9）则得：写成递推公式，得：牛顿法对（5.8）式再求一次导数，并设：（5.9）牛顿法

牛顿法的不足之处在于Hessian短阵的计算工作量很大，而且其逆往往会出现病态和奇异的情况。梯度法和牛顿法利用了目标函数的不同性质，前者利用了目标函数在初始模型处之梯度，即一阶偏导数，后者不仅利用了梯度，而且利用了目标函数的曲率，即二阶偏导数。因此它们具有不同的特性。前者在远离极小点的地方收敛较快，而后者在极小点附近收敛比梯度法要快。图5-3是牛顿法搜索目标函数极小点的示意图。牛顿法牛顿法的不足之处在于Hessian短阵的计算图5-3牛顿法搜索极小点示意图图5-3牛顿法搜索极小点示意图共轭梯度法

1、共轭向量的定义设目标函数为二次函数，即：（5.10）式中和都是N维的向量，为N*N阶对称、正定矩阵，为常数。定义：若存在：（5.11）则称，相对是共轭的。共轭梯度法1、共轭向量的定义（5.10）式中和共轭梯度法

1、共轭向量的定义与本节内容有关的共轭向量的性质及其求法：1）设有一组M个N为向量彼此相对H共轭，即：则一定是线性无关的。2）关于H共轭的一组向量的求法设是一组线性无关的向量，通过线性组合，可得到一组M个彼此成H共轭的向量。共轭梯度法1、共轭向量的定义则一定是共轭梯度法

1、共轭向量的定义设，取，求与共轭的向量取由于与对H共轭，故所以：（5.12）共轭梯度法1、共轭向量的定义由于与对H共轭，故共轭梯度法

1、共轭向量的定义故与是共轭的。设已求出，它们是彼此H共轭，求一个向量与都H共轭。即：（5.13）使与成H共轭，即有：共轭梯度法1、共轭向量的定义与是共轭的。（5.13）共轭梯度法

将（5.13）式代入上式，得：（5.14）与成H共轭。若取，便得到M个彼此H共轭的向量。将（5.14）式代入（5.13）式，得：（5.15）共轭梯度法将（5.13）式代入上式，得：（5.14）与共轭梯度法

2、共轭梯度法的原理第一步，设第二步，求，其中第三步，求，按上述方法求得的向量彼此是H的共轭向量共轭梯度法2、共轭梯度法的原理第二步，求共轭梯度法

2、共轭梯度法的原理第四步，沿共轭梯度方向上式目标函数的极小点。设沿方向进行第K次搜索时，应满足：设目标函数在处是二次函数，即：或（5.16）共轭梯度法2、共轭梯度法的原理沿方向进行第K次搜索共轭梯度法

2、共轭梯度法的原理根据复合函数的极值理论设，则：可得：（5.17）共轭梯度法2、共轭梯度法的原理设，则：可共轭梯度法

2、共轭梯度法的原理设K=0，即在第一次迭代时，不难看出，如果目标函数是二次型，则沿共轭方向最多各进行一次搜索，就可以找到目标函数的极小点的位置。若非准确的二次函数，则上述搜索过程必须进行反复迭代，直到搜索到目标函数的极小点为止。在共轭梯度法中，每次迭代都必须重新计算初始模型所对应和，及相应的共轭方向，因此，计算量仍然很大。（5.18）共轭梯度法2、共轭梯度法的原理不难看出，如果目标函数是二次变尺度法

以Huang的变尺度法为例说明变尺度法的原理和实施步骤由共轭向量求与之成H共轭的方向，存在如下通式：（5.19）其中：（5.20）设想从点的负梯度方向左乘一个矩阵，就得出与共轭的方向。能否对建立起一个迭代关系，由产生，使：变尺度法以Huang的变尺度法为例说明变尺度法的原理和实施变尺度法

（5.21）能和共轭。假定已知，求出了，并记（5.22）此时，有了便可以求出；同样，有了也可以求出。于是，我们的任务就是如何选取，使从（5.23）求出的具有上述性质。变尺度法（5.21）能和共轭。假变尺度法

为使与关于H共轭，应有：所以令：若对也有：已知：就有：变尺度法为使与关于H共轭，变尺度法

则由得出：所以，将上式中的j换为K，则：（5.24）式和（5.25）式又可改写为：（5.24）（5.25）变尺度法则由得出：所以，将变尺度法

设目标函数为二次型，即：如以左乘，并利用：则（5.24）式可改写为：（5.26）（5.27）变尺度法设目标函数为二次型，即：如以左乘变尺度法

如果能求出满足（5.26）式和（5.27）式的，则利用（5.23）式便能求出满足以上要求的，也就建立起了迭代关系。由上述迭代关系可以看出，变尺度法是从尺度（可以是单位矩阵）开始，由求得。求时，是通过改变尺度为而不是改变系数为，使得和为共轭方向。然后，再改变尺度为，而不是求取系数，使求得的与，成共轭。如此反复，直至求出位置。变尺度法如果能求出满足（5.26）式和（5.27）式的变尺度法

Huang给出了如下关系，并令：（5.28）式中：，为两个需要加以选择的量。Huang选择中的，满足：变尺度法Huang给出了如下关系，并令：（5.28）式中：变尺度法

下面是Huang提出的求取，的公式，因为：所以：变尺度法下面是Huang提出的求取，的公式变尺度法

所以只要取：（5.29）参数，，，满足：便满足和。将（5.29）式代入上两式，于是五个参数，，，，应满足两个关系式，所以独立参数只有三个。变尺度法所以只要取：（5.29）参数，，变尺度法

选定了，，，，满足的条件，便可根据（5.29）求出，。从而算出，将代入（5.26）式就可求得，将代入：即可得与成H共轭的向量。（5.30）变尺度法选定了，，，，蒙特卡洛法

最简单、最直接、最完全的非线性反演法，是彻底搜索法或称穷举法。即在一定约束条件下的对模型参数进行一切可能的组合，从而得到大量不同的模型，然后对所有这些模型进行正演计算，得到相应的理论数据。将这些理论数据与实际观测数据进行比较。如果符合某种可以接受的标准，则模型被接受；否则被排斥，并重新进行计算。如此反复，直至所有可能的模型均被检测为止。因此称为彻底搜索法或穷举法。它的优点是，只要在模型空间存在满足条件的解，一定可以搜索到这些解。其致命的缺点是彻底搜索在计算机上是不现实的。因此，穷举法只有理论上的价值，而没有丝毫实用的意义。蒙特卡洛法最简单、最直接、最完全的非线性反演法，是蒙特卡洛法

和穷举法不同，蒙特卡格法在模型空间中不进行彻底搜索，而是随机搜索。实践表明，如果我们在模型空间中随机选择模型、求取目标函数的总体极小，比规则地划分模型空间，求取模型的总体极小所需的计算时间和耗费的经费都要少。为纪念有名的睹城——蒙特卡洛，人们将反演过程中任何一个阶段，用随机(或似随机)发生器产生模型的方法统称为蒙特卡洛法。它可以用于解决高次非线性、多参数、具有多个局部极小值的非线性反演问题。蒙特卡洛法和穷举法不同，蒙特卡格法在模型空间中不进蒙特卡洛法

蒙特卡洛法又分为传统的蒙特卡洛法和现代的启发式蒙特卡洛法。传统的荣持卡洛法又橡为“尝试法”。这种方法是在计算中按一定的先验信息给出的先验约束随机地生成大量可选择的模型，计算其理论值，并将这些理论值与实际观测值进行比较，并用一些先验约束条件进行比较；如比较和检验符合某些可接受的标准，则模型被接受，否则被排斥。传统的蒙特卡洛法在模型空间进行搜索时，需要产生具有各种概率分布的随机变量。最简单和最基本的随机变量是[0,1]区间上均有分布的随机变量。这些随机变量的抽样值就称为随机数。蒙特卡洛法蒙特卡洛法又分为传统的蒙特卡洛法和现代的蒙特卡洛法

Press反演方法，是一种完全随机的蒙特卡洛法。其作法是：在一定先验信息基础上，给定地球物性参数的变化范围，然后在这一范围内随机生成模型，并计算其理论值以及该理论与实际观测值之间的误差，再按原来设计好的判断标准，决定该模型是否接受或排斥。值得提出的是，Press反演法不是求目标函数小于某一给定值的满意解，而是看求得的模型是否满足先验的约束条件；不是求某种意义下的确定解，而是在承认它们的非唯一性的前提下，求得满足先验约束条件的解集。蒙特卡洛法Press反演方法，是一种完全随机的蒙特蒙特卡洛法

蒙特卡洛法的适应性很强，受反演问题的条件限制少。不管多么复杂的非线性问题，不管其维数多高，非线性程度多大，蒙特卡洛法都可以使用，都可以获得满足约束条件的模型解集；由于蒙特卡洛法的收敛速度与问题的维数（及反演参数的个数）无关，因此，特别适宜于大规模、多参数问题的反演；蒙特卡洛反演法易于编程，便于理解，占用内存少，容易实现。但是。蒙特卡洛法仍不能保持搜索彻底性，不能充分暴露模型空间。因此，谁也不能保证所获得的结果已经“完全”满意了。蒙特卡洛法的致命弱点是计算工作量太大，收敛速度太慢，且拟合误差不确定，仅具概率性。蒙特卡洛法蒙特卡洛法的适应性很强，受反演问题的条件蒙特卡洛法

然而，随着地球物理观测资料的精度不断提高，反演方法不断改进，传统的蒙特卡洛法越来越不适应发展的需要。改进传统的蒙特卡洛法势在必行，改进的主要方向是摒弃完全的随机搜索，实现在一定先验知识引导下有“方向”的随机搜索，即启发式蒙特卡洛法。这就是下面要讲的模拟退火法和遗传算法。蒙特卡洛法然而，随着地球物理观测资料的精度不断提高模拟退火法（SimulatedAnnealing）

模拟退火是模拟物质退火的物理过程，即统计实验的组合优化过程。Rothman（1985,1986）将退火原理引入地球物理资料的反演，并称之为模拟退火法。模拟退火法用于反演的基本思路是将待反演的模型参数看作是融化物体的一个分子。将目标函数看作融化物体的能量函数。通过缓慢的减小模拟温度T，进行迭代反演，使目标函数最终达到极小。模拟退火法（SimulatedAnnealing）模拟退火法（SimulatedAnnealing）

模拟退火法有两种算法，即Metropolis算法（简称MSA）和HeatBath算法（简称HBSA）。两种的区别在于搜索模型空间的方法和模型参数的修改方法不同。MSA算法可在全空间自动搜索，模型修改量是随机的；而HBSA算法则是把模型参数限制在一定的范围内，模型修改量是一固定值。两种算法本质上是一致的。研究表明，HBSA的计算速度比MSA快，特别是在已知某些模型参数的情况下，由于模型空间的缩小，计算速度就进一步加快了。模拟退火法（SimulatedAnnealing）模拟退火法（SimulatedAnnealing）

在模拟退火中，退火温度的选取最为重要，选择不当，将导致反演失败。根据前人研究，T取指数变化的模式，比较切合退火的实质。用模拟退火法反演地球物理资料仍然存在收敛于局部极小的问题，但几率比其他非线性反演方法要小。与其他非线性反演相比，模拟退火法不依赖于初始模型的选择，同时在反演过程中不需要计算雅可比矩阵。模拟退火法（SimulatedAnnealing）遗传算法（GeneticAlgorithm）

遗传算法则是模拟生物进化的自然选择和遗传过程，最早是由JohnHolland与1975年提出来的一种非线性反演方法。它既不是依赖于目标函数梯度的一类非启发式反演法；又不是在模拟空间进行完全、彻底的随机搜索的传统的蒙特卡洛法。和模拟退火法一样，它是一种自模型空间进行启发式搜索的非线性反演方法。选择、交换、变异三个步骤构成了遗传算法的基本框架。为了实现这三个步骤，还必须有其他一些考虑：遗传算法（GeneticAlgorithm）遗传算遗传算法（GeneticAlgorithm）1．模型编码在遗传算法中，不直接处理模型参数，而是对模型参数的二进制（或十进制）码进行操作。将待反演的模型之每一个参数的十进制表达式，变成二进制编码（或仍采用十进制码），并将此二进制（或十进制）编码（或编码的组合）称为“染色体”。每一个（或几个）模型参数对应一条染色体。而在染色体上的每一个代码代表一个“基因”。各二进制代码只能取0或1。遗传算法（GeneticAlgorithm）1．模型编码遗传算法（GeneticAlgorithm）2．初始模型群体的产生初始模型群体是随机产生的。3．选择、繁殖就是在模型群体中，挑选模型配对以进行交换。4.交换其原则，既可以完全随机，也可以根据交换概率的大小来进行。依据的原则不同，交换的结果就不同。交换的实质是在模型空间进行大范围的搜索，充分暴露模型空间。遗传算法搜索出的模型空间，可能与预先约定的空间完全不同，甚至相差和那大。因此遗传算法是一种非邻近区域搜索算法。遗传算法（GeneticAlgorithm）2．初始模型群遗传算法（GeneticAlgorithm）5．变异在遗传工程中，变异是物质进化的必然规律和要求。在非线性反演中，变异是对模型空间进行更彻底搜索的重要手段。在遗传算法中，选择、交换和变异三个步骤各具其特殊功能。选择决定哪些父代模型能繁殖，其依据是目标函数的拟合度；交换决定了模型中包含的基因遗传或重组；变异可以产生父代不具备的基因，形成父代没有的特征，使反演迭代更优化，其依据是变异概率。遗传算法（GeneticAlgorithm）5．变异人工神经网络（ANN）法1．神经网络的基本特征（1）巨量并行性（2）信息存储和信息处理时合在一起（3）自组织、自学习的功能人工神经网络（ANN）法1．神经网络的基本特征人工神经网络（ANN）法2．简单人工神经元模型（1）M-P神经元模型特点：1）多输入，但输出；2）阈值作用；3）输入与输出均为两态（抑制、兴奋）；4）每个输入通过权值来表征它对神经元之耦合程度（若无耦合可取wj=0）。人工神经网络（ANN）法2．简单人工神经元模型图5-4M-P神经元模型图5-4M-P神经元模型人工神经网络（ANN）法2．简单人工神经元模型（2）连续神经元模型为反映神经元状态参数连续变化的情况，常用一阶非线性微分方程来模拟生物神经元膜电位随时间变化的规律人工神经网络（ANN）法2．简单人工神经元模型图5-5连续神经元模型图5-5连续神经元模型人工神经网络（ANN）法4．Hopfield网络及其在地球物理资料反演中的应用

Hopfield网络的最重要的应用之一是最优化问题。这样应用的关键在于：将Hopfield网络的能量函数和地球物理最优化问题的目标函数联系起来，找到地球物理反演问题中的模型（mi,i=1,2,…,M）、核函数Gij（i,j=1,2,…,M）在神经元稳定输出状态下，和神经元诸要素（如神经元的输入、输出和它们之间的连接权等）之关系。

Hopfield网络在地球物理反演中应用的另一重要内容问题是如何将地球物理的模型参数用二进制的形式表示人工神经网络（ANN）法4．Hopfield网络及其在地球人工神经网络（ANN）法4．Hopfield网络及其在地球物理资料反演中的应用用Hopfield网络进行地球物理资料反演时，也同样存在有收敛到局部极小的可能性。初始模型的选择对反演结果关系很大，应尽量使初始模型逼近待求的真实的模型，这样既可以减少计算时间，又可避免陷入局部极小。人工神经网络（ANN）法4．Hopfield网络及其在地球人工神经网络（ANN）法5．回传（BackPropagation）理论及其在地球物理资料反演中的应用

BP回传学习的原理是：把希望输出与实际输出之偏差归结为连接权的“过错”，通过把输入层单元的误差，逐层向输入层逆向回传，分摊给各层单元，从而获得各层单元的参考误差，以调整相应的连接权。最基本的BP网络是三层前馈网络。即输入层LA，隐含层LB和输入层LC之间前向连接。通常BP网络可以有多个隐含层，可以跨层连接，可以有单元自身的反馈连接，也可以有层内单元横向连接。如图5-6所示人工神经网络（ANN）法5．回传（BackPropaga图5-6最基本的BP网络的拓扑结构图5-6最基本的BP网络的拓扑结构人工神经网络（ANN）法5．回传（BackPropagation）理论及其在地球物理资料反演中的应用

BP学习有两个阶段。在第一个学习阶段中，对于给定的网络输入，通过现有连接权沿其正向传播，获得各个元素的实际输出。如实际输出和理论输出一致，则学习终止；否则进入第二阶段，将输出层各单元的误差，逐层向输入层方向逆向传播，并调整各中间层的连接权，直至输出层的输出误差达到最小为止。人工神经网络（ANN）法5．回传（BackPropaga人工神经网络（ANN）法5．回传（BackPropagation）理论及其在地球物理资料反演中的应用利用BP回传原理进行地球物理资料反演的基本步骤和必须注意的几个问题：（1）结构设计。确定输入层、输出层中神经元（节点）的数目和类型；隐层的层数、类型、内部连接方式；与输入、输出层的连接方式。一般采用三层模式：即输入、隐层和输出三层。（2）训练。就是根据期望输出和实际输出之误差去调整输入层和输出层之间的各个连接权，以使期望输出和实际输出之间的差异达到最小。人工神经网络（ANN）法5．回传（BackPropaga人工神经网络（ANN）法5．回传（BackPropagation）理论及其在地球物理资料反演中的应用利用BP回传原理进行地球物理资料反演的基本步骤和必须注意的几个问题：（3）检查网络的可信度。用含有误差的数据输入神经网络，检查网络的实际输出和期望输出之间的偏离，以估计可信度。（4）在专家的监督下用大量数据作输入，估算神经网络的成功率。（5）推广应用。人工神经网络（ANN）法5．回传（BackPropaga多尺度反演（Multi-ScaleInversion）

1．尺度的概念尺度是指当我们以离