线性反问题的正则化算法

线性反问题的正则化算法反问题，是相对于正问题而言的，是一个倒果求因的过程。在地球物理，生命科学，材料科学，遥感技术，模式识别，信号（图象）处理，工业控制乃至经济决策等众多的科学技术领域中，都提出了“由效果、表现反求原因、原象”的反问题。反问题是一个新兴的研究领域，有别于传统的定解的正问题，反问题研究由解的部分已知信息来求解问题中的某些未知量。在许多实际问题中，需要通过输出的（部分）信息来获取或识别系统的某些性质。反问题已经发展成为横跨数学、物理、生物、计算机等众多科学的一个热门研究领域。反问题可以写成如下的数学模型：Fx=y其中f:x-y为从空间X到Y的一个映射，与正问题相比，反问题的研究起步较晚，发展还远不成熟，并且反问题研究的难度一般比相应的正问题要大。这是因为反问题的求解往往违背了物理过程的自然顺序，从而使正问题中的许多良好性质不再满足。这些困难主要体现在：与正问题相比，求解反问题面临的两个本质性的实际困难是：（l）原始数据可能不属于所论问题精确解所对应的数据集合，因而在经典意义下的近似解可能不存在;（2）近似解的不稳定性，即:原始资料的小的观测误差会导致近似解与真解的严重偏离。也就是我们通常所说的Hadamard意义下不适定.Hadamard在1923年提出在经典意义下适定问题要满足下述三个条件：(l)该问题的解是存在的；(2)该问题的解是唯一的；(3)该问题的解对输入数据是稳定的。上面的三个适定性条件无疑具有深刻的实际背景.首先对于实际问题，我们当然期望答案是存在唯一的.更重要的是，在实际获取的数据资料总是不可能是精确的。除了前面提到的不适定性以外，反问题的研究还经常面临非线性的困扰。即使正问题是线性的，它所对应的反问题也有可能表现为非线性，这为反演的研究和计算带来了很多麻烦。为了求解非线性反问题，通常要线性化后反复进行正、反演迭代，在高维情况下需要十分巨人的计算量。对于一个效率低下的算法在实际应用中将导致时间和人力、物力的极大浪费。所以反问题的计算效率也是一个非常重要的课题。它要求科学工作者从实际应用出发，充分研究问题的性质和特点，构造出精巧、快速的算法以适应生产的需要。对不适定问题，若方法选取的不好，将得不到合理的解.基于实际应用问题的推动，反问题的求解已发展了许多方法，如脉冲谱技术，广义脉冲谱技术，最佳摄动量法，蒙特卡罗方法以及各种优化方法和正则化方法等。而处理不适定性问题的主要工具为正则化方法，也就是构造不适定问题的稳定解的方法。正则化理论的奠基性工作是由前苏联数学家Tikhonov等学者提出的。对于Hilbert空间线性不适定性问题，相应的理论以及算法已经相当完善，其中包括许多收敛性、收敛率、最优收敛率以及正则化参数选取方法等方面的结果。但是，对于一些问题验证正则化方法满足最优收敛率的相应源条件是一件十分困难的事情。另外由于非线性不适定问题的困难性，对于非线性不适定问题的研究目前尚不是十分完善。己有的结果大都是通过线性化寻求相对应的收敛性结果以及收敛率。但是线性化可能破坏了问题本身的性质，甚至不适定性问题通过线性化以后变成了适定性问题。处理不适定问题的另外一种工具是借助统计的观点，称之为统计反演方法。传统的正则化理论的着重点在于对误差的最坏情形进行分析，因此所得的结果往往是悲观的。统计反演理论考虑数据误差的随机性，给出其统计表示。目前为止，己有大量的工作对含有随机误差的线性不适定问题进行了研究。下面主要介绍一下一些经典的正则化算法，从算法上讲：目前处理不适定问题的算法主要可以分为两大类：确定性算法和随机算法。确定性方法上世纪六十年代提出的Tikhonov正则化方法是处理不适定性问题常用的确定性方法。其主要思想是结合解的一些先验信息，如有界性、光滑性等去构造不适定问题的稳定近似解，在原目标泛函的基础上，引入正则化泛函。截断奇异值分解(TSVD)也是一类比较重要的确定性正则化算法，尤其是在处理形如Ax=b的离散不适定问题中有着广泛应用，其中A为病态矩阵。分析病态矩阵的主要工具是奇异值分解。离散反问题所得系数矩阵的奇异值很快衰减为零。而最小二乘方法由于真实解为小奇异值的贡献所淹没，造成了解的爆破。TSVD处理这一类问题的主要思想是舍弃小奇异值的贡献，只保留部分奇异值。其中截断奇异值的个数起到正则化参数的作用。以上两种确定性算法都可以看成直接正则化方法。于此对应的是迭代正则化方法，包括Landweber迭代、Kryfov子空间方法（如:共轭梯度方法）等。相对于直接正则化方法，迭代方法不需要解的先验信息，只需要反复迭代求解一系列正问题去逼近算子户。但是，迭代止则化具有‘半收敛性’，即:逼近解随着迭代步数的增加山逐渐收敛到逐渐发散。因此，相应的迭代步数可以看作正则化参数。选择合适的停止规则对于利用迭代正则化方法能否得到稳定解起到至关重要的作用。相对应Krylov子空间方法，Landweber迭代方法对停止规则的选取敏感性不是太强，但是其收敛速度很慢。为得到理想的结果需要进行大量的计算。因此，对于迭代正则化方法如何设计有效的预处理格式是一个有意义的课题。由此可以看出，正则化算法的数值性能与正则化参数的选取密切相关。但是，迄今为止尚没有对所有正则化方法通用的选取方法。选取正则化参数的主要方法大致可以分为确定性方法以及启发式方法。随机方法从统计上讲，确定性算法得到的是解的一个点估计，求解过程忽略了误差的随机性以及模型的不确定性。为了克服这一缺点，科学工作者选用随机方法来量化问题的不确定性，对不适定问题进行求解。其中贝叶斯统计推断以及一谱随机方法是最常用的两种方法。不同于Tikhonov等确定性正则化方法，贝叶斯方法将解的先验信息看成一个概率分布，称为先验概率分布。通过贝叶斯公式并结合测量数据的信息，也即似然函数来获取解的后验概率分布函数。利用后验概率分布函数，可以得到解的各种统计量，如:均值、方差、置信区间等。即使求解问题的点估计量，贝叶斯方法也提供了一种灵活的正则化方法:通过分层贝叶斯模型将正则化参数以及误差数据的标准差看成随机变量进行统计推断，可以分别得到相应的估计量。利用贝叶斯方法求解反问题的关键点在于如何选择先验概率分布，使得该分布能够尽可能描述未知参数的信息。先验概率分布可以起到正则化的效果。在贝叶斯统计中，无信息分布，如均匀分布是一种可以选择的先验分布。但是，无信息分布往往不能提供解的足够信息，达不到正则化的效果。另外常见的选取方式还包括马尔可夫随机场以及高斯过程等。其中，高斯过程获得的解与经典的Tikhonov正则化结果相近。在许多情况下，这些先验分布往往是主观选择的：因为对于无信息先验分布往往会包括一些信息，如在计算过程中应用到的共扼分布。贝叶斯方法的另外一个难点在于它巨大的计算量。为了探求后验概率分布函数，常常利用马尔可夫链蒙特卡罗抽样方法进行大约105次的随机抽样。对于每一次的随机抽样，都需要进行一次似然函数的求解。对于偏微分方程反问题，每一次似然函数的求解就需要计算一次相应的正问题，这样就需要消耗大量的计算时间。为了克服这个难点，设计相应的快速方法在贝叶斯方法处理数学物理反问题特别是高维非线