Tikhonov正则化方法在测绘领域的综述

在数学上，我们将满足以下性质的数学模型的物理现象：

1. 解存在
2. 解唯一
3. 解连续依赖于初始边界条件（the solution’s behavior changes continuously with the initial conditions）

称适定问题。只要其中一个条件不满足，则称为不适定问题[1]

在数学、统计和计算机科学尤其是在机器学习和反演问题中，正则化通过引入额外的信息去解决不适定问题或者防止过拟合。

 

1. 国内外研究综述（测绘学领域）

病态问题是大地测量数据处理中经常会遇到的问题，广泛地存在于GPS快速定位（李博峰）、GSP水汽层析、卫星重力延拓及InSAR形变检测等领域(邓凯亮、蒋涛、林东方)。当模型出现病态时，观测数据的微小变化常常会造成难以估计的巨大变化，估计值会变的及其的不稳定，很难得到可靠的参数估值。这种情况下，侧脸数据处理常用的最小二乘估计虽然依旧可以获得无偏估计，但已经不是最优估计（崔希璋）。正对病态问题，学者们提出一系列改善的有偏估计方法，诸如：stein估计法、岭估计法（Hoerl et al., 1970）、截断奇异值方法(Hansen, 1987; Xu,1988; Gui et al., 2002)和Tikhonov正则化的方法等，其中应用最广泛的是Tikhonov正则化方法。该篇文章中最主要的是对Tikhonov正则化方法进行一系列的综述。

Tikhonov正则化法通过正则化参数和正则化矩阵作用于原病态矩阵来改善矩阵的病态性，得到的参数更为可靠的稳定解。正则化参数和正则化矩阵的确定至关重要。正则化参数起到了平衡病态矩阵与正则化矩阵的作用，反映了正则化矩阵的权重大小；正则化矩阵则是对病态矩阵的修正。下面将从正则化参数和正则化矩阵这两个方面进行综述。

1.1 正则化参数选取

Tikhonov正则化方法是由Tikhonov(1963a, 1966b, 1977)提出的，作为解决不适定问题的理论基础。在稳定泛函（正则化项）的基础上，正则化参数作为平衡最小二乘最小项和正则项的重要参数，选取合适的正则化参数就非常的重要。

选择正则化参数需要利用最优化算法，目前使用较多的为L曲线法（Hansen 1992, Hansen et al. 1993）和广义交叉核实法（Generalized Cross-Validation，GCV）（Golub et al. 1979）等。Hansen针对这种不适定的问题提出了L曲线，其核心是定位L曲线上曲率最大的一点对应的正则化参数作为最优正则化参数，由于其数值稳定和适用性较好被广泛地应用于工程领域。GCV方法的优点在于利用了观测值的信息，不需要更多的附加信息，并且于理论上可以获得最有的正则化参数；缺点为GCV函数的变化过于的平缓，对于定位它的最小值比较困难。对于L曲线法和GCV方法选取最优正则化参数，都是作为工具直接使用的。除了这两种方法，Xu (1992)基于MSE最小准则的正则化参数的求解也可以获得较好的正则化参数，根据正则化解的表达式，给出了严密的正则化参数的获取准则，并应用于重力异常的反演问题中。基于MSE最小准则求解正则化参数，Xu（1992）认为需要不断地进行内外迭代（内迭代求解出正则化参数，外迭代通过得到的正则化参数更新初始值），直到正则化参数收敛，而沈云中（2000）认为仅仅只需要进行内部求解出正则化参数，不需要更新参数解，然后进行外部迭代。曾群意（2003）提出了利用遗传算法求解出最优的正则化参数。对于传统的光滑的Tikhonov正则化模型，这几种方法是最常使用的。

上述这种正则化参数的求解方法仅仅是针对包含一个正则化参数的， Xu和Rummel（1994b）、Xu et al.（2006a）、陈正宇和刘春（2008）、蒋涛和李建成等（2011）和顾勇为和归庆明（2014a）将单参数扩展到多参数正则化模型。Xu和Rummel（1994b）将这种多参数正则化模型称为广义岭估计，给出了在特殊正则化矩阵下多正则化参数的表达式，证明了这种多参数正则化方法可以获得比单参数正则化更小的MSE；蒋涛和李建成等（2011）将这种方法直接运用到航空重力向下延拓反演中，对比单参数反演结果，得出相似的结论。Xu等（2006a）使用一般的正则化对角矩阵代替构造的特殊正则化矩阵，基于MSE最小的准则，采用拟牛顿法对正则化参数进行求解，并成功应用至重力异常的仿真反演中。陈正宇和刘春（2008）采用Morozov偏差原理对多正则化参数进行求解，认为正则化参数不宜取得过多，否则会易导致迭代不收敛的问题，给出了坐标转换案例中最优的正则化参数的个数。顾勇为和归庆明等提出了构造干扰源向量，推导了与法方程同解且病态性大为减弱的新的解算方程，然后用共轭梯度迭代法对新方程求解。这种方法与传统的Tikhonov正则化方法不同，他通过构造合适的干扰源向量去修正系数矩阵，以达到降低系数矩阵的病态性的目的。

受到多参数正则化思想的影响，顾勇为和归庆明（2010）提出了一种基于信噪比的正则化方法，以信噪比为依据构造正则化矩阵，以MSE最小准则选取正则化参数。邓凯亮等（2011）为避免正则化参数对向下延拓过程可靠成分的修正影响，提出Tikhonov双参数正则化法。引进截断参数，将法矩阵的奇异值分为相对较大的奇异值（可靠部分）和相对较小的奇异值（不可靠部分）；引进正则化参数，只对法矩阵的小奇异值进行修正，以抑制高频误差对向下延拓解的影响。采用GCV的方法确定截断参数和选择正则化参数。但是该方法给出的双参数正则化解的MSE公式出现了错误，对于可靠部分的偏差是与正则化参数无关的，正则化参数是不应该被考虑的。邓凯亮（2011）与顾勇为和归庆明（2010）两种方法本质上是一致的，但是忽略了可靠部分不被正则化时，MSE的一定是大于可靠部分被正则化的MSE的。林东方等（2016）通过比较修正奇异值的方差下降量与偏差引入量的大小关系确定需要修正的小奇异值，进而改进岭估计方法，实现选择性地修正小奇异值，提出附有奇异值修正限制的改进的岭估计方法，可有效改善岭估计的解算效果和可靠性。这种改进的岭估计方法本质上与邓凯亮的双参数的思想是一致的。

1.2 正则化矩阵的选取

欧吉坤（2004）给出不适定问题的统一表达，利用选权拟合法构造正则化矩阵，采用L曲线求解正则化参数。王振杰(2006)等提出了一种两步法用于解决这种病态问题，第一步利用病态观测方程进行第一次的Tikhonov正则化估计（或者岭估计），获得参数的估值和均方误差矩阵，第二步利用第一步的均方误差矩阵构造新的正则化矩阵，再次进行Tikhonov正则化，两步均使用L曲线求取正则化参数。徐禹新等（2011）利用反映位