正则化技术_测绘仪器

在数学上，我们将满足以下性质的数学模型的物理现象：

1. 解存在
2. 解唯一
3. 解连续依赖于初始边界条件（the solution’s behavior changes continuously with the initial conditions）

称适定问题。只要其中一个条件不满足，则称为不适定问题[1]

在数学、统计和计算机科学尤其是在机器学习和反演问题中，正则化通过引入额外的信息去解决不适定问题或者防止过拟合。

1. 国内外研究综述（测绘学领域）

病态问题是大地测量数据处理中经常会遇到的问题，广泛地存在于GPS快速定位（李博峰）、GSP水汽层析、卫星重力延拓及InSAR形变检测等领域(邓凯亮、蒋涛、林东方)。当模型出现病态时，观测数据的微小变化常常会造成难以估计的巨大变化，估计值会变的及其的不稳定，很难得到可靠的参数估值。这种情况下，侧脸数据处理常用的最小二乘估计虽然依旧可以获得无偏估计，但已经不是最优估计（崔希璋）。正对病态问题，学者们提出一系列改善的有偏估计方法，诸如：stein估计法、岭估计法（Hoerl et al., 1970）、截断奇异值方法(Hansen, 1987; Xu,1988; Gui et al., 2002)和Tikhonov正则化的方法等，其中应用最广泛的是Tikhonov正则化方法。该篇文章中最主要的是对Tikhonov正则化方法进行一系列的综述。

Tikhonov正则化法通过正则化参数和正则化矩阵作用于原病态矩阵来改善矩阵的病态性，得到的参数更为可靠的稳定解。正则化参数和正则化矩阵的确定至关重要。正则化参数起到了平衡病态矩阵与正则化矩阵的作用，反映了正则化矩阵的权重大小；正则化矩阵则是对病态矩阵的修正。下面将从正则化参数和正则化矩阵这两个方面进行综述。

1.1 正则化参数选取

Tikhonov正则化方法是由Tikhonov(1963a, 1966b, 1977)提出的，作为解决不适定问题的理论基础。在稳定泛函（正则化项）的基础上，正则化参数作为平衡最小二乘最小项和正则项的重要参数，选取合适的正则化参数就非常的重要。

选择正则化参数需要利用最优化算法，目前使用较多的为L曲线法（Hansen 1992, Hansen et al. 1993）和广义交叉核实法（Generalized Cross-Validation，GCV）（Golub et al. 1979）等。Hansen针对这种不适定的问题提出了L曲线，其核心是定位L曲线上曲率最大的一点对应的正则化参数作为最优正则化参数，由于其数值稳定和适用性较好被广泛地应用于工程领域。GCV方法的优点在于利用了观测值的信息，不需要更多的附加信息，并且于理论上可以获得最有的正则化参数；缺点为GCV函数的变化过于的平缓，对于定位它的最小值比较困难。对于L曲线法和GCV方法选取最优正则化参数，都是作为工具直接使用的。除了这两种方法，Xu (1992)基于MSE最小准则的正则化参数的求解也可以获得较好的正则化参数，根据正则化解的表达式，给出了严密的正则化参数的获取准则，并应用于重力异常的反演问题中。基于MSE最小准则求解正则化参数，Xu（1992）认为需要不断地进行内外迭代（内迭代求解出正则化参数，外迭代通过得到的正则化参数更新初始值），直到正则化参数收敛，而沈云中（2000）认为仅仅只需要进行内部求解出正则化参数，不需要更新参数解，然后进行外部迭代。曾群意（2003）提出了利用遗传算法求解出最优的正则化参数。对于传统的光滑的Tikhonov正则化模型，这几种方法是最常使用的。

上述这种正则化参数的求解方法仅仅是针对包含一个正则化参数的， Xu和Rummel（1994b）、Xu et al.（2006a）、陈正宇和刘春（2008）、蒋涛和李建成等（2011）和顾勇为和归庆明（2014a）将单参数扩展到多参数正则化模型。Xu和Rummel（1994b）将这种多参数正则化模型称为广义岭估计，给出了在特殊正则化矩阵下多正则化参数的表达式，证明了这种多参数正则化方法可以获得比单参数正则化更小的MSE；蒋涛和李建成等（2011）将这种方法直接运用到航空重力向下延拓反演中，对比单参数反演结果，得出相似的结论。Xu等（2006a）使用一般的正则化对角矩阵代替构造的特殊正则化矩阵，基于MSE最小的准则，采用拟牛顿法对正则化参数进行求解，并成功应用至重力异常的仿真反演中。陈正宇和刘春（2008）采用Morozov偏差原理对多正则化参数进行求解，认为正则化参数不宜取得过多，否则会易导致迭代不收敛的问题，给出了坐标转换案例中最优的正则化参数的个数。顾勇为和归庆明等提出了构造干扰源向量，推导了与法方程同解且病态性大为减弱的新的解算方程，然后用共轭梯度迭代法对新方程求解。这种方法与传统的Tikhonov正则化方法不同，他通过构造合适的干扰源向量去修正系数矩阵，以达到降低系数矩阵的病态性的目的。

受到多参数正则化思想的影响，顾勇为和归庆明（2010）提出了一种基于信噪比的正则化方法，以信噪比为依据构造正则化矩阵，以MSE最小准则选取正则化参数。邓凯亮等（2011）为避免正则化参数对向下延拓过程可靠成分的修正影响，提出Tikhonov双参数正则化法。引进截断参数，将法矩阵的奇异值分为相对较大的奇异值（可靠部分）和相对较小的奇异值（不可靠部分）；引进正则化参数，只对法矩阵的小奇异值进行修正，以抑制高频误差对向下延拓解的影响。采用GCV的方法确定截断参数和选择正则化参数。但是该方法给出的双参数正则化解的MSE公式出现了错误，对于可靠部分的偏差是与正则化参数无关的，正则化参数是不应该被考虑的。邓凯亮（2011）与顾勇为和归庆明（2010）两种方法本质上是一致的，但是忽略了可靠部分不被正则化时，MSE的一定是大于可靠部分被正则化的MSE的。林东方等（2016）通过比较修正奇异值的方差下降量与偏差引入量的大小关系确定需要修正的小奇异值，进而改进岭估计方法，实现选择性地修正小奇异值，提出附有奇异值修正限制的改进的岭估计方法，可有效改善岭估计的解算效果和可靠性。这种改进的岭估计方法本质上与邓凯亮的双参数的思想是一致的。

1.2 正则化矩阵的选取

欧吉坤（2004）给出不适定问题的统一表达，利用选权拟合法构造正则化矩阵，采用L曲线求解正则化参数。王振杰(2006)等提出了一种两步法用于解决这种病态问题，第一步利用病态观测方程进行第一次的Tikhonov正则化估计（或者岭估计），获得参数的估值和均方误差矩阵，第二步利用第一步的均方误差矩阵构造新的正则化矩阵，再次进行Tikhonov正则化，两步均使用L曲线求取正则化参数。徐禹新等（2011）利用反映位系数统计规律的Kaula规则构造出正则化矩阵，用于重力场的反演中。林东方等（2017a）通过分析岭估计的方差与偏差，提出了基于较小奇异值特征向量构造正则化矩阵的方法，在有效较小方差的通知，减少偏差的引入，得到更加可靠的稳定的解。相对于正则化参数的选取的研究，正则化参数的构造的研究就显得很少了。

1. 1. 正则化解的偏差的研究

Hoerl AE, Kennard RW（1970）给出了正则化解是有偏的，并且明确地给出了正则化解的偏差估计公式。但是直到2006年，Xu等（2006a）对求解出的有偏的正则化解进行了偏差改正，给出了无偏的正则化解和残差的偏差。Xu等（2006a，2009）扩展反演模型对混合不同类型数据的方差分量进行最优估计：采用GCV准则或者MSE最小准则进行最优正则化参数的求解；使用正则化解估计正则化残差并去除正则化残差的偏差；采用Helmert或MINQUE方法进行方差分量的估计。Shen等（2012）受到Xu等（2006a，2009）的启发，分析了经过偏差修正和不经偏差修正的正则化解之间的联系，得到了一个分析条件，提出了一种部分纠正偏差的正则化解,并且获得了更优的正则化修正解和更小的MSE精度评价公式，成功地应用到了第一类Fredholm积分和重力异常反演中，获得更优的结果。这种对偏差引入量对结果和方差的影响启发了国内一些学者的思考与探索，其中林东方博士（2016，2017a，2017b，2017c）考虑了偏差引入量与方差之间的关系，成功的对岭估计方法、截断奇异值方法等进行了改进，并应用到PolInsar对植被的反演当中。

1. 1. 关于TLS正则化方法的研究

Fierro et al.（1997）提出了基于TLS的截断奇异值的方法去克服由于病态问题引起的解的不稳定性。Golub et al.（1997）提出了TLS的正则化解，给出了取不同约束参数时正则化总体最小二乘（R-TLS）与TLS解之间的关系。Guo和Renaut将R-TLS的求解转换为求解矩阵的特征向量问题，并给出了R-TLS的迭代解法。Beck和Bental将R-TLS问题转换成闭区间内的单变量函数的最小化问题。王乐洋等（2011）采用岭估计方法解决加权总体最小二乘平差的病态性问题。王乐洋和于冬冬（2014）根据广义最小二乘原理，得到了病态总体最小二乘平差的虚拟观测法。袁振超等（2009）基于Tikhonov正则化原理，推导了等权条件下病态总体最小二乘的迭代解法。葛旭明和伍吉仓（2012）基于L曲线法提出解病态总体最小二乘的广义正则化方法。葛旭明和伍吉仓（2013）推导了基于误差限的TLS正则化方法，分析了系数矩阵的病态不仅导致求解参数的不稳定，并且随着病态性的加强，求解的不稳定性也逐步增大。于冬冬和王乐洋（2015）针对病态问题岭估计法及正则化方法存在破坏方程的等量关系解是有偏估计的问题，在最小二乘谱修正迭代法的基础上，提出病态总体最小二乘问题的谱修正迭代法，并推导了总体最小二乘谱修正迭代法及其改进算法的具体公式，但是谱修正参数的选取存在着严重的主观性。孙同贺和闫国庆（2017）提出了基于Tikhonov和全变差混合正则化的病态总体最小二乘算法，但这种附加了全变差的混合正则化方法不再是传统的Tikhonov正则化方法，通过构造其他的外部约束进行来提高正则化求解的稳定性。

参考文献：

Barry D (1986) Nonparametric Bayesian regression. Ann Stat 14:934–953

Hadamard, Jacques (1902). Sur les problèmes aux dérivées partielles et leur signification physique. Princeton University Bulletin. pp. 49–52.

Tikhonov A N, Arsenin V Y. Solutions of Ill-posed problems[M]. John F, trans. New York:Halsted Press, 1977.

Tikhonov AN (1963a) Regularization of ill-posed problems. Dokl Akad Nauk SSSR 151(1):49–52

Tikhonov AN (1963b) Solution of incorrectly formulated problems and the regularization method. Dokl Akad Nauk SSSR 151(3):501–504

Golub G H, Heath M, Wahba G. Generalized Gross-Validation as a Method for Choosing a Good Ridge Parameter[J]. Technometrics, 1979, 21, 215-223.

KaulaWM(1961) A geoid and world geodetic system based on a combination of gravimetric, astrogeodetic and satellite data. J Geophys Res B66:1799–1811

Hansen P C. 1987. The truncated SVD as a method for regularization. BIT,(27):534~553.

Gui Q M et al. 2002. Biased estimation based on SVD and its application in geodetic adjustment. Bollettino di Geodesiae Science Affini,（2）：99~106.

Kaula WM (1966) Theory of satellite geodesy. Blaisdell London

Hansen P C. 1992. Analysis of discrete ill-posed problems by mean of the L-Curve. SIAM Review,34(4),:561~580.

Hansen P C., O’Leary D P. 1993. The Use of the L-Curve in the regularization of discrete ill-posed problems. SIAM J. Sci. Comput., 14(6):1487~1503

Xu PL (1992) Determination of surface gravity anomalies using gradiometric observables. Geophys J Int 110:321–332

Xu PL (1998) Truncated SVD methods for discrete linear ill-posed problems. Geophys J Int 135:505–514

Xu PL, Shen YZ, Fukuda Y, Liu YM (2006a) Variance components estimation in linear inverse ill-posed models. J Geod 80:69–81

Xu PL, Fukuda Y, Liu YM (2006b) Multiple parameter regularization: numerical solution and application to the determination of geopotential from precise satellite orbits. J Geod 80:17–27

Xu PL (2009) Iterative generalized cross-validation for fusing heteroscedastic data of inverse ill-posed problems. Geophys J Int 179:182–200. doi:10.1111/j.1365-246X.2009.04280.x

Xu PL, Rummel R (1994) A generalized ridge regression method with applications in determination of potential fields. Manus Geod 20:8–20

Shen Y. Xu P.L., Li B.F.(2012). Bias-corrected regularized solution to inverse ill-posed models. Journal of Geodesy, 86(8), 597-608.

Hoerl AE, Kennard RW (1970) Ridge regression: biased estimation for nonorthogonal problems. Technometrics 12:55–67

Hemmerle W (1975) An explicit solution for generalized ridge regression. Technometrics 17:309–314

Hemmerle W, Brantle TF (1978) Explicit and constrained generalized ridge estimation. Technometrics 20:109–120

曾群意. 启发式算法及有限单元法在大地测量反演中的应用[D].中国科学院研究生院（测量与地球物理研究所）,2003.

王振杰．测量中不适定问题的正则化解法［Ｍ］．北京：科学出版社，2006，66-85

欧吉坤．测量平差中不适定问题解的统一表达 与 选 权 拟 合 法［Ｊ］．测绘学报，2004，33（4），283-288.

蒋涛,李建成,王正涛,张守建.航空重力向下延拓病态问题的求解[J].测绘学报,2011,40(06):684-689

陈正宇,刘春.基于多参数正则化的空间坐标转换与精度分析[J].大地测量与地球动力学,2008(01):92-95.

顾勇为，归庆明，张璇，等．大地测量与地球物理中病态性问题的正则化迭代解法［Ｊ］．测绘学报，2014，43（4），331-336.

顾勇为, 归庆明. 航空重力测量数据向下延拓基于信噪比的正则化方法的研究[J]. 测绘学报, 2010, 39(5).

邓凯亮, 黄谟涛, 暴景阳, et al. 向下延拓航空重力数据的Tikhonov双参数正则化法[J]. 测绘学报, 2011, 40(6):690-696.

林东方, 朱建军, 宋迎春, et al. 正则化的奇异值分解参数构造法[J]. 测绘学报, 2016a, 45(8):883-889.

林东方, 朱建军. 附有奇异值修正限制的改进的岭估计方法[J]. 武汉大学学报·信息科学版, 2017a, 42(12): 1834-1839.

林东方, 朱建军, 宋迎春. 顾及截断偏差影响的TSVD截断参数确定方法[J]. 测绘学报, 2017b(06):13-22.

林东方,朱建军,张兵,付海强.TSVD截断新方法及其在PolInSAR植被高反演中的应用[J].中国矿业大学学报,2017c,46(06):1386-1393.

徐新禹, 李建成, 王正涛, et al. Tikhonov正则化方法在GOCE重力场求解中的模拟研究[J]. 测绘学报, 2010, 39(5):465-470.

沈云中(2000).应用CHAMP卫星星历精化地球重力场模型的研究.(Doctoral dissertation，中国科学院测量与地球物理研究所)

Fierro R D,Golub G H,Hansen P C, et al. Regularization byTruncated Total Least Squares[J]. SIAM Journalon ScientificComputing,1997,18(1):122

Golub G H, Hansen P C, O'Leary D P. Tikhonov Regularization and Total Least Squares (eng)[J]. Siam Journal of Matrix Analysis & Applications, 1997, 21(1):185-194.

Guo H B,Renaut R A. A Regularized Total Least Squares Algorithm [A]// Total Least Squares and Errors-in-Variables Modeling [M].Copenhagen: Kluwer Academic Publishers, 2002

Beck A, Bental A.On the Solution of the Tikhonov Regularization of the Total Least Squares Problem [J]. SIAM Journal on Optimization, 2006, 17(1):98-118.

袁振超, 沈云中, 周泽波. 病态总体最小二乘模型的正则化算法[J]. 大地测量与地球动力学, 2009, 29(2):131-134.

王乐洋,许才军,鲁铁定.病态加权总体最小二乘平差的岭估计解法[J].武汉大学学报(信息科学版),2010,35(11):1346-1350.

葛旭明, 伍吉仓. 病态总体最小二乘问题的广义正则化[J]. 测绘学报, 2012, 41(3):372-377.

葛旭明，伍吉仓．误差限 的 病 态 总 体 最 小 二 乘 解 算［Ｊ］．测绘学报，2013，42（2）：192-202.

王乐洋, 于冬冬. 病态总体最小二乘问题的虚拟观测解法[J]. 测绘学报, 2014(6):575-581.

于冬冬, 王乐洋. 病态总体最小二乘问题的谱修正迭代法[J]. 大地测量与地球动力学, 2015, 35(4):702-706.

孙同贺, 闫国庆. 病态总体最小二乘的混合正则化算法[J]. 大地测量与地球动力学, 2017(4).