数学知识-- 信赖域(Trust Region)算法是怎么一回事

信赖域(Trust Region)算法是怎么一回事

转载自： https://www.codelast.com/原创信赖域trust-region算法是怎么一回事/

如果你关心最优化（Optimization），你一定听说过一类叫作“信赖域（Trust Region）”的算法。在本文中，我将讲述一下信赖域算法与一维搜索的区别、联系，以及信赖域算法的数学思想，实现过程。

【1】信赖域算法与一维搜索算法的区别、联系
最优化的目标是找到极小值点，在这个过程中，我们需要从一个初始点开始，先确定一个搜索方向 ，在这个方向上作一维搜索（line search），找到此方向上的可接受点（例如，按两个准则的判定）之后，通过一定的策略调整搜索方向，然后继续在新的方向上进行一维搜索，依此类推，直到我们认为目标函数已经收敛到了极小值点。
这种通过不断调整搜索方向，再在搜索方向上进行一维搜索的技术被很多很多算法采用，也取得了很实际的工程意义，但是，我们非要这样做不可吗？有没有另外一种途径，可以不通过“调整搜索方向→进行一维搜索”的步骤，也能求得极小值点？当然有，这就是信赖域算法干的好事。
文章来源：http://www.codelast.com/
为了说明这两种途径所实现的算法的区别和联系，请允许我做一个可能不太恰当，但是比较形象的比喻：

上图表述的是：如果把求最优解的过程比喻为“造一个零件”的过程的话，那么，使用一维搜索的那些算法和信赖域算法就像是两种不同的工艺，它们分别使用不同的技术（一维搜索&信赖域方法）——即两种不同的材料作为达成最终目标的基础。

作为一个了解最优化理论并不多的人，我从我看到过的书得到的感受就是：相比使用一维搜索的那一类算法，貌似信赖域算法们的应用还不够那么多。当然这仅仅是个人感觉，勿扔砖...

【3】信赖域算法的数学模型

文章来源：http://www.codelast.com/

文章来源： http://www.codelast.com/
【6】信赖域算法的收敛性
信赖域算法具有整体收敛性。这个证明我没看（太长了），此处略。

转：

https://www.codelast.com/%E5%8E%9F%E5%88%9B%E4%BF%A1%E8%B5%96%E5%9F%9Ftrust-region%E7%AE%97%E6%B3%95%E6%98%AF%E6%80%8E%E4%B9%88%E4%B8%80%E5%9B%9E%E4%BA%8B/