一维搜索、最速下降（梯度下降）与牛顿法（拟牛顿法）

一维搜索

最优化问题一般选择某一组变量，然后在满足一定的限制条件下，求出使目标值达到最优（最大或最小）的变量值。大部分时候，最优化问题都采用迭代计算的方式来求解。而大多数迭代下降算法都具有的共同点是在得到某次迭代点$x^k$后，需要按照一定规则来确定一个方向$d^k$，沿着该方向在直线上求函数的极小点得到下一个迭代点$x^{k+1}$。这样不断在一维的目标函数上，求其在各迭代点的直线方向上的极小点，直到求出问题最优解的方式就被称为一维搜索，或者线搜索。其一般过程可用如下公式表示：
$$x^{k+1}=x^k+\lambda d^k$$
其上$d^k$，表示在这一步的搜索方向，步长因子$\lambda$决定了沿着该方向前进多远。这两者共同决定了该搜索算法的好坏。一维搜索的算法有好多种，以下介绍几种常见的。

黄金分割法

基础公式：
$${\lambda }_k=a_k+0.382(b_k-a_k)$$
$${\mu }_k=a_k+0.618(b_k-a_k)$$
流程如下：

0.618法和Fibonacci法的运作机理是一致的，且都适用于单峰函数的情形，只不过将区间长度缩短比例由常数0.618更改为了斐波那契数列。在实际应用问题中，目标函数在其定义域内很有可能不是单峰的，因此我们在使用时需要先确定其单峰区间再行计算。

牛顿法

牛顿法迭代法的基本思想是利用二阶泰勒展开在极小点附近来近似目标函数，最终解出极小点的一个近似值。其主要解算步骤如下：
$$x^{k+1}=x^k-f^{{}^{\prime }}(x^k)/f^{{}^{\prime \prime }}(x^k)$$

若是初始点选择的比较靠近极小点，迭代过程就能很快地收敛，反之则有可能不收敛到极小点。

最速下降法

上文中的一维搜索可归结为单变量函数的最优化问题，也是最速下降法的基础。
$$x^{k+1}=x^k+\lambda d^k$$
其迭代过程中最重要的就是为下次迭代选择一个合适的方向$d^k$。人们利用了梯度方向是函数值增长最快的方向的思想，来让迭代点沿着负梯度方向前进，保证函数的“最速”下降。
以下直接给出公式：
$$x^{k+1}=x^k-\lambda \nabla f(x^k)$$
在多元函数中：
$$\nabla f(x)=(\partial f(x)/(\partial x_1),\dots ,\partial f(x)/(\partial x_n))$$
步长$\lambda$由求解式： $argminf(x^k+\lambda d^k)$得到，是一种精确步长的搜索方式。其与梯度下降法的区别也在于此，梯度下降中的步长往往是由工程师自己预先设置好的一个固定值，因此梯度下降法只是最速下降法中的一种特殊形式。

形象点地说，假设有一小球要从山顶滚到山脚，那么每次沿最陡峭（梯度）的方向向下滚是最快的。在确定了每次下降的方向的同时也需要小心地选择一个合适的步长。若是过大，可能导致迭代点发散，过小则导致收敛太慢。由于梯度为0的点是函数取极值的必要条件，却不是充分条件，所以梯度下降法最终带给我们的解，可能只是一个局部最优解：也就是我们的小球陷入了山腰上的某个小坑中无法动弹（然而事实上在机器学习中，往往梯度下降只能让loss函数下降到鞍点，甚至无法抵达局部最优解）。而随机梯度下降法则为跳出局部最优解提供了可能，如下图所示：

其会比较多个小球的结果，而当小球数目足够多时，其中海拔最低的那个球也就为我们带来了全局最优解。
最速下降算法还有一个局限之处是存在下图所示的锯齿现象:

由于最速下降法在极小化目标函数时的相邻两个搜索方向是正交的,以下给出简易证明过程:
$$g(\lambda )=f(x^k+\lambda d^k)$$
为了求其在方向$d^k=-\nabla f(x^k)$上的极小点，需要先确定步长，令：
$$g^{{}^{\prime }}(\lambda )=\nabla f(x^k+{\lambda }_k{d}^k{)}^T{d}^k=0$$
可得：
$$-\nabla f(x^{k+1}{)}^T\nabla f(x^k)=0$$
即方向$d^{k+1}$与方向$d^k$正交。所以使用最速下降法得到的迭代路线往往是呈现一个之字形的走势。而当迭代点越靠近极小点，其移动的步长较小，严重影响到了收敛的速度。虽然从局部来看，每次选择的方向都是函数值下降最快的方向，但是从全局来看，锯齿现象导致当距离极小点较近时需要绕不少弯路才能收敛，反而收敛较慢。因此在计算的前中期使用梯度下降，而在接近极小点时使用其他算法进行迭代会是更理想的方案。

牛顿法与拟牛顿法

此处介绍的牛顿法是其在一维搜索中的推广形式。与最速下降法一样可用于求解一般无约束的多元优化问题。其基本思想还是采用泰勒二阶展开来拟合极小点附近的函数来进行迭代：
$$x^{k+1}=x^k-{\nabla }^{2}f(x^k{)}^{-1}\nabla f(x^k)$$
可以看到我们需要函数在迭代点处的梯度$\nabla f(x^k)$以及${\nabla }^{2}f(x^k)$海森矩阵的逆矩阵来进行下一步的迭代点的计算。也有许多文献证明牛顿法的收敛速度是很快的，特别对于目标函数为二次凸函数的情况来说，其只需一次迭代就能得到极小点，像这样在有限次迭代后能使函数必定达到极小点的方法我们可称其具有二次终止性。像上文中的最速下降法对一般的凸函数就不具备此性质。

但是牛顿法也有可能无法收敛，因为牛顿方向并不一定是下降的方向。因此人们提出了结合沿牛顿方向进行一维搜索的修正牛顿法。机智的小伙伴们可能注意到，无论是牛顿法还是修正牛顿法都有一个问题：他们都需要海森矩阵的逆矩阵才能进行迭代。因此针对海森矩阵为奇异矩阵，或者海森矩阵维度过高，求逆所需的计算量太庞大的情况：拟牛顿法应运而生。我们会构造一个新的对称正定矩阵来取代海森矩阵进行迭代，避免了求逆以及二次微分的计算。根据不同的构造方式还可细分成不同的子方法如：BFGS、DFP等。具体的构造方法以及推导过程有很多文献，这里不多做介绍了。

参考

陈宝林，《最优化理论与算法》。