论文笔记|Global convergence of a descent PRP type conjugate gradient method for nonconvex optimization

0 摘要

非线性共轭梯度法由于其较低的内存需求和较少的计算成本，常被用于求解大规模无约束优化问题。本文提出了一种新的Polak-Ribiére-Polyak（PRP）型共轭梯度法，该方法满足不依赖于任何线搜索的充分下降条件。该方法的一个显著特点是在标准Wolfe线搜索条件和标准Armijo线搜索策略下，不需要目标函数的凸性假设，具有强全局收敛性。数值结果表明了所提出方法的有效性。

1 引言

本文考虑的无约束优化问题：

最速下降法、牛顿法、拟牛顿法、共轭梯度法等[ 27 ]是求解问题( 1.1 )的常用方法。然而，当该问题的维数比较高时，共轭梯度( CG )方法具有收敛速度快、无需矩阵存储等优点，是解决这类问题最有效的方法之一。其迭代过程为：

其中xk是当前的迭代次数，α k是由某种线搜索确定的步长，dk是由定义的搜索方向：

其中gk表示f在点xk处的梯度，βk称为共轭参数.

共轭梯度法广泛应用于金融、医疗、工程、经济、信号处理、图像复原等领域。第一种共轭梯度法是由Hestenes和施蒂费尔[ 20 ]于1952年提出的一种求解线性方程组的方法。它被称为线性共轭梯度法。对于非二次函数，值得注意的是，不同的参数βk对应不同的共轭梯度法。

βk的著名公式是由：

其中| | . | |表示向量的欧氏范数.与上述公式相对应的共轭梯度法分别称为PRP (波拉克-里比埃尔-波利亚克) [ 28 ]