Python_共轭梯度法与最速下降法之间的比较

最新推荐文章于 2024-06-10 10:56:28 发布

像在吹

最新推荐文章于 2024-06-10 10:56:28 发布

阅读量8k

点赞数 1

分类专栏： Python 文章标签： python 共轭梯度法最速下降法

本文链接：https://blog.csdn.net/zhangweiguo_717/article/details/52823239

版权

本文对比了在优化问题中，Python实现的共轭梯度法与最速下降法。最速下降法因其'之'字形轨迹，通常需要更多迭代次数才能达到最优值。而共轭梯度法则更优，尤其在FR和PRP格式下。通过64维二次函数验证，共轭梯度法在迭代次数上明显少于最速下降法。

摘要由CSDN通过智能技术生成

在一般问题的优化中，最速下降法和共轭梯度法都是非常有用的经典方法，但最速下降法往往以”之”字形下降，速度较慢，不能很快的达到最优值，共轭梯度法则优于最速下降法，在前面的某个文章中，我们给出了牛顿法和最速下降法的比较，牛顿法需要初值点在最优点附近，条件较为苛刻。

算法来源：《数值最优化方法》高立，P111

我们选用了64维的二次函数来作为验证函数，具体参见上书111页。

采用的三种方法为：共轭梯度方法（FR格式）、共轭梯度法（PRP格式）、最速下降法

# -*- coding: utf-8 -*-
"""
Created on Sat Oct 01 15:01:54 2016
@author: zhangweiguo
"""
import sympy,numpy
import math
import matplotlib.pyplot as pl
from mpl_toolkits.mplot3d import Axes3D as ax3
import SD#这个文件里有最速下降法SD的方法，参见前面的博客
#共轭梯度法FR、PRP两种格式
def CG_FR(x0,N,E,f,f_d):
    X=x0;Y=[];Y_d=[];
    n = 1
    ee = f_d(x0)
    e=(ee[0]**2+ee[1]**2)**0.5
    d=-f_d(x0)
    Y.append(f(x0)[0,0]);Y_d.append(e)
    a=sympy.Symbol('a',real=True)
    print '第%2s次迭代：e=