数学上,共轭梯度法是求解特定线性系统的数值解的方法,其中那些矩阵为对称和正定。共轭梯度法是一个迭代方法,所以它适用于稀疏矩阵系统,因为这些系统对于象乔莱斯基分解这样的直接方法太大了。这种系统在数值求解偏微分方程时相当常见。 共轭梯度法也可以用于求解无约束的最优化问题。
双共轭梯度法提供了一种处理非对称矩阵情况的推广。关于CG方法的详尽阐述,请参考胡家赣的《线性代数方程组的迭代解法》一书第五章。
方法的表述
设我们要求解下列线性系统
其中n-×-n矩阵A 是对称的(也即,AT = A),正定的(也即,xTAx > 0 对于所有非0向量x属于Rn),并且是实系数的。
将系统的唯一解记作x*。
算法
给了初始迭代值x0,可得r0 = b - A*x0,取p1 = r0,即最速下降方向,然后对k = 1, 2.....
经过一些简化,可以得到下列求解Ax = b的算法,其中A是实对称正定矩阵。
- x 0 := 0
- k := 0
- r 0 := b
-
repeat until
r
k is "sufficiently small":
- k := k + 1
-
if k = 1
- p 1 := r 0
-
else
- end if
- x k := x k-1 + α k p k
- r k := r k-1 - α k A p k
- end repeat
- 结果为 x k