Powell Algorithm
Numerical Recipes
http://home.agh.edu.pl/~pba/pdfdoc/Numerical_Optimization.pdf
https://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.minimize.html
Powell 优化算法是典型的derivative free算法,他不依赖于目标函数的可微性质,对于不可导的函数也能有效的最优化。思路是建立一个direction set,这个set中的方向相互线性独立,从初始点(x0)开始对每一个方向进行linear search找到沿这个方向的最优解(使用Brent method)。遍历所有方向之后得到(x1),再将(x1-x0)的方向加入到direction set中,并剔除掉原来set中第一个方向。所有新的方向(x1-x0)加上未被替换掉的旧方向(e2,e3…en)在新的direction set中pairwise conjugate。
算法
先直接来看算法描述:
解释
在实际的算法中,为了增加鲁棒性,我们要对“新的方向是否替换旧的方向”多加考虑。这里我们使用以下的判断方法:
这里 P0 为迭代前的初始点, PN 为迭代后的点,