scipy.optimize.minimize 的优化算法(2): Powell

最新推荐文章于 2024-07-21 21:45:49 发布

qilin2016

最新推荐文章于 2024-07-21 21:45:49 发布

阅读量9.8k

点赞数

分类专栏： Machine Learning 文章标签：算法优化

本文链接：https://blog.csdn.net/zhoudi2010/article/details/54585451

版权

Powell算法是一种无梯度优化方法，适用于不可导的目标函数。它通过建立线性独立的方向集进行迭代，每次迭代选择最优方向并更新方向集。Scipy库中的_minimize_powell()实现了这一算法，内部结合了_Brent_方法进行线性搜索。在迭代过程中，新方向的引入和旧方向的替换依据特定的判断规则，确保算法的收敛性和鲁棒性。

摘要由CSDN通过智能技术生成

Powell Algorithm

Numerical Recipes
http://home.agh.edu.pl/~pba/pdfdoc/Numerical_Optimization.pdf
https://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.minimize.html

Powell 优化算法是典型的derivative free算法，他不依赖于目标函数的可微性质，对于不可导的函数也能有效的最优化。思路是建立一个direction set，这个set中的方向相互线性独立，从初始点（x0）开始对每一个方向进行linear search找到沿这个方向的最优解（使用Brent method）。遍历所有方向之后得到（x1），再将（x1-x0）的方向加入到direction set中，并剔除掉原来set中第一个方向。所有新的方向（x1-x0）加上未被替换掉的旧方向（e2,e3…en）在新的direction set中pairwise conjugate。