scipy.optimize.minimize 的优化算法(1): Nelder–Mead Simplex

Nelder–Mead Simplex Algorithm

Reference:
http://home.agh.edu.pl/~pba/pdfdoc/Numerical_Optimization.pdf
https://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.minimize.html
http://www.jasoncantarella.com/downloads/NelderMeadProof.pdf

算法

先直接来看算法：

解释

对于我们要求解最小值的函数$f(x)$, 我们有$n+1$个点以及对应的函数值使其满足$f(x_1)<f(x_2)<...<f(x_n)<f(x_{n+1})$. 每一次我们都对值最大的点进行优化，具体的算法如上图所示。

$\bar{x}=\Sigma_i^n x_i$ 是前n个点的质心(centroid)，找到对于质心$x_{n+1}$的反射点(reflection point): x¯(t)=x¯+t(xn+1−