Nelder–Mead Simplex Algorithm
Reference:
http://home.agh.edu.pl/~pba/pdfdoc/Numerical_Optimization.pdf
https://docs.scipy.org/doc/scipy/reference/generated/scipy.optimize.minimize.html
http://www.jasoncantarella.com/downloads/NelderMeadProof.pdf
算法
先直接来看算法:
解释
对于我们要求解最小值的函数 f(x) , 我们有 n+1 个点以及对应的函数值使其满足 f(x1)<f(x2)<...<f(xn)<f(xn+1) . 每一次我们都对值最大的点进行优化,具体的算法如上图所示。
x¯=Σnixi 是前n个点的质心(centroid),找到对于质心 xn+1 的反射点(reflection point): x¯(t)=x¯+t(xn+1−