最优化
关注
分享
扫一扫
KeeJee
机器学习，数据挖掘
展开
-
最优化 - 梯度优化算法
本人总结的常用优化算法：主要包括梯度下降，共轭梯度法；牛顿法，拟牛顿法；信赖域方法，罚函数法。# -*- coding: utf-8 -*-"""author: UniqueZ_file: gradient descent algorithm, CG methoddate: 2017-06-23remark: 原方程为(x1)**2 + 2*(x2)**2"""imp原创 2017-06-25 16:04:35 · 2879 阅读 · 0 评论 -
最优化 - 牛顿优化算法
本人总结的常用优化算法：主要包括梯度下降，共轭梯度法；牛顿法，拟牛顿法；信赖域方法，罚函数法。# -*- coding: utf-8 -*-"""author: UniqueZ_file: 牛顿法, 基于DFP的拟牛顿法date: 2017-06-24remark: 原方程为(x1)**2 + 2*(x2)**2"""import numpy as npim原创 2017-06-25 16:16:53 · 1724 阅读 · 0 评论 -
最优化 - 拉格朗日乘子法与KKT条件
拉格朗日乘子法与KKT条件原创 2017-07-18 15:10:41 · 1541 阅读 · 0 评论 -
最优化 - 拟牛顿法DFP算法
一、牛顿法 在博文“优化算法——牛顿法(Newton Method)”中介绍了牛顿法的思路，牛顿法具有二阶收敛性，相比较最速下降法，收敛的速度更快。在牛顿法中使用到了函数的二阶导数的信息，对于函数，其中表示向量。在牛顿法的求解过程中，首先是将函数在处展开，展开式为：其中，，表示的是目标函数在的梯度，是一个向量。，表示的是目标函数在处的Hesse矩阵转载 2017-06-20 13:30:53 · 3379 阅读 · 0 评论