梯度下降法是一个一阶最优化算法,通常也称为最速下降法。我之前也没有关注过这类算法。最近,听斯坦福大学的机器学习课程时,碰到了用梯度下降算法求解线性回归问题,于是看了看这类算法的思想。今天只写了一些入门级的知识。
我们知道,函数的曲线如下:
编程实现:c++ code
-
-
-
-
-
- #include <iostream>
- #include <math.h>
- using namespace std;
- int main()
- {
- double e=0.00001;
- double alpha=0.5;
- double x=0;
- double y0=x*x-3*x+2;
- double y1=0;
- while (true)
- {
- x=x-alpha*(2.0*x-3.0);
- y1=x*x-3*x+2;
- if (abs(y1-y0)<e)
- {
- break;
- }
- y0=y1;
- }
- cout<<"Min(f(x))="<<y0<<endl;
- cout<<"minx="<<x<<endl;
- return 0;
- }
-
-
-
-
问题:
迭代步长alpha为什么要选择0.5??选择其他的值可以吗?它的取值与迭代的次数、收敛性及结果的准确性有何关系?如果选择alpha的值?下次好好的探讨。