Batch & Stochatic Gradient Descent

1. 批量梯度下降法

批量梯度下降法的原理可以参考：斯坦福机器学习第一讲。

我实验所用的数据是100个二维点。

如果梯度下降算法不能正常运行，考虑使用更小的步长(也就是学习率)，这里需要注意两点：

1）对于足够小的,  能保证在每一步都减小；
2）但是如果太小，梯度下降算法收敛的会很慢；

总结：
1）如果太小，就会收敛很慢；
2）如果太大，就不能保证每一次迭代都减小，也就不能保证收敛；
如何选择-经验的方法：
..., 0.001, 0.003, 0.01, 0.03, 0.1, 0.3, 1...
约3倍于前一个数。

伪代码：

[cpp]  view plain copy

1. function [theta0,theta1]=BGD(X,Y);  
2. m=100; %training data一共100个点
3. r=0.001 %learning rate
4. theta0=0;  
5. theta1=0;  
6. temp0=0;  
7. temp1=0;  
8. while(true)  
9.     for i=1:1:m %100个点  
10.         temp0=temp0+(theta0+theta1*X(i,1)-Y(i,1))*1;  
11.         temp1=temp1+(theta0+theta1*X(i,1)-Y(i,1))*X(i,1);  
12.     end  
13.     temp0=theta0-r*temp0;
14.     temp1=theta1-r*temp1;
    
15.     old_theta0=theta0;  
16.     old_theta1=theta1;  
17.     theta0=temp0;
18.     theta1=temp1;
19.     temp0=0;  
20.     temp1=0;  
21.     if(sqrt((old_theta0-theta0)^2+(old_theta1-theta1)^2)<0.000001) % 这里是判断收敛的条件，当然可以有其他方法来做  
22.         break;  
23. end 

2. 随机梯度下降法

随机梯度下降法适用于样本点数量非常庞大的情况，算法使得总体向着梯度下降快的方向下降。

伪代码：

[cpp]  view plain copy

1. function [theta0,theta1]=SGD(X,Y);  
2. m=100; %training data一共100个点
3. r=0.001 %learning rate
4. theta0=0;  
5. theta1=0;  
6. temp0=0;  
7. temp1=0;  
8. iterNum=30;
9. for iter=1:1:iterNum  
10.     for i=1:1:m  
11.         temp0=theta0-r*(theta0+theta1*X(i,1)-Y(i,1))*1;
12.         temp1=theta1-r*(theta0+theta1*X(i,1)-Y(i,1))*X(i,1);
13.         theta0=temp0;
14.         theta1=temp1;
15.     end  
16. end