4. 梯度下降法
4.1 定义
通过对参数（如w，b）进行求导，用于训练模型中的各种参数（如线性回归的w和b参数），从而达到成本函数值的最低点（也就是函数图像的最低点）。
4.2 函数图像
在图中，x和y轴分别为需要训练的参数w和b（参数越多时维数越高），z轴为J（w，b）的值
4.3 具体操作方式
在logistic回归当中参数进行任意初始化后，进行一次logistic回归计算，并且计算出当前J（w，b）的公式和值，并且分别对公式进行关于不同参数的导数，进而求出斜率最低的方向，即再图像中为当前点最陡的方向，再向这个方向移动一定的距离（这个距离按照学习率，也就是步长决定），具体的移动方法就是使用变化函数改变参数的值，也就是对参数进行优化，并且不断重复上述过程，从而达到最优点（损失函数最低点）。
4.4 变化函数：(以参数w为例)
w : = w − α d J ( w ) d w w:=w-\alpha \frac{d J(w)}{d w} w:=w−αdwdJ(w)
w : = w:= w:= 为更新w的值
α \alpha α 为学习率，代表着步长，控制着每次迭代的移动长度，学习率越大，步长越大
d J ( w ) d w \frac{d J(w)}{d w} dwdJ(w) ：为J进行关于w的导数，后面常用 d ( w ) d(w) d(w)直接表示
4.5 过程图示
1164
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
