机器学习中权值W和偏导b与激活函数的关系

在机器学习中，我们经常会用到线性回归：y = Wx+b
我们也会用到损失函数，损失函数的公式如下图：

通过观察上面的式子我们发现，激活函数 $\sigma$ 包含着线性函数 Wx+b，这个时候损失函数就和权值W和偏置值b联系起来了。

接着我们队损失函数的W和b分别进行求导：

就像图中所说的，W和b的梯度跟激活函数的梯度成正比，激活函数的梯度越大，则w和b的大小调整得越快，训练收敛得越快。
所以我们选择激活函数应该选择梯度较大的函数，这样有利于训练更快速的收敛。

结束线/

欢迎大家加入Q群讨论：463255841

结束线/