神经网络常用的激活函数

最新推荐文章于 2024-09-25 19:10:42 发布

zxhcsdn

最新推荐文章于 2024-09-25 19:10:42 发布

阅读量453

点赞数

文章标签：神经网络

本文链接：https://blog.csdn.net/zxhcsdn/article/details/109638977

版权

神经网络常用的激活函数

1 恒等函数
f(z) = I(z)=z
2 sigmoid 函数
这个函数通常是用在返回0到1之间的值
f(z) = 1/(1+exp(-z))
3 tanh(双曲正切）激活函数
双曲正切是一条-1~1的S形曲线：
f(z) = tanh(z)
图像如图在这里插入图片描述
4 ReLu(整流线性单元)激活函数
f(z) = max(0,z)
python 的表达形式为np.maximum(x,0,x)
5 Leaky ReLU
f(x) = { az（z<0）,z (z>0)}
a一般约为0.01，这个取值的目的是使得x>0和x<0之间的差异更加明显。
6 Swish 激活函数
f(x)=x⋅sigmoid(βx)
β是个常数或可训练的参数.Swish 具备无上界有下界、平滑、非单调的特性。
Swish 在深层模型上的效果优于 ReLU。例如，仅仅使用 Swish 单元替换 ReLU 就能把 Mobile NASNetA 在 ImageNet 上的 top-1 分类准确率提高 0.9%，Inception-ResNet-v 的分类准确率提高 0.6%。参考来源激活函数(ReLU, Swish, Maxout)