激活函数又称“非线性映射函数”，是深度卷积神经网络中不可或缺的模块。可以说，深度网络模型强大的表示能力大部分便是由激活函数的非线性单元带来的。这部分共介绍7个激活函数：Sigmoid函数，tanh函数，Relu函数，Leaky Relu函数，参数化Relu，随机化Relu和指数化线性单元（ELU）。
Sigmoid型函数
sigmoid函数也称Logistic函数：
σ
(
x
)
=
11
+
e
x
p
(
−
x
)
σ
(
x
)
=
11
+
e
x
p
(
−
x
)
σ
(
x
)
=
1
1
+
e
x
p
(
−
x
)
σ(x)=11+exp(−x)σ(x)=11+exp(−x) \sigma(x) = \frac{1}{1+exp(-x)}
σ(x)=11+exp(−x)σ(x)=11+exp(−x)σ(x)=1+exp(−x)1ELU(x)={x,λ(exp(x)−1),x>0x<0
优点：ELU具备Relu的优点，同时ELU也解决了Relu函数自身“死区”问题。不过ELU函数指数操作稍稍加大了工作量，实际计算中ELU中超参数λ一般设置为1。
不同激活函数的对比
https://github.com/SiYue0211/neuralnetworks.thought-experiments/tree/master/Activations
2717
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
