花书+吴恩达深度学习（二）非线性激活函数（ReLU, maxout, sigmoid, tanh）

目录

0. 前言

1. ReLU 整流线性单元

2. 绝对值整流线性单元

3. 渗漏整流线性单元

4. 参数化整流线性单元

5. maxout 单元

6. logistic sigmoid 单元

7. 双曲正切单元

8. 径向基函数

9. softplus 函数

10. 硬双曲正切函数

---

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔~我会非常开心的~

花书+吴恩达深度学习（一）前馈神经网络（多层感知机 MLP）

花书+吴恩达深度学习（二）非线性激活函数（ReLU, maxout, sigmoid, tanh）

花书+吴恩达深度学习（三）反向传播算法 Back Propagation

花书+吴恩达深度学习（四）多分类 softmax

0. 前言

万能近似定理（universal approximation theorem）表示，一个前馈神经网络如果具有线性输出层和至少一层具有任何一种挤压性质的激活函数的隐藏层，只要给予网络足够数量的隐藏单元，它可以以任意精度来近似任何从一个有限维空间到另一个有限维空间的可测函数，前馈神经网络的导数也可以任意好的近似函数的导数。

假设，在神经网络中不使用非线性激活函数，输入层  ，隐藏层输出  ，输出层输出  ，最终的输出仍然是线性的。

在新技术的研究和开发期间，通常会测试很多不同的激活函数，并且发现许多标准方法的变体表现非常好。