Rectified Linear Unit (ReLU)

在神经网络中，常用到的激活函数有sigmoid函数,双曲正切(hyperbolic tangent)函数f(x) = tanh(x)。

今天要说的是另外一种activation function，rectified linear function

线性整流函数（Rectified Linear Unit, ReLU）,又称修正线性单元, 是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。

比较常用的线性整流函数有斜坡函数 f(x) = max(0, x)，以及带泄露整流函数 (Leaky ReLU)，其中为x神经元(Neuron)的输入。线性整流被认为有一定的生物学原理，并且由于在实践中通常有着比其他常用激活函数（譬如逻辑函数）更好的效果，而被如今的深度神经网络广泛使用于诸如图像识别等计算机视觉人工智能领域。

在神经网络中，线性整流函数作为神经元的激活函数，定义了该神经元在线性变换  之后的的非线性输出结果。换言之，对于进入神经元的来自上一层神经网络的输入向量  ，使用线性整流激活函数的神经元会输出 至下一层神经元或作为整个神经网络的输出（取决现神经元在网络结构中所处位置）。

线性整流函数在基于 斜坡函数 的基础上有其他同样被广泛应用于深度学习的变种，譬如带泄露线性整流(Leaky ReLU) ， 带泄露随机线性整流(Randomized Leaky ReLU) ，以及噪声线性整流(Noisy ReLU) 。

带泄露线性整流

在输入值  为负的时候， 带泄露线性整流函数（Leaky ReLU）的梯度为一个常数    而不是0。在输入值为正的时候，带泄露线性整流函数和普通斜坡函数保持一致。

带参数线性整流

References:https://en.wikipedia.org/wiki/Rectifier_(neural_networks)