sigmoid relu 激活函数

本人第一篇csdn博客，对手动敲一遍基础激活函数加深下理解

import numpy as np
import matplotlib.pyliab as plt

def sigmoid(x):
    return 1/(1 + np.exp(x)) ##注意不要写写成  x/(1 + np.exp(x))


x = np.arange(-10, 10, 0.1)
y = sigmoid(x)

plt.plot(x,y)

plt.ylim(-0.1,1.1)
plt.show()

def relu(x):
    return np.maximum(0,x) ##注意区别max和maximum

说明下区分下max和maximum

>> np.max([-2, -1, 0, 1, 2])

2

>> np.maximum([-2, -1, 0, 1, 2], 0)

array([0, 0, 0, 1, 2])