深度学习中,逻辑回归(交叉熵),softmax损失函数的推导,以及sigmoid, relu, tanh, softmax函数的用处
sigmoid, relu, tanh, softmax函数的用处
其中作为激励函数的有:
(1) g(z) = sigmoid(z) =
(2) g(z) = relu(z) = max(0, x)
(3) g(z) = tanh(z) =
以上激励函数作用为构造非线性模型,如:z = W^Tx + b是一个线性模型,当引入a = g(z)时,就构造出了非线性模型,用来拟合实际...
原创
2019-04-18 16:25:10 ·
1120 阅读 ·
0 评论