深度学习中，逻辑回归(交叉熵)，softmax损失函数的推导，以及sigmoid, relu, tanh, softmax函数的用处

sigmoid, relu, tanh, softmax函数的用处

其中作为激励函数的有:

(1) g(z) = sigmoid(z) =   

(2) g(z) = relu(z) = max(0, x)

(3) g(z) = tanh(z) = 

以上激励函数作用为构造非线性模型，如:z = W^Tx + b是一个线性模型，当引入a = g(z)时，就构造出了非线性模型，用来拟合实际中的实际问题。

作为分类：

(1)sigmoid函数：用于2分类与多分类问题。

(2)softmax函数：用于多分类问题

逻辑回归(交叉熵)损失函数的推导（以二分类举例）

LOSS = ∑-y_i * log(y_hat_i) - (1 - y_i) * log(1 - y_hat_i), 其中y_hat_i = g(z_i) = sigmoid(z_i) 值介于0,1之间

对于样本x_i, 二分模型判定其为1的概率为p1_i = y_hat_i     (注：p1_i指的是第i个样本预测判定其为1的概率)

对于样本x_i, 二分模型判定其为1的概率