TensorFlow 交叉熵代价函数

最新推荐文章于 2021-03-13 16:49:54 发布

zy_小轩

最新推荐文章于 2021-03-13 16:49:54 发布

阅读量339

点赞数

分类专栏：深度学习

本文链接：https://blog.csdn.net/zy_505775013/article/details/89042599

版权

深度学习专栏收录该内容

2 篇文章 0 订阅

订阅专栏

交叉熵代价函数
激活函数sigmoid函数： $\theta(z)=\frac{1}{1+e^{-z}}$
激活函数求导： ${\theta}'(z)=\theta(z)*(1-\theta(z))$
交叉熵代价函数：
$C =-\frac{1}{n}\sum_{x=1}^n[y*lna+(1-y)ln(1-a)]$
其中C 表示代价函数，x表示样本，y表示实际值，a 表示输出值，n 表示样本的总数。

$a=\theta(z)$ $z=\sum w_j*x_j+b$
$\frac{\partial C}{\partial w_j}=-\frac{1}{n}\sum_x^n(\frac{y}{\partial(z)}-\frac{1-y}{1-\partial(z)})\frac{\partial \theta}{\partial w_j}=\frac{1}{n}\sum_x^nx_j(\theta(z)-y)$
$\frac{\partial C}{\partial b}=\frac{1}{n}\sum(\theta(z)-y)$
上述的两个公式中可以发现权值和偏置值的调制与 ${\theta}'(z)$ 无关，另外，梯度公式中的 $\theta(z)-y$ 表示输出值与实际值的误差。所以当误差越大时，梯度就越大，参数 w 和 b 的调整就越快，训练的速度也就越快。
如果输出神经元是线性的，那么二次代价函数就是一种合适的选择。如果输出神经元是 S 型函数，那么比较适合用交叉熵代价函数。
对数似然代价函数
对数似然函数常用来作为softmax回归的代价函数，如果输出层神经元是sigmoid函数，可以采用交叉熵代价函数。而深度学习中更普遍的做法是将softmax最为最后一层，此时常用的代价函数是对数似然代价函数。
对数似然代价函数与softmax的组合和交叉熵与sigmoid函数的组合非常相似。对数似然代价函数在二分类时可以化简为交叉熵代价函数的形式。
在TensorFlow中用：

tf.nn.sigmoid_cross_entropy_with_logits() 来表示跟sigmoid搭配使用的交叉熵
tf.nn.softmax_cross_entropy_with_logits() 来表示跟softmax 搭配使用的交叉熵