为什么交叉熵(cross-entropy)可以用于计算代价?==》https://www.zhihu.com/question/65288314
根源于KL散度能衡量两个分布的不同=》训练分布是给定的==》熵是定的==》所以可以用交叉熵等价代替KL散度==》衡量两个分布的不同有多大
==》交叉熵可以用于计算“学习模型的分布”与“训练数据分布”之间的不同
==》交叉熵的p和q相当于label和predict==》衡量label背后的分布以及predict背后的分布之间的差异
KL散度,有时候也叫KL距离,一般被用于计算两个分布之间的不同=》KL散度,有时候也叫KL距离,一般被用于计算两个分布之间的不同=》KL散度,有时候也叫KL距离,一般被用于计算两个分布之间的不同
一文搞懂交叉熵在机器学习中的使用,透彻理解交叉熵背后的直觉=》
https://blog.csdn.net/tsyccnh/article/details/79163834
简单易懂的softmax交叉熵损失函数求导=》