交叉熵

为什么交叉熵（cross-entropy）可以用于计算代价？==》https://www.zhihu.com/question/65288314

 

根源于KL散度能衡量两个分布的不同=》训练分布是给定的==》熵是定的==》所以可以用交叉熵等价代替KL散度==》衡量两个分布的不同有多大

==》交叉熵可以用于计算“学习模型的分布”与“训练数据分布”之间的不同

 

==》交叉熵的p和q相当于label和predict==》衡量label背后的分布以及predict背后的分布之间的差异

 

  KL散度，有时候也叫KL距离，一般被用于计算两个分布之间的不同=》KL散度，有时候也叫KL距离，一般被用于计算两个分布之间的不同=》KL散度，有时候也叫KL距离，一般被用于计算两个分布之间的不同

 

 

 

一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉=》

https://blog.csdn.net/tsyccnh/article/details/79163834

 

简单易懂的softmax交叉熵损失函数求导=》

https://www.jianshu.com/p/c02a1fbffad6