机器学习:Kullback-Leibler Divergence(KL散度)以及R-dropout函数的通俗讲解
KL散度,最早是从信息论里演化而来的,信息熵的定义如下:H=−∑i=1Np(xi)log(p(xi))H = -\sum\limits_{i=1}^{N}p(x_{i})log(p(x_{i}))H=−i=1∑Np(xi)log(p(xi))其中p(xi)p(x_{i})p(xi)表示事件xix_{i}xi发生的概率,信息熵反映的就是要表示一个概率分布需要的平均信息量。定义KL散度值DKL(p∣∣q)=∑i=1Np(xi)(logp(xi)−logq(xi))D_{KL}(p||q) =
原创
2021-07-15 21:38:44 ·
2349 阅读 ·
11 评论