最大似然估计，交叉熵，相对熵(KL散度)

在机器学习中，选择损失函数时，通常会遇到交叉熵的概念，也就是交叉熵损失函数，那么我们知道最小化交叉熵损失函数等价于最大化对数似然，那么最小化交叉熵损失函数其含义是怎么样本的？我们知道针对分类问题，我们并不知道Y的真实分布，因此需要通过模型来估计Y的真实分布，以逻辑回归为例，假设Y的真实分布为：P(Y=1)=p;P(Y=0)=1-p,而我们用来估计的P’(Y=1)=q,P’(Y=0)=1-q;通常$q=\frac{1}{1+exp(-x\beta)}$, 我们需要做的就是估计参数$\beta$,使得P和P’之间的差异尽可能小，描述两个分布差异大小的量我们可以使用相对熵 即