信息论
zhlei12345
这个作者很懒,什么都没留下…
展开
-
熵,相对熵和互信息
1.熵.熵\textbf{1.熵.}\color{red}{熵}表示随机变量不确定度的度量。也是平均意义上描述随机变量所需要信息量的度量。一个离散型随机变量的熵H(X)定义为: H(X)=−∑x∈原创 2015-12-25 17:42:05 · 5168 阅读 · 0 评论 -
最大似然估计,交叉熵,相对熵(KL散度)
在机器学习中,选择损失函数时,通常会遇到交叉熵的概念,也就是交叉熵损失函数,那么我们知道最小化交叉熵损失函数等价于最大化对数似然,那么最小化交叉熵损失函数其含义是怎么样本的?我们知道针对分类问题,我们并不知道Y的真实分布,因此需要通过模型来估计Y的真实分布,以逻辑回归为例,假设Y的真实分布为:P(Y=1)=p;P(Y=0)=1-p,而我们用来估计的P’(Y=1)=q,P’(Y=0)=1-q;通常q原创 2018-01-04 11:42:57 · 3139 阅读 · 0 评论 -
凸优化
凸优化问题的基本形式: minf0(x)" role="presentation">minf0(x)minf0(x)min \quad f_0(x) subjecttofi(x)<=0,i=1,...,m;" role="presentation">subjecttofi(x)=0,i=1,...,m;subjecttofi(x)0,i=1,...,m;subject \qua原创 2018-01-30 19:07:48 · 329 阅读 · 0 评论