机器学习（9）：最大熵模型

最近自己会把自己个人博客中的文章陆陆续续的复制到CSDN上来，欢迎大家关注我的 个人博客，以及我的github。

本文将讲解有关最大熵模型的相关知识。

本文主要是依据李航老师的《统计学习方法》和邹博老师的机器学习教学视频总结编写的。文中所用到的有关机器学习的基本概念和方法可以参考本人博客中该系列之前的文章，或者直接上网搜索相关的内容。以下文章所列出的公式以及公式的推导读者们最好是在草稿本上自己推导一遍。由于本人水平所限，文章中难免有错误和不当之处，欢迎大家多多批评指正！

---

最大熵模型的基本思想就是：在满足所有约束条件的模型P(Y|X)中，熵最大的模型就是最优的模型。下面先来介绍几个基本概念。

一、基本概念

熵

熵表示一个系统的混乱程度，假设随机变量X的概率分布式P，则其熵的定义为：
$$H(P)=-\sum _{x}P(x)\log P(x)$$
熵有个性质就是当随机变量X服从均匀分布时，熵最大。

条件熵

条件熵定义为X给定的条件下Y的条件概率分布的熵对X的数学期望：
$$H(Y|X)=-\sum _{x,y}P(x,y)\ln P(y|x)$$

经验分布

设$(X_1,X_2,...,X_n)$是总体 X 的一个样本集，$(x_1,x_2,...,x_n)$是对应样本的观测值，则总体 X 的经验分布为：
$$F_n(x)=\frac{1}{n}\sum _{i=1}^{n}I(x_i\le x)$$
其中 $I()$是指示函数，当其中的条件成立时函数值为1，反之为0。${\sum }_{i=1}^{n}I(x_i\le x)$ 表示样本观测值 $(x_1,x_2,...,x_n)$ 中不大于 $x$ 的个数。

如下图所示，经验分布函数 $F_n(x)$ 的图像是一条跳跃上升的阶梯型曲线，若样本观测值 $(x_1,x_2,...,x_n)$ 中没有重复的值，则每一跳跃的间隔为 $\frac{1}{n}$，若某一数值重复 $k$ 次，则跳跃间隔为 $\frac{k}{n}$。

二、最大熵模型

假设分类模型是一个条件概率分布为$P(Y|X)$，它表示在给定样本的特征 X 的前提下，该样本属于类别 Y 的概率。$C$ 是满足所有约束条件的模型的集合。定义在条件概率分布 $P(Y|X)$ 上的条件熵为：
$$H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)\ln P(y|x)公式(1)$$
其中 $\tilde{P}(x)$ 是 $P(x)$ 的经验分布，$\ln P(y|x)$ 是特征函数，用来描述输入 x 和输出 y 之间的某一个事实。

不知道大家有没有发现一个问题，标准的条件熵的定义是：
$$H(Y|X)=-\sum _{x,y}P(x,y)\ln P(y|x)$$
和公式(1)相比，标准条件熵中的是 $P(x,y)$，而不是 $\tilde{P}(x)P(y|x)$，这是因为 $P(x,y)$ 并不容易求出，所以可以利用全概率公式 $P(x,y)=P(x)P(y|x)$ 来做一步转换，但是 $P(x)$ 我们也不知道。所以又可以根据大数定律，在当样本量足够大时，可以用经验分布 $\tilde{P}(x)$ 近似表示真实的概率分布 $P(x)$。

公式 (1) 中 ${\sum }_{x,y}P(y|x)\ln P(y|x)$ 又可以看作是模型 $P(y|x)$ 关于特征函数的期望，而在样本集给定的前提下 $\tilde{P}(x)$ 是一个常数，所以不会对公式 (1) 的单调性产生影响。也就是说我们所要求的条件熵（公式 (1) ）的最大值就是模型期望的最大值。

三、最大熵模型的求解

最大熵模型的求解过程就是在满足所有约数条件的前提下，求公式 (1) 取得最大值时模型的参数，即：
$$ma{x}_{P\in C}H(P)=-\sum _{x,y}\tilde{P}(x)P(y|x)\ln P(y|x)$$

$$s.t.E_p(f_i)=E_{\tilde{P}}(f_i),i=1,2,...,n$$

$$\sum _{y}P(y|x)=1$$

按照求解优化问题的习惯，我们把求解最大值问题改写为等价的求解最小值问题：
$$mi{n}_{P\in C}-H(P)=\sum _{x,y}\tilde{P}(x)P(y|x)\ln P(y|x)$$

$$s.t.E_p(f_i)-E_{\tilde{P}}(f_i)=0,i=1,2,...,n$$

$$\sum _{y}P(y|x)=1$$

而对于带约束的求极值问题，往往采用拉氏乘子法来解决，故定义拉氏函数为：
$$L(P,w)=-H(P)+w_0[1-\sum _{y}P(y|x)]+\sum _{i=1}^n{w}_i[E_p(f_i)-E_{\tilde{P}}(f_i)]$$
所要求解的原优化问题便是：
$$mi{n}_{P\in C}\underset{w}{\max }L(P,w)$$
由于原优化问题不好求解，所以转换为相应的对偶问题：
$$\underset{w}{\max }mi{n}_{P\in C}L(P,w)$$
因为拉氏函数 $L(P,w)$ 是关于P的凸函数，所以原始问题的解与对偶问题的解是等价的。只需要先求解$mi{n}_{P\in C}L(P,w)$，得到一个关于 $w$ 的函数 $\psi (w)$，然后再求解 ${\max }_w\psi (w)$ 得到最优的参数 $w$ 就可以了。