改进的迭代尺度法（IIS）详细分析

改进的迭代尺度法（Improved Iterative Scaling，IIS）是一种常见的优化算法，在最大熵模型（Maximum Entropy Model，MaxEnt）和条件随机场（Conditional Random Field，CRF）中都会用IIS进行相应的处理，从而提高算法的效率。

已知模型为：

$P_{\lambda }(y|x)=\frac{1}{Z_{\lambda }(x)}exp({\sum }_1^n{\lambda }_i{f}_i(x,y))$

式中：$f_i(x,y)$是二值函数， $\lambda$是参数，$Z_{\lambda }(x)$ 是归一化因子，满足：

$Z_{\lambda }(x)={\sum }_{y}exp({\sum }_1^n{\lambda }_i{f}_i(x,y))$

由$P_{\lambda }(y|x)$可得$\tilde{p}(x,y)$似然函数：

$L(\lambda )={\sum }_{x,y}\tilde{p}(x,y)\log p(y|x)$

其中，$\tilde{P}(x,y)$是样本$(x,y)$出现的频率。模型参数$\lambda \to \lambda +\delta$时，对数似然函数的改变量为：

$\begin{array}{c}L(\lambda +\delta )-L(\lambda )={\sum }_{x,y}\tilde{P}(x,y)\log P_{\lambda +\delta }(y|x)-{\sum }_{x,y}\tilde{P}(x,y)\log P_{\lambda }(y|x)\\ \\ ={\sum }_{x,y}\tilde{P}(x,y){\sum }_i{\delta }_i{f}_i(x,y)-{\sum }_x\tilde{P}(x)\log \frac{Z_{\lambda +\delta }(x)}{Z_{\lambda }(x)}\end{array}$

使用不等式 $-\log \alpha \ge 1-\alpha$ （恒成立问题，求导证明），建立对数似然函数改变量的下界：

$\begin{array}{c}L(\lambda +\delta )-L(\lambda )\ge {\sum }_{x,y}\tilde{P}(x,y){\sum }_i{\delta }_i{f}_i(x,y)+1-{\sum }_x\tilde{P}(x)\frac{Z_{\lambda +\delta }(x)}{Z_{\lambda }(x)}\\ \\ ={\sum }_{x,y}\tilde{P}(x,y){\sum }_i{\delta }_i{f}_i(x,y)+1-{\sum }_x\tilde{P}(x){\sum }_y{P}_{\lambda }(y|x)exp({\sum }_i{\delta }_i{f}_i(x,y))\end{array}$

引入$f^{\#}(x,y)$，满足：

$f^{\#}(x,y)={\sum }_i{f}_i(x,y)$

记$L(\lambda +\delta )-L(\lambda )=A(\delta |\lambda )$此时：

$\begin{array}{c}A(\delta |\lambda )={\sum }_{x,y}\tilde{P}(x,y){\sum }_i{\delta }_i{f}_i(x,y)+1-{\sum }_x\tilde{P}(x){\sum }_y{P}_{\lambda }(y|x)exp(f^{\#}(x,y){\sum }_i\frac{{\delta }_i{f}_i(x,y)}{f^{\#}(x,y)})\end{array}$

使用Jensen不等式：$exp{\sum }_{x}p(x)q(x)\le {\sum }_{x}p(x)expq(x)$，此时：

$\begin{array}{c}A(\delta |\lambda )\ge {\sum }_{x,y}\tilde{P}(x,y){\sum }_i{\delta }_i{f}_i(x,y)+1-{\sum }_x\tilde{P}(x){\sum }_y{P}_{\lambda }(y|x){\sum }_i\left(\frac{f_i(x,y))}{f^{\#}(x,y)}exp({\delta }_i{f}^{\#}(x,y))\right)\end{array}$

记上式不等式右端为：

$\begin{array}{c}B(\delta |\lambda )={\sum }_{x,y}\tilde{P}(x,y){\sum }_i{\delta }_i{f}_i(x,y)+1-{\sum }_x\tilde{P}(x){\sum }_y{P}_{\lambda }(y|x){\sum }_i\left(\frac{f_i(x,y))}{f^{\#}(x,y)}exp({\delta }_i{f}^{\#}(x,y))\right)\end{array}$

对 ${\delta }_i$求导得：

$\begin{array}{c}\frac{B(\delta |\lambda )}{\partial {\delta }_i}={\sum }_{x,y}\tilde{P}(x,y)f_i(x,y)-{\sum }_x\tilde{P}(x){\sum }_y{P}_{\lambda }(y|x)f_i(x,y)exp({\delta }_i{f}^{\#}(x,y))\end{array}$

令$\frac{B(\delta |\lambda )}{\partial {\delta }_i}=0$，可以求出${\delta }_i$，重复执行直到$\lambda$收敛。

参考文献：The Improved Iterative Scaling Algorithm: A Gentle Introduction