概率潜在语义分析（ PLSA）详解

概率潜在语义分析（probabilistic latent semantic analysis, PLSA）是一种利用概率生成模型对文本集合进行话题分析的无监督方法。 模型最大的特点是用隐变量表示话题，整个模型表示文本生成话题，话题生成单词，从而得到单词—文本共现数据的过程。 假设每个文本由一个话题分布决定，每个话题由一个单词分布决定。潜在语义分析基于非概率模型，概率潜在语义分析基于概率模型。

生成模型

假设有M个单词集合 W = { w 1 , w 2 . … , w M } W=\{w_1,w_2.\ldots,w_M\} W={w1​,w2​.…,wM​}，N个文本集合 D = { d 1 , d 2 , … , d N } D=\{d_1,d_2,\ldots,d_N\} D={d1​,d2​,…,dN​}，K个话题集合 Z = { z 1 , z 2 , … , z K } Z=\{z_1,z_2,\ldots,z_K\} Z={z1​,z2​,…,zK​}，概率分布$P(d)$表示生成文本$d$ 的概率，$P(z|d)$ 表示文本d生成话题$z$ 的概率，$P(w|z)$ 表示话题$z$ 生成单词$w$的概率。

生成模型步骤如下：

（1）依据概率分布$P(d)$ ，从文本集合中随机选取一个文本$d$，共生成$N$个文本。

（2）在给定文本 $d$ 的条件下，依据条件概率分布$P(z|d)$ ，从话题集合中随机选取一个话题$z$，共生成$L$个话题（L是指文本长度）。

（3）在给定话题$z$的条件下，依据条件概率分布$P(w|z)$ ，从单词集合中随机选取一个单词$w$。

此过程即为概率潜在语义分析的生成模型，生成模型是有向图模型，如下所示：

图中空心圆表示隐变量，方框内的数字表示重复的次数。

从数据生成的过程可以推出，单词—文本共现数据$T$的生成概率为所有的单词—文本对$(w,d)$ 的生成概率的乘积：
$$P(T)=\prod _{w,d}P(w,d{)}^{n(w,d)}$$
其中，$n(w,d)$ 表示$(w,d)$ 出现的次数。每个单词—文本对$(w,d)$ 的生成概率如下：
$$\begin{array}{rl}P(w,d)& =P(d)P(w|d)\\ & =P(d)\sum _{z}P(w,z|d)\\ & =P(d)\sum _{z}P(z|d)P(w|z)\end{array}$$
这就是生成模型的定义。

共现模型

共现模型与生成模型的不同在于: 每个单词—文本对$(w,d)$ 的生成概率不同。
$$P(w,d)=\sum _{z\in Z}P(z)P(w|z)P(d|z)$$
由上式可知：**共现模型假设在话题$z$ 给定的条件下，单词$w$ 与文本$d$ 是条件独立的，**即：
$$P(w,d|z)=P(w|z)P(d|z)$$
共现模型如下图所示：

区别：

生成模型刻画文本—单词共现数据生成的过程，共现模型描述文本单词共现数据拥有的模式。生成模型式中单词变量w与文本变量d是非对称的，而共现模型式中单词变量w与文本变量d是对称的；所以前者也称为非对称模型，后者也称为对称模型。

模型性质

模型参数

假设有M个单词，N个文本，如果直接定义单词与文本的共现概率$P(w,d)$ ，模型的参数个数是$O(M\cdot N)$，而PLSA的生成模型和共现模型的参数个数是$O(M\cdot K+N\cdot K)$，其中K是话题数。K远小于M，所以极大的减小了参数个数。下图显示了文本、话题、单词之间的关系。

与LSA关系

PLSA的共现模型：
$$P(w,d)=\sum _{z\in Z}P(z)P(w|z)P(d|z)$$
也可以表示为三个矩阵的乘积的形式。
$$\begin{array}{rl}& X^{\prime }=U^{\prime }{\Sigma }^{\prime }{V}^{\prime T}\\ & X^{\prime }=[P(w,d){]}_{M\times N}\\ & U^{\prime }=[P(w|z){]}_{M\times K}\\ & {\Sigma }^{\prime }=[P(z){]}_{K\times K}\\ & V^{\prime }=[P(d|z){]}_{N\times K}\end{array}$$

PLSA实现算法

PLSA是含有隐变量的模型，学习通常使用EM算法。

假设有M个单词集合 W = { w 1 , w 2 . … , w M } W=\{w_1,w_2.\ldots,w_M\} W={w1​,w2​.…,wM​}，N个文本集合 D = { d 1 , d 2 , … , d N } D=\{d_1,d_2,\ldots,d_N\} D={d1​,d2​,…,dN​}，K个话题集合 Z = { z 1 , z 2 , … , z K } Z=\{z_1,z_2,\ldots,z_K\} Z={z1​,z2​,…,zK​}。给定单词—文本共现数据 T = { n ( w i , d j ) } , i = 1 , 2 , … , M ; j = 1 , 2 , … , N T=\{n(w_i,d_j)\},i=1,2,\ldots,M; j=1,2,\ldots,N T={n(wi​,dj​)},i=1,2,…,M;j=1,2,…,N，目标是估计PLSA（生成模型）的参数，使用极大似然估计，对数似然函数是：
$$\begin{array}{rl}L(\theta )& =\log \prod _{i=1}^M\prod _{j=1}^{N}P(d_j,w_i{)}^{n(d_j,w_i)}\\ & =\sum _i^M\sum _j^{N}n(d_j,w_i)\log P(d_j,w_i)\\ & =\sum _i^M\sum _j^{N}n(d_j,w_i)\log [\sum _{k=1}^{K}P(w_i|z_k)P(z_k|d_j)]\end{array}$$
模型含有隐变量，对数似然函数的优化方法无法用解析方法求解，使用EM算法进行求解。EM算法推导过程参考李航统计学习方法第二版第18章，这里直接给出了结论。算法流程如下：

输入：有M个单词集合 W = { w 1 , w 2 . … , w M } W=\{w_1,w_2.\ldots,w_M\} W={w1​,w2​.…,wM​}，N个文本集合 D = { d 1 , d 2 , … , d N } D=\{d_1,d_2,\ldots,d_N\} D={d1​,d2​,…,dN​}，K个话题集合 Z = { z 1 , z 2 , … , z K } Z=\{z_1,z_2,\ldots,z_K\} Z={z1​,z2​,…,zK​}。给定单词—文本共现数据 T = { n ( w i , d j ) } , i = 1 , 2 , … , M ; j = 1 , 2 , … , N T=\{n(w_i,d_j)\},i=1,2,\ldots,M; j=1,2,\ldots,N T={n(wi​,dj​)},i=1,2,…,M;j=1,2,…,N；

输出：$P(w_i|z_k),P(z_k|d_j)$ 。

（1）设置参数$P(w_i|z_k),P(z_k|d_j)$的初始值。

（2）迭代执行E步，M步，直到收敛为止。

​ E步：
$$P(z_k|w_i,d_j)=\frac{P(w_i|z_k)P(z_k|d_j)}{{\sum }_{k=1}^{K}P(w_i|z_k)P(z_k|d_j)}$$
​ M步：
$$P(w_i|z_k)=\frac{{\sum }_{j=1}^{N}n(w_i,d_j)P(z_k|w_i,d_j)}{{\sum }_{i=1}^M{\sum }_{j=1}^{N}n(w_i,d_j)P(z_k|w_i,d_j)}$$

$$P(z_k|d_j)=\frac{{\sum }_{i=1}^{M}n(w_i,d_j)P(z_k|w_i,d_j)}{n(d_j)}$$