隐马尔科夫模型（二）

$\quad\quad$本文主要针对隐马尔科夫模型的第一个基本问题展开讨论。问题是：给定一个模型$\lambda$,我们希望估计任意给定观测变量序列$O={O_1O_2....O_T}$的概率。

分析：我们是要估计$P(O|\lambda)$,我们加入状态序列Q,那么就可以得到

$$P(O|\lambda)=\sum_Q{P(O,Q|\lambda)} \tag 1$$
同时我们知道 $$P(O,Q|\lambda)=P(O|Q,\lambda)*P(Q|\lambda)$$ ,显然等式的右边是容易知道的，但是问题是对于所有的Q求和，这是相当麻烦的。因此，我们使用正反向过程来求解。

$\textbf {正向过程}$
$\quad\quad$我们定义如下的正向变量$\alpha_t(i)$,

$$\alpha_t(i)=P(O_1,O_2,...,O_t,Q_t=S_i|\lambda) \tag 2$$
同时，我们可以通过迭代的方式得到求解 $\alpha_t(i)$的方法。
$$\alpha_t(i)=\sum_j\alpha_{t-1}(j)a_{ji}b_j(O_t)\tag 3$$
那么类似于公式一，我们有
$$P(O|\lambda)=\sum_{S_i} P(O,q_T=S_i|\lambda)\\ =\sum_{i}\alpha_T(i)$$
$\quad\quad\textbf{反向过程}$
$\quad\quad$我们也定义反向过程 $\beta_t(i)$如下：
$$\beta_t(i)=P(O_t,...,O_T|q_t=S_i,\lambda)$$
它的解释就是在给定第t时刻的状态为 $S_i$，那么从第t时刻到第T时刻的观测序列概率。同样我们也可以给出 $b_t(i)$的迭代求法，如下
$$\beta_t(i)=\sum_j a_{ij}b_j(O_t)\beta_{t+1}(j) \tag 4$$
类似于式(1),我们有
$$P(O|\lambda)=\sum_{S_i}P(O_1,...O_T|q_1=S_i,\lambda)P(q_1=S_i|\lambda)\\=\sum_i \beta_1(i)\pi_i$$

$\textbf{正反过程的时间复杂度分析}$
$\quad\quad$观察式3和式4，都相当于两层的for循环，每一层都是N，故为$O(N^2)$，但是这是有观测值O是有T个元素，故总体时间复杂度为$O(TN^2)$

待续。。。