隐马尔科夫模型（一）

$\quad$$\quad$本章节首先介绍隐马尔科夫模型的定义，前提假设，和我们所关注的关于隐马尔科夫模型的问题。

$\large \textbf{一.离散马尔科夫模型}$
$\quad$$\quad$在介绍离散马尔科夫模型之前，我们需要先给出马尔科夫性。假设有离散随机变量序列$X_1,...,X_n,...$，如果$X_n$关于$X_1,...,X_{n-1}$的条件概率等于$X_n$关于$X_{n-1}$的条件概率，即为下式：

$$P(X_n=x_n|X_1=x_1,...,X_{n-1}=x_{n-1})=P(X_n=x_n|X_{n-1}=x_{n-1})$$
那么我们我们称这个离散随机变量序列具有马尔科夫性。
$\quad$ $\quad$离散马尔科夫链是这样的一个过程，给定可列个状态 $S_1,...,S_n,...$.一个系统在时间t时所处的状态为 $q_t$，其取值范围为 $\{S_1,...,S_n,...\}$.假设时间是均匀离散的，同时如果 $q_t$满足马尔科夫性，我们就称这个系统是一个马尔科夫模型。再者，我们令
$$a_{ij}=P(q_t=j|q_{t-1}=i)$$
也就是说状态转移概率是和时间无关的，即为时间齐次性。

$\large \textbf{二.隐马尔科夫模型}$
$\quad$$\quad$针对马尔科夫过程，系统在每个时间点t的状态我们是可以直接观测到的，但是隐马尔科夫模型假设这个状态我们无法直接观测，但是系统在到达某个状态时，我们可得到一个相关的观测值$O_t$，这个观测值只与当前状态相关。我们假定观测值的取值集合为$\{v_1,...,v_m\}$,t时刻状态$q_t$取值集合为$\{S_1,...,S_n\}$.同时令

$$b_j(i)=P(O_t=v_i|q_t=S_j)$$
表示在t时刻出于状态 $S_j$,观测值 $O_t$为 $v_j$的条件概率。
$\quad$ $\quad$这样我们便可以通过观测 $\{O_t\}$来推断状态序列。

$\large \textbf{三.隐马尔科夫模型的前提假设总结}$
1.在t时刻的观测值$O_t$只与$q_t$相关，在给定$q_t$时，与之前的状态和观测值无关或者是之后的观测值或者是状态无关。
2.状态之间的马尔科夫性
$\large \textbf{四.隐马尔科夫模型的元素总结}$
$\quad$$\quad$一个完整的隐马尔科夫模型需要包含如果5个元素：
1.n:模型状态个数

$$S=\{S_1,..,S_n\}$$
2.m:不同观测值个数
$$V=\{v_1,...,v_m\}$$
3.状态转移概率
$$A=[a_{ij}],a_{ij}=P(q_{t+1}=S_j|q_t=S_i)$$
4.观测概率
$$B=[b_j(i)],b_j(i)=P(O_t=v_i|q_t=S_j)$$
5.初始状态概率
$$\Pi=\{\pi_i\},\pi_i=P(q_1=S_i)$$
$\large \textbf{五.隐马尔科夫模型的三个基本问题}$
1.给定一个模型 $\lambda$，也就是知道了这个模型的所有元素，估计每一种观测序列 $O=\{O_1,...,O_r\}的概率$
2.给定一个模型 $\lambda$以及一个观测序列 $O$，我们希望能够找到一个状态序列$Q*$，使得最大化 $P(Q|O,\lambda)$
3.给定观测序列组成的训练集，也就是多个观测序列，对模型 $\lambda$进行估计，使得产生这个训练集的概率最大化,也就是最大似然估计。