机器学习——隐马尔可夫模型（一）

本文参考   统计学习方法（第二版）李航著      

隐马尔可夫模型是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。它是关于时序的概率模型，描述由一个隐藏的马尔可夫链随随机生成不可观测的状态随机序列，再由各个状态生成一个观测从而产生观测随机序列的过程。隐藏的马尔科夫链随机生成的状态的序列，称为状态序列；每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列。序列的每一个位置又可以看作是一个时刻。

模型由初始概率分布、状态转移概率分布以及观测概率分布确定。形式定义如下：

状态转移矩阵A与初始状态概率向量pi确定了隐藏的马尔可夫链，生成不可观测的状态序列。观测概率矩阵B确定了如何从状态生成观测，与状态序列综合确定了如何产生观测序列。

 

马尔可夫模型可以作两种假设：

1、齐次马尔可夫性假设，即假设隐藏的马尔科夫链在任意时刻t的状态只依赖于前一时刻的状态，与其他时刻的状态及观测无关，也与时刻t'无关。

2、观测性独立性假设，即假设任意时刻的观测只依赖于该时刻的马尔科夫链的状态，与其他观测及状态无关。

 

算法：观测序列的生成

 

隐马尔可夫的三个计算问题：

1、概率计算问题

2、学习问题

3、预测问题

 

1、概率计算问题：

给定模型lamda和观测序列O，计算再模型lamda下观测序列O出现的概率P(O|lamda)

前向概率：给定马尔可夫模型lamda、定义到时刻t部分观测序列为01，02，03….，且状态为为qi的概率为前向概率，记作：

 

算法：观测序列概率的前向算法

输入：隐马尔可夫模型lamda，观测序列O：

输出：观测序列P（O|lamda）