一、什么是马尔可夫链
在机器学习中，马尔可夫链(Markov chain)是个很重要的概念。马尔可夫链（Markov chain），又称离散时间马尔可夫链（discrete-time Markov chain），因俄国数学家安德烈·马尔可夫（俄语：Андрей Андреевич Марков）得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。马尔科夫链作为实际过程的统计模型具有许多应用。
在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。随机漫步就是马尔可夫链的例子。随机漫步中每一步的状态是在图形中的点，每一步可以移动到任何一个相邻的点，在这里移动到每一个点的概率都是相同的（无论之前漫步路径是如何的）。
二、马尔可夫链的核心三要素
- 1.状态空间(States Space)
- 2.无记忆性(Memorylessness)
- 3.转移矩阵(Transition Matrix)
1. 状态空间
状态空间是控制工程中的一个名词。状态是指在系统中可决定系统状态、最小数目变量的有序集合。而所谓状态空间则是指该系统全部可能状态的集合。
用一个实例来理解：假设小明第一天购买了早餐A后，第二天再次购买早餐A的概率为0.4，转而去购买早餐B的概率是0.6；第一天购买早餐B后，第二天再次购买早餐B的概率是0.5，转而购买早餐A的概率也是0.5
那么可以画出该实例的马尔可夫模型为：
其中早餐A和早餐B为状态空间。
2. 无记忆性
下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性 ”称作马尔可夫性质。
依旧以上述例子为例，小明第N天购买何种早餐只与第N-1天购买的早餐种类有关，而与其他时间节点购买的早餐种类无关。
3. 转移矩阵(转移概率矩阵)
矩阵各元素都是非负的，并且各行元素之和等于1，各元素用概率表示，在一定条件下是互相转移的，故称为转移概率矩阵。
上述例子中，转移矩阵为：
如果小明第一天选择的是早餐A，那么第二天选择的早餐类型的概率为：
同样的，第三天选择的早餐类型的概率为：
持续下去，将会得到一个稳态分布，即
接下来将讨论唯一稳态的马尔可夫链的应用场景和需要满足的条件。
三、稳态的马尔可夫链
首先，马尔可夫链证明：独立性并非均值收敛的必要条件。也就是说，即使非独立的随机过程也能收敛至稳态。
稳态的马尔可夫链的应用范围很广。比如：自然语义处理，即可以更具用户输入的词语推测用户接下来要输入什么，要搜索什么。还能通过稳态的马尔可夫链随机生成诗词、应用于金融行业的熊市与牛市分析等等。
那么什么样的马尔可夫链有唯一的稳态分布呢？
首先假设一个马尔可夫链存在并达到稳态，即：
这里的M为转移矩阵，X为当前状态的概率分布。那么可以化解为求M特征值为1的特征向量。
变换，得到：
即求解X得到的稳态分布解。有稳态分布解即说明马尔可夫链能达到稳态。
例如：
转移矩阵M为：
当前状态state0为
那么可得state1为，state2为
，如此循环下去，可以得到稳态分布为
但是，并非所有的马尔可夫链都有唯一的稳态分布。例如：
状态B和状态C都保持各自的稳态。
如果稳态分布唯一，呢么可根据稳态分布展示出的性质实际应用。比如人们的喜怒哀乐情绪分布；产品选择偏好；金融产品的违约比例，决策者就能制定更有效的策略去影响并改变稳态分布。
那么什么样的马尔可夫链有唯一的稳态分布呢？
直接给出结论：如果马尔可夫链的全部状态节点都满足：
- 1. 常返性(recurrent)
- 2. 非周期性(Aperioddic)
- 3. 连通性
那么该马尔可夫链符合遍历性的要求，即该马尔可夫链能达到唯一稳态。
1. 常返性
常返性通常与瞬变性(transient)一起理解。若马尔可夫链在到达一个状态后，在演变中能反复回到该状态，则该状态是常返状态，或该马尔可夫链具有（局部）常返性，反之则具有瞬变性的。
例如一个马尔可夫链为：
B到A，C都有路径，而B，C到A无路径，那么称状态B是瞬变性的，即非常返性。
对A和C来讲，可以进入新状态C或A，并存在路径返回，则认为A，C满足常返性。
2. 非周期性
一个正常返的马尔可夫链可能具有周期性，即在其演变中，马尔可夫链能够按大于1的周期常返其状态。
给出下列三个马尔可夫链：
可以得出各个节点以及节点的周期数分别为：
| 节点 | 周期数 |
| A | 1,2,3,...N |
| B | 1,2,3,...N |
| C | 1,2,3,...N |
| 节点 | 周期数 |
| A | 3 |
| B | 3 |
| C | 3 |
| 节点 | 周期数 |
| A | 2 |
| B | 2,4,6,...,2N |
| C | 2,4,6,...,2N |
马尔可夫链中的某一状态节点，它可以经过K*N个周期返回原点，N为大于等于0的整数，如果K大于等于2，则称该马尔可夫链满足周期性。上述的马尔可夫链中，第一个为非周期性，2，3均为周期性的。
3. 联通性
对于马尔可夫链上任意两个点A和B，假如A能通过相应的路径到达状态B，相反的B也能通过相应的路径达到状态A，那么称马尔可夫链具有连通性
62
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
