马尔可夫链是满足马尔可夫性质的随机过程，它根据某些概率规则经历从一个状态到另一个状态的转换。马尔可夫链可以由有限状态机建模，其定义特征是无论过程如何，下一状态的概率分布只由当前状态决定。换句话说，转换到任何特定状态的概率仅取决于当前状态和经过的时间。
从算法层面，这意味着知道流程当前状态时，不需要任何关于其过去状态的额外信息，以便做出最好的预测。因而这种简单性可以大大减少参数的数量。
马尔可夫链广泛出现在统计和信息理论的背景下，并被应用于经济学、博弈论、通信理论、遗传学和金融学等领域。
马尔可夫链的类型
有两种类型的马尔可夫链，离散时间马尔可夫链和连续时间马尔可夫链。这意味着有一种情况是变化发生在特定状态，另一种情况是变化是连续的。
需要指定系统的状态空间和时间参数索引。
对于可数状态空间：
- 离散时间：可数或有限状态空间上的马尔可夫链
- 连续时间：马尔科夫过程或马尔科夫跳跃过程
对于连续或一般状态空间：
- 离散时间：可测量状态空间上的马尔可夫链（例如，哈里斯链）
- 连续时间：任何具有马尔可夫性质的连续随机过程（例如，维纳过程）
马尔可夫链可能是静止的，因此与过程中的初始状态无关。这种现象称为稳态马尔可夫链。无限状态的马尔可夫链不是稳态的，但稳态的马尔可夫链必须时间同质。
马尔可夫链的性质
对马尔可夫链中特定状态进行理解，有助于更好地理解马尔可夫链。令PP为马尔可夫链{X0,X1,...}的转移矩阵。
1.状态i的周期k≥1，如果任何链从状态i开始并返回状态为正，必须采取可被k整除的数。如果k=1，则该状态称为非周期性，如果k>1，则该状态称为周期性。如果所有状态都是非周期性的，则马尔可夫链称为非周期性的。
2.如果任意两个具有正概率的状态之间存在一系列步骤，则马尔可夫链被称为不可约链。
3.吸收状态i是Pi，i=1的状态。吸收状态对于讨论吸收马尔可夫链至关重要。
4.根据马尔可夫链循环的概念。如果期望在有限数内返回，则循环状态称为正循环，否则称为零循环。
5.如果一个状态是正循环和非周期性的，则称为遍历状态。如果所有状态都是，则马尔可夫链是遍历的。
6.不可约性和周期性都与马尔可夫链在某个时间点的位置有关，给定它开始的位置。平稳分布处理过程在未知时间点处于特定状态的可能性。对于具有有限数量状态的马尔可夫链，每个状态都是正循环的，非周期马尔可夫链与不可约马尔可夫链相同。
