马尔可夫模型

马尔可夫模型用来刻画以一定概率在一组有限的状态之间不断转换的系统。在马尔可夫模型中，状态之间转移发生的概率是固定的。如果系统可以通过一系列过渡从任何一个状态转换为任何其他状态，并且不存在简单的循环，那么马尔可夫模型就可以达到唯一的统计均衡(statistical equilibrium)。在统计均衡中，单个实体可以继续在各种状态之间移动，但是各种状态之间的概率分布仍然是固定的。

任何一个马尔可夫模型，只要状态集是有限的、不同状态之间的转移概率是固定的、在一系列转移后能够从任何一个状态变换为任何其他状态，而且状态之间不存在固定的循环，就必定会收敛到唯一的统计均衡。

这个定理意味着，如果满足这四个假设，那么改变初始状态、历史和干预措施，都不能改变长期中的均衡。

⚠️ 如果主流的政治意识形态的变动满足上述四个假设，那么历史也不能影响意识形态的长期分布。

佩龙-弗罗宾尼斯定理 (Perron-Frobenius Theorem)

一个马尔可夫模型必定收敛于一个唯一的统计均衡，只要它满足如下四个条件：

  1. 状态集有限：S={1, 2, …, K}。
  2. 固定转换规则：状态之间的转移概率是固定的，即在每个周期中，从状态A转换为状态B的概率总是等于P(A,B)。
  3. 遍历性（状态可达性）​：系统可以通过一系列转换从任何状态到达任何其他状态。
  4. 非循环性：系统不会通过一系列状态产生确定的循环。

需要强调的是，从佩龙-弗罗宾尼斯定理中得出的结论不应该说明历史是不重要的，而应该是：如果历史确实是重要的，那么必定会违背模型的其中一个假设。有两个假设，即状态集有限和非循环性，几乎总是成立的。遍历性通常也能成立。状态之间的转移概率是固定的这个限制是最有可能被违背的假设。

因此，这个模型表明，如果历史确实是重要的，那么必定存在某种潜在的结构因素改变了转移概率（或者改变了状态集）​

销量-耐久性悖论 (sales-durability paradox)

产品或创意的流行程度与其说取决于它们的相对销量，不如说取决于它们的耐久性。
只需要将拥有某种类型商品的人的比例设定为状态，就可以用马尔可夫模型来解释这个悖论。

销量-耐久性悖论背后的逻辑，也可以用来解释市场份额与品牌忠诚度（某人改用其他品牌的产品的可能性）之间的正相关关系。在马尔可夫模型中，更低的品牌忠诚度在均衡状态时必然意味着更低的市场份额，因为忠诚度所起的作用就像耐久性一样。这种经验规律有时也被称为“祸不单行法则”(double jeopardy law)。如果一个企业的产品的品牌忠诚度较低，那么其销售量往往也较低。

一对多的马尔可夫模型

我们可以用马尔可夫模型对身体健康演变的轨迹进行建模，方法是将不同的健康类别（如优秀、中等和糟糕等）设定为不同状态。这样的模型可以用来评估药物治疗、行为改变和手术等健康干预措施如何转移概率和均衡分布。那些能够产生更好均衡的健康干预措施是值得追求的。

马尔可夫模型还可以用于识别国际危机的不同模式，并能够用于区分会导致战争的过渡与会带来和平的过渡。

这种通过马尔可夫模型将不同模式区分出来的方法，还可以用来辨别书籍或文章的作者。只要事先已经确定了某个作者的某些已知著作，就可以估计出一个词之后出现另一个词的概率。

模型不一定能给出准确的答案。但是，这些模型确实生成了知识。我们要依靠自己的智慧做出判断：对这个模型与其他模型或直觉结论，该如何进行权衡。

网页排名(PageRank)算法

万维网由链接连接起来的网站组成，为了估计出每个站点的相对重要性，可以计算一个站点连入和接出的链接数量。

网页排名算法将每个站点都视为马尔可夫模型中的一个状态。如果两个站点共享一个链接，那么就在这两个站点之间分配一个正的转移概率。

Google公司的算法，加入了一点 - 从任何站点都能够以一个很小的随机概率移动到任何其他站点，解决了两个问题：

  1. 无法遍历：某些网页之间可能没链接
  2. 循环：某些网页之间可能互相链接

网页排名可以看作随机游走与马尔可夫模型的组合。如果将网页排名视为一种算法，就会发现可以用它来生成任何网络的排名。

[!NOTE] 小结
马尔可夫模型描述了以固定的转移概率在不同状态之间转换的动态系统。如果再假设这个过程能够在任何两个状态之间转移，并且这个过程不会产生循环，那么马尔可夫模型就可以得到唯一的统计均衡。在均衡中，人或实体在各个状态之间移动，但是各个状态的概率分布不会发生改变。由此可见，当一个过程接近均衡时，概率的变化就会减弱。用曲线图表示，就表现为曲线的斜率走平。
在应用马尔可夫模型解释现象或预测趋势时，建模者对状态的选择至关重要。状态的选择决定了这些状态之间的转移概率。
当然，并不是每个动态系统都满足马尔可夫模型的假设。在不满足马尔可夫模型假设的情况下，历史、干预政策和事件都可能会产生长期影响。

马尔可夫决策模型 (Markov decision model)

马尔可夫决策模型是对马尔可夫模型的一种修正，方法是将行动包括进来，行动会带来回报，而回报则以状态为条件，还会影响状态之间的转移概率。考虑到行动对转移概率的影响，最优行动并不一定是能够最大化即时回报的那个行动。

将一个决策问题表达为一个马尔可夫决策模型，可以告诉我们更好的行动是什么。通过考虑行动对状态的影响，我们会做出更明智的选择。