概念

马尔可夫链

转移矩阵刻画状态间跳转概率，状态分类（常返/暂留）与平稳分布研究长期行为，遍历性保证收敛到平稳分布。

阅读路径

参考可汗学院 Get ready 机制：先修概念 → 当前概念 → 进阶概念，✓ 表示已读。

已是本主题的起点

马尔可夫链随机过程

01定义

马尔可夫性：未来只依赖于现在，与历史无关。离散马尔可夫链由转移矩阵

P

完全刻画，状态按常返/暂留分类，遍历链的分布收敛到唯一的平稳分布——「遗忘」反而带来可解性。

两状态链：转移概率与平稳占比

常返态必被无穷次回访，暂留态终将一去不返；不可约链全体状态同类。常返还分正常返与零常返——平稳分布存在 $\iff$ 正常返。

不可约、非周期、正常返 $\Rightarrow$ $P^n\to\Pi$ （行皆为 $\pi$ ）且时间平均 = 空间平均——PageRank 与 MCMC 收敛性的来源。

首达时间方程 $h_i=1+\sum_jp_{ij}h_j$ 是差分方程：赌徒破产概率、平均返回时间皆由此解出。

P(X_{n+1}=j\mid X_n=i)=p_{ij},\quad \pi=\pi P,\ \textstyle\sum\pi_i=1

马尔可夫 1906 年为研究普希金诗歌的元音序列引入链；爱因斯坦 1905 年研究布朗运动；杜布与柯尔莫哥洛夫建立现代理论。

PageRank 网页排序、MCMC 采样（Metropolis）、基因序列建模（HMM）、排队系统的嵌入链。

状态转移：分布 → 平稳分布增大步数 n：从 A 出发反复左乘转移矩阵，概率柱被一步步「洗」向平稳分布

n 转移步数0