概念

典型序列

渐近均分性（AEP）表明长序列几乎都落在「典型集」中且概率近乎均分，是香农定理证明的核心工具。

阅读路径

参考可汗学院 Get ready 机制：先修概念 → 当前概念 → 进阶概念，✓ 表示已读。

典型序列信息论与编码

01定义

渐近均分性（AEP）：长随机序列几乎必然落入「典型集」——其中每个序列概率约为

2^{-nH}

，典型集大小约为

2^{nH}

。指数多序列压缩到指数小子集，是信源与信道编码定理证明的共同引擎。

典型集：概率几乎全部集中在指数小子集

弱 AEP： $-\frac1n\log p(X^n)\to H$ 依概率；强 AEP：典型集概率趋于 1 且其中序列概率被 $2^{-n(H\pm\varepsilon)}$ 夹逼——后者给编码定理提供精确计数。

信源编码 = 给典型集编号（ $nH$ 比特足够）；联合典型译码 = 信道输出与码字联合典型才判收——香农两大定理的证明骨架同出一源。

经验分布相同的序列构成「类型类」，数量由熵精确计数：类型方法是组合信息论的标准工具，支撑错误指数（随机编码界）的精细分析。

\Pr\{(X^n)\in A_\varepsilon^{(n)}\}\to 1,\quad |A_\varepsilon^{(n)}|\approx 2^{nH}

香农 1948 年论文的核心引理；Wolfowitz 1950 年代形式化「典型集」论证；Csiszár 与 Körner 的教材使类型方法成为标准信息论语言。

Slepian-Wolf 分布式压缩、多用户信息论（广播、多址信道）、极化码分析、统计物理中微观态计数的信息论解释。

典型集：2^{nH} 个序列携带几乎全部概率增大 n：概率质量向 2^{nH(p)} 个典型序列集中，非典型序列的概率指数级衰减

p 正面概率0.70n 序列长度5