概念

香农定理

信道编码定理断言速率低于容量时存在码字使误码率趋于零，逆定理断言超过容量必出错，给出通信的根本界限。

阅读路径

参考可汗学院 Get ready 机制：先修概念 → 当前概念 → 进阶概念，✓ 表示已读。

香农定理信息论与编码

01定义

信道编码定理是信息论的第一定理：信道容量

C=\max I(X;Y)

之下，存在编码使误码率随码长趋于零；容量之上，任何编码必然出错。它把「可靠通信」从工程愿望变成精确的数学界限。

容量分水岭：速率之下可靠，之上必错

随机编码论证：随机选码字的期望错误概率随码长指数衰减 $\Rightarrow$ 好码必存在。典型集大小 $\approx 2^{nH}$ 、消息球填充是几何直觉。

Fano 不等式把错误概率与剩余不确定性相连： $H(X|Y)\leq h(P_e)+P_e\log|\mathcal{X}|$ ——速率超过容量时 $P_e$ 远离零。

AWGN 信道： $C=\frac12\log_2(1+\mathrm{SNR})$ ——香农极限公式指导一切无线系统设计；BSC 容量 $1-h(p)$ 。

C=\max_{p(x)}I(X;Y),\quad C_{\text{AWGN}}=\tfrac12\log_2(1+\text{SNR})

香农 1948 年证明信道编码定理（存在性）；费诺给出逆定理；此后半个世纪工程界的目标就是「逼近香农极限」，Turbo 码与 LDPC 在 1990 年代终于做到。

5G/6G 的链路预算、深空通信（旅行者号的极限速率）、磁盘与闪存的可靠性设计、量子信道容量的前沿研究。

香农信道容量：C = B·log₂(1+SNR)增大信噪比：容量对数增长

SNR (dB)20.00