概念

熵

香农熵 H(X) = -Σp log p 度量不确定性的比特数，联合熵与条件熵满足链式法则 H(X,Y)=H(X)+H(Y|X)。

阅读路径

参考可汗学院 Get ready 机制：先修概念 → 当前概念 → 进阶概念，✓ 表示已读。

已是本主题的起点

熵信息论与编码

01定义

香农熵

H(X)=-\sum p\log p

度量随机变量的平均不确定性：也是无损编码其所需的最短平均码长。熵是信息论的基石——它把「信息」从哲学概念变成可计算、可优化的数学量。

二元熵曲线：公平硬币的不确定性最大

无噪声信源编码定理：平均码长的下界是 $H$ （比特/符号），霍夫曼/算术编码逼近之——熵既是不可压缩性的度量，也是压缩的极限。

$H(X,Y)=H(X)+H(Y|X)$ ；互信息 $I(X;Y)=H(X)-H(X|Y)$ 是熵的组合量——信息论的全部基本量都可由熵的加减构成。

给定约束下熵最大的分布最「无偏」：均值约束 → 指数分布，方差约束 → 正态分布——统计力学与机器学习中「最少假设」选择的统一原则。

H(X)=-\sum_xp(x)\log_2p(x),\quad I(X;Y)=H(X)-H(X\mid Y)

香农 1948 年《通信的数学理论》引入熵并借用玻尔兹曼的术语与公式；哈特利 1928 年的对数信息量是其先驱；冯·诺依曼建议「叫它熵吧，辩论中你永远占优」。

数据压缩的理论极限、决策树的信息增益分裂、物理学的热力学熵联系、NLP 的语言模型困惑度（交叉熵）。

二元熵 H(p)：不确定性曲线拖 p：p=1/2 时熵最大（1 bit），两端确定时熵为 0

p 概率0.50