信息论与编码
信息的度量与可靠传输：香农 1948 年用熵量化信息，信道容量给出可靠通信的极限，纠错码与数据压缩是实现极限的两大技术。
4 个分节8 个概念
§ 01
信息度量
不确定性即信息：熵度量随机变量的平均信息量，互信息刻画两个变量的共享信息。
§ 02
信道容量
可靠通信的理论极限：信道容量是任何编码方案下可任意可靠传输的最高速率，香农定理是信息论的第一定理。
§ 03
纠错码
抵抗信道噪声的编码：在信息中冗余地添加校验位，使接收端能够检测并纠正传输错误。
§ 04
数据压缩
去除数据中的冗余：无损压缩保证信息完整恢复，有损压缩以允许失真换取更高压缩率。