概念

有损压缩

率失真理论给出给定失真度下的最低码率，JPEG、MP3 等标准以人类感知为失真度量进行有损编码。

阅读路径

参考可汗学院 Get ready 机制：先修概念 → 当前概念 → 进阶概念，✓ 表示已读。

有损压缩信息论与编码

本主题暂无后续概念

01定义

有损压缩允许失真换取更高压缩率：率失真理论给出「失真不超过

D

时的最低码率」

R(D)

——它是香农信源编码定理的失真版本。JPEG、MP3 等标准把「人类感知」作为失真度量，工程上逼近理论界限。

率失真曲线：失真预算与码率的权衡

$R(D)=\min I(X;\hat X)$ （期望失真 $\leq D$ ）：互信息视角下「保留多少信息才够」；高斯信源有闭式解，注水算法推广到矢量情形。

JPEG 流程：8×8 块 DCT 变换 → 量化（丢弃人眼不敏感的高频系数）→ 熵编码；量化步长是质量旋钮——频域的能量集中使舍弃代价最小。

MP3 利用掩蔽效应、视频编码利用时域冗余；神经压缩用学习得到的感知损失替代手工变换——率失真优化的「失真」定义正从 MSE 走向感知质量。

R(D)=\min_{p(\hat{x}|x):\,Ed\leq D}I(X;\hat{X})

香农 1948 年论文已包含率失真理论雏形；1959 年他给出系统化论述；JPEG（1992）与 MP3（1993）标准把理论变成全球基础设施。

照片/视频流媒体（HEVC/AV1）、音乐流媒体、医学影像的分级存储、生成模型（扩散模型的率失真解释）。

率失真函数 R(D)：失真预算下的最小码率二进制源 + 汉明失真：R(D) = 1 − h₂(D)，D=0 无损需 1 比特，D=1/2 时零码率

D 失真预算0.20