概念

拉格朗日对偶

拉格朗日函数把约束问题化为鞍点问题，KKT 条件给出最优性的充要刻画，Slater 条件保证强对偶成立。

阅读路径

参考可汗学院 Get ready 机制：先修概念 → 当前概念 → 进阶概念，✓ 表示已读。

拉格朗日对偶运筹学

01定义

拉格朗日函数把带约束优化化为无约束的鞍点问题：乘子惩罚约束违背，对偶函数是逐点极小值，KKT 条件刻画最优性。Slater 条件下凸问题的强对偶成立——局部即全局的凸性让对偶理论在凸世界完美运转。

乘子把无约束极小点拉回可行域

$g(\lambda)=\inf_x L(x,\lambda)$ 是凹函数且 $g(\lambda)\leq$ 原最优值（无论凸否）：拉格朗日对偶永远给出下界，松弛质量取决于乘子选择——拉格朗日松弛算法的基础。

平稳性 $\nabla_xL=0$ 、原始可行、对偶可行 $\lambda\geq 0$ 、互补松弛 $\lambda_ig_i=0$ ：凸 + Slater $\Rightarrow$ KKT 是充要条件。互补松弛指出哪些约束真正起作用。

对偶问题用次梯度法或增广拉格朗日法求解：ADMM 在增广拉格朗日框架下分裂变量，成为分布式优化与深度学习中约束处理的主流工具。

L(x,\lambda)=f(x)+\lambda^Tg(x),\quad \nabla_xL=0,\ \lambda_ig_i(x)=0\ (\text{KKT})

拉格朗日 1788 年《分析力学》以乘子法处理约束；库恩与塔克 1951 年给出不等式约束的 KKT 条件（卡罗什 1939 年已先发表）；凸分析使其成为现代优化的核心语言。

SVM 的对偶推导、经济学的均衡价格解释、电力调度的节点电价、机器学习正则化的贝叶斯/拉格朗日双重解释。

对偶函数 q(λ)：凹函数与对偶间隙增大 λ：惩罚加重，q(λ) 下降；对偶问题 max q(λ) 给出下界

λ 乘子0.60