概念

算法

梯度下降与牛顿法处理光滑问题，内点法沿中心路径求解锥规划，ADMM 通过算子分裂处理大规模分布式问题。

阅读路径

参考可汗学院 Get ready 机制：先修概念 → 当前概念 → 进阶概念，✓ 表示已读。

算法运筹学

01定义

凸优化的算法谱系按问题结构配置：一阶方法（梯度下降）廉价通用，二阶方法（牛顿法）曲率加速，内点法沿中心路径处理约束，ADMM 以算子分裂应对大规模——机器学习的优化引擎皆出于此。

梯度下降：沿负梯度方向步步逼近极小点

$x_{k+1}=x_k-\eta\nabla f$ ：光滑凸下 $O(1/k)$ ，强凸下线性收敛；Nesterov 动量加到 $O(1/k^2)$ ，SGD + Adam 是深度学习的事实标准。

牛顿步 $-\nabla^2f^{-1}\nabla f$ 利用曲率，自协调性下步长自适应；维度高时 BFGS/L-BFGS 近似 Hessian——无 Hessian 也能享受二阶红利。

对数障碍把约束软化： $\min f-\mu\sum\log(-g_i)$ ，沿 $\mu\to 0$ 的中心路径逼近边界最优；LP/SDP/SOCP 的多项式求解器皆基于此——Karmarkar 1984 年掀起内点革命。

x_{k+1}=x_k-\eta_k\nabla f(x_k),\quad x^{+}=x-[\nabla^2f]^{-1}\nabla f\ (\text{牛顿})

柯西 1847 年提出梯度法；牛顿法的历史更早；Karmarkar 1984 年的多项式 LP 算法引爆内点法研究；Boyd 的凸优化教材使方法体系大众化。

深度学习训练（SGD/Adam）、信号处理（ADMM）、控制与轨迹优化、结构化预测的推理算法。

Dijkstra：贪心扩展最短路径树每一步从未确定的顶点中选距离最小的，永不反悔

步骤0