概念

动态规划

贝尔曼最优性原理把问题分解为子问题，HJB 方程是值函数满足的 PDE，与庞特里亚金原理互为表里。

阅读路径

参考可汗学院 Get ready 机制：先修概念 → 当前概念 → 进阶概念，✓ 表示已读。

动态规划变分法

01定义

贝尔曼最优性原理：最优策略的任一尾段仍是最优的。由此递推得值函数满足 HJB 方程（连续时间）或贝尔曼方程（离散时间）——与庞特里亚金原理互为表里，是随机最优控制的自然语言。

多阶段决策：值函数从终点逆向递推

$-V_t=\max_u\{L+V_x\cdot f\}$ ：值函数的一阶非线性 PDE；粘性解理论（1980 年代）使不光滑值函数也获唯一性。

沿最优轨线 $\lambda=V_x$ ：HJB 是「全场」视角，庞特里亚金是「单轨」视角——两者描述同一最优性。

随机最优控制的 HJB 成为半线性 PDE；离散版贝尔曼方程即强化学习的理论根基（Q-learning、值迭代）。

V(x)=\max_{u}\Bigl\{r(x,u)+\gamma V\bigl(f(x,u)\bigr)\Bigr\}

贝尔曼 1953-1957 年创立动态规划（RAND 公司）；「维度灾难」一词亦出自他；克兰德尔-利翁斯 1983 年的粘性解理论补齐 PDE 严格性。

强化学习算法（AlphaGo 的价值网络即值函数近似）、机器人运动规划、金融衍生品的美式期权定价、供应链多阶段库存优化。

网格最短路径：DP 填表与回溯dp[i][j] = cost[i][j] + min(dp[i−1][j], dp[i][j−1])，只能向右/向下走

对角线阶段 i+j0