∑

数学知识体系

Observatory Archive of Mathematics
⌕2026/8/31
知识要点 · 大学数学

数值分析与最优化

计算机专业 · 本科阶段

数值计算方法（插值、逼近、数值积分）、线性规划与凸优化，科学计算与 AI 训练的核心。

数值分析与最优化是「让计算机算数学」的课程：数值分析研究算法的构造与误差（插值、数值积分、方程求根、微分方程数值解），最优化研究目标函数的极值求解（无约束优化、线性规划、凸优化），两者共同构成科学计算与 AI 训练的核心数学。

§ 01

误差与插值

浮点数与舍入误差、绝对/相对误差、误差传播。插值：拉格朗日插值与牛顿插值构造过给定点的多项式，龙格现象警示高次插值震荡，分段三次样条是工程标准。插值是数值微分、积分与曲线拟合的基础。
§ 02

数值积分与方程求根

数值积分：梯形公式、辛普森公式及其复合形式的误差阶（复合辛普森 O(h4)O(h^4)）。方程求根：二分法（稳健、线性收敛）、牛顿法（二次收敛、需好初值）、割线法。牛顿法思想推广到多元即解非线性方程组。
§ 03

线性方程组的数值解与最优化

LU 分解、追赶法（三对角）与迭代法（雅可比、高斯-赛德尔、共轭梯度）。最优化主线：梯度下降与牛顿法（含收敛率分析）、线性规划（单纯形法与对偶理论）、凸优化基础（KKT 条件 ∇f+λ∇g=0\nabla f+\lambda\nabla g=0 是约束优化的核心）。
§ 04

与机器学习的接口

最小二乘拟合（正规方程与 QR 分解）、正则化（岭回归对应 L2L^2 惩罚、LASSO 对应 L1L^1）、梯度下降族算法（动量、Adam）的收敛性直觉、神经网络的误差反向传播就是复合函数求导的链式法则在计算图上的展开。

核心公式速查

牛顿迭代xn+1=xn−f(xn)f′(xn)x_{n+1}=x_n-\dfrac{f(x_n)}{f′(x_n)}
复合辛普森∫abf≈h3[f0+fn+4∑oddfi+2∑evenfi]\int_a^b f\approx\dfrac{h}{3}\left[f_0+f_n+4\sum_{odd}f_i+2\sum_{even}f_i\right]
KKT 条件∇f+∑jλj∇gj=0, λj≥0, λjgj=0\nabla f+\sum_j\lambda_j\nabla g_j=0,\ \lambda_j\ge0,\ \lambda_j g_j=0

学习建议与易错点

  • 牛顿法收敛快但依赖初值：先二分法缩小区间再用牛顿法精化，是工程标准组合。
  • 误差分析比答案更重要：每道题都要能说出方法的收敛阶与误差界。
  • 梯度下降的学习率是超参数：过大学震荡、过小收敛慢，调参前先画出损失曲线。
  • 理解 KKT 条件的互补松弛性：λjgj=0\lambda_j g_j=0 意味着「约束不活跃时乘子为零」。