概念

迭代法

Jacobi 与 Gauss-Seidel 迭代简单但收敛慢，共轭梯度法利用 Krylov 子空间在对称正定情形下快速收敛，适合稀疏大系统。

阅读路径

参考可汗学院 Get ready 机制：先修概念 → 当前概念 → 进阶概念，✓ 表示已读。

迭代法计算数学

01定义

迭代法不求一步到位，而是从初始猜测出发逐步逼近解：定常迭代（Jacobi、Gauss-Seidel）简单但慢，Krylov 子空间方法（共轭梯度、GMRES）把解表示为

A

的多项式作用，在对称正定情形收敛飞快——稀疏大系统的主力。

共轭梯度：在能量椭球上跳跃逼近解

分裂 $A=M-N$ ，迭代 $Mx^{(k+1)}=Nx^{(k)}+b$ ：Jacobi（ $M$ 取对角）、Gauss-Seidel（取下三角）——收敛取决于谱半径 $\rho(M^{-1}N)<1$ ，对角占优矩阵适用。

共轭梯度（SPD）：每步沿共轭方向精确线搜索，误差按特征值分布的最优多项式衰减；GMRES/BiCGStab 处理非对称；收敛速度由特征值分布（聚集程度）决定。

迭代收敛慢的根源是条件数：预处理子 $M\approx A$ （不完全分解、多重网格）把 $M^{-1}A$ 的条件数压低——「好预处理」是迭代法实用化的关键工程。

x_{k+1}=x_k+\alpha_k p_k,\quad \alpha_k=\frac{r_k^Tr_k}{p_k^TAp_k}\ (\text{CG})

Hestenes 与 Stiefel 1952 年发明共轭梯度法，尘封二十年后随稀疏大系统需求复兴；Saad 与 Schultz 1986 年提出 GMRES；预处理理论使迭代法成为现代科学计算标准件。

CFD 流体仿真、气象同化的百万自由度系统、PageRank 的幂迭代、机器学习中海森向量积驱动的优化。

牛顿法：x ← x − f(x)/f′(x)逐步迭代：切线与 x 轴交点快速逼近 √2

x₀ 初值3.00step 迭代次数0