概念

投影与最小二乘

正交投影给出到子空间的最近点，最小二乘法把超定方程组转化为可解的正规方程，是回归分析的数学核心。

阅读路径

参考可汗学院 Get ready 机制：先修概念 → 当前概念 → 进阶概念，✓ 表示已读。

投影与最小二乘线性代数

01定义

正交投影把向量送到子空间中的最近点；当方程组

Ax=b

无解（方程多于未知量）时，最小二乘法退而求其次：求使

\|Ax-b\|^2

最小的

x

，其解满足正规方程

A^T Ax=A^T b

。这是回归分析的数学核心。

最小二乘：把数据向量 b 投影到 A 的列空间，残差垂直于列空间

到子空间的正交投影 $P$ 满足 $P^2=P=P^T$ ；最近点性质： $b-Pb$ 垂直于子空间——「误差与模型正交」是极值的几何条件。

$Ax=b$ 无解时，最优解满足 $A^T Ax=A^T b$ （残差 $\perp$ 列空间）； $A^T A$ 正定时唯一解 $x=(A^T A)^{-1}A^T b$ 。

高斯-马尔可夫定理：误差独立同方差时，最小二乘估计是线性无偏估计中方差最小者——回归分析的合法性由此确立。

A^T Ax=A^T b

\hat x=(A^T A)^{-1}A^T b,\quad P=A(A^T A)^{-1}A^T

勒让德 1805 年发表最小二乘法，高斯声称更早使用并用它成功预测谷神星轨道（1801）；优先权之争是数学史的著名公案。

线性回归、曲线拟合、GPS 定位解算、天文观测数据处理——凡是「数据多于未知量」之处，最小二乘都是默认答案。

最小二乘：垂直投影与残差调整斜率：残差平方和 RSS 最小 ⇔ 残差向量垂直于拟合空间

斜率 b0.60