概念

线性回归

最小二乘估计是 BLUE（最优线性无偏估计），诊断图检验假设（线性性、同方差、正态性）。

阅读路径

参考可汗学院 Get ready 机制：先修概念 → 当前概念 → 进阶概念，✓ 表示已读。

已是本主题的起点

线性回归应用统计

01定义

线性回归以最小二乘拟合

Y=X\beta+\varepsilon

：高斯-马尔可夫定理保证 OLS 估计是 BLUE（最优线性无偏）。残差诊断检验线性、同方差、正态三假设——模型是假设的契约，诊断是履约检查。

最小二乘：直线穿过散点的重心

误差零均值、同方差、不相关 $\Rightarrow$ OLS 在线性无偏估计中方差最小（BLUE）；正态性不是必需——正态只在精确 t/F 推断时登场。

残差 vs 拟合（非线性/异方差）、Q-Q 图（正态性）、尺度-位置图、杠杆-残差图（影响点）；库克距离量化单点对系数的拉扯。

共线性与过拟合时岭回归（L2）与 Lasso（L1）收缩系数：偏差换方差；AIC/BIC/交叉验证选惩罚强度——回归与机器学习的接口。

\hat\beta=(X^TX)^{-1}X^TY,\quad R^2=1-\frac{\mathrm{SSE}}{\mathrm{SST}}

勒让德 1805 年发表最小二乘，高斯 1809 年给出正态误差论证；皮尔逊发展相关分析；图基 1977 年《探索性数据分析》确立诊断传统。

计量经济学的因果推断基座、生物统计的剂量-反应建模、工程标定与传感器校准、商业预测与归因分析。

最小二乘拟合：垂直残差增大噪声：残差变长、拟合线抖动；斜率截距始终由最小二乘唯一确定

σ 噪声1.00