∑

数学知识体系

Observatory Archive of Mathematics
⌕2026/8/31
知识要点 · 大学数学

线性代数

计算机专业 · 本科阶段

矩阵运算、特征分解与奇异值分解,计算机图形学与人工智能的核心工具。

计算机专业的线性代数被誉为「人工智能的底层语言」:矩阵运算是图形学变换、数据表示与神经网络的基本载体,特征分解与奇异值分解是降维、推荐系统与图像压缩的核心工具,本课程强调计算视角与算法实现。

§ 01

矩阵运算与图形学

二维/三维图形变换(平移、旋转、缩放、投影)统一为矩阵乘法,齐次坐标把平移也并入矩阵:一个 4×44\times4 矩阵即可表达任意三维变换,这是 GPU 渲染管线的数学基础。矩阵乘法复杂度 O(n3)O(n^3) 与快速算法(斯特拉森)服务算法设计。
§ 02

线性方程组与数值解法

高斯消元及其复杂度分析,LU 分解使多次求解共享分解结果。方程组求解是数值计算、物理仿真与最小二乘问题的核心子程序;病态方程组与条件数 κ(A)\kappa(A) 解释数值误差放大现象。
§ 03

特征分解与 SVD

特征值分解 A=QΛQTA=Q\Lambda Q^T(对称矩阵)与奇异值分解 A=UΣVTA=U\Sigma V^T(任意矩阵):SVD 是「万能分解」,其截断形式提供最优低秩逼近。应用:主成分分析(PCA)降维、推荐系统(协同过滤)、图像压缩(保留前 kk 大奇异值)、网页排序。
§ 04

向量空间与机器学习

线性相关、基底与秩揭示数据的本质维度:PCA 找方差最大方向即特征向量方向;线性回归的正规方程 XTXw=XTyX^TXw=X^Ty 是最小二乘的矩阵解;核方法把线性模型推广到非线性空间,本质上是在高维特征空间做内积。

核心公式速查

奇异值分解A=UΣVT=∑iσiuiviTA=U\Sigma V^T=\sum_i\sigma_i u_i v_i^T
PCA 主方向Σxvi=λivi, λ1≥λ2≥…\Sigma_x v_i=\lambda_i v_i,\ \lambda_1\ge\lambda_2\ge\dots
正规方程w=(XTX)−1XTyw=(X^TX)^{-1}X^Ty
条件数κ(A)=∥A∥ ∥A−1∥=σmax⁡/σmin⁡\kappa(A)=\|A\|\,\|A^{-1}\|=\sigma_{\max}/\sigma_{\min}

学习建议与易错点

  • SVD 是本章的「瑞士军刀」:降维、压缩、推荐、最小二乘全可用它统一理解,务必亲手用 NumPy 分解一个矩阵。
  • 矩阵乘法先看维度再算:(m×n)(n×k)=(m×k)(m\times n)(n\times k)=(m\times k),维度对不上必错。
  • PCA 的步骤固化:中心化 → 求协方差矩阵 → 特征分解 → 取前 k 大特征向量投影。
  • 理解秩的含义:数据矩阵的秩等于其「本质维度」,秩亏说明列向量线性相关、信息冗余。