概念

点估计

矩估计用样本矩匹配总体矩，极大似然估计最大化观测数据的似然，是最常用的估计方法。

阅读路径

参考可汗学院 Get ready 机制：先修概念 → 当前概念 → 进阶概念，✓ 表示已读。

已是本主题的起点

点估计数理统计

01定义

点估计用样本算出总体参数的单一猜测值：矩估计以样本矩匹配总体矩（简单直观），极大似然估计最大化观测数据的联合概率（深刻通用）。MLE 是统计推断的通用引擎。

似然曲线：MLE 站在数据的峰顶

用 $\bar{X}=E_\theta[X]$ 、 $\overline{X^2}=E_\theta[X^2]$ 反解参数：无需写出似然，正态两参数的矩估计即 $\bar{X}$ 与样本二阶矩——朴素但常有效。

$\hat\theta=\arg\max\prod f(x_i;\theta)$ ；对数化把乘积变求和，得分方程 $\ell'(\theta)=0$ 求解；正态下 MLE 正是 $\bar{X}$ 与 $S^2/n$ （有偏！）。

正则条件下 MLE 相合、渐近正态、渐近达到 Cramér-Rao 下界——大样本下无可挑剔；偏差与先验信息由贝叶斯方法补上。

\hat\theta_{\text{MLE}}=\arg\max_\theta\ \prod_{i=1}^{n}f(x_i;\theta)

高斯与勒让德 1800 年代以最小二乘与正态假设触及似然思想；费希尔 1912-1922 年系统提出极大似然原理并论证其优越性。

广义线性模型的拟合、隐变量模型的 EM 算法、粒子物理的新粒子发现（似然比）、机器学习的损失函数设计（负对数似然）。

矩估计：样本均值估计总体均值增大样本量：估计值更贴近真值 μ

n 样本量15μ 真值0.50