概率论 · 极限定理

大数定律实验室

抛一枚硬币,前 10 次可能是 7 正 3 反,频率 0.7;抛到 10 万次,频率几乎必然贴着 0.5。 大数定律说的就是这件事:样本量越大,样本均值越被"稀释"到期望附近。 下面的试验台让你亲手把 n 从 1 推到 100 万,看着它收敛。

试验台

选一个随机源,设定试验次数,然后按「开始试验」。图中蓝线是样本均值的实际轨迹,绿色虚线是理论期望 μ,浅蓝色带子是理论波动范围 μ ± 2σ/√n。

按「开始试验」开始
试验次数 n0
样本均值—
理论期望 μ—
绝对误差—
理论波动 σ/√n—
误差 ÷ 理论波动—

本次实验记录

每跑完一段,这里会留下几个关键节点的快照。最后一列是最有说服力的一列:误差与理论波动 σ/√n 的比值通常在 0.5–2 之间徘徊,说明收敛速度就是 1/√n。

试验次数 n 样本均值 绝对误差 理论波动 σ/√n 误差 ÷ 波动

五件值得亲手试的事

每一条都在考验一个具体的直觉。做完再往下读,收益会大得多。

1

量一量收敛速度

选「抛硬币」,目标拉到 1,000,跑完记下绝对误差;重置后把目标改成 100,000 再跑,看误差是不是大约只有原来的 1/10。 多试几次会更清楚:样本量 ×100,误差 ÷10。这正是 √n 的脾气,也是蒙特卡洛方法"多一位精度要 ×100 算力"的来源。

2

抓一次"倒退"

跑到 1,000 次时按「暂停」,记下误差,然后连续点「单步」。你一定能找到某一批让误差变大。 大数定律从来不承诺每一步都更准,它只承诺趋势。

3

看清长期残余波动

把「纵轴缩放」推到 ×20 以上。曲线并没有"贴死"在 μ 上,它一直在抖,抖动幅度恰好是 σ/√n。 把缩放调回来再想想:这种"稳定"是分母变大换来的,不是随机性消失了。

4

让 9 条轨迹同时跑

勾选「多路径」。9 条曲线形状各不相同,有的先冲到 0.7,有的在 0.3 徘徊,但放大后会发现它们都被同一条收窄的带子收拢。 这就是"几乎必然收敛":每一条路径(除了概率为 0 的例外)最终都会落在 μ 上。

5

把定律弄坏一次

切到「柯西分布」:样本均值永远在剧烈跳动,n 再大也不会稳定——因为它没有期望。 再切到「同一观测重复」:曲线变成一条水平线——因为样本不独立。这两个反例比正例更能说明定律的前提。

原理解读

从"是什么"到"为什么"再到"何时失效"。

1定律到底在说什么

伯努利(1713)先回答了"频率为什么稳定"。设事件 A 在每次试验中出现的概率为 p,n 次独立重复试验中出现 nA 次,则频率

fn(A) = nA/n P⟶ p

后来切比雪夫、辛钦把它推广到一般随机变量:若 X1, X2, … 独立同分布且期望 μ 存在,则样本均值

Xn = (X1 + X2 + ⋯ + Xn) / n P⟶ μ

"依概率收敛"的确切含义是:对任意 ε > 0,

P( |Xn − μ| ≥ ε ) → 0  ( n → ∞ )

也就是说,只要 n 足够大,"样本均值与期望相差超过 ε"这件事发生的概率可以任意小。更强的版本是强大数定律:P( limn→∞ Xn = μ ) = 1,即几乎每一条样本路径最终都收敛——试验台的「多路径」模式就是给这句话配的图。

2为什么它必然收敛

不是命运的安排,是纯代数。独立同分布下,方差可以逐项相加,再被 n² 除:

Var(Xn) = σ2/n

于是样本均值的标准差(理论波动)按 1/√n 收缩。再用切比雪夫不等式:

P( |Xn − μ| ≥ ε ) ≤ σ2/(nε2)

右端随 n → ∞ 趋于 0,命题得证。整个过程只用到了独立性与方差有限两个条件。辛钦后来证明:只要期望存在,方差甚至可以不要。

3收敛有多快

  • 样本量 ×100 → 误差 ÷10
  • 想让误差减半 → 样本量 ×4
  • 想多一位小数(精度 ×10)→ 计算量 ×100

这个 1/√n 是蒙特卡洛方法的精度天花板。好处是它与维数无关:无论积分是 2 维还是 200 维,误差都按 1/√n 走,这正是蒙特卡洛在高维问题里仍然可用的原因。

坏处也很直接:想要 4 位有效数字,就得多算 1 亿倍。

4什么时候会失效

  • 期望不存在:柯西分布是标准反例。它的尾部太厚,样本均值的分布与单个样本完全相同,n 再大也照样剧烈跳动。试验台里选「柯西分布」,你会看到一条永不驯服的曲线。
  • 样本不独立:如果每次都重复使用同一个观测值,样本均值恒等于那一次抽到的数,永远停在原地。试验台里的「同一观测重复」就是这个退化情形。
  • 方差有限并非必需:辛钦大数定律只要求期望存在,方差可以无穷。但如果连期望都没有,定律无从谈起。

5它在哪里出现

  • 蒙特卡洛仿真:用样本均值估计积分、概率与风险指标,收敛性由大数定律兜底。
  • 保险精算:保单越多,实际赔付率越贴近预定费率——这是保险公司敢对单张保单定价的数学依据。
  • 统计推断:样本均值是总体期望的相合估计,也是大样本理论与置信区间的地基。
  • 赌场与彩票:单局完全不可预测,长期频率却被赔率结构锁死。庄家赚的不是运气,是 n。

三个常见误解

它们都源自把"长期频率"错当成"短期记忆"。

!

赌徒谬误:输了这么久,该轮到我赢了吧?

连续 10 次正面之后,第 11 次仍然是 50%。硬币没有记忆。均值靠近 p 靠的是分母变大把偏差稀释,而不是未来必须出现"补偿性"的反面。 在试验台里把硬币跑到 100 次,再单步推进:你会看到曲线是慢慢"贴"上去的,而不是"弹"回去的。

!

样本越多,就一定越准?

不单调。样本均值随时可能暂时远离 μ,试验台的任务 2 就是在找这样的时刻。定律保证的是"最终"和"概率意义"上的收敛, 而不是每增加一个样本都更接近一步。

!

均值收敛了,总和也稳定了吧?

正好相反。累计和 Sn 与 nμ 的偏离按 √n 增大:均值的稳定来自分母的增长,不是分子变得听话。 指标卡下方那一行就是这两个量的对照。

一句话总结:大数定律说的不是"随机会自我纠正",而是"平均会让偏差变得无关紧要"。 它把不确定性从单次结果赶到了平均结果之外——这也正是它能支撑保险、仿真与统计推断的原因。