概率论 · 逆概率

贝叶斯定理是怎么被发现的

1763 年,理查德·普莱斯在皇家学会宣读了一篇遗稿,作者托马斯·贝叶斯已经去世两年。稿子问了一个当时没人认真问过的问题: 不知道原因,能不能从结果倒推原因? 那时的概率论只会算正问题——已知骰子公平,问掷出六点的概率。贝叶斯把箭头掉转了过来, 用的模型就是下面这张台球桌。

试验台:贝叶斯台球桌

桌上有一条看不见的竖线,位置 p 是未知的。每次投球,球落在左边还是右边,由这条线决定(落在左边的概率恰好是 p)。 你只能看到球落在哪边,看不到线在哪里——这正是"从结果反推原因"。下面的曲线是你对 p 的信念,每投一颗球它就收窄一点。

点「投 10 球」开始,看看数据会把你带到哪里
已投球数 n0
落在左边 k0
后验众数(最可能的 p)—
后验均值—
95% 可信区间—
真值 p(揭晓后可见)?

还没有数据。此时的"后验"就是先验——对 p 一无所知,所以 0 到 1 之间每个值都一样可能。

刚才发生了什么

四步,每一步都是 1763 年那篇论文里的原话。

1

先有一个"什么都不知道"的先验

线的位置没有任何线索,贝叶斯就假设它在 0 到 1 之间均匀分布——每个位置一样可能。这不是"客观真理",而是一条明确的假设,可以换(后面第三节就换给你看)。

2

写下"如果线在这里,看到这些球的概率有多大"

若线在 p,投 n 颗球有 k 颗落左的概率是 pk(1−p)n−k。这就是似然:它是 p 的函数,不是球的函数。注意方向——我们算的是"给定 p 时数据的概率",而想要的是"给定数据时 p 的可能性"。

3

把两者相乘,再归一化

先验 × 似然 = 后验的"形状"。但它还不是概率密度——曲线下的面积不等于 1,所以要除以一个常数(就是积分)。贝叶斯的关键一步就在这里:分母只是让面积变成 1,不改变形状。

4

得到一条曲线,而不是一个答案

这就是贝叶斯与"点估计"最大的差别:结论是一条分布。它告诉你最可能在哪里(众数)、平均在哪里(均值)、以及还有多不确定(区间宽度)。球越多,曲线越窄。

这个想法是怎么来的

从一篇遗稿到今天的机器学习,中间隔了两百多年,也隔着一场持续半世纪的争论。

  1. 1730s–1750s

    一个被反着问的问题

    当时的概率论只处理正问题:已知机制(骰子公平、牌堆完整),算各种结果的概率。但现实里更常见的是反过来的困境:看到结果,猜机制。 贝叶斯把它写成了一句可以计算的话——"给定某事件已经发生过若干次,它下一次发生的概率是多少?"

  2. 1763

    遗稿被宣读,台球桌登场

    贝叶斯 1761 年去世。1763 年,他的朋友理查德·普莱斯把《论机会学说中的一个问题》提交给皇家学会。 文中设想一张台球桌:先随机落一颗白球定出一条竖线,再落若干球,只记录落在左边还是右边;看到左右分布,反推竖线的位置。这就是最早的逆概率,也是你现在玩的这一台。

  3. 1774

    拉普拉斯独立得到一般形式

    拉普拉斯在不知道贝叶斯工作的情况下,给出了"原因的概率"的一般公式,并明确把分母写成一个归一化常数。 今天教科书上的那行公式,出自他 1812 年的《概率的分析理论》。贝叶斯只解了均匀先验这一特例,把它变成通用工具的是拉普拉斯。

  4. 1814

    太阳明天会升起吗

    拉普拉斯用它处理一个著名问题:太阳已经连续升起了 n 天,明天升起的概率是多少?答案是 (n+1)/(n+2)。 这个"继任法则"让贝叶斯思想出了圈,也招来了最激烈的批评——先验到底从哪来?(下一节就做这个实验)

  5. 1920s–1950s

    被主流边缘化

    费希尔等人主张频率派:概率只能是"长期重复中的频率",给一个固定参数分配概率是"胡说"。此后几十年,贝叶斯方法在主流统计学里几乎没有位置, 只在少数需要"先验知识"的领域悄悄使用。

  6. 1953–1990

    算得动了,于是活了过来

    Metropolis 等人提出 MCMC 采样,让高维后验第一次变得可以计算;1990 年 Gelfand & Smith 的 Gibbs 采样论文让它普及开来。 算力一到位,贝叶斯迅速进入垃圾邮件过滤、推荐系统、A/B 测试、贝叶斯优化与今天的概率编程。

  7. 现在

    争议仍在,但答案很务实

    "先验从哪来"没有被彻底解决,出现了无信息先验、客观先验、分层先验等一整套方案。 但有一件事被反复验证:数据足够多时,先验的影响会被压下去。这不是辩护,是可计算的结论——第三节的滑块就是在演示它。

"为了发现一种方法,用来确定某个未知事件在给定情形下发生的概率……" —— 贝叶斯 1763 年论文的开篇,普莱斯在宣读时补充说,作者"长期没有发表,是因为他不愿让一个不成熟的想法见刊"。

拉普拉斯的追问:太阳明天会升起吗

1814 年,拉普拉斯用同一套公式给出一个让人不舒服的答案。假设你出生以来每天看到太阳升起——这只是一种"每次都成功"的观测。

66.67%
明天升起的概率(拉普拉斯继任法则)

(n+1)/(n+2):一次都没失败过,也不能给出 100%。这条"加一"的修正,是贝叶斯思想最著名的产物之一。

先验会不会毁掉结论

这是两百年来针对贝叶斯最核心的质疑。三条曲线代表三种截然不同的先验:无信息、强烈认为偏右、强烈认为偏左。拖动滑块增加数据,看它们会不会走到一起。

先验 A:Beta(1,1) 一无所知 先验 B:Beta(8,2) 坚信 p≈0.8 先验 C:Beta(2,8) 坚信 p≈0.2
数据中 62% 落在左边
A 的后验均值0.50
B 的后验均值0.80
C 的后验均值0.20

n = 0 时三条曲线各说各话,因为还没有任何证据。这就是先验的全部权力范围。

原理解读

从一句日常语言,走到一行可以计算的公式。

1正问题与逆问题

设 H 是一个假设(线在 p 处),D 是观测到的数据(k 颗球落左)。正问题问的是 P(D|H):如果线在那里,看到这些球的概率有多大。 逆问题问的是 P(H|D):看到这些球,线在那里的可能性有多大。

这两者不是一回事,而且方向相反。贝叶斯公式是把它们接起来的那座桥:

P(H | D) = P(D | H) · P(H) P(D)

用文字读一遍就是:后验 ∝ 似然 × 先验。分母 P(D) 只做归一化——它是所有假设下看到这份数据的概率之和,与"哪个假设更可能"无关。

2台球桌的完整算式

均匀先验 f(p) = 1,n 颗球中 k 颗落左的似然为 pk(1−p)n−k,于是

f(p | k, n) = pk(1−p)n−k B(k+1, n−k+1)

这正是 Beta(k+1, n−k+1) 分布。先验是 Beta(1,1),加上二项数据,后验还是 Beta——这叫共轭,是贝叶斯能被手算两百年的原因。

由此得到两个常用的量:众数 k/n(数据说了算),均值 (k+1)/(n+2)(先验还在轻轻拉扯)。

3为什么"加一"

(k+1)/(n+2) 里的两个 +1,来自均匀先验——它相当于事先已经"看"到一左一右各一颗虚拟球。

所以即使 n = 0,你也敢说 50%;即使 100 次全成功,你也只敢说 101/102,而不是 100%。这不保守,这是诚实:没见过的可能性不该被赋成零。

太阳问题就是它的极端版本:n 再大,答案也永远差一点点到 1。

4后验是一条曲线,不是一句话

贝叶斯给出的不是"p 等于 0.63",而是"p 大概率在 0.55 到 0.71 之间,最可能在 0.63"。三个数各有名字:

  • 众数:曲线的最高点,最可能的单个值。在台球桌模型里它就是 k/n。
  • 均值:曲线的重心,被先验轻轻拉向 0.5。它是"平方误差最小"的点估计。
  • 可信区间:曲线下 95% 的面积所在的那一段。它直接回答"p 在哪",而不是频率派置信区间那句绕口的"重复实验中有 95% 的区间会覆盖真值"。

球越多,这条曲线越窄——收窄的速度同样是 1/√n,与大数定律、中心极限定理是同一套数学(见 大数定律与 高尔顿板)。

三个常见误解

它们都卡在同一个地方:把"我们的知识"和"事物本身"混为一谈。

!

p 是个固定的数,怎么能有分布?

线确实只有一条,p 也确实是一个固定值。那条曲线描述的不是 p 在随机跳动,而是你对 p 的无知程度。 这正是 1763 年那次观念转变的核心:概率不只属于"会重复发生的事件",也可以属于"一个未知的常数"。这句话在当时是离经叛道的。

!

先验是主观拍的,所以结论不可信

先验可以主观,但它的影响是可检验的:换一个先验,看结论变多少。第三节的滑块就是在做这件事—— n = 0 时三条曲线天差地别,n = 600 时它们几乎重合。真正该担心的不是"有先验",而是数据太少却先验太强。

!

投了 6 次,4 次落左,所以 p = 2/3

这是把众数当成了全部答案。n = 6、k = 4 时,后验是 Beta(5,3),95% 区间大约覆盖 0.30 到 0.86—— 宽到几乎什么也没说。贝叶斯的价值恰恰在于它不掩饰这一点:它把"我还不知道多少"画在了同一张图上。

一句话总结:贝叶斯定理不是一条关于世界的定律,而是一条关于如何改变看法的规则——先有一个信念,看到证据,按证据的可能性给它加权,得到新的信念。 1763 年它只是一篇遗稿里的台球桌,今天它是垃圾邮件过滤、风险评估、推荐系统与科学发现的共同语法。