贝叶斯定理是怎么被发现的
1763 年,理查德·普莱斯在皇家学会宣读了一篇遗稿,作者托马斯·贝叶斯已经去世两年。稿子问了一个当时没人认真问过的问题: 不知道原因,能不能从结果倒推原因? 那时的概率论只会算正问题——已知骰子公平,问掷出六点的概率。贝叶斯把箭头掉转了过来, 用的模型就是下面这张台球桌。
试验台:贝叶斯台球桌
桌上有一条看不见的竖线,位置 p 是未知的。每次投球,球落在左边还是右边,由这条线决定(落在左边的概率恰好是 p)。 你只能看到球落在哪边,看不到线在哪里——这正是"从结果反推原因"。下面的曲线是你对 p 的信念,每投一颗球它就收窄一点。
还没有数据。此时的"后验"就是先验——对 p 一无所知,所以 0 到 1 之间每个值都一样可能。
刚才发生了什么
四步,每一步都是 1763 年那篇论文里的原话。
先有一个"什么都不知道"的先验
线的位置没有任何线索,贝叶斯就假设它在 0 到 1 之间均匀分布——每个位置一样可能。这不是"客观真理",而是一条明确的假设,可以换(后面第三节就换给你看)。
写下"如果线在这里,看到这些球的概率有多大"
若线在 p,投 n 颗球有 k 颗落左的概率是 pk(1−p)n−k。这就是似然:它是 p 的函数,不是球的函数。注意方向——我们算的是"给定 p 时数据的概率",而想要的是"给定数据时 p 的可能性"。
把两者相乘,再归一化
先验 × 似然 = 后验的"形状"。但它还不是概率密度——曲线下的面积不等于 1,所以要除以一个常数(就是积分)。贝叶斯的关键一步就在这里:分母只是让面积变成 1,不改变形状。
得到一条曲线,而不是一个答案
这就是贝叶斯与"点估计"最大的差别:结论是一条分布。它告诉你最可能在哪里(众数)、平均在哪里(均值)、以及还有多不确定(区间宽度)。球越多,曲线越窄。
这个想法是怎么来的
从一篇遗稿到今天的机器学习,中间隔了两百多年,也隔着一场持续半世纪的争论。
-
1730s–1750s
一个被反着问的问题
当时的概率论只处理正问题:已知机制(骰子公平、牌堆完整),算各种结果的概率。但现实里更常见的是反过来的困境:看到结果,猜机制。 贝叶斯把它写成了一句可以计算的话——"给定某事件已经发生过若干次,它下一次发生的概率是多少?"
-
1763
遗稿被宣读,台球桌登场
贝叶斯 1761 年去世。1763 年,他的朋友理查德·普莱斯把《论机会学说中的一个问题》提交给皇家学会。 文中设想一张台球桌:先随机落一颗白球定出一条竖线,再落若干球,只记录落在左边还是右边;看到左右分布,反推竖线的位置。这就是最早的逆概率,也是你现在玩的这一台。
-
1774
拉普拉斯独立得到一般形式
拉普拉斯在不知道贝叶斯工作的情况下,给出了"原因的概率"的一般公式,并明确把分母写成一个归一化常数。 今天教科书上的那行公式,出自他 1812 年的《概率的分析理论》。贝叶斯只解了均匀先验这一特例,把它变成通用工具的是拉普拉斯。
-
1814
太阳明天会升起吗
拉普拉斯用它处理一个著名问题:太阳已经连续升起了 n 天,明天升起的概率是多少?答案是 (n+1)/(n+2)。 这个"继任法则"让贝叶斯思想出了圈,也招来了最激烈的批评——先验到底从哪来?(下一节就做这个实验)
-
1920s–1950s
被主流边缘化
费希尔等人主张频率派:概率只能是"长期重复中的频率",给一个固定参数分配概率是"胡说"。此后几十年,贝叶斯方法在主流统计学里几乎没有位置, 只在少数需要"先验知识"的领域悄悄使用。
-
1953–1990
算得动了,于是活了过来
Metropolis 等人提出 MCMC 采样,让高维后验第一次变得可以计算;1990 年 Gelfand & Smith 的 Gibbs 采样论文让它普及开来。 算力一到位,贝叶斯迅速进入垃圾邮件过滤、推荐系统、A/B 测试、贝叶斯优化与今天的概率编程。
-
现在
争议仍在,但答案很务实
"先验从哪来"没有被彻底解决,出现了无信息先验、客观先验、分层先验等一整套方案。 但有一件事被反复验证:数据足够多时,先验的影响会被压下去。这不是辩护,是可计算的结论——第三节的滑块就是在演示它。
拉普拉斯的追问:太阳明天会升起吗
1814 年,拉普拉斯用同一套公式给出一个让人不舒服的答案。假设你出生以来每天看到太阳升起——这只是一种"每次都成功"的观测。
(n+1)/(n+2):一次都没失败过,也不能给出 100%。这条"加一"的修正,是贝叶斯思想最著名的产物之一。
先验会不会毁掉结论
这是两百年来针对贝叶斯最核心的质疑。三条曲线代表三种截然不同的先验:无信息、强烈认为偏右、强烈认为偏左。拖动滑块增加数据,看它们会不会走到一起。
n = 0 时三条曲线各说各话,因为还没有任何证据。这就是先验的全部权力范围。
原理解读
从一句日常语言,走到一行可以计算的公式。
1正问题与逆问题
设 H 是一个假设(线在 p 处),D 是观测到的数据(k 颗球落左)。正问题问的是 P(D|H):如果线在那里,看到这些球的概率有多大。 逆问题问的是 P(H|D):看到这些球,线在那里的可能性有多大。
这两者不是一回事,而且方向相反。贝叶斯公式是把它们接起来的那座桥:
P(H | D) = P(D | H) · P(H) P(D)用文字读一遍就是:后验 ∝ 似然 × 先验。分母 P(D) 只做归一化——它是所有假设下看到这份数据的概率之和,与"哪个假设更可能"无关。
2台球桌的完整算式
均匀先验 f(p) = 1,n 颗球中 k 颗落左的似然为 pk(1−p)n−k,于是
f(p | k, n) = pk(1−p)n−k B(k+1, n−k+1)这正是 Beta(k+1, n−k+1) 分布。先验是 Beta(1,1),加上二项数据,后验还是 Beta——这叫共轭,是贝叶斯能被手算两百年的原因。
由此得到两个常用的量:众数 k/n(数据说了算),均值 (k+1)/(n+2)(先验还在轻轻拉扯)。
3为什么"加一"
(k+1)/(n+2) 里的两个 +1,来自均匀先验——它相当于事先已经"看"到一左一右各一颗虚拟球。
所以即使 n = 0,你也敢说 50%;即使 100 次全成功,你也只敢说 101/102,而不是 100%。这不保守,这是诚实:没见过的可能性不该被赋成零。
太阳问题就是它的极端版本:n 再大,答案也永远差一点点到 1。
三个常见误解
它们都卡在同一个地方:把"我们的知识"和"事物本身"混为一谈。
p 是个固定的数,怎么能有分布?
线确实只有一条,p 也确实是一个固定值。那条曲线描述的不是 p 在随机跳动,而是你对 p 的无知程度。 这正是 1763 年那次观念转变的核心:概率不只属于"会重复发生的事件",也可以属于"一个未知的常数"。这句话在当时是离经叛道的。
先验是主观拍的,所以结论不可信
先验可以主观,但它的影响是可检验的:换一个先验,看结论变多少。第三节的滑块就是在做这件事—— n = 0 时三条曲线天差地别,n = 600 时它们几乎重合。真正该担心的不是"有先验",而是数据太少却先验太强。
投了 6 次,4 次落左,所以 p = 2/3
这是把众数当成了全部答案。n = 6、k = 4 时,后验是 Beta(5,3),95% 区间大约覆盖 0.30 到 0.86—— 宽到几乎什么也没说。贝叶斯的价值恰恰在于它不掩饰这一点:它把"我还不知道多少"画在了同一张图上。