📖 标准介绍

自回归生成（Autoregressive Generation）是语言模型逐 token 生成文本的过程：每一步将已生成的序列作为输入，预测下一个 token 的概率分布，从中采样一个 token，追加到序列末尾，重复直到满足停止条件。

采样策略（Sampling Strategy）决定了如何从概率分布中选择下一个 token。常见策略包括：

• 贪心解码：argmax(p)，确定但易复读。
• 温度采样：用 T 缩放 logits，T 越大越随机。
• Top-K：只在概率最高的 K 个 token 中采样。
• Top-p（核采样）：在累积概率达到 p 的最小集合中采样。
• Beam Search：同时维护多条候选路径，选全局概率最高的。
• 重复惩罚：降低已出现 token 的概率，缓解复读。

💡 通俗介绍

模型每生成一个字，就像在做一个“选择题”：它给每个候选字打一个分数，分数越高越可能被选中。但如果每次都选分数最高的，它会变得死板、爱重复。

温度控制“大胆程度”：温度低，模型只敢选最有把握的字；温度高，模型愿意尝试冷门选项。

Top-K是“只在前 K 名里选”，避免选到太离谱的字。Top-p是“只在前几名里选，但具体几名不固定”——如果第一名遥遥领先，就只选它；如果前几名势均力敌，就多留几个候选。

这三者组合起来，就能在“稳定”和“创意”之间找到你想要的平衡点。

🔧 解决了什么问题

它解决了“如何从概率分布中选出下一个 token，以平衡生成质量和多样性”这个问题。

• 贪心太死板：永远选最高概率，输出重复、缺乏创意。
• 纯随机太离谱：完全按概率随机抽，容易选到低概率的荒谬字。
• 温度调节随机性：一个旋钮控制“保守”到“大胆”。
• Top-K 截断长尾：把低概率的“垃圾候选”直接排除。
• Top-p 自适应候选集：根据分布形状动态决定候选数量，比 Top-K 更灵活。
• 重复惩罚：降低已出现 token 的概率，缓解复读。

⭐ 为什么重要

采样策略直接决定了用户体验。同一个模型，换一套采样参数，可以从“死板复读机”变成“天马行空的诗人”，也可以从“胡言乱语”变成“严谨的助手”。

它影响：

• 输出的多样性和创造性；
• 输出的连贯性和事实准确性；
• 是否出现复读、跑题、胡言乱语；
• 同一个 prompt 多次生成的一致性；
• 模型在不同任务（写作 / 代码 / 问答）上的表现。

ChatGPT 默认使用温度 + Top-p 组合。理解采样，你就理解了“为什么同一个问题问两次，答案不一样”。

🚀 应用场景

• 对话系统：温度 0.7 ~ 1.0，Top-p 0.9，兼顾创造性和连贯性。
• 代码生成：温度 0.2 ~ 0.5，低温度保证正确性。
• 创意写作：温度 1.0 ~ 1.5，鼓励多样性。
• 翻译：温度 0.2 ~ 0.5，追求准确。
• 数学推理：贪心或极低温度，避免随机错误。
• 数据增强：高温度 + Top-p，生成多样化的合成数据。
• Beam Search：机器翻译、语音识别等追求最优序列的任务。
• 重复惩罚：长文本生成中防止复读。

⚠️ 缺陷与局限

• 温度难以调优：太高胡言乱语，太低死板复读。不同任务需要不同的温度，没有万能值。
• Top-K 固定候选数：分布尖锐时 K 太大，会引入垃圾候选；分布平坦时 K 太小，会限制多样性。Top-p 更灵活，但 p 也需要调。
• 采样不可复现：随机采样导致同样输入输出不同，给调试和评估带来困难。需要固定随机种子。
• 重复惩罚有副作用：惩罚太强会导致语句不通顺，甚至把必要的高频词（如“的”）也压掉。
• Beam Search 不适合开放生成：它追求全局概率最高，但生成文本往往太“安全”、太模板化，缺乏创造性。
• 采样无法保证事实正确：高概率不等于正确。模型可能自信地生成错误信息（幻觉）。
• KV Cache 显存开销：长序列生成时 KV Cache 占用大量显存，需要 PagedAttention 等技术优化。