Top-K与Top-P采样：控制生成多样性

可视化演示

采样必要性

智慧餐厅的主厨有个坏习惯：每道菜只选点评最高的那一道端上桌。一开始客人觉得不错，但连续吃几天，菜单变成了一首单曲循环。大模型如果每写一个词都挑概率最高的那个，结果也一样——文本会变得重复、机械、毫无信息量。这个“只选冠军”的规则在解码里叫贪心解码，它是最简单也最容易翻车的策略。

为了让生成更自然，主厨需要学会“抽签”，而不是“颁奖”。模型每走一步都会给词表里的每个词算一个概率，我们真正要做的，是从这个概率分布里随机抽取下一个词。随机听上去不靠谱，但正是在概率高的词里多抽、概率低的词少抽，才能既合理又有多样性。

技术上看，贪婪地取 \(\arg\max\) 会让文本退化成复读机，尤其在长文本生成中，一个高概率词被反复选中，很快就陷入重复循环。因此现代LLM解码普遍使用采样：让低概率词也有微弱机会被选中，但又不至于变成胡言乱语。

所以，贪心解码不是不能用，而是它像一个只敢点招牌菜的主厨，安全但缺乏惊喜。后面的Top-K、Top-P和温度，就是帮他摆脱“只会炒招牌菜”的利器。

概率分布基础

每道菜在端上桌之前，后厨会给它打一个“生评分数”，分数高不代表客人一定会点，还得换算成“受欢迎概率”。大模型输出的原始分数叫 Logits，通常有正有负、没有上下界，不能直接当概率使用。主厨需要一个标准流程把它们变成一份能看懂的人气榜单，这个流程就是 Softmax。

Softmax 做的事情很简单：先给每个分数取指数，让所有数都变成正数，同时把分数间的差距放大；再把所有指数加起来当分母，算每个词占比。经过这一步，每个词都会拿到一个介于0到1之间的概率，而且所有词的概率加起来正好等于1。

直观理解，Softmax 就是把后厨的“生评分数”翻译成客人真正会点餐的“人气比例”。比例越高的词，越容易被模型选中；比例低的词，虽然机会渺茫，但也并没有完全被杜绝。

人气榜单准备好之后，主厨才有依据去设计筛选规则。Top-K、Top-P 和温度本质上都是在这份榜单上做文章，只是动作各不相同。

Top-K采样

既然不能每道菜都端上桌，主厨就给自己定了个规矩：候选菜单最多只放人气最高的 K 道菜，其余全部下架。这个思路对应采样的 Top-K 策略：先把所有词按概率从高到低排序，只保留前 K 个作为候选，然后在这 K 个词里按概率重新抽签。

为什么是“重新抽签”而不是直接从原概率里挑？因为截断之后，被留下的 K 个词的概率之和不再是 1。为了让它们变成一份合法的人气榜单，需要先把这 K 个词的概率加起来当分母，再把每个词的概率除一遍。这个过程叫重新归一化，相当于把菜单缩小后，重新计算每道菜在候选菜单里的“相对热度”。

K 值的大小直接决定保守程度。K 设小一点，候选词少，输出更稳定、更安全；K 设大一点，冷门词有机会上场，文本更多变。但 Top-K 也有局限：菜单大小是固定不变的，如果当前概率分布特别集中，前 K 个词里可能混入不少低概率噪声词；如果分布很平，K 又可能太小，白白丢掉本来可信的候选。

Top-K 像一张固定大小的候选桌：K 设多大，桌上就永远摆几个盘子。它简单直观，但少了一点弹性，于是主厨又有了一个更聪明的方案——Top-P。

Top-P采样

主厨放弃了“固定放几道菜”的规矩，改成“从人气最高的菜开始往上加，直到覆盖八成客人会点的菜就停”。这就是 Top-P，也叫核采样。它不像 Top-K 那样拿着一个固定数字，而是根据当前概率分布的形状动态决定候选菜单的大小。

具体做法是：先把所有词按概率从高到低排好队，然后从第一名开始一个一个累加概率，直到累积和第一次达到阈值 P（比如 0.8）就停下来，这时排在队首的这批词组成候选集合。概率越集中，达到 P 需要的词就越少；概率越分散，候选词就越多。因此 Top-P 能自动适应不同语境下的概率分布，被公认为比 Top-K 更稳健。

不过要注意，P 是概率阈值，不是候选词数量。P 越大，候选集合越宽松，输出越多样；P 越小，候选集合越严格，输出越稳定。选好 P，主厨就能做到“爆款多时菜单精，众口难调时菜单宽”，既不错过热门词，又给冷门词留了机会。

Top-P 让菜单大小跟着顾客口味自动变化，比 Top-K 灵活不少。但主厨手里还有一个隐藏旋钮，它能在抽签之前直接改变所有菜的人气格局，这就是温度。

温度参数

温度参数更像主厨的性格旋钮：把它拧到左边，主厨格外保守，只做最有把握的招牌菜，概率最高的菜会更突出；把它拧到右边，主厨变得大胆爱尝鲜，原本冷门的菜也有了上桌机会。温度并不直接控制候选菜单，而是在 Softmax 之前先对原始分数做一次缩放。

具体做法是把模型输出的 Logits 除以温度 T。T 小于1时，分数之间的差距被放大，Softmax 出来的概率会变得更尖锐，高概率词更显眼；T 大于1时，分数差距被压缩，概率分布更平坦，各候选词之间的差异变小，随机性随之增强；T 等于1时，一切保持原样。温度因此成为调整“稳定 vs 多样”最直接的手感。

注意一个容易混淆的点：温度改变的是概率分布的“陡峭程度”，不会重新排列候选词的先后顺序。它更像是给每一道菜的人气数字统一做了一次缩放，热门菜依然是热门菜，只是冷门菜的机会变大或变小了。由于它作用于采样之前，所以通常会被说得非常形象——“给生成结果加点创意”。

温度旋钮负责调整“人气的集中程度”，而 Top-K 和 Top-P 负责决定“哪些菜能上候选桌”。聪明的做法往往是几个旋钮一起玩，让规则之间互相制衡。

参数组合调优

单一策略都有偏科：Top-K 固定桌数，在概率分散时容易漏掉可信候选；Top-P 虽然动态，但遇到极端分布时候选集可能过大或过小；温度则只改概率形状，不清理噪声词。于是主厨决定把三套规则组合起来用：先拧温度旋钮改变概率轮廓，再用 Top-K 限制候选总量，最后用 Top-P 按热度门槛收尾。这样既管住了“谁能上桌”，又管住了“上桌后抽谁”。

在工程实现上，联合采样的核心是先求出多个策略的交集候选集，再对这个交集做一次归一化。例如最终候选集合 \(V_{\text{final}} = V_{\text{topK}} \cap V_p\)，只有同时通过两道门槛的词才会进入最后抽签环节。这样 Top-K 负责上限，Top-P 负责动态下限，温度负责整体锐度，三者协同远比单打独斗好用。

调参时一般遵循“先定风格，再调参数”的思路：想要稳定，就降低温度并缩小 K 和 P；想要创意，就抬高温度并放宽 K 和 P。推荐的起步组合往往是 \(T=0.8\)、\(K=40\)、\(P=0.9\)，然后在具体任务上做小范围网格搜索。记住，参数之间不是非此即彼，而是互相配合的关系。

组合调优像把两套筛子叠在一起：Top-K 管最大盘子数，Top-P 管最低人气值。筛好之后，主厨只要再拧一下温度，就能让同一家餐厅既做稳定工作餐，也做创意私房菜。

应用与权衡

同一个主厨，面对不同客群要有不同打法。给企业做客服机器人，客人要的是标准、不出错，这时候主厨应该把温度调低，候选菜单收窄，让AI回复稳定可靠；给市场部写 slogan 和文案，客人要的是新鲜有趣，这时候温度调高，Top-P 放宽，让冷门搭配有机会被选中。没有任何一组参数适合所有任务，关键是理解“稳定”和“多样”之间的跷跷板。

质量与多样性的权衡可以用一句话概括：候选空间越大，随机性越高，文本越有创意，但也越容易跑题；候选空间越小，输出越稳，但越容易重复和乏味。实际调参时，通常先在少量测试句上观察输出，如果句子千篇一律，就适当调高温度、增大 P；如果开始语无伦次，就调低温度、减小 K/P，直到找到那个“又稳又有亮点”的甜点区。

从数学上看，最终生成过程就是按照经过温度、Top-K、Top-P 修正后的概率分布做一次随机抽样。抽样符号 \(\sim\) 表示结果不是固定的 argmax，而是带随机性的抽取。理解这一点后，你就能把采样参数当成模型输出风格的“方向盘”，随时根据业务需求转动它。

主厨的菜单策略从来不是越花哨越好：招牌菜保证下限，创意菜拉升上限。当你学会了根据场景转动温度、收放 K 与 P，就能让大模型在“靠谱”和“有趣”之间自由滑行。

AI 应用场景

Python 演示

import randomimport math  def softmax(logits, temperature=1.0):    scaled = [x / temperature for x in logits]    exps = [math.exp(x - max(scaled)) for x in scaled]    total = sum(exps)    return [e / total for e in exps]  def top_k_filter(probs, k):    order = sorted(range(len(probs)), key=lambda i: probs[i], reverse=True)[:k]    mask = [0.0] * len(probs)    for i in order:        mask[i] = probs[i]    total = sum(mask)    return [p / total if mask[i] else 0.0 for i, p in enumerate(probs)]  def top_p_filter(probs, p):    order = sorted(range(len(probs)), key=lambda i: probs[i], reverse=True)    keep = []    cum = 0.0    for i in order:        keep.append(i)        cum += probs[i]        if cum >= p:            break    mask = [0.0] * len(probs)    for i in keep:        mask[i] = probs[i]    total = sum(mask)    return [prob / total if mask[i] else 0.0 for i, prob in enumerate(probs)]  def sample(logits, temperature=1.0, top_k=0, top_p=1.0):    probs = softmax(logits, temperature)    if top_k > 0:        probs = top_k_filter(probs, top_k)    if top_p < 1.0:        probs = top_p_filter(probs, top_p)    r = random.random()    cum = 0.0    for i, p in enumerate(probs):        cum += p        if r < cum:            return i    return len(probs) - 1  if __name__ == "__main__":    logits = [0.5, 1.2, 3.0, 0.1, 2.5, 1.8, 0.7, 2.0, 1.0, 0.3]    for t in [0.8, 1.0, 1.5]:        idx = sample(logits, temperature=t, top_k=5, top_p=0.9)        print("T={} -> 选中 {} 号词".format(t, idx))

1. scaled = [x / temperature for x in logits]先把原始分数除以温度，改变概率分布的锐度。
2. math.exp(x - max(scaled))指数运算时减去最大值，避免数值溢出，又不改变相对大小。
3. total = sum(exps)把所有指数结果相加，作为归一化的分母。
4. order = sorted(range(len(probs)), key=lambda i: probs[i], reverse=True)[:k]按概率降序取出前 K 个下标。
5. return [p / total if mask[i] else 0.0 for i, p in enumerate(probs)]对候选集内概率重新归一化，候选集外概率置零。
6. cum += probs[i]; if cum >= p: breakTop-P 的核心：从高到低累加概率，达到阈值立即停止。
7. if top_k > 0约定 K 为 0 表示不启用 Top-K，保持函数灵活。
8. if r < cum用随机数落在累积概率区间的方式实现按权重抽样。

常见误区

面试题