想象你走进一家高档餐厅：米其林主厨做菜极讲究，但每道菜都要亲力亲为，客人等得直看表。老板灵机一动，请来一位手脚麻利的帮厨——帮厨手艺一般，但速度快，能一口气先端出几道“预判菜”。主厨只需快速扫一眼：这道对，留下；那道不对，按自己的手法重做。整桌菜的上菜速度就这么提上来了。这个大模型推理场景里的“主厨”就相当于目标模型（大模型本身），“帮厨”就是我们要调优的草稿模型（一个又小又快的模型）。帮厨先快速生成几个候选 token（token 是文本的最小单元，可粗略理解为一个字或词片段），主厨再逐一验证放行，这就是投机解码（Speculative Decoding）。本篇文章，我们聚焦一个真正的工程难题：草稿模型怎么选、怎么调，接受率为什么低、怎么优化，加速效果如何科学评测——让你从“知道原理”进阶到“能动手调优”。

岗位关联

对 AI 从业者来说，投机解码是当前大模型推理加速的实用利器。掌握草稿模型调优，意味着你能在不换大模型、不动硬件的情况下把推理吞吐提升 1.5~3 倍，这是部署优化岗、推理引擎开发岗的核心竞争力。

目录
  1. 可视化演示
  2. 1. 原理概述
  3. 2. 草稿模型选型
  4. 3. 猜测长度设定
  5. 4. 接受率优化
  6. 5. 调优实战流程
  7. 6. 加速效果评测
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示投机解码中草稿模型生成候选token、目标模型验证接受的流程，含接受率柱状图和加速比对比。

本节配有交互动效（进入视口后自动加载，约 3KB）。

投机解码调优 草稿模型快速生成候选token，目标模型并行验证 接受率60%+加速比2.0x，拒绝的token从该位置重新生成 投机解码草稿模型调优，提升接受率和加速效果

1. 原理概述

想象一家高档餐厅的厨房：米其林主厨出菜精妙绝伦，可每道菜都亲力亲为，一桌客人等上半小时是常事。直到老板请来一个手脚麻利的帮厨——帮厨的手艺远不如主厨，但胜在速度快。他先快速端出几道预判菜，主厨扫一眼，认可的留在菜单上，不认可的当场重做。客人等菜的时间一下子缩短了。这，就是投机解码的厨房版故事。

在真实的大模型推理中，生成文本是一个 token 一个 token 排着队产出的，每一步都要等大模型这个大“主厨”亲自想一遍，所以慢。而帮厨就是另一个小而快的模型——草稿模型。它“先斩后奏”地生成一小段候选 token 序列，然后把整段候选交给目标模型（大模型）验证。目标模型逐个检查：这个 token 我也认为大概率该出，接受；这个我不认同，就从这里打回重来。

这个“先快速猜、再严格验”的配合之所以能加速，关键在于：草稿模型的验证可以批量进行，一次前向计算同时核对多个候选 token，省掉了多次串行等待。而加速效果取决于三个因素——接受率 α（帮厨的菜被主厨认可的比例）、猜测长度 k（帮厨一次端几道菜）、草稿与目标模型的速度差 c。

回到厨房：请帮厨不是为了让他替代主厨，而是让主厨从“做所有菜”变成“只做把关”。把关快、认可度高，翻台率自然上去；如果帮厨总端错菜，主厨还得花更多时间重做，反而更慢。后续所有调优动作，都是在提高“帮厨被主厨认可的比例”。

Speedup≈1−αk+1(1−α)(1+kc)\displaystyle \text{Speedup} \approx \frac{1-\alpha^{k+1}}{(1-\alpha)\left(1+\dfrac{k}{c}\right)}
这个公式是投机解码的“出菜速度账本”：分子是帮厨一轮贡献的有效菜量，分母是配合中的浪费与等待。α 越高、k 调得越巧、c 越大，翻台率越快。
  1. 接受率 α草稿模型生成的候选 token 被目标模型认可的概率，取值在 0 到 1 之间。α=1 意味着帮厨完全摸透了主厨口味，几乎从不被否。
    α∈[0, 1]\displaystyle \alpha \in [0,\ 1]
  2. 猜测长度 k草稿模型每轮一口气生成的候选 token 个数，也就是帮厨一次往桌上端几道菜。
    k≥1\displaystyle k \geq 1
  3. 速度倍数 c草稿模型单步推理速度是目标模型的多少倍。c 越大，帮厨备菜越便宜。
    c=TtargetTdraft\displaystyle c = \frac{T_{\text{target}}}{T_{\text{draft}}}
  4. 分子期望有效产出：接受率越高、长度越长，一轮能保住的有效 token 越多，但 α 的 k+1 次方说明尾部候选的“存活率”指数衰减。
    1−αk+1\displaystyle 1-\alpha^{k+1}
  5. 分母配合成本：(1-α) 是打回重来的概率，k/c 是草稿备菜的耗时开销。两者共同决定每轮成本。
    (1−α)(1+kc)\displaystyle (1-\alpha)\left(1+\frac{k}{c}\right)

2. 草稿模型选型

帮厨不是随便找的。如果主厨做的是精致粤菜，你请一个只会凉拌菜的帮厨，他端上来的预判菜大概率被当场打回——不仅要重做，还耽误了主厨的时间。投机解码的草稿模型选型，本质就是回答：“这个帮厨，凭什么能猜中主厨的心思？”

技术语境下，草稿模型的唯一使命是让它的输出分布尽可能贴近目标模型的输出分布。分布越接近，候选 token 被接受的概率越高。选型主要有四条经验法则：第一是规模权衡，草稿模型要比目标模型小一个量级以上，保证 c 足够大，但又不能小到分布质量崩塌；第二是同源优先，同家族、同 tokenizer 的模型天然使用同一套“语言习惯”，对齐成本最低；第三是领域匹配，代码任务配代码小模型、古文任务配古文小模型，比盲目选大厂通用小模型更高效；第四是蒸馏相助，如果找不到合适的开源小模型，可以用目标模型的输出分布去蒸馏训练一个专属小模型。

衡量草稿与目标分布“口味差距”的标准工具是 KL 散度——它像一把尺子，量出帮厨的理解与主厨的品味之间差了多少：

选帮厨时要记住：请一个“小一号的主厨”比请一个“手快的路人”靠谱得多。同源模型就像同门师兄弟，习惯、用语、分配率天然接近；而蒸馏训练，则是让主厨亲自“教”帮厨做菜，成本高一些，但换来的是长久的默契。

DKL(ptarget∥pdraft)=∑x∈Vptarget(x)log⁡ptarget(x)pdraft(x)\displaystyle D_{KL}(p_{\text{target}} \parallel p_{\text{draft}}) = \sum_{x \in V} p_{\text{target}}(x) \log \frac{p_{\text{target}}(x)}{p_{\text{draft}}(x)}
KL 散度越小，说明帮厨的备菜风格越接近主厨。调优的目标之一，就是让这个值不断下降。
  1. 词表 V 与概率 pV 是模型词表（所有可能的 token），p_target(x) 是目标模型认为下一个 token 是 x 的概率。
    V={x1,x2,…,x∣V∣}\displaystyle V = \{x_1, x_2, \dots, x_{|V|}\}
  2. 对数比值对每个 token，计算目标概率与草稿概率的比值再取对数。比值越大，说明这个 token 上帮厨明显低估了主厨的偏好。
    log⁡ptarget(x)pdraft(x)\displaystyle \log \frac{p_{\text{target}}(x)}{p_{\text{draft}}(x)}
  3. 按目标加权求和把每个 token 的差异乘以目标概率后累加。注意 KL 散度不对称，我们关心的是“以主厨口味为准绳”的差异。
    ∑x∈Vptarget(x)⋅log⁡(⋅)\displaystyle \sum_{x \in V} p_{\text{target}}(x) \cdot \log(\cdot)

3. 猜测长度设定

帮厨一次该端几道菜？这是餐厅老板最头疼的决策。端少了，主厨刚进入状态就得停下来等下一轮，沟通间隙浪费大量时间；端多了，一旦前几道菜被否决，后面所有菜全白做，主厨还得回头重来，反而更慢。猜测长度 k，就是投机解码里“一次端几道菜”的旋钮。

直觉上，k 越大，每轮能产出的 token 越多——但这只在理想情况下成立。现实是草稿模型生成的候选越靠后，置信度越低，被主厨否决的概率越高。用期望接受数来刻画这个规律：假设每步接受率恒为 α，那么一轮中平均能被接受的有效 token 数是：

实战中，当接受率在 0.7~0.8 区间时，k 取 4~6 通常已接近收益拐点：再增大 k，额外产出的 token 很少，草稿生成成本却线性上升。正确做法是在自己的模型和场景上做一次 k 值扫描，画出“加速比—k”曲线，找到那个像抛物线顶点一样的甜蜜点。

E[N]=α(1−αk)1−α\displaystyle \mathbb{E}[N] = \frac{\alpha(1-\alpha^k)}{1-\alpha}
这个公式告诉我们：当 α 固定时，k 再大，期望接受数也趋近于 α/(1-α)。多猜的 token 大多是“陪跑”，白白消耗草稿模型的时间。
  1. 单步接受概率 α每一步候选 token 被接受的概率恒定，这是建模假设。真实场景中越靠后的 token α 越小。
    α∈(0,1)\displaystyle \alpha \in (0,1)
  2. 等比数列求和第一轮接受贡献 α，第二轮贡献 α²……第 k 轮贡献 α^k，加起来是等比数列。
    α+α2+⋯+αk\displaystyle \alpha + \alpha^2 + \cdots + \alpha^k
  3. 求和闭式等比数列求和公式整理后得到期望接受数，它随 k 增大而收敛。
    α(1−αk)1−α→α1−α(k→∞)\displaystyle \frac{\alpha(1-\alpha^k)}{1-\alpha} \to \frac{\alpha}{1-\alpha} \quad (k \to \infty)

4. 接受率优化

帮厨端上来的菜，主厨十次有八次摇头，问题出在哪？不是帮厨手脚不够快，而是他压根不懂主厨的口味。接受率，就是测量“懂不懂”的仪表盘。在投机解码里，接受率 α 有一个非常漂亮的数学定义——它是草稿分布与目标分布的重叠面积：

要提高 α，核心是让两个分布靠拢。实操三条路：第一，训练对齐——用目标模型在真实数据上的输出 logits 作为软标签，对草稿模型做 KL 蒸馏，相当于让主厨手把手教帮厨；第二，参数匹配——两个模型必须共用同一套 tokenizer，采样时的 temperature、top-k、top-p 也要保持一致，否则分布天然错位；第三，定向破解——统计被拒绝 token 的画像，如果总在代码缩进、生僻字、数字格式上被否，就针对这些 token 类型补充微调数据。

帮厨的进步看得见摸得着：接受率从 0.5 提到 0.8，加速比往往能翻倍。但记住，过拟合也要提防——草稿模型在训练集上无限贴近目标模型，换一个领域就“水土不服”，接受率断崖下跌。

α=∑x∈Vmin⁡(pdraft(x), ptarget(x))\displaystyle \alpha = \sum_{x \in V} \min\big(p_{\text{draft}}(x),\ p_{\text{target}}(x)\big)
两个分布画成直方图，重叠的部分越大，帮厨的预判越贴近主厨。α=1 意味着两个分布完全一致，草稿模型就是目标模型的“影子”。
  1. 逐 token 取小对每个 token，取草稿概率和目标概率中较小的那个，这就是两个分布在此 token 上的“共识量”。
    min⁡(a,b)=a+b−∣a−b∣2\displaystyle \min(a, b) = \frac{a+b-|a-b|}{2}
  2. 全词表求和把每个 token 的共识量累加，得到整体重叠面积。它天然介于 0 和 1 之间，等价于 1 减两个分布的 L1 距离的一半。
    ∑xmin⁡(pd,pt)=1−12∑x∣pd(x)−pt(x)∣\displaystyle \sum_{x} \min(p_d, p_t) = 1 - \frac{1}{2}\sum_x |p_d(x) - p_t(x)|
  3. 与拒绝采样的联系标准投机解码中，每一步接受概率是 min(1, p_target/p_draft)，其期望恰好等于上面定义的重叠面积。
    E[min⁡(1, pt(x)pd(x))]=α\displaystyle \mathbb{E}\left[\min\left(1,\ \frac{p_t(x)}{p_d(x)}\right)\right] = \alpha

5. 调优实战流程

餐厅试营业第一个月，老板不会凭感觉换帮厨，而是记录每桌的反馈：哪道菜被退得最多？哪个时段上菜最慢？同样地，草稿模型调优也要走一套“记录—诊断—调整—复测”的工程流程，而不是拍脑袋改参数。

完整的调优流程分四步。第一步基线测试：在固定 prompt 集上，先用默认参数跑一遍投机解码，统计当前接受率和加速比，作为一切调整的参照系。基线接受率的计算公式很简单：

第二步诊断分析：把拒绝日志按 token 位置（第 1 个被拒还是第 5 个被拒）、token 类型（数字/英文/代码/中文）分组，定位“帮厨在哪类菜上水平差”。第三步参数扫描：依次扫描猜测长度 k、temperature、top-k，以及（如果可选）草稿模型候选方案，每次只改一个变量，记录接受率与加速比的联动变化。第四步效果验证：用与调优集不同的验证集复测，确认提升不是“背题”得来的。

调优的本质是一场有数据的实验。基线没有、诊断不做、盲调参数——就像不记反馈就换帮厨，换到谁全凭运气。

α^=NacceptedNtotal\displaystyle \hat{\alpha} = \frac{N_{\text{accepted}}}{N_{\text{total}}}
把一整天所有验证过的候选 token 数一数：被接受的除以总数，就是实测接受率。它是你调优路上的“体温计”。
  1. 分子 N_accepted统计周期内被目标模型放行的草稿 token 总数。
    Naccepted=∑roundsacci\displaystyle N_{\text{accepted}} = \sum_{\text{rounds}} \text{acc}_i
  2. 分母 N_total同一周期内所有接受与拒绝的草稿 token 总和，包括被打回重来的部分。
    Ntotal=Naccepted+Nrejected\displaystyle N_{\text{total}} = N_{\text{accepted}} + N_{\text{rejected}}
  3. 比值即估计样本量足够大时，这个频率值收敛于真实接受率 α，可以作为诊断依据。
    α^→N→∞α\displaystyle \hat{\alpha} \xrightarrow{N \to \infty} \alpha

6. 加速效果评测

餐厅最终要看的不是帮厨一个人颠勺多快，而是整桌菜从下单到上齐花了多久。投机解码的加速效果同理，唯一有说服力的指标是端到端实测加速比：同样一批 prompt，纯目标模型生成的总耗时，除以投机解码的总耗时。

评测时还要留意场景差异：短 prompt、流式首字延迟敏感的场景，投机解码的优势不明显；长文本生成、批量推理、吞吐受限的场景，优势会被放大。同时算好成本账：草稿模型额外占用显存、增加部署复杂度、需要持续维护与数据回流。一个加速比 1.3 但显存翻倍、部署成本大涨的方案，未必比一个朴素但稳定的 1.8 倍方案更优。

最后回到开头的厨房：真正决定餐厅生意的，不是帮厨有多忙，而是客人有没有更快吃到对胃口的菜。实测加速比、成本、稳定性，这三把尺子一起量，才算完成一次合格的投机解码调优闭环。

Speedup=Ttarget-onlyTspeculative\displaystyle \text{Speedup} = \frac{T_{\text{target-only}}}{T_{\text{speculative}}}
这个比值是“翻台率倍数”。它等于 1.5，就是同样的时间多做了五成的活；等于 1，说明投机解码白忙一场；小于 1，说明帮厨拖了后腿。
  1. 分子 T_target-only不启用草稿模型，目标模型单独生成全部测试 prompt 的总墙钟时间。
    Ttarget-only=∑j=1Mtjtarget\displaystyle T_{\text{target-only}} = \sum_{j=1}^{M} t_j^{\text{target}}
  2. 分母 T_speculative启用投机解码后，同样 M 条 prompt 的总墙钟时间，包含草稿生成与目标验证的全部开销。
    Tspeculative=∑j=1Mtjspec\displaystyle T_{\text{speculative}} = \sum_{j=1}^{M} t_j^{\text{spec}}
  3. 评测条件两者必须使用同一批 prompt、同一个 batch size、同一块 GPU 与同样的采样配置，否则对比无效。
    Same task, same batch, same seed\displaystyle \text{Same task, same batch, same seed}

AI 应用场景

场景一：大模型 API 服务降本

阶段：推理服务部署与优化

解决的问题：自建 LLM 服务每日承载百万级请求，GPU 集群成本居高不下。若直接更换更大的模型，延迟和成本双双失控；若不优化，用户排队体验差。投机解码通过草稿模型分担大部分 token 生成，让目标模型“少跑几趟”，在保持输出质量不变的前提下提升吞吐。

具体案例：某公司部署 70B 参数模型提供问答服务，接入 7B 同源草稿模型并调优接受率至 0.78、猜测长度设为 5 后，实测加速比 1.9x，单卡并发数翻倍，GPU 采购预算相应缩减近一半。

场景二：实时对话应用的延迟优化

阶段：在线推理延迟优化

解决的问题：实时语音助手、AI 陪聊等场景对首 token 延迟和 token 间延迟极其敏感。传统做法只能换更小模型或牺牲质量。投机解码让草稿模型快速推进序列，目标模型批量验证，能明显降低用户等待感。

具体案例：某智能客服产品在流式输出场景接入投机解码后，将单轮 500 token 回复的生成延迟从 6.2 秒压到 3.5 秒，用户“等待转圈”投诉率下降 40%。

场景三：离线批量推理吞吐提升

阶段：批处理与离线计算优化

解决的问题：离线大模型批处理（如日志分析、文档摘要、批量翻译）中，推理吞吐是唯一瓶颈。投机解码配合动态猜测长度策略，可以在大批次场景下利用草稿模型的低单步成本获得显著吞吐收益。

具体案例：某数据团队对 10 万篇文档做摘要抽取，采用投机解码后单节点每天处理量从 2000 篇提升到 4800 篇，且逐篇抽样检查输出质量与未加速版本完全一致。

Python 演示

python51 行
"""投机解码草稿模型调优模拟器"""import numpy as np rng = np.random.default_rng(42)V = 20  # 词表大小  def random_dist(alpha=0.3):    return rng.dirichlet([alpha] * V)  def acceptance_rate(draft, target):    # 理论接受率 = 两个分布的 min 重叠和    return float(np.sum(np.minimum(draft, target)))  def simulate_round(draft, target, guess_len):    # 模拟一轮投机解码, 返回被目标模型接受的草稿 token 数    accepted = 0    for _ in range(guess_len):        tok = int(rng.choice(V, p=draft))        if rng.random() <= min(1.0, target[tok] / draft[tok]):            accepted += 1        else:            break    return accepted  def estimate_speedup(draft, target, guess_len, c=10, rounds=2000):    # 实测加速比 = 纯目标生成耗时 / 投机解码耗时    total_accepted = 0    for _ in range(rounds):        total_accepted += simulate_round(draft, target, guess_len)    n = total_accepted / rounds    tokens_out = n + 1.0                 # 每轮实际输出的 token 数    target_only_time = tokens_out         # 纯目标生成耗时    spec_time = 1.0 + (guess_len + 1) / c  # 验证 1 步 + 草稿串行 (k+1)/c 步    return target_only_time / spec_time, n  def main():    target = random_dist(alpha=0.5)      # 主厨口味    draft = random_dist(alpha=0.15)      # 帮厨风格    print("理论接受率: %.3f" % acceptance_rate(draft, target))    for k in [2, 4, 6, 8, 12]:        sp, n = estimate_speedup(draft, target, k)        print("k=%-3d 实际接受/轮=%.2f 加速比=%.2fx" % (k, n, sp))  if __name__ == "__main__":    main()
目的：用概率模拟方式实现投机解码全过程，估算不同猜测长度 k 下的接受情况与加速比，帮助调优者快速建立直觉。
  1. def acceptance_rate(draft, target):定义理论接受率函数，用 np.minimum 逐 token 求两个分布的重叠并求和。
  2. tok = int(rng.choice(V, p=draft))按草稿分布采样一个候选 token，相当于帮厨端出一道菜。
  3. if rng.random() <= min(1.0, target[tok] / draft[tok]):以 min(1, 目标概率/草稿概率) 判断是否接受，这是投机解码的核心接受规则。
  4. spec_time = 1.0 + (guess_len + 1) / c投机解码每轮耗时：目标模型验证 1 次前向 + 草稿模型串行生成 (k+1) 步。
  5. return target_only_time / spec_time, n输出实测加速比和平均接受数，两者结合才能判断调优方向。
  6. for k in [2, 4, 6, 8, 12]:扫描不同猜测长度，观察加速比随 k 的变化，找到收益拐点。

常见误区

误区草稿模型就是用来加速的，那肯定选最小的，比如几百万参数的模型，反正跑得快，再不行多猜几次呗。我试过用一个特别小的模型当草稿，结果速度没提升反而更慢了，真奇怪。

正解草稿模型过小，分布和目标模型差异巨大，接受率会跌到 0.3 以下。你可以把它想成帮厨：请一个完全不懂主厨口味的路人，他端十道菜被否九道，主厨还得花时间重做，整体更慢。草稿模型的关键不是“小”，而是“小而匹配”——速度足够快，分布又足够接近，两者缺一不可。

为何常见：直觉上“越快越好”很容易让人忽视“准”的重要性，加上很多教程只强调草稿模型要小，初学者就陷入了极端化。

误区既然每轮生成的候选越多，一次能产出的 token 就越多，那把 k 设成 20、30 岂不是更好？我直接设了个超大值，结果发现根本没那么快。

正解期望接受数公式 \frac{\alpha(1-\alpha^k)}{1-\alpha} 说明，k 增大时收益收敛。尾部 token 接受率随位置指数下降，多猜的大多是“陪跑”，还要多付草稿模型串行生成的成本。常见最优区间是 4~6，超过 8 之后加速比通常开始下滑。

为何常见：人容易被“免费午餐”诱惑，忽略了收益递减规律，也缺少先画曲线再定参数的实测习惯。

误区接受率不是越高越好吗？那我要想办法把接受率提到 0.95 以上，说明草稿模型特别聪明，生成质量一定很高。

正解接受率衡量的只是草稿分布与目标分布的重叠程度，并不直接等于文本正确率。一个极端的例子是：把草稿模型微调到永远只输出最高频的 token，它在常见 token 上接受率可能很高，但生成序列毫无意义。调优时既要看接受率，更要监控最终输出质量与目标模型的一致性。

为何常见：接受率的“率”字容易让人联想到准确率，而忽略了它描述的其实是两个分布的关系。

误区接受率才 0.4，肯定是草稿模型太差，赶紧换更大的模型或者重训。我换了个大得多的草稿模型，接受率确实涨了，但加速比反而没变多少。

正解接受率低可能是多因素叠加：猜测长度过长导致尾部 token 被大面积否决、采样温度不一致、tokenizer 不对齐、甚至目标模型解码参数（如 top-k）与草稿模型不匹配。换更大的模型虽然提高了单步接受率，但 c 值变小，备菜成本上升，整体加速不一定更好。要按“基线→诊断→扫描”流程逐项排查。

为何常见：人倾向于把现象归因于最显眼的变量（草稿模型），忽略了系统性的参数联动。

误区投机解码不是成熟技术吗？我把它接上以后一定会有 2 倍加速，去给领导汇报时就这么说了。结果上线后实测加速比只有 1.1，有的场景甚至更慢。

正解投机解码的收益高度依赖场景：短 prompt、低延迟敏感、草稿目标分布差距大、c 值不够高，都可能让加速比趋近甚至低于 1。必须用实测加速比验收，并在发布前做多场景评估。就像请帮厨不一定让餐厅变快，如果点菜量本来就少，帮厨的存在反而是浪费。

为何常见：技术宣传里“加速 N 倍”的爽文看多了，容易忽略条件限制，缺少拿数据说话的意识。

面试题

Q1. 投机解码中草稿模型的主要作用是什么？

单选题 · easy

  • A.直接生成最终答案，取代目标模型
  • B.快速生成候选 token，再由目标模型验证← 正确答案
  • C.增大目标模型的安全与对齐能力
  • D.压缩目标模型的权重与显存占用

答案：B。投机解码的核心是“草稿快猜、主模型慢验”。选项 B 准确描述了草稿模型的位置；A 错在草稿模型不能取代目标模型，最终质量由目标模型把关；C、D 与投机解码的机制无关。

Q2. 接受率 α 在投机解码中代表什么？

单选题 · easy

  • A.目标模型在评测集上的任务准确率
  • B.草稿 token 被目标模型放行的概率← 正确答案
  • C.草稿模型每轮生成的 token 总数
  • D.目标模型推理的延迟毫秒数

答案：B。接受率衡量草稿分布与目标分布的重叠度，即草稿候选被目标模型接受的比例。A 是任务正确率，C 是猜测长度，D 是延迟指标，三者都不是接受率。

Q3. 投机解码能加速的根本原因是什么？

单选题 · easy

  • A.草稿模型完全替代目标模型，省去全部大模型计算
  • B.用廉价草稿模型的快猜加目标模型批量验证换取时间收益← 正确答案
  • C.目标模型变得更快更小，推理成本自动降低
  • D.减少了总 token 生成数量，输出更短

答案：B。加速来自“快猜+批量验”的结构性收益：草稿模型生成候选虽然廉价，但目标模型只需一次前向批量验证多个 token。A 错在草稿模型不能替代目标模型；C 错在目标模型没变小；D 错在 token 总数不变。

Q4. 以下哪项最能概括草稿模型的选型原则？

单选题 · mid

  • A.模型越小越好，追求极致推理速度
  • B.一定选择同源同参数量的蒸馏模型
  • C.小而快，且与目标模型分布高度对齐← 正确答案
  • D.必须使用比目标模型更大的模型

答案：C。选型是“速度”与“分布对齐”的平衡。C 准确。A 只强调小而忽略对齐；B 过度绝对化，蒸馏不是唯一路径；D 方向反了，草稿模型大则 c 值小，加速收益被成本吞噬。

Q5. 猜测长度 k 设置过大时，最常见的问题是什么？

单选题 · mid

  • A.草稿模型生成速度大幅提升
  • B.目标模型验证速度成倍加快
  • C.草稿尾部 token 接受率骤降，作废成本上升← 正确答案
  • D.目标模型出现梯度爆炸或显存溢出

答案：C。k 过大时，靠后的候选 token 接受率随位置指数衰减，多生成的部分大概率作废，草稿生成成本却线性增加。A、B 方向说反；D 与投机解码机制无关。

Q6. KL 散度 D_KL(p_target ∥ p_draft) 用于草稿调优时，数值变小说明什么？

单选题 · mid

  • A.草稿模型与目标模型分布更接近，接收率更容易提高← 正确答案
  • B.草稿模型体积更小，推理速度更快
  • C.目标模型精度下降，生成质量变差
  • D.猜测长度设置得更小更合理

答案：A。KL 散度衡量两个分布的差异，越小说明草稿分布与目标分布越贴近，重叠面积越大，接受率越高。B、C、D 描述的都不是 KL 散度的含义。

Q7. 加速比公式 Speedup ≈ (1-α^(k+1)) / ((1-α)(1+k/c)) 中，c 代表的工程含义是什么？

单选题 · hard

  • A.目标模型的隐藏层数量
  • B.草稿模型推理速度是目标模型的倍数← 正确答案
  • C.训练数据的上下文窗口长度
  • D.每轮猜测的候选 token 个数

答案：B。c = T_target / T_draft，表示草稿模型单步推理比目标模型快多少倍。c 越大，备菜成本 k/c 越小，加速比越高。A 是模型架构参数，C 是窗口长度，D 是 k 的含义。

Q8. 提高接受率的有效手段包括哪些？

多选题 · mid

  • A.用目标模型输出蒸馏更小的草稿模型← 正确答案
  • B.把猜测长度 k 设成无限大
  • C.采样时统一两个模型的 temperature 等参数← 正确答案
  • D.确保两个模型使用完全相同的 tokenizer← 正确答案

答案：ACD。蒸馏对齐分布、采样参数一致、tokenizer 一致都是提高接受率的有效手段。B 错在 k 无限大只会徒增作废成本，收益收敛且加速比下降。

Q9. 调优实战中，发现接受率低于 0.5 时，第一步应该做什么？

单选题 · mid

  • A.直接更换更大的草稿模型
  • B.在固定数据集上跑基线测试并统计拒绝日志← 正确答案
  • C.把猜测长度调到 1
  • D.关闭投机解码，放弃优化

答案：B。正确流程是先建立基线与诊断数据，分析拒绝发生在什么 token、什么位置，才能定位原因。直接换模型是盲调；调 k 可能有效但治标不治本；放弃更是不可取。

Q10. 关于实测加速比的评测，下列说法正确的有哪些？

多选题 · hard

  • A.应使用同一批 prompt 和相同的 batch size 对比← 正确答案
  • B.加速比 = 纯目标模型生成耗时 / 投机解码生成耗时← 正确答案
  • C.实测加速比一定大于等于理论加速比
  • D.流式首字延迟场景比批量长文本场景更容易获得高加速比

答案：AB。A 是控制变量的基本要求；B 是加速比定义。C 错误，实测值通常因工程开销低于理论值。D 错误，投机解码的优势主要在长序列生成与批量吞吐场景，流式短场景收益有限。