深入理解测试时扩展

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

基本概念：考场加时赛

小林的知识在考前已经定型——他不可能在考场上掏出新课本再学一章。但他可以让监考老师“多给一点时间”，把每道题想得更透、验得更细。测试时扩展（Test-Time Scaling）就是这个思路：模型参数完全冻结，不在训练阶段做任何更新，而是在推理阶段额外投入算力——生成更长的思考内容、尝试更多候选答案、做更深的探索验证——从而提高最终输出的正确率。o1/o3 这类推理模型正是把“考试加时”做成了标准配置：遇到简单问题快速作答，遇到难题自动展开长长的思维链。

为什么“多想想”能提升成绩？关键在于概率的叠加。假设模型解一道题的单次正确率是 p，就像小林一种解法做对的概率是 35%。如果给他 N 次独立尝试的机会，只要有一次成功，这道题就算拿下了。于是“至少一个正确”的概率随 N 快速攀升：

回到考场：小林知识没变，但多试几次、多验几遍，压轴题的命中率就从三成多涨到接近九成。“参数冻结、算力加码”，这就是测试时扩展的第一性原理——不换脑子，靠更刻苦的临场发挥。

工作原理：草稿纸越用越多

小林拿到一道几何证明题，不会只盯着题干发呆。他会画辅助线、列已知条件、写几行思路再推翻重来——这些过程不直接写进最终答案，却是解题必不可少的“额外劳动”。推理模型也一样：真正的答案通常很简短，但模型在输出它之前，会先在内部生成一大段“思维链”，一步步推演、验证、纠错。这些多出来的 token 就像草稿纸上的演算过程，是测试时扩展最直观的算力开销。

这种“额外劳动”可以沿两个方向铺开。第一是纵向：思维链越长，单条路径上的推理就越充分，相当于一道题从头到尾思考得更深。第二是横向：同一道题可以分开多条路径并行探索，每条路径是一个独立的采样，相当于小林同时想了三种解法。把横纵两个方向结合起来，就形成了一棵搜索树——每个节点代表推理中的一个状态，从根节点出发不断分出新的分支：

草稿纸越堆越厚，叶子越来越多。但注意，小林翻来覆去用的都是同一本教材里的知识——模型参数没有任何变化。测试时扩展所做的，只是把同一个参数的模型“多跑几遍”，用算力把候选空间铺开，再从中挑出最好的答卷。

采样策略：一题多解，择优而抄

草稿纸多了，怎么组织解题思路？小林有个习惯：简单题用一种方法做完就交；稍微复杂的题，他会换两三种方法各做一遍，如果几种做法得到同一个答案，他就特别放心。这种“一题多解、答案收敛即可信”的策略，对应着测试时扩展中最常用的采样方法。

要让模型产出“多种解法”，关键是采样温度（temperature）：温度越高，模型每一步选词时越不“死板”，思路越发散，输出越多样；温度越低，输出越保守、越接近训练分布中最可能的答案。实践中常把温度设为 0.6 到 1.0 来获得多样候选。拿到 N 个候选后怎么定稿？两条主流路线：其一是 best-of-N，用一个验证器给候选打分挑最高分；其二是自一致性（self-consistency），不需要外部验证器，直接把答案做多数投票——众口一词的那个答案最可信：

小学数学题不同解法必然殊途同归，推理题也一样：多条独立路径收敛到同一答案，比对单一答案更有把握。这就是为什么自一致性在数学、代码等“答案可验证”的任务上效果拔群——多问几个“自己”，答案一致的版本往往就是对的。

验证机制：谁来批改草稿

草稿可以写一大堆，但最终交卷前总得有人判断哪个版本是对的。小林是自己当阅卷老师，而模型需要专门的“阅卷老师”——奖励模型或验证器（verifier）。验证器给每个候选答案打分，分数代表“这份答案可信度多高”，然后从中选出最高分。这个打分有粗细两种粒度。结果验证（outcome reward model, ORM）只看最终答案：答案对了给满分，错了给零分，像只批改卷面结果的老师；过程验证（process reward model, PRM）则逐步批改推理过程，每一步都给出得分，像批注“这一步推导有问题”的严格老师。

过程验证在难题上尤其有价值：它能定位到具体哪一步开始出错，从而引导搜索绕开错误分支重来，而不是整条路径推倒。验证器引导的搜索可以形式化为：在所有候选路径中，选择验证器打分最高的那条作为最终输出：

没有阅卷老师的考场，写满草稿也只是废纸；没有验证器的采样，N 份候选就只能盲选。验证器质量直接决定测试时扩展的天花板——这也是为什么 o1 系列花了大量篇幅训练过程奖励模型，让“阅卷标准”本身更可靠。

算力调控：难题多花时间，易题快进快出

考试时间总共就那么多，聪明的考生绝不会每道题都平均用力。小林的原则很简单：一眼会做的题 30 秒拿下，中等题留出验算时间，压轴题不惜耗掉最后 20 分钟。测试时扩展同样面临“考试总时长”约束——推理预算（compute budget）。如果对每个问题都无脑采样 32 份，算力和延迟都会爆表，就像小林对判断题也写满两页草稿一样愚蠢。

工程上的主流做法是难度自适应的预算分配：先让模型快速试答并给出一个置信度信号，如果很简单就直接输出；如果信号显示题目有挑战，就把采样数、搜索深度都调上去。这种“按需分配”让同样的总预算产生更高的平均正确率。另一个必须正视的现象是边际收益递减：你从 1 份加到 2 份采样时，正确率涨得很快；但当你已经采样了 30 份，再加 1 份几乎不带来任何提升：

时间管理大师从不恋战：当边际收益跌破阈值，就该停止本轮采样，把算力省给下一道难题。测试时扩展的工程精髓，就是在这条递减曲线上找到“性价比最优”的停手点。

训练扩展对比：复习与发挥的双引擎

如果考场发挥这么有用，是不是可以完全不复习？当然不行。小林必须承认：考场上再怎么能想，也解不出他压根没学过的微积分大题。训练时扩展和测试时扩展分别回答了“能力从哪来”和“能力怎么用”两个问题。训练时扩展（training-time scaling）指的是增大训练数据、模型参数、训练算力——这是考前漫长的复习，决定了学生知识的绝对上限；测试时扩展则是考场上把已有知识发挥到极致——它无法创造新知识，但能逼近模型能力的天花板。

两者不是替代关系，而是互补的“双引擎”。一个著名的研究结论是：在总算力预算固定的前提下，小模型配合大量测试时算力，可以在某些任务上追平大模型的中等推理表现——这相当于“复习时间不太够，但临场发挥极其出色”的学生也能考出不错的成绩。能力的大致规律可以看作两类算力的对数线性叠加：

模型太弱，再长的思维链也是空转；模型够强却不给推理时间，潜能就被浪费。真正高效的团队把训练时扩展和测试时扩展当成一个组合拳：前一个学期拼命复习，考试周再制定精细的答题策略，双引擎一起点火。

前沿挑战：三条新跑道

考场规则在升级，小林的好办法也得跟着进化。当前测试时扩展的前沿攻关集中在三条跑道上。第一条是推理效率：思维链越长，token 消耗越大，延迟越高。研究者用思维链蒸馏（把长推理的“思考成果”压进短输出）、令牌预算压缩（允许模型自由决定想多长）、并行采样加速等手段，试图让“想得久”变得更快更便宜。衡量这些手段是否有效的关键指标，是“每多花一份算力换来多少正确率提升”：

第二条跑道是多模态融合：模型不再只“看题做题”，而是要在图文混排、图表推理、视频理解中复用测试时扩展——比如让模型对一张医学影像生成多条诊断思路再投票，验证器同时检查文字与视觉特征。第三条跑道是安全对齐：验证器本身可能被欺骗（所谓 reward hacking），模型可能生成看似高分实则有害的答案；把安全准则织进采样与验证流程，就像考场新增了反作弊系统，防止“发挥”变成“发挥过头”。这三条跑道决定了测试时扩展能否从实验室走向真实世界的每个考场。

实战选型：不同考场的应考策略

同样是考试，高考、数竞、面试的答法完全不同。测试时扩展上线也要“看考场下菜碟”。精度优先的场景，比如数学定理证明、代码竞赛题、科研文献分析，答案错误代价极高，适合“重策略”：采样 16 到 32 份候选，配上强验证器（如代码题用单元测试自动判分），把单题正确率顶到极限。这类场景不怕慢，怕错。

时延敏感的场景，比如智能客服、实时翻译、语音助手，用户等不了三秒钟，只能走“轻策略”：采样 3 到 5 份做自一致性投票，或只用验证器提前终止低分路径，在 1 秒内给出答案。成本敏感的场景则介于两者之间，关键是先算清账。一次测试时扩展的推理成本可以这样估算：

老师傅进场前会先摸清考情：这份卷子是难是易，批卷标准是松是严，时间够不够。工程选型同理——适配场景的测试时扩展才叫能力增强，盲目堆采样只会把预算烧成烟花。

AI 应用场景

Python 演示

import mathimport random  def best_of_n_theory(p, n):    """best-of-N 理论成功率：至少一个样本正确。"""    return 1 - (1 - p) ** n  def majority_vote_theory(p, n):    """多数投票理论成功率：超过半数样本正确。"""    if n % 2 == 0:        n = n + 1    half = n // 2 + 1    return sum(        math.comb(n, k) * (p ** k) * ((1 - p) ** (n - k))        for k in range(half, n + 1)    )  def simulate_best_of_n(p, n, trials=3000):    """模拟采样：n 个候选里至少一个正确则成功。"""    hit = 0    for _ in range(trials):        if any(random.random() < p for _ in range(n)):            hit += 1    return hit / trials  def simulate_majority_vote(p, n, trials=3000):    """模拟多数投票：正确候选占多数才算成功。"""    if n % 2 == 0:        n = n + 1    hit = 0    for _ in range(trials):        votes = sum((random.random() < p) for _ in range(n))        if votes * 2 > n:            hit += 1    return hit / trials  def main():    p = 0.35    print("单次采样正确率 p =", p)    print("--- best-of-N ---")    for n in (1, 2, 4, 8, 16):        sim = simulate_best_of_n(p, n)        theory = best_of_n_theory(p, n)        print(f"n={n:2d}  模拟={sim:.3f}  理论={theory:.3f}")    print("--- 多数投票 ---")    for n in (9, 15):        sim = simulate_majority_vote(p, n)        theory = majority_vote_theory(p, n)        print(f"n={n:2d}  模拟={sim:.3f}  理论={theory:.3f}")  if __name__ == "__main__":    main()

1. return 1 - (1 - p) ** n对应正文核心公式：至少一个样本正确的概率。
2. math.comb(n, k) * (p ** k) * ((1 - p) ** (n - k))二项分布公式，计算 n 份采样中恰好 k 份正确的概率，是多数投票理论值的基石。
3. if any(random.random() < p for _ in range(n))模拟一次 best-of-N：n 份候选里只要有一份正确答案就算成功。
4. if votes * 2 > n严格过半数才判定多数投票成功，对应“众口一词才可信”的策略。
5. p = 0.35单次正确率故意设得偏低，因为测试时扩展在“模型本身不太行”时收益最明显。

常见误区

面试题