大模型推理缩放规律

可视化演示

推理缩放概念

米其林后厨里有两类投入：一类是常年研发菜谱、测试食材搭配，这是“训练阶段”的功夫；另一类是客人落座后，主厨临场试味、调整火候、重新摆盘，这是“推理阶段”的功夫。过去大家笃信菜谱决定一切，可近两年的研究发现，上菜前的临场发挥同样能大幅提升口碑——这就是推理缩放（Test-Time Compute）：在模型回答问题之前，投入额外计算，换取更高的任务成功率。

技术上讲，推理缩放指的是在推理阶段允许模型消耗更多计算资源，例如生成更多思考Token、进行多轮采样、运行验证器筛选。研究观察到一个重要现象：模型的性能会随推理计算量的增加而近似呈幂律上升，就像厨艺在反复试做中稳步精进。这个规律之所以重要，是因为它开辟了一条不依赖重新训练就能提升能力的新路。

推理缩放并非免费午餐，它也需要预算管理——但它的美妙之处在于，你不需要重写“菜谱”（重新训练），只需要让“厨师”在出锅前多花几分钟，就能稳定提升出品质量。这为所有 AI 应用打开了一扇低成本优化的大门。

推理预算分配

一家好餐厅的主厨拿到一笔固定预算，摆在面前的是两种花法：买更顶级的和牛（训练更大的模型），还是多请几位帮厨在出菜前反复试做（增加推理计算）？直觉上“好食材出好菜”，但研究发现，当预算有限时，两者存在一个最优配比，过度偏向任何一边都会浪费。这就是推理缩放中的预算分配问题。

研究者提出了“归一化计算”（normalized compute）的视角：把训练算力和推理算力放在同一把尺子上衡量，问给定总计算量下，如何分配才能让最终性能最高。实验显示，用于推理的计算占比存在甜蜜点——太少则模型“有料没功底”，太多则边际收益迅速衰减。例如，同样总资源下，一个中等模型配合充足的推理预算，常常胜过一个大模型但只给一次回答机会。

预算分配的智慧在于“动态调整”。小任务给少一点思考时间，难题给大预算慢慢推演；同时还要监控边际收益——当追加的推理算力几乎带不来准确率提升时，就该停下来，把资源挪到别处。真正的主厨不会在每道菜上都花同样功夫，而是看菜下碟。

思维链优化

新手厨师炒菜，喜欢一股脑把食材全下锅，大火猛炒——快是快，却容易糊锅夹生。大模型也有同样的毛病：面对复杂问题时直接蹦出答案，经常在某个小环节出错。思维链（Chain-of-Thought，CoT）的改进朴素至极——让模型像老厨师一样“先说步骤再动手”：备料、热锅、下料、调味、装盘，每一步都想清楚再走下一步。

在实操中，思维链通过在提示语中给出包含“逐步推导”的示例（引导示例），引导模型把隐式的推理过程显式地写出来。比如解数学题时，模型先写出“设未知数为 x……”，再写“根据方程两边同减……”，最后才给出答案。每一步的推理难度被大幅降低，整条链的成功率因此显著提升——就像把一道佛跳墙拆成十个小工序，每个工序都不容易翻车。

思维链的价值在于，它把“一步到位”的高难度推理，替换成一串“步步为营”的低难度推理。就像一份写清楚了步骤的菜谱，每个环节都有检查点，哪怕某个小步骤出错，也容易定位和修正——这对于数学、代码、多跳问答这类任务，几乎是立竿见影的良药。

自洽性验证

一位厨师偶有失手，但请五位学徒各自独立做同一道菜，如果其中三位的口味高度一致，你大可以放心这道菜没问题。基于这个朴素的直觉，研究者提出了自洽性（Self-Consistency）方法——思维链的自洽性验证（CoT-SC）：对同一个问题，让模型用思维链方式独立采样多次，然后统计答案的分布，选得票最多的答案作为最终输出。

原理很直观：模型每次采样带有随机性，可能因某个中间步骤小失误而给出错误答案；但真正正确的答案往往会在多次采样中“殊途同归”，而错误答案则各自错得五花八门。所以答案的一致性，本身就是一种可靠性的信号。实践中，CoT-SC 用不到 5 次采样，就能在数学推理任务上带来几个百分点的提升，性价比极高——就像多问几位帮厨，成本低廉却能有效规避个别失手。

自洽性验证让人联想到“民主表决”——它不要求任何一次推理完美无缺，而是相信多数派的判断。这种稳健性让它成为推理缩放里最物美价廉的组件之一：不需要新模型、不需要训练，只需要让模型多答几遍、统计一下，就能换来实打实的准确率跃升。

拒绝采样技术

如果说自洽性投票是一种“民主制度”，那么拒绝采样（Rejection Sampling）就是一场“厨艺大赛”——让 N 位厨师各自做一道菜，再请一位资深品鉴官逐一试吃打分，最后只把冠军端给顾客。在推理缩放中，这套流程叫 Best-of-N 采样：模型先生成 N 个完整候选回答，再由一个奖励模型（Reward Model）或验证器给每个回答打分，选出得分最高者作为最终答案。

和思维链相比，Best-of-N 不要求模型每一步都想清楚，而是允许模型自由发挥、广撒网，再靠外部评审把关。这在开放式生成任务中尤其有效——例如代码生成，让模型写出多个版本，交给自动测试（等效于验证器）挑选通过的那个。奖励模型的判断质量是关键，就像品鉴官的水平决定了大赛的公信力。

Best-of-N 的哲学是“不求一次写对，但求选中最优”。它特别适合那些“答案可验证”的场景——代码能跑、数学能验、选择题有标准答案——此时验证器几乎免费，而模型只需要当一个高产的候选生成器。在推理缩放工具箱里，它是效果最猛、成本也最高的一件重器，需要精打细算使用。

训练推理协同

一家顶级餐厅，既要有扎实的菜谱研发（训练），也离不开出菜前的临场发挥（推理）。两者不是二选一，而是互相成就：菜谱本身粗糙，再高超的临场技巧也救不回来；菜谱完美，却不给厨师任何临场调整的空间，同样会翻车。训练缩放和推理缩放之间存在奇妙的协同效应——在训练上多投入，会让推理缩放的效果更显著。

具体来说，更大的训练预算带来更强的模型基础能力，而更强的模型在做思维链、自洽性投票时，每一步的正确率更高，从推理缩放中获得的收益也更大。研究者发现，在固定总预算下，最优策略往往不是把资源全砸向训练，而是留出一部分给推理，形成一个“训练打基础、推理挖潜力”的组合拳。这就是联合缩放（Joint Scaling）的基本思想。

理解协同，才能做出理性的工程决策：如果你的应用每天要服务百万用户，哪怕单次推理多花 10% 算力，全局成本也会放大百万倍；反过来说，如果你的模型只服务少数高价值问题，就值得慷慨地加大推理预算。一个懂成本的主厨，永远知道在“研发”和“出品”之间找到属于自己餐厅的平衡点。

o1模型设计

前面提到的思维链、自洽性投票、Best-of-N，都是“外挂式”的推理技巧——有点像临时给厨师递小抄。那么有没有可能，把“如何思考”本身也训练进模型里，让模型像米其林主厨一样，天然就懂得规划烹饪流程、控制上菜节奏？o1 系列模型正是朝这个方向迈出的一大步。

o1 的设计理念是将推理能力内化：在训练阶段就用强化学习（Reinforcement Learning）让模型练习“思考策略”——学会把问题分解、尝试多条思路、发现走不通时回头调整。到了推理阶段，模型不再依赖外部提示词，而是自动决定要想多久、走几条路径、何时给出答案。这就像一位受过正规训练的副主厨，不需要主厨在旁边念菜谱，自己就能掌控全场节奏。这种“先想后答”的模式，也被类比为从系统 1（快思考）走向系统 2（慢思考）。

o1 带来的启示是深远的：推理缩放不仅可以通过外部技巧实现，更可以通过训练“内化”成模型的本能。但它也提醒我们，慢思考是有代价的——在资源紧张的场景，快答和慢想需要动态切换。未来的 AI，大概会像真正的主厨一样：简单的菜快炒出锅，硬菜则气定神闲地慢慢料理。

AI 应用场景

Python 演示

import mathimport randomfrom collections import Counter random.seed(42)  def solve_direct(question_id, budget):    """直接回答：不用思维链，正确率低且不随预算提升。"""    return random.random() < 0.32  def solve_cot(question_id, budget):    """思维链回答：正确率随推理预算对数增长。"""    base = 0.32    gain = 0.13 * math.log2(1 + budget)    return random.random() < min(base + gain, 0.88)  def solve_self_consistency(question_id, budget, voters=7):    """自洽性投票：多次思维链采样后多数投票。"""    votes = []    per_voter = max(1, budget // voters)    for _ in range(voters):        votes.append(solve_cot(question_id, per_voter))    return sum(votes) > voters // 2  def best_of_n(question_id, n, verifier_accuracy=0.9):    """Best-of-N：生成N个候选，验证器有概率挑出正确者。"""    candidates = [solve_cot(question_id, 2) for _ in range(n)]    if any(candidates):        return random.random() < verifier_accuracy    return False  def run_experiment(strategy, budget, num_questions=300):    correct = 0    for q in range(num_questions):        if strategy == "direct":            correct += int(solve_direct(q, budget))        elif strategy == "cot":            correct += int(solve_cot(q, budget))        elif strategy == "self_consistency":            correct += int(solve_self_consistency(q, budget))        elif strategy == "best_of_n":            correct += int(best_of_n(q, budget))    return correct / num_questions  if __name__ == "__main__":    strategies = ["direct", "cot", "self_consistency", "best_of_n"]    budgets = [1, 4, 16, 64]    print("策略\\预算 |  " + "  ".join(f"B={b:<4}" for b in budgets))    for s in strategies:        row = "  ".join(f"{run_experiment(s, b):.3f}" for b in budgets)        print(f"{s:<14} |  {row}")     print("\n结论：推理预算越充足，高级策略优势越明显。")

1. random.seed(42)固定随机种子，确保每次运行结果可复现。
2. def solve_cot(question_id, budget)实现思维链答法：正确率随预算以对数方式增长。
3. per_voter = max(1, budget // voters)把预算均分给每位“帮厨”，保证人均至少一次尝试。
4. sum(votes) > voters // 2多数投票：超过半数帮厨做对才算整体正确。
5. if any(candidates): return random.random() < verifier_accuracy模拟验证器从候选里挑出正确答案的概率。
6. run_experiment(strategy, budget, num_questions=300)每个策略在固定预算下跑 300 道题，统计正确率。
7. for s in strategies:遍历四种策略，输出从低预算到高预算的准确率矩阵。

常见误区

面试题