o1/o3架构：推理时计算

可视化演示

展示o1/o3模型推理时计算机制：思考搜索树探索最优推理路径，以及计算量与推理性能的对数缩放关系，支持计算预算调节。

计算两阶段：平时积累与临场发挥

小美和小钢最大的差异，不在智商，而在“算力花在了哪里”。小美的功夫全下在平时：每天刷题、背书、总结错题本，这些对应模型的训练阶段。可一旦坐在考场上，小美的策略是“看到题就立刻套模板”，在生成答案的最初一秒就决定命运。这种模式里，模型的能力上限几乎被训练阶段锁死，推理时只做一次简单的“回忆输出”。

推理时计算之所以带来范式转变，是因为它把一部分“解题功夫”从考前挪到了考中。小钢会花几分钟反复读题、列出多种思路、选择最可信的路径，甚至解完后回头验算。对小钢而言，考试时间（推理预算）直接决定了他的做题策略：时间充裕时先易后难，时间紧张时挑最稳妥的写法。对大模型而言，这相当于把“多花算力换更高质量答案”变成系统的第一性原理。

把两个阶段的开销写成粗粒度公式，便是模型一生计算量的总和：

理解了两阶段的区别，我们就能明白：o1/o3 并没有魔法般获得新知识，它们只是把‘思考’这种高开销行为，从训练期的隐藏状态搬到了推理期的显式计算中——小钢并不比小美聪明，他只是更舍得在考场上花时间。

推理预算：考试时间就是质量上限

考试的“剩余时间”是小钢最宝贵的资源。同样一道压轴题，只有 5 分钟他可以只写关键步骤，有 30 分钟他会先尝试极值法、再验证边界条件。推理预算（Test-Time Compute Budget）就是给模型设定的“做题时间”：它决定模型能生成多少思考 Token、做多少轮采样、搜索多宽的路径。开发者可以按任务难度动态调节预算，形成“花多少算力、换多少质量”的可控杠杆。

预算的调节机制并不神秘。接口层面表现为 max_tokens 上限、采样次数、搜索深度等参数；系统架构层面表现为模型是否启用长思考链、是否引入验证器循环。更关键的是，预算与训练预算形成分工：训练阶段的大规模算力决定模型的知识基础与推理潜质，推理预算则把潜质兑现为实际正确率。当一个模型预测时，两者的关系近似对数形态：

回到考场：小钢发现，思考 10 分钟能多拿 20 分，再思考 20 分钟只能多拿 3 分。于是他学会按题目价值分配时间——这正是预算思维在生产中的体现：先给难题高预算，同时给简单题设低预算，让每 TFLOPS 都花在刀刃上。

采样与搜索：多条思路比一条更有胜算

小钢考试时有个习惯：先不急着写答案，而是把几种解题思路在草稿纸上各推几步，再选定最可靠的方向。这对应推理时计算中最通用的策略——采样与搜索。模型不再一次性生成唯一答案，而是并行或串行生成多个候选结果，再用某种策略选择最终输出。

最简单的策略是多路采样加多数投票（又称自洽性）：让模型基于同一个问题独立采样 N 个答案，统计哪个答案出现次数最多，取为最终结果。它之所以有效，是因为模型算错的轨迹往往各不相同，而正确推理通常指向同一个结论。想要更强的策略，把“并行采样”升级为“树搜索”：每一步推理都展开多个分支，配合评分函数对局部轨迹打分，优先扩展高分路径，最终挑选整体最优解。这类搜索让模型像小钢一样，能回头探索其他岔路口，而不是一条路走到黑。多数投票的数学表达非常简洁：

值得注意的是，投票只有在“错误是多样化”时才有效。假如全班都背了同一份错误笔记，投票只会选出那个错误答案。因此，采样与搜索必须配合足够的采样温度（randomness），让候选路线足够多样，小钢的“多种思路”才能成为真正的分散风险，而不是同一错误想法的复制粘贴。

自我反思：做完检查才是高分的秘诀

小钢还有一招小美没有的杀手锏：检查。他每次写完答案，会后退一步问自己：“这一步的符号方向对吗？有没有漏掉边界条件？”这种“生成—批判—修改—再验证”的循环，在推理模型里被称为自我反思（Self-Reflection）。它把单次输出变成多轮迭代，每一轮都利用验证器（Verifier）或评论模型对当前答案打分、指出漏洞，再由生成器根据反馈进行精炼。

这个过程的工程实现通常由一个生成器模型与一个验证器模型协作完成：生成器产出答案，验证器评估置信度，如果评分不达标，生成器接收反馈并修改。如此循环，直到验证器给出高分或预算耗尽。它像极了小钢反复擦写草稿纸的场景。除了“自我批判”，还有“他人视角”：在 o1/o3 这类模型中，验证器往往独立于生成器训练，掌握更客观的判别能力，专门负责“挑刺”。这一流程可概括为如下迭代式：

自我反思的价值，不在于让模型变聪明，而在于把“低级错误”的系统性漏洞堵住。小钢的验算并不能让他凭空想出更妙的定理，但足以把马虎造成的 5 分找回来。在复杂的数学证明、代码生成、法律文书审查中，这种“回头检查”的收益往往比额外采样还要大——前提是验证器足够可靠，否则模型会在错误的道路上越改越远。

规模规律：思考时间与成绩的边际曲线

如果小钢拥有无限长的考试时间，他的分数会无限涨下去吗？答案是否定的。推理时计算与答案质量之间存在一条可复现的规模规律（Scaling Law）：随着推理预算上升，准确率先快速提升，随后增速放缓，最终逼近一个由训练阶段决定的能力上限。这条曲线就像健身增肌一样，新手期随便练练就进步神速，练到一定水平后，加倍训练只能带来微小的提升。

这条规律对产品设计有直接指导意义：调用推理模型时，无需盲目设置“思考时间无限长”。当准确率达到预算曲线的拐点附近，继续加预算只会造成成本浪费。研究还发现，模型训练得越强（基座能力越好），这条曲线的起点和天花板都会上移。于是出现了“训练算力 × 推理算力”协同缩放的现象，二者共同决定最终智能水平，而非任何单一因素。推理规模规律可表达为如下近似式：

对于工程实践，这条规律给出了一条铁律：永远先测量曲线的形状，再决定预算墙。小钢的聪明也正在于此——他清楚地知道，在最后 15 分钟里与其纠结一道大题，不如回头检查前面的选择题。推理时计算的规模规律，就是把这种“时间管理直觉”量化成了可操作的成本调优工具。

o1o3实现：如何训练出会思考的模型

小钢的考场沉着并不是天生的，他背后有一位用大量难题专门训练他的教练。o1/o3 系列模型之所以擅长推理时计算，是因为它们通过强化学习（Reinforcement Learning）把“思考”内化成了行为习惯：训练时，模型被要求生成推理轨迹，并根据答案质量获得奖励信号；正确的推理路径获得正奖励，错误路径获得负奖励。经过大规模迭代，模型学会了在推理阶段自动生成高质量的思维链，而不是浅尝辄止地输出答案。

这些思维链在推理时表现为一连串隐式的“思考 Token”，从题目理解、假设提出，到局部验证、回溯修正。它与传统 prompt 工程里“请一步一步思考”有本质区别：前者是强化学习训练出的内在行为策略，后者只是用户临时输入的提示文本。且 o3 在推理时还会额外执行搜索与验证器的迭代（即推理时 RL），相当于小钢不仅平时被教练训练，考场上还能随时请求一位“陪考助教”帮自己核对思路。强化学习优化的核心公式如下：

o1/o3 通过这种训练，把“推理时计算”从外部策略变成了模型本能。它们的思考链并非免费的午餐，而是在训练阶段花巨量算力换来的“习惯性深度思考能力”。小钢在考场上的每一分钟冷静，都是教练在场下千百次模拟训练的结果——模型的能力跃迁，正是训练与推理两类算力接力协作的产物。

应用与边界：把预算花在值得的题目上

不是每道题都值得小钢花 30 分钟。一眼就知道答案的选择题，直接作答反而更经济。推理时计算同样如此：在数学竞赛、代码生成、科学推理这类需要多步逻辑链的任务上，加大推理预算能带来近线性的显著收益；但对于闲聊、摘要、情感分析等简单任务，模型直接生成的回答已经足够好，投入更多推理算力只会徒增延迟与成本。

企业应用推理模型时，最核心的决策是“分层算力调度”：简单请求路由到低预算模型，复杂请求路由到高预算模型。这种成本权衡需要量化分析。此外，推理时计算也带来安全与对齐的新挑战：模型可以进行更长时间的“潜伏思考”，这也让它的推理过程更难被审查。研究者正在探索如何让思考链更可解释、更可控，同时保证验证器不会制造隐藏偏见。性价比的判定方式如下：

归根结底，推理时计算是一把需要审慎使用的尺子。小钢如果对每道选择题都写满一整页草稿，反而会来不及做完试卷。对 AI 工程师来说，理解规模曲线、掌握预算调节、选择合理验证策略，才能让 o1/o3 这类推理模型的强大能力真正转化为业务价值，而不是变成一张昂贵却华而不实的“满分卷”。

AI 应用场景

Python 演示

import randomfrom collections import Counter WRONG_SHIFT = (-3, -2, -1, 1, 2, 3) def weak_solve(expr, answer, p_correct=0.55):    """模拟一个基础尚可但容易在推理时犯错的普通模型。"""    if random.random() < p_correct:        return answer    return str(int(answer) + random.choice(WRONG_SHIFT)) def majority_vote(expr, answer, n_samples):    """推理时计算策略: 多路采样 + 多数投票. 预算越大, 结果越稳."""    votes = [weak_solve(expr, answer) for _ in range(n_samples)]    return Counter(votes).most_common(1)[0][0] def run(trials=2000):    expr, answer = "8*7+6", "62"    print(f"题目: {expr}  标准答案: {answer}")    for n in (1, 2, 4, 8, 16):        acc = sum(            majority_vote(expr, answer, n) == answer            for _ in range(trials)        ) / trials        print(f"推理预算={n:>2} (采样{1 if n == 1 else n}次) -> 准确率 {acc:.1%}") if __name__ == "__main__":    run()

1. def weak_solve(...)定义“弱推理器”：单次作答正确率只有 55%，像小美不做检查直接交卷。
2. votes = [weak_solve(...) for _ in range(n_samples)]多路采样：预算越大，生成的候选草稿越多。
3. Counter(votes).most_common(1)[0][0]多数投票：统计得票最多的答案作为最终结果，像小钢听取多数思路。
4. for n in (1, 2, 4, 8, 16)遍历不同推理预算，观察准确率随预算增长的变化曲线。
5. acc = sum(...) / trials用 2000 次模拟统计准确率，验证“采样越多、正确率越高”的规模规律。

常见误区

面试题