Reflexion 反思机制：让 AI 在自我纠错中越变越强

可视化演示

动态演示Reflexion反思机制让的核心机制，通过架构/数据/状态/性能四种模式展示关键概念与交互流程。

一、机制概述：做菜、尝味、写纸条的分工

想象一下，厨房里的小白第一次做红烧肉，手忙脚乱地把菜谱上“适量盐”理解成三大勺，结果整锅菜咸到发苦。他没有沮丧，而是冷静地写下一张便利贴——“盐只放半勺”——贴在灶台边。第二次做菜时，他记住了纸条上的提醒，又发现糖放少了，于是再补一张纸条。这个“做菜—尝味—写纸条—再做”的循环，正是 Reflexion 反思机制的核心模样：让 AI 在每一轮尝试后，主动总结失败原因，把它记在短期记忆里，下一轮带着教训重新出发。

Reflexion 框架把角色拆分成三个明确的分工。第一是 Actor，相当于厨师，负责根据当前任务生成答案或行动；第二是评估器，相当于试菜的评委，负责判断结果好不好；第三是自我反思模块，相当于写便利贴的人，负责把失败原因转化成文字教训。三个模块协作完成一次循环，然后在记忆的辅助下开启下一轮。

在整个过程中，模型参数始终不变。Actor 不需要做任何梯度计算或微调，它只是把“问题 + 反思笔记”拼在一起作为输入，然后照常生成文本。真正的“提升”来自输入内容的变化：每一次反思都让模型在下一次生成时了解到自己上次错在哪，从而更有可能避开同样的坑。这就像厨师的技术没变，但灶台上的便利贴让他记得少放盐——信息的改变带来了行为质量的改变。

所以，Reflexion 的第一步不是更换厨师，也不是重新培训他，而是在他的灶台上摆一张会越写越厚的便利贴墙。厨师还是那个厨师，但只要每一次失败都能被记下来、被用上，下一盘菜就永远值得期待。

二、自我批评：把失败翻译成文字教训

新手厨师最珍贵的品质，是敢于尝自己做的菜。红烧肉出锅，夹起一块放进嘴里，眉头一皱——咸了。这个“尝”的动作就是自我批评的起点：不回避失败，而是主动去感受失败的具体样子。Reflexion 里的自我批评模块做的正是这件事，它把“这盘菜咸了”这种感受，翻译成模型能理解和复用的文字。

自我批评在论文中被称为 Self-Reflection，它的输入是上一轮的完整轨迹——包括问题、模型生成的答案、评估器的结果，然后输出一段文本反思。这段文本不是简单的“我错了”，而是具体的错误分析和改进方向。就像便利贴上写的不是“做失败了”，而是“盐放多了，下次放半勺”。

为什么非要用文字而不直接用一个分数？因为文字是模型最擅长的表达形式。一个“40 分”无法告诉模型错在哪里，而一句“你在计算到第二步时进位错了”则能精确地引导下一次生成。这也是 Reflexion 区别于传统强化学习的核心：它用语言作为强化信号，而不是数值奖励。

所以自我批评不是让 AI 自责，而是让 AI 当自己的美食评论家。它把模糊的失败变成一句句具体、可执行的整改意见，为下一次开火做饭备好说明书。

三、短期记忆：灶台上的便利贴墙

便利贴如果不贴起来，转头就忘；贴在哪里、怎么用，同样有讲究。Reflexion 的短期记忆模块就是那面灶台墙——它专门负责保存每一轮产生的反思文本，并在下一轮尝试时，把关键的几张纸条重新递到模型眼前。

这个短期记忆在实现上通常就是一个缓存列表，存的是字符串形式的反思笔记。与模型的上下文窗口不同，它不是把所有历史对话都塞回去，而是有选择地注入反思内容。这就像厨师不会把整个厨房的杂物都摊在灶台上，只挑跟自己这道菜最相关的几张纸条。

当 Actor 开始新一轮尝试时，系统会把原始问题与所有反思笔记拼接起来，构造成新的提示词。这样，模型每次生成时都“看得见”自己过去踩过的坑。随着迭代进行，记忆越来越厚，模型的行为也越来越稳健。论文中把这种机制类比为语言强化学习——把“语言奖励”存储在外部记忆里，供未来的策略参考。

记忆是迭代的土壤。要是每轮尝试都从零开始，模型永远像第一天学做菜的新手；而有了会累积的便利贴墙，每一次失败都变成了通往成功的台阶。

四、迭代尝试：一轮更比一轮好吃

一道菜要做到让全家满意，很少一蹴而就。第一轮咸，第二轮淡，第三轮终于恰到好处。这个过程听起来平凡，却是 Reflexion 最强大的地方——它把“失败—反思—再试”的循环制度化，让模型有边界地、持续地向正确答案逼近。

每一轮完整循环包括：Actor 根据当前记忆生成候选答案，评估器判断答案是否正确，反思模块在失败时写下教训，然后带着更新后的记忆进入下一轮。这个循环会一直持续到评估器给出通过信号，或达到预设的最大轮数。

收敛条件是循环设计的关键。Reflexion 一般设置一个最大尝试次数，避免无限重试浪费算力。同时，由于反思笔记是文本，模型在下一轮不一定采纳建议，因此论文还引入了“重复尝试的多样性”技巧——如温度采样或多次独立生成——确保模型不是简单复制之前的错误答案。

Reflexion 的迭代不是漫无目的地瞎试，而是像一位有记性的厨师，每翻一次锅都离色香味俱全更近一步。停止条件一到，他就能自信地端出那盘合格的菜。

五、评估信号：凭什么说这盘菜合格了

菜好不好吃，不能光靠厨师自己说。评分标准可以来自家人的表情、美食评委的打分，甚至是一台测咸度的仪器。在 Reflexion 里，评估信号就是这样的外部裁判，它负责告诉系统：这一轮到底成了没有。

评估信号因任务而异。在代码生成任务中，最常用的是单元测试——把生成的代码跑一遍，全部用例通过才算成功；在数学推理任务中，可以比对最终答案与标准答案是否一致；在决策规划任务里，则看环境是否返回了成功的奖励信号。

高质量评估信号是 Reflexion 有效的前提。如果信号本身不准确，反思就会建立在错误的前提上。论文还探索了训练一个专门的评分模型来对结果打分，让 Reflexion 能扩展到没有现成测试用例的开放任务中。这个评分模型相当于一位更专业的评委，能给出更细腻的反馈。

评估器的存在，让“好吃”不再是一家之言。有了这台靠谱的测咸仪，厨师才知道该往哪个方向调整调料——反思也因此有了坚实的依据。

六、应用场景：学会红烧肉，再做满汉全席

当一位厨师通过便利贴和反复试做掌握了红烧肉，他学到的其实不是一道菜，而是一套方法论——尝味、记录、调整、再试。这套方法论放在代码世界、数学世界和决策世界里，同样好使。

在代码生成中，Reflexion 是目前最常用的自我修复框架之一：模型先写一版代码，测试失败后反思原因，再带着反思修第二版，往往几轮内就能通过所有测试。在数学推理中，Reflexion 让模型检查自己解题步骤中的逻辑漏洞，减少低级计算错误。

在更复杂的决策规划任务中，Reflexion 也被用来增强 Agent 的行为策略：Agent 在环境中尝试，失败后生成文本反思，例如“不要走会撞到障碍物的路径”，然后在新一轮行动中避开相同错误。这种不更新权重的“语言强化学习”特别适合大模型时代——因为模型的参数太昂贵，而文字反思几乎零成本。

今天，Reflexion 已在许多 AI Agent 产品中扮演“事后诸葛亮”的角色：让模型在犯错后停下来想一想，把教训写进记忆里，再出发。学做菜的新手最终会成为大厨，而会反思的 AI，也会在一次又一次尝试中走向更强。

AI 应用场景

Python 演示

class ReflexionAgent:    def __init__(self):        self.memory = []        self.attempts = 0     def act(self, task):        self.attempts += 1        if self.attempts == 1:            return "def solution(nums): return len(nums)"        for note in self.memory:            if "set" in note:                return "def solution(nums): return len(set(nums))"        return "def solution(nums): return len(set(nums))"     def evaluate(self, answer):        return "set" in answer     def reflect(self, task, answer, passed):        if passed:            return ""        return "反思：上次直接返回 len(nums)，没有去重；下次应先用 set(nums) 去重。"     def run(self, task, max_rounds=3):        result = None        for _ in range(max_rounds):            result = self.act(task)            passed = self.evaluate(result)            note = self.reflect(task, result, passed)            if note:                self.memory.append(note)            if passed:                return True, result, self.attempts        return False, result, self.attempts  if __name__ == "__main__":    agent = ReflexionAgent()    ok, code, rounds = agent.run("去除列表重复元素并返回长度")    print("是否通过:", ok)    print("最终代码:", code)    print("尝试轮数:", rounds)    print("反思记忆:", agent.memory)

1. self.memory = []短期记忆缓存，相当于灶台上的便利贴墙，记录每轮反思文本。
2. self.attempts = 0记录尝试轮数，与控制迭代次数有关。
3. def act(self, task)Actor 模块：根据任务和记忆生成候选答案，首次不读记忆所以出错。
4. for note in self.memory:经验回放：在生成前逐条翻阅反思笔记，把“用 set 去重”的教训应用进代码。
5. def evaluate(self, answer)评估器模块：模拟单元测试，检查答案是否包含 set 去重逻辑。
6. def reflect(self, task, answer, passed)反思模块：失败时输出改进建议，成功时不写反思。
7. if passed: return True, result, self.attempts收敛判断：评估通过立即停止循环，返回最终代码。
8. agent.run("去除列表重复元素并返回长度")主入口：完整跑一轮 Reflexion 迭代流程。

常见误区

面试题