HER事后经验回放解决稀疏奖励

可视化演示

稀疏奖励困境

你端着一锅“家常炖肉”站在厨房里，评委只认“红烧肉”三个字。糖色不够深，扣分？肥肉不够烂，扣分？不，评委只给出两种判决：完全对上菜名，满分；任何一点不对，零分。这就像强化学习中的目标条件任务——机械臂要抓取一个蓝色方块，抓到了给 +1，没抓到给 0；游戏角色要走到终点，走到了胜利，走不到从头再来。中间那些“靠近了一步”“角度对了三度”的微小进步，环境一概不奖励。

这正是“稀疏奖励”的数学定义：奖励函数只在状态与目标完全一致时给出非零值。用符号表示，假设 t 时刻智能体从状态 \\(s_t\\) 执行动作 \\(a_t\\) 到达 \\(s_{t+1}\\)，稀疏奖励可以写为：

这样的奖励结构让传统强化学习陷入困境：智能体随机探索了一大圈，获得的反馈全是 0，价值网络无从更新，学到的策略跟掷骰子没区别。你站在厨房里，面对一锅失败的炖肉，既不知道哪一步走对了，也不知道下一步该往哪使劲——这就是稀疏奖励的可怕之处：没有中间反馈，就没有学习信号。

事后重标记思想

神秘教练没有让那锅炖肉白白浪费。他拿起笔，在菜谱上写下“家常炖肉：五花肉 500 克、生抽三勺、小火慢炖 40 分钟”，然后对你说：“我们今天的题目就是它。”一瞬间，刚才那份零分答卷变成了一道满分作品。HER 的思想正是如此：一条轨迹没能达到原始目标 g，不要把它丢进垃圾桶，而是“事后”重新指定一个该轨迹实际达到的状态作为新目标，让这次探索变成一次成功示范。

在数学上，事后重标记的目标最简单的一种取法，就是把轨迹终点 \\(s_T\\) 当作新目标。假设一条 episode 从 \\(s_0\\) 走到 \\(s_T\\)，原本目标是 g 且没达成，HER 会构造一个新目标：

经过这种改写，原本“没有达成目标”的负样本，变成了“达成了新目标”的正样本。奖励从一列 0 变成至少有一个 1，价值网络终于获得了可学习的梯度信号。教练轻轻合上菜谱本：“经验没有好坏，只有会不会用。”HER 的精髓就在这句话里——它不改变环境，不修改奖励规则，只改变我们看待轨迹的方式。

重标记策略

教练在厨房里摸索出四种“重新命名菜品”的方式。第一种 final：看最终成品，把成品名称当目标，简单直接。第二种 future：从做菜过程的某个未来时刻随手一指，“看，这一步的中间形态也可以当目标”，这是最实用的一招。第三种 episode：闭上眼睛，从本次做菜全程的任意一个状态抽一个当目标。第四种 random：完全随机从记忆里抽一个状态，不管它是不是这条轨迹上的。四种方式对应 HER 论文中四种目标采样策略：final、future、episode、random。

其中 future 策略在实验中最受青睐，它的采样规则是：对轨迹中的每个时刻 t，从 t 之后的所有未来状态中随机挑一个作为新目标。这保证了“新目标不会比当前时刻更早出现”，逻辑上更为自洽：

选对策略至关重要。如果教练乱起菜名——把甜口的炖肉叫作“麻辣火锅”，经验非但没用，还会误导学生。future 之所以好用，是因为它选的目标紧贴当前轨迹的真实走向，学习的每一步都有“够得着”的参照物，学生既能获得成功反馈，又不至于偏离真实目标太远。

HER算法流程

现在把教练的整套方法整理成标准流程。第一步，采集轨迹：让智能体在环境中跑完一整局，无论成败，把每一步的状态、动作、奖励、下一状态原样记录下来。第二步，目标重采样：按选定的策略（如 future）为这条轨迹重新抽取一个或多个新目标。第三步，奖励重计算：用新目标重新给每一步打分——原来“零分试卷”变成了“有对有错的试卷”。第四步，回放池存储：把重标记后的经验与原目标经验一起放进回放缓冲区，供训练时反复采样。

第二步和第三步是 HER 的核心手术。假设某条轨迹用新目标重标记后，第 t 步的奖励由原始奖励 \\(r_t\\) 变为 \\(r'_t\\)，规则依旧遵循稀疏奖励的定义，只不过判定的标准换成了 \\(g'\\)：

这一套流程跑下来，智能体看着回放池，就像学生翻开一本被教练批注过的菜谱：每一条失败的尝试都被改编成了某道菜的成功案例。训练时，价值网络从这些“改编案例”中学习到的，不是自欺欺人的幻觉，而是一条真实的因果链——“这样做，就能到达那个状态”，而这正是逼近真实目标所必需的知识拼图。

算法整合集成

有了精心处理过的菜谱本（回放池），还得有会读菜谱的厨师（学习算法）。HER 不是一套独立的炒菜流派，它是一套“菜谱批改系统”，必须挂在某个厨房班组下面——这个班组必须能够反复翻阅旧菜谱来提升手艺，也就是所谓的 off-policy（离策略）算法。像 REINFORCE 这类“看一遍丢一遍”的 on-policy（在策略）方法，用完当前经验就扔掉，HER 的批改本对它毫无意义；而 DQN、DDPG 这类可以反复使用历史经验的算法，才是 HER 的天然搭档。

在经典的 DDPG + HER 组合中，Actor 网络根据“当前状态 + 目标”输出动作，Critic 网络评估这个动作能带来多少回报。训练时从回放池抽样一小批经验，Critic 的更新目标为：

实际操作中，回放池里通常让“原目标经验”和“重标记经验”各占一半，比例约为 1:1。厨师既看正宗菜谱，也看改编菜谱，才不会在真正的红烧肉面前手足无措。HER 与底层算法各司其职：HER 负责把失败经验变得有营养，底层算法负责把营养真正吸收成肌肉记忆。

实验效果验证

教练带着这套方法走出厨房，走进实验室。在经典的机械臂抓取测试中，机械臂要从桌面抓取一个方块放回目标托盘——听起来简单，但奖励只在方块精确落在托盘中心时才会发放。普通 DDPG 训练了上百万步，成功率依然停留在 0% 附近，机械臂像无头苍蝇一样在稀疏奖励中原地打转。而接入 HER 之后，同样一百万步，成功率可以达到 80% 以上，一些实验甚至接近 90%。

导航避障任务给出了同样惊艳的答案：智能体在地图中寻找出口，HER 让它在探索中不断把“走过的关键位置”标记为阶段性目标，原本需要几百万次交互才能学到的路径规划能力，几十万次交互就能稳定涌现。HER 带来的最核心收益叫“样本效率”——用更少的交互数据学到同等甚至更好的策略，意味着真实机器人少跑几万次试验，少摔几百次跤，工业落地成本大幅降低。

如果把强化学习比作练厨艺，普通方法学一道菜必须等这道菜完整成功一次，失敗一百万次就浪费一百万份食材；HER 则把每一份失败的食材都做成了“半成品菜谱”，下个学员拿到菜谱就能少走弯路。这就是为什么在稀疏奖励的公开测试集上，HER 几乎已成为标配组件，它让“从失败中学习”不再是一句口号，而是行得通的工程实践。

AIGC创作应用

把厨房搬到云端，厨师换成 Stable Diffusion 之类的生成模型。你输入 prompt“赛博朋克风格的白猫”，模型画出一只写实的普通白猫——用户不满意，打分 0，生成任务失败了。但 HER 的视角完全不同：这次生成是一张质量不错的“写实白猫图”，把目标重标记为“生成写实风格白猫”，这次产出就是一次成功的样本。把这些成功样本喂回训练流程，模型至少学会了“如何稳定生成写实白猫”，下一次挑战赛博朋克风时，只需要在细节上加科技元素即可。

第一个落地方向是生成评测反馈。在 RLHF（人类反馈强化学习）流程中，用户点击“喜欢/不喜欢”的信号往往极稀疏——十张图里只有一张被点赞。HER 可以把“未被点赞但主题契合”的图像重标记为“实现了主题匹配目标”的经验，给奖励模型提供更多正例。第二个方向是提示词优化：智能体 Agent 负责编写提示词，生成的图片被自动评分器打回，反馈稀疏；HER 把“虽然没有完全命中但画面结构合理”的生成重标为成功，让 Agent 学到提示词的语法规律。第三个方向是风格对齐：艺术风格类 prompt 的反馈常常只有“像/不像”的二元信号，HER 把每次生成的风格特征作为新目标，模型能在风格空间中一步步逼近目标风格。

这些应用的共同点，就是用户和自动评测器都不愿意给出细粒度分数，只有“通过或不通过”。HER 恰好让模型把每一次“不通过”都转译成“某个侧面通过了”，于是生成内容的质量在一次次重标记中稳步爬坡——就像那位神秘厨房里的学员，先学会炖肉，再学会红烧肉，最终成为掌勺大师。

局限与展望

教练也有无能为力的时刻。如果主持人规定“这道菜永远只能叫红烧肉”，并且不允许给菜品改任何别名，那么你做出一锅完美的炖肉也无济于事——HER 的前提是目标可以被重新定义。在强化学习中，这意味着目标 g 必须能以“状态”的形式被表征和修改。围棋的“胜利”、对话的“有趣”这类抽象目标，难以用某一个具体状态来重标记，HER 就英雄无用武之地。此外，重标记的目标还要“含义通顺”，比如在自动驾驶任务中，把“撞车前的状态”设为目标就非常危险。

HER 的另一类风险是分布偏移。如果重标记目标总是挑那些“容易到达的状态”，智能体会倾向于对付容易的任务而忽略真实目标——正如学生如果总是把题目改成自己会做的简单题，永远也学不会难题。研究者正在探索多模态目标表征、自动选择重标记策略、以及 HER 与扩散模型、大语言模型结合的新范式，让“事后命名”本身也成为可学习的技能。

从厨房到实验室再到 AIGC 流水线，HER 的故事告诉我们：在稀疏奖励的荒野里，真正的智慧不是抱怨信号太少，而是学会把每一次偏离目标的足迹，都化作通向目标的台阶。目标可以移动，但前进的方向不能丢——这正是 HER 给 AI 从业者最深的启示。

AI 应用场景

Python 演示

import random N = 10          # 一维网格长度START = 2       # 起始位置GOAL = 8        # 真实目标MAX_STEPS = 40  # 每局最大步数ALPHA = 0.5     # 学习率GAMMA = 0.95    # 折扣因子EPS = 0.25      # 探索率 def td_update(q, s, a, r, ns, g, done):    """一步时序差分更新：用新目标修正 Q 值。"""    best = 0.0 if done else max(q[g][ns])    q[g][s][a] += ALPHA * (r + GAMMA * best - q[g][s][a]) def pick_action(q, s, g):    """根据当前状态和目标选择动作，epsilon 贪心保证探索。"""    if random.random() < EPS:        return random.choice([0, 1])    return 0 if q[g][s][0] > q[g][s][1] else 1 def train(use_her, episodes=1500):    """训练指定轮数，返回最终成功率。"""    # Q[目标][状态][动作]，目标是状态空间的一维，因此目标也参与索引    q = [[[0.0, 0.0] for _ in range(N)] for _ in range(N)]    hits = 0    for ep in range(episodes):        state = START        traj = []        for _ in range(MAX_STEPS):            a = pick_action(q, state, GOAL)            nxt = max(0, min(N - 1, state + (1 if a == 1 else -1)))            r = 1.0 if nxt == GOAL else 0.0            traj.append((state, a, r, nxt))            state = nxt            if r == 1.0:                break        # 用原始目标 GOAL 更新        for i, (s, a, r, ns) in enumerate(traj):            td_update(q, s, a, r, ns, GOAL, i == len(traj) - 1)        # if HER: 没到达目标时，用终点状态作新目标重放        if use_her and traj[-1][3] != GOAL:            g_new = traj[-1][3]  # 事后目标 = 终点状态            for i, (s, a, r, ns) in enumerate(traj):                r_new = 1.0 if ns == g_new else 0.0                td_update(q, s, a, r_new, ns, g_new, i == len(traj) - 1)        hits += 1 if traj[-1][3] == GOAL else 0    return hits / episodes if __name__ == '__main__':    # 关闭和开启 HER 各训练一轮，对比最终成功率    print("without HER success rate: %.3f" % train(False))    print("with HER success rate: %.3f" % train(True))

1. q = [[[0.0, 0.0] for _ in range(N)] for _ in range(N)]三维 Q 表，把“目标位置”也编入索引，让经验按目标分门别类
2. traj.append((state, a, r, nxt))无论成败原样保留轨迹，为 HER 提供可重标记的原料
3. td_update(q, s, a, r, ns, GOAL, i == len(traj) - 1)先用真实目标更新一次 Q 表，保证不偏离原始任务
4. if use_her and traj[-1][3] != GOAL:判断这局失败，HER 才开始介入
5. g_new = traj[-1][3]把终点状态任命为“事后新目标”，就像教练把炖肉改名为菜名
6. r_new = 1.0 if ns == g_new else 0.0按新目标重新计算奖励，负样本在这一步转正
7. hits / episodes统计真实目标上的成功率，终端输出对比结论

常见误区

面试题