稀疏奖励问题怎么破

可视化演示

动态演示稀疏奖励问题怎么破的核心机制，通过入门/进阶/实战/优化四种模式展示关键概念与交互流程。

稀疏奖励困境

旺财第一次进复式楼时，训练师决定“严格教育”：只有找到厨房骨头才给奖励。结果小狗在客厅转圈、爬上沙发、打翻水盆，始终没有摸到骨头，几十分钟后彻底躺平。对旺财来说，每走一步都像抛硬币，能不能撞上厨房全凭运气；对强化学习 Agent 而言，这就是稀疏奖励：绝大多数状态转移回报为零，学习信号弱到几乎不存在。

所谓“稀疏”，不是奖励数值小，而是奖励出现的频率极低。以迷宫寻宝为例，Agent 每一步都在房间网格里移动，只有走进终点格子那一瞬间才收到 1 分，其余 999 步全部是 0。策略网络看到一条全是零的轨迹，也不知道该加强哪个动作，梯度更新只是在原地打转。更麻烦的是，奖励无法在时间上回流：第 50 步往前走和往后退，对终点来说都一样遥远，Agent 无法从单次结果中分辨好坏。

这个现象可以写成最简单的奖励函数：

回看旺财，问题不是它笨，而是环境没有提供“中间进度条”。如果能让它在正确的方向上不断听到微弱的鼓励声，它就会重新燃起斗志。这正是奖励塑形要解决的事。

奖励塑形原理

训练师换了一种做法：在通往厨房的楼梯转角、客厅走廊、餐厅门口各放一片饼干。只要旺财往厨房方向靠近一步，它当场就能吃到饼干。这样一来，旺财不必等到最终大骨头，路径上的每一步都有“小目标”，它自然学会朝厨房方向移动。这个概念落到强化学习里，就是奖励塑形（Reward Shaping）。

核心思想是：在环境给出的原始奖励 \(r\) 之上，叠加一个额外的辅助奖励 \(F\)，用来引导 Agent 进入更接近目标的状态。但这个附加奖励不能乱加，否则可能改变任务的最优解。理论上有一个黄金法则：如果附加奖励是两个“势值”之间的折扣差分，那么原任务的最优策略不会改变。势函数 \(\Phi(s)\) 可以理解为“这个状态有多值得向往”。

塑形奖励的通用公式为：

为什么这个形式能保持最优策略不变？因为把一整条轨迹上的 \(F\) 累加起来，中间的势值正负相消，只剩首尾两个势差，相当于只在任务起点和终点各加了一个常数偏移，并不会让某条分叉路径突然变得更优。但要注意：若 \(\Phi\) 选错，比如把厨房旁边的厕所也设成高势值，旺财就会以为厕所也有骨头，绕着厕所打转——塑形是把双刃剑。

势函数落地

光是知道公式还不够，训练师得亲手给旺财画一张“好味地图”。最简单的一张地图，就是“离厨房越近，数字越高”。如果旺财在玄关，离厨房 6 米，地图上写 \(-6\)；到了餐厅门口，离厨房 2 米，地图上写 \(-2\)。每一次前进，势值从 \(-6\) 跳到 \(-2\)，塑形奖励就是正的，旺财立刻感到“这条路对了”。

在机器人的导航任务里，这种直觉非常常用。取目标状态 \(s_{\text{goal}}\)，定义任意状态 \(s\) 到目标的距离为 \(d(s, s_{\text{goal}})\)，那么势函数可以写成负距离：

实际落地时，领域知识非常关键。比如无人机避障任务中，可以把“危险区距离”也写进势函数，让 Agent 不仅向目标靠近，还主动远离障碍。塑形系数也要调节：系数太大，旺财会被饼干香迷住，宁可守在饼干堆里也不去厨房；系数太小，饼干和不存在一样，稀疏问题依旧。找到一个合适的“饼干密度”，是奖励塑形工程的日常。

内在动机基础

奖励塑形需要训练师手动设计，那如果训练师不在呢？这时候可以给旺财戴上一只“好奇心项圈”。项圈不告诉旺财厨房在哪，但只要它走进一个从没去过的房间，项圈就轻轻震动。旺财天生对新鲜气味好奇，震动会强化这种探索欲，让它主动把整栋楼逛遍，哪怕没有一块饼干。

这套思路在强化学习中叫内在动机（Intrinsic Motivation）。Agent 不再只依赖环境给的外部奖励 \(r_t^{\text{ext}}\)，而是自己生成一份探索奖励 \(r_t^{\text{int}}\)。公式很简单，总奖励是二者加权相加：

内在动机最大的价值，是在外部奖励长期为零时，依然为 Agent 提供不断变化的学习信号。它让“探索”本身变成一种回报，而不必等到任务成功。这也是为什么许多稀疏奖励实战项目，会先把好奇心奖励开起来，让 Agent 快速铺开状态覆盖范围，然后再慢慢降低 \(\beta\)，把注意力归还给真正的任务目标。

ICM好奇心

好奇心项圈具体是怎么“震动”的？ICM（Intrinsic Curiosity Module，内在好奇心模块）给出的答案是：预测误差。旺财走进新房间前，大脑会根据当前气味和环境，预测推开门后的气味；如果实际味道和预测差得很远，说明这间房“信息量大”，项圈就会猛烈震动。换句话说，越出乎意料的状态，内在奖励越高。

技术实现上，ICM 训练一个前向动力学模型：输入当前状态 \(s_t\) 和动作 \(a_t\)，预测下一个状态的特征 \(\hat{\phi}(s_{t+1})\)；同时用另一个编码器提取真实状态的抽象特征 \(\phi(s_{t+1})\)。两者的误差就是好奇心奖励：

ICM 还配套了一个反向模型：用相邻两个状态 \(s_t, s_{t+1}\) 去反推动作 \(a_t\)，强迫特征编码器保留与“我做了什么”有关的信息。这样，随风摆动的树叶、电视里的随机噪声等与动作无关的扰动，就不会被编码进特征里，避免旺财对着窗外发呆也能拿到高额好奇心奖励。

RND与工程实践

ICM 已经很好用，但有个隐患：如果房间里有一台不断播放随机画面的电视，旺财每次看到的画面都不同，预测误差永远降不下来，它会一直坐在电视前“刷新奇感”。这就是著名的“噪声电视”问题。RND（Random Network Distillation，随机网络蒸馏）换了一种思路，不再预测环境本身，而是预测一个“固定不变的抽奖机”。

RND 先随机初始化一个目标网络 \(f\)，它的参数冻结不动；再训练一个预测网络 \(\hat{f}_\theta\)，让它去模仿目标网络的输出。如果一个状态被 Agent 反复访问，预测器就能记住它的输出，误差变小；如果状态很陌生，预测器无从下手，误差就大。因此，误差本身就是新鲜度指标：

RND 最大好处是抗噪声：因为目标输出是固定的，哪怕电视画面千变万化，状态的特征编码是稳定可重复的，访问多次后预测误差会下降。工程上，RND 常配合 PPO 等策略梯度算法使用，给策略增加一个小的熵正则项；好奇心奖励也要做归一化和剪枝，避免单个异常状态带来的奖励尺度失真。若把奖励塑形比喻成“手动撒饼干”，好奇心就是“给旺财装上自动寻宝雷达”——两者可以同时使用，一个管方向，一个管新鲜感。

AI 应用场景

Python 演示

import random class GridWorld:    """6x6 网格世界，右下角为目标"""    def __init__(self, n=6):        self.n = n        self.goal = (n - 1, n - 1)        self.actions = [(0, 1), (0, -1), (1, 0), (-1, 0)]     def step(self, s, a):        r = max(0, min(self.n - 1, s[0] + a[0]))        c = max(0, min(self.n - 1, s[1] + a[1]))        ns = (r, c)        done = (ns == self.goal)        return ns, 1.0 if done else 0.0, done     def phi(self, s):        return -abs(s[0] - self.goal[0]) - abs(s[1] - self.goal[1])  class Agent:    def __init__(self, env, alpha=0.1, gamma=0.95, epsilon=0.2):        self.env = env        self.alpha = alpha        self.gamma = gamma        self.epsilon = epsilon        self.q = {}     def get(self, s, a):        return self.q.get((s, a), 0.0)     def choose(self, s):        if random.random() < self.epsilon:            return random.choice(self.env.actions)        qs = [self.get(s, a) for a in self.env.actions]        best_q = max(qs)        best = [a for a, q in zip(self.env.actions, qs) if q == best_q]        return random.choice(best)     def learn(self, s, a, r, ns, done):        target_next = max(self.get(ns, a2) for a2 in self.env.actions)        target = r + self.gamma * target_next * (0 if done else 1)        self.q[(s, a)] = self.get(s, a) + self.alpha * (target - self.get(s, a))  def train(use_shaping, episodes=3000):    env = GridWorld()    agent = Agent(env)    scores = []    for _ in range(episodes):        s = (0, 0)        total = 0.0        for _ in range(50):            a = agent.choose(s)            ns, reward, done = env.step(s, a)            if use_shaping:                reward = reward + agent.gamma * env.phi(ns) - env.phi(s)            agent.learn(s, a, reward, ns, done)            total += reward            s = ns            if done:                break        scores.append(total)    return agent, scores  if __name__ == "__main__":    random.seed(42)    _, sparse = train(False)    _, shaped = train(True)    print("sparse 最后100次平均奖励:", round(sum(sparse[-100:]) / 100, 3))    print("shaped 最后100次平均奖励:", round(sum(shaped[-100:]) / 100, 3))

1. return ns, 1.0 if done else 0.0, done这是稀疏奖励核心：只有终点给 1，其他状态全部给 0。
2. reward = reward + agent.gamma * env.phi(ns) - env.phi(s)实现势函数塑形 \(F = \gamma\Phi(s')-\Phi(s)\)。
3. agent.learn(s, a, reward, ns, done)用塑形后的奖励更新 Q 表，让 Agent 学到“往目标靠近更有利”。
4. total += reward累计每个 episode 的真实奖励，用于比较两种训练效果。
5. random.seed(42)固定随机种子，保证稀疏和塑形两组实验跑在同样的动作随机序列上，对比公平。

常见误区

面试题