小琳是一名初三学生，每天的数学学习像坐过山车：今天因为公式记错丢了分，她就连夜背公式，结果第二天栽在应用题上；昨天应用题丢分，她又疯狂刷应用题，基础计算却开始出错。班主任一针见血：“你只盯着最近的错题学，当然会矫枉过正。”她建议小琳准备一个错题本，把每道错题的“题目、当时的思路、正确解法”都记下来，每天闭眼随机抽几道过去的错题重做。奇妙的是，小琳的成绩不再大起大落。 这个故事，正是深度强化学习 DQN 中“经验回放”（Experience Replay）的真实写照。智能体是做题的小琳，环境是数学卷子，一条条“经验”是错题，错题本是回放缓冲池，随机抽题复习是批量采样。没有回放的深度 Q 网络，只会被最近几条强相关的经验牵着鼻子走，训练曲线剧烈震荡甚至发散；有了回放，学习才能稳定收敛。

岗位关联

对 AI 从业者的价值：经验回放是与目标网络并列的 DQN 两大稳定器之一，掌握它能让你读懂并调优 DQN、Double DQN、SAC 等主流算法，是排查强化学习训练发散问题的第一把钥匙。

目录
  1. 可视化演示
  2. 回放原理解析
  3. 缓冲池设计
  4. 样本去相关
  5. 采样策略
  6. 目标网络配合
  7. 稳定性提升
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

动态演示DQN经验回放的核心机制，通过基础/核心/应用/扩展四种模式展示关键概念与交互流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

DQN经验回放：经验回放 经验回放的原理与设计动机 Replay Buffer的数 核心机制可视化 DQN经验回放整体架构与关键组件

回放原理解析

错题本要记什么？不能只写“这题错了”，必须写清楚“题目是什么、我当时怎么想、标准答案是什么、错在哪一步”。这样复习才有据可依。经验回放记录的不是零散碎片，而是一个完整的“四元组”。小琳每天把错题整理成一页页笔记，这就是智能体在环境中每走一步留存的“经验”。

在 DQN 中，智能体与环境每交互一步，就产生一条经验“状态、动作、奖励、下一状态”，记作 (s, a, r, s′)。这条经验带着时间戳被写入一个叫“回放缓冲池”的容器。训练时，DQN 并不用“刚发生的那一步”立刻更新网络，而是从缓冲池里均匀随机抽取一小批经验——就像小琳复习时闭上眼睛随手抽几道过去的错题。

同样的经验可以被反复使用多次，数据利用率大幅提升。更重要的是，一批“过去的经验”共同决定一次参数更新，而不是被最近一步牵着走。DQN 的损失函数可以写成：

小琳的错题本越记越厚，她的复习不再依赖“最近一次考试的运气”；DQN 的每次更新也建立在整本历史经验之上，这正是它能在 Atari 游戏上稳定学习的第一块基石。

L(θ)=E(s,a,r,s′)∼D[(r+γmax⁡a′Q(s′,a′;θ−)−Q(s,a;θ))2]\displaystyle \mathcal{L}(\theta) = \mathbb{E}_{(s,a,r,s') \sim \mathcal{D}} \left[ \left( r + \gamma \max_{a'} Q(s', a'; \theta^{-}) - Q(s, a; \theta) \right)^2 \right]
这个公式是 DQN 的“学习任务书”：从错题本里抽一批经验，把“标准答案目标”和“自己当前的估计”的差距平方平均，再让网络沿着缩小差距的方向更新参数。
  1. 经验四元组$(s, a, r, s') \sim \mathcal{D}$ 表示从缓冲池 $\mathcal{D}$ 中取出的一条样本，它依次是“状态、动作、奖励、下一状态”。
    (s,a,r,s′)(s, a, r, s')
  2. 期望与均匀采样$\mathbb{E}_{(s,a,r,s') \sim \mathcal{D}}$ 表示对从缓冲池中随机抽取的一批经验求平均，这正是“闭眼抽错题”的数学写法。
    E(s,a,r,s′)∼D[⋅]\mathbb{E}_{(s,a,r,s') \sim \mathcal{D}}[\cdot]
  3. TD 目标$r + \gamma \max_{a'} Q(s', a'; \theta^{-})$ 是“标准答案”，由当前奖励加上对未来最优价值的折扣估计构成，其中的 $\theta^{-}$ 是目标网络参数。
    y=r+γmax⁡a′Q(s′,a′;θ−)y = r + \gamma \max_{a'} Q(s', a'; \theta^{-})
  4. 当前估计$Q(s, a; \theta)$ 是训练网络对“当前状态下选这个动作值多少钱”的打分，分数越高说明动作越好。
    Q(s,a;θ)Q(s, a; \theta)
  5. 平方差距$(目标 - 估计)^2$ 度量标准答案与自己打分的差距，训练过程就是不断最小化这个差距，让打分越来越准。
    (y−Q(s,a;θ))2\left( y - Q(s, a; \theta) \right)^2

缓冲池设计

错题本用久了会越来越厚。小琳发现，小学一年级“1+1“的错题对初三毫无帮助，而且书包根本装不下。所以她每月清理一次，只保留最近两个月的题。经验缓冲池同样有容量上限 $N$：新经验不断写入，当总量超过 $N$ 时，最旧的记录被无情覆盖，这叫”先进先出”（FIFO）。

容量怎么定？如果太小，缓冲池只剩“最近两三页”，随机抽题和“只学今天的错题”没区别，去相关效果尽失；如果太大，存储和采样开销上升，而且早期策略很菜时积累的“过时经验”会长期占用空间，干扰当前学习。实践中，缓冲池容量常取 $10^4$ 到 $10^6$ 量级，既要装得下多样经验，又要让旧经验自然退场。

这一“装新、挤旧”的过程可以形式化为：

所以缓冲池设计本质是“新旧经验的权衡”：留太久，经验过时；留太短，相关性反弹。小琳每月清一次错题本，DQN 每次覆盖最旧的样本——都是为了在“记住”与“忘记”之间找到平衡点。

et=(st,at,rt,st+1),D←D∪{et},若  ∣D∣>N,则删除最旧的经验\displaystyle e_t = (s_t, a_t, r_t, s_{t+1}), \quad \mathcal{D} \leftarrow \mathcal{D} \cup \{e_t\}, \quad 若\; |\mathcal{D}| > N, 则删除最旧的经验
缓冲池就像一个“有页数上限的错题本”：新错题贴进来，太老的一页就撕掉，保证每一次随机抽取都来自一个“最近又多样”的经验集合。
  1. 生成经验$e_t = (s_t, a_t, r_t, s_{t+1})$ 表示智能体在时刻 $t$ 与环境交互一步后得到的完整记录。
    et=(st,at,rt,st+1)e_t = (s_t, a_t, r_t, s_{t+1})
  2. 追加进池$\mathcal{D} \leftarrow \mathcal{D} \cup \{e_t\}$ 表示把新经验加入现有集合，数学上写作集合并运算，程序上就是"append"。
    D←D∪{et}\mathcal{D} \leftarrow \mathcal{D} \cup \{e_t\}
  3. 容量判断与淘汰当集合大小 $|\mathcal{D}|$ 超过上限 $N$ 时，删除最早加入的那条经验，保证缓冲池永远不会溢出。
    ∣D∣≤N|\mathcal{D}| \le N

样本去相关

小琳发现，如果只复习今天的错题，题目往往来自同一套卷子、同一章节，思路高度相似。这种“偏食”让她对某种题型过度敏感：连续几道都是追及应用题，她就误以为整个数学都是应用题。DQN 的在线训练同样如此——相邻时间步的状态、动作、奖励天然高度相关，好比连续抽到同一章节的题。

用强相关样本做小批量梯度下降，梯度方向严重偏斜，参数更新忽左忽右，损失曲线随之剧烈震荡。这就像小琳连着三晚只做一元二次方程，第四天遇到一次函数反而不会了。回放缓冲池的随机采样，恰恰把“按时间排列”的经验打散重排，让一个小批量里的样本来自缓冲池的各个角落，近似满足统计学习最爱的“独立同分布”假设。

批量梯度因此更接近真实方向，状态分布也被抹平。数学上，回放后的梯度估计为：

“偏食”的小琳改成随机抽题后，各章节的题都能复习到；DQN 也因随机采样获得了多样而平稳的数据流，这是它训练稳定的第二个秘密。

∇θL≈1M∑i=1M∇θ(yi−Q(si,ai;θ))2,(si,ai,ri,si′)∼U(D)\displaystyle \nabla_\theta \mathcal{L} \approx \frac{1}{M} \sum_{i=1}^{M} \nabla_\theta \left( y_i - Q(s_i, a_i; \theta) \right)^2, \quad (s_i, a_i, r_i, s_i') \sim U(\mathcal{D})
均匀随机采样 $U(\mathcal{D})$ 是“去相关”的引擎：它把时间上紧挨着的样本拆散，让同一批训练数据覆盖多种状态，梯度更新不再被最近几步绑架。
  1. 批量大小$M$ 是一次参数更新所用的样本条数，类似小琳每次随机抽 5 道错题一起复习。
    MM
  2. 均匀采样$(s_i, a_i, r_i, s_i') \sim U(\mathcal{D})$ 表示每条经验被抽中的概率相等，与它产生的时间先后无关。
    (si,ai,ri,si′)∼U(D)(s_i, a_i, r_i, s_i') \sim U(\mathcal{D})
  3. 平均梯度$\frac{1}{M} \sum_{i=1}^{M} \nabla_\theta (\cdot)$ 把 $M$ 条样本各自的梯度方向取平均，作为本次更新的方向。
    1M∑i=1M∇θ(⋅)\frac{1}{M} \sum_{i=1}^{M} \nabla_\theta (\cdot)

采样策略

小琳发现，有些错题“含金量”特别高——比如那道差点让她改错公式的题，多复习几遍收益极大。于是她在这些题上标了星，复习时优先多抽。均匀随机采样虽然简单，却把所有经验一视同仁，哪怕有些样本早已学透、误差极小。优先经验回放（Prioritized Experience Replay)正是给样本“标星”。

星标怎么定？一个自然的指标是 TD 误差的绝对值：网络预测与目标差距越大，说明这条经验越“值得学”。有了星标，还要控制抽题偏好——用超参数 $\alpha$ 调节“标星的影响力”：$\alpha=0$ 退化为均匀采样，$\alpha$ 越大越偏向高优先级样本。但偏向采样会改变数据分布，必须用重要性权重把偏差拉回来，保证梯度估计无偏。

优先采样的概率与修正权重为：

标星抽题让小琳把精力花在最值得的题上；优先回放让网络聚焦高误差经验，同时用权重修正保持稳定。采样策略的进阶之路，就是“效率”与“无偏”的平衡艺术。

P(i)=piα∑kpkα,pi=∣δi∣+ϵ,wi=(N⋅P(i))−β\displaystyle P(i) = \frac{p_i^{\alpha}}{\sum_{k} p_k^{\alpha}}, \qquad p_i = |\delta_i| + \epsilon, \qquad w_i = (N \cdot P(i))^{-\beta}
优先级 $p_i$ 是“错题的星标数”，采样概率 $P(i)$ 是“被抽到的机会”，修正权重 $w_i$ 则是抽完星标题后给普通题补上的一句“别太偏心”。
  1. TD 误差$\delta_i$ 是第 $i$ 条经验的标准答案与当前估计之差，误差越大说明网络越没学会。
    δi=yi−Q(si,ai;θ)\delta_i = y_i - Q(s_i, a_i; \theta)
  2. 优先级设定$p_i = |\delta_i| + \epsilon$ 取误差绝对值并加一个小常数 $\epsilon$，防止某条样本概率为 0 永远不被抽中。
    pi=∣δi∣+ϵp_i = |\delta_i| + \epsilon
  3. 归一化概率$P(i) = p_i^{\alpha} / \sum_k p_k^{\alpha}$ 让所有样本被抽中的概率之和为 1，$\alpha$ 控制偏向强度。
    P(i)=piα∑kpkαP(i) = \frac{p_i^{\alpha}}{\sum_{k} p_k^{\alpha}}
  4. 重要性权重$w_i = (N \cdot P(i))^{-\beta}$ 用采样概率的倒数给样本加权，抵消“标星抽题”带来的分布偏差。
    wi=(N⋅P(i))−βw_i = (N \cdot P(i))^{-\beta}

目标网络配合

小琳的同学小刚闹过笑话：他一边做题，一边拿“自己刚写出的答案”当标准答案对题，结果答案随着做题在变，他怎么都对不上，最后彻底崩溃。小琳的错题本则把“标准答案页”固定下来，每月更新一次，对答案时才不会自欺欺人。DQN 里也有这样一份“标准答案页”——目标网络。

训练网络 $Q(s,a;\theta)$ 负责打分和决策；目标网络 $Q(s,a;\theta^{-})$ 负责提供 TD 目标里的“未来最优价值”。目标网络的参数平时被冻结，只有每过 $C$ 步，才把训练网络的参数复制给它。这相当于标准答案册每月校订一次，平时讲课、改错都按这本固定的答案来，避免“答案跟着题目跑”。

没有目标网络时，更新目标和被更新的参数指向同一个网络，目标会随网络一起漂移，学起来就像追自己的影子。经验回放解决“样本相关”，目标网络解决“目标漂移”，两者各司其职，缺一不可：

小琳每月订正一次标准答案页，DQN 每 $C$ 步同步一次目标网络。固定的目标让小琳“对答案”时心中有数，也让网络更新方向稳定可循。

yi=ri+γmax⁡a′Q(si′,a′;θ−),θ−←θ(每 C 步)\displaystyle y_i = r_i + \gamma \max_{a'} Q(s_i', a'; \theta^{-}), \qquad \theta^{-} \leftarrow \theta \quad (\text{每 } C \text{ 步})
目标网络是被冻结的“标准答案册”：训练时答案固定不变，每隔 $C$ 步才按最新学习成果修订一次，让 TD 目标在两次修订之间保持稳定。
  1. 目标任务$y_i = r_i + \gamma \max_{a'} Q(s_i', a'; \theta^{-})$ 使用目标网络参数 $\theta^{-}$ 计算未来价值，与训练网络断开直接联系。
    yi=ri+γmax⁡a′Q(si′,a′;θ−)y_i = r_i + \gamma \max_{a'} Q(s_i', a'; \theta^{-})
  2. 冻结间隔每 $C$ 步执行一次参数复制，$C$ 越大目标越稳定，但太大也会让目标过时。
    每 C 步\text{每 } C \text{ 步}
  3. 参数同步$\theta^{-} \leftarrow \theta$ 表示把训练网络的参数整体复制给目标网络，完成一次“标准答案订正”。
    θ−←θ\theta^{-} \leftarrow \theta

稳定性提升

坚持做错题本三个月后，小琳的成绩稳定在年级前十。班主任总结：错题本让学习不再被每一次小考的偶然情绪绑架。DQN 的经验回放与目标网络联手，也是同样的道理——它们从两个源头降低了训练的不稳定：样本相关性和目标漂移。前者让梯度方向稳定，后者让学习目标固定。

从数学上看，随机采样的小批量梯度，其方差近似随批量大小 $M$ 增大而缩小；目标网络冻结后，TD 目标不再随参数每步抖动，又消除了目标抖动带来的额外方差。两者相加，梯度更新方向平滑，损失曲线稳步下降，智能体终于在复杂环境中扎下根来。

小琳的成绩从过山车变成稳步爬坡，DQN 的损失曲线从震荡发散变成平滑收敛。经验回放 + 目标网络这对“稳定双保险”，是深度强化学习从玩具走向实用最关键的一步。

Var[1M∑i=1Mgi]≈σ2M\displaystyle \mathrm{Var}\left[ \frac{1}{M} \sum_{i=1}^{M} g_i \right] \approx \frac{\sigma^2}{M}
方差公式说明“抽样本求平均”的力量：独立样本越多，更新的噪声越小，训练曲线越平滑——这正是经验回放让 DQN 稳定收敛的数学本质。
  1. 小批量梯度$\frac{1}{M} \sum_{i=1}^{M} g_i$ 是 $M$ 条独立样本梯度的平均值，代表一次参数更新的方向。
    1M∑i=1Mgi\frac{1}{M} \sum_{i=1}^{M} g_i
  2. 方差缩放$\mathrm{Var}[\cdot] \approx \sigma^2 / M$ 说明独立同分布样本的均值方差随 $M$ 增大按比例缩小，更新越发稳定。
    σ2M\frac{\sigma^2}{M}
  3. 目标冻结收益目标参数固定，TD 目标就固定，梯度的“目标噪声”被消除，整体方差进一步降低。
    θ−=const⇒方差降低\theta^{-} = \text{const} \Rightarrow \text{方差降低}

AI 应用场景

自动驾驶决策模型离线训练

阶段：离线训练与数据增强

解决的问题：实车采集的轨迹中，相邻视频帧和状态高度相关，直接在线训练会让网络对最近一段驾驶片段过拟合，遇到新场景就失灵。经验回放把海量驾驶片段存入缓冲池，随机采样打散时间相关性，让模型反复温习“罕见危险场景”，训练_loss 不再剧烈震荡。

具体案例：某自动驾驶仿真平台每天产生百万条驾驶经验，其中碰撞、急刹等危险样本占比不足 1%。工程师按 TD 误差给样本打优先级，优先回放高价值危险场景，模型在长尾场景下的决策失误率下降了 37%。

游戏 AI 策略迭代

阶段：策略评估与版本迭代

解决的问题：游戏对局数据按时间强相关，新版本 AI 若只用最近对局学习，会过度适应对手新打法，导致版本更新后胜率崩溃。经验回放从历史对局中持续采样，让 AI 保持对多种打法的稳健应对。

具体案例：某 MOBA 游戏人机对战机器人使用带优先回放的 DQN，每周从百万局历史对局中抽取代表性样本更新策略，胜率稳定在 40%-45% 区间，不因英雄版本调整而大幅波动。

推荐系统在线强化学习

阶段：在线学习与探索利用平衡

解决的问题：用户行为流高度非平稳，热门内容随时变化，在线更新的模型极易被最新流量带偏。经验回放让模型同时兼顾过去一段时间的多样化行为，避免“只盯着今天的热点”导致的策略摇摆。

具体案例：某电商推荐场景把用户点击、购买行为转化为 （状态，动作，奖励） 经验，存入容量百万级的回放缓冲池，按时间衰减加权采样，兼顾近期热点与长期兴趣，点击率提升 12% 且波动显著降低。

Python 演示

python96 行
"""经验回放缓冲池演示：记录经验、随机采样、对比有无回放的稳定性""" import random  class ReplayBuffer:    """经验回放缓冲池：相当于学生的错题本"""     def __init__(self, capacity):        self._memory = []          # 用列表模拟错题本        self._capacity = capacity     def push(self, s, a, r, ns, done):        """存入一条经验四元组 (s, a, r, s')"""        if len(self._memory) >= self._capacity:            self._memory.pop(0)    # 容量满时丢弃最旧经验        self._memory.append((s, a, r, ns, done))     def sample(self, batch_size):        """均匀随机采样：闭眼抽错题本，打破时间相关性"""        return random.sample(self._memory, batch_size)     def __len__(self):        return len(self._memory)  class QAgent:    """表格型 Q 学习智能体"""     def __init__(self, n_states):        self._q = [[0.0, 0.0] for _ in range(n_states)]        self._alpha = 0.5        self._gamma = 0.9     def choose(self, s, eps):        """epsilon 贪心选动作"""        if random.random() < eps:            return random.randint(0, 1)        return 0 if self._q[s][0] >= self._q[s][1] else 1     def best_q(self, s):        return max(self._q[s])     def update(self, s, a, target):        """Q 学习更新规则"""        self._q[s][a] += self._alpha * (target - self._q[s][a])  def walk(s, a):    """五格随机游走环境：0 号起点，4 号终点，到达即成功"""    ns = max(0, min(4, s + (1 if a else -1)))    done = (ns == 4)    return ns, 1.0 if done else 0.0, done  def train(with_replay, episodes=40):    """训练智能体小琳，返回每轮结束时的 Q 值轨迹"""    random.seed(7)    agent = QAgent(5)    buffer = ReplayBuffer(32)    trace = []    for _ in range(episodes):        s = 0        while True:            a = agent.choose(s, eps=0.3)            ns, r, done = walk(s, a)            target = r + agent._gamma * agent.best_q(ns) * (not done)            if with_replay and len(buffer) >= 4:                for es, ea, er, ens, edone in buffer.sample(4):                    et = er + agent._gamma * agent.best_q(ens) * (not edone)                    agent.update(es, ea, et)            else:                agent.update(s, a, target)            buffer.push(s, a, r, ns, done)            s = ns            if done:                break        trace.append(agent.best_q(0))    return trace  def std(vals):    """计算波动（标准差）：越小代表训练越稳定"""    mean = sum(vals) / len(vals)    return (sum((v - mean) ** 2 for v in vals) / len(vals)) ** 0.5  def main():    with_replay = train(True)    no_replay = train(False)    print("有回放: 末端Q=%.3f, 后10轮波动=%.3f" % (with_replay[-1], std(with_replay[-10:])))    print("无回放: 末端Q=%.3f, 后10轮波动=%.3f" % (no_replay[-1], std(no_replay[-10:])))  if __name__ == "__main__":    main()
目的：实现一个带容量上限的经验回放缓冲池，并在五格随机游走环境上对比“有回放”与“无回放”两种训练的 Q 值波动，直观看到回放让学习更稳定。
  1. if len(self._memory) >= self._capacity: self._memory.pop(0)容量满时弹出最旧经验，模拟错题本的“先进先出”淘汰策略。
  2. return random.sample(self._memory, batch_size)均匀随机抽样，是打破样本时间相关性的核心操作。
  3. def choose(self, s, eps)epsilon 贪心策略，以概率 eps 随机探索，否则按当前 Q 值选最优动作。
  4. target = r + agent._gamma * agent.best_q(ns) * (not done)计算 TD 目标，即“标准答案”。
  5. for es, ea, er, ens, edone in buffer.sample(4)从缓冲池抽 4 条历史经验并依次更新，这就是“回放”。
  6. trace.append(agent.best_q(0))记录每轮结束时的 Q 值，用于比较两种训练方式的稳定性。

常见误区

误区反正回放是为了多利用数据，那我把缓冲池容量设成一个亿，把所有历史经验都存着，数据越多肯定学得越好。

正解容量无限大的缓冲池会保留大量旧策略产生的过时经验。强化学习中经验分布随策略演化而改变，早期“菜鸟策略”攒下的样本与当前策略严重不匹配，会拖慢甚至污染学习。就像错题本如果一直留到小学一年级的"1+1"，复习时只会浪费时间。实践中要设容量上限，用 FIFO 让过时经验自然淘汰。

为何常见：直觉上“数据越多越好”，忽略了强化学习的非平稳特性——过去的经验会随着策略变好而贬值。

误区我用上了经验回放，怎么损失曲线还在震荡？是不是回放没起作用？

正解经验回放只解决“样本相关”这一种不稳定源；TD 目标由网络自己计算时，参数每步都在变，目标也随之漂移，相当于小刚拿“自己刚写的答案”当标准答案。必须配合目标网络冻结 + 周期复制，才能同时消除“目标漂移”。两者是双保险，缺一不可。

为何常见：把训练不稳定简单归因于样本相关，没有区分“输入分布不稳”与“监督目标不稳”两种不同来源。

误区既然优先经验回放听起来更高级，那所有任务我都直接上优先采样，均匀采样太落后了。

正解均匀采样在多数任务中已经够用，而且无偏、无额外开销；优先采样适合稀疏奖励或长尾分布的样本，但若不配合重要性权重修正，会引入分布偏差。这就像错题本一味猛抽最难的题，基础题反而生疏。是否用优先采样，取决于任务中是否有“一小撮高价值样本”。

为何常见：看到“优先”二字就认为严格更优，忽略了它引入的偏差与计算代价是有前提的。

误区经验回放效果这么好，那我把它加进 A3C、PPO 里，不是也能让它们更稳定吗？

正解A3C、PPO 是 on-policy 算法，要求训练样本来自当前策略。回放旧策略的经验会破坏这一假设，导致策略梯度估计有偏。经验回放只适用于 off-policy 算法（DQN 及其变体、DDPG、SAC），因为 off-policy 算法本来就允许用“别人/过去的策略”产生的数据学习。

为何常见：混淆了 on-policy 与 off-policy 的概念边界，把“效果好”误当成“无条件通用”。

面试题

Q1. 在 DQN 经验回放中，一条“经验”通常被记录为以下哪个四元组？

单选题 · easy

  • A.状态、动作、奖励、下一状态← 正确答案
  • B.状态、动作、策略、奖励
  • C.动作、奖励、回合、得分
  • D.奖励、状态、价值、策略

答案：A。经验四元组是 (s, a, r, s')，即状态、动作、奖励、下一状态，对应错题本上的“题目、答案、批改、订正”；选项 B、D 混入了策略、价值等不属于单步交互记录的字段，C 则缺少状态信息。

Q2. 经验回放主要解决 DQN 训练中的什么问题？

单选题 · easy

  • A.网络过深导致梯度消失
  • B.相邻样本强相关导致训练震荡← 正确答案
  • C.动作空间过大无法探索
  • D.奖励稀疏难以收敛

答案：B。在线训练时相邻时间步的经验高度相关，小批量梯度方向偏斜、更新震荡。经验回放通过随机采样打散时间相关性，像错题本随机抽题一样，让训练数据近似独立同分布。

Q3. 设计经验缓冲池时需要重点考虑哪些因素？

多选题 · mid

  • A.缓冲池容量上限← 正确答案
  • B.旧经验淘汰策略← 正确答案
  • C.采样批量大小← 正确答案
  • D.环境奖励函数

答案：ABC。容量上限决定保留多少经验，FIFO 淘汰策略决定旧经验如何退出，批量大小影响梯度方差；环境奖励函数属于环境设计范畴，不由缓冲池决定。如同错题本要考虑“留多少页、撕掉哪页、每次抽几道”。

Q4. 优先经验回放中，样本的优先级通常由什么决定？

单选题 · mid

  • A.奖励值的大小
  • B.TD 误差的绝对值← 正确答案
  • C.状态出现的频率
  • D.动作被选中的概率

答案：B。优先级 $p_i = |\delta_i| + \epsilon$ 由 TD 误差的绝对值决定，误差越大说明网络越没学会，越值得优先回放，相当于给“高含金量错题”标星；奖励大小与学习价值无必然正相关。

Q5. DQN 中目标网络的核心作用是？

单选题 · mid

  • A.增加模型的参数量
  • B.提供稳定的 TD 目标← 正确答案
  • C.压缩经验回放空间
  • D.代替训练网络采样

答案：B。目标网络参数被冻结，负责计算 TD 目标中的未来价值，避免目标随训练网络参数每步漂移。它不参与采样、不压缩经验，参数增加只是手段而非目的，类比“固定不变的标准答案册”。

Q6. 目标网络参数同步的典型做法是？

单选题 · hard

  • A.每个时间步都同步一次
  • B.每 C 步复制训练网络参数← 正确答案
  • C.训练结束后一次性同步
  • D.随机初始化后不再更新

答案：B。DQN 的标准做法是每 C 步把训练网络参数复制给目标网络（$\theta^{-} \leftarrow \theta$）。每步同步等于没有目标网络，训练结束才同步则目标长期过时，完全冻结则失去纠偏能力。

Q7. 关于经验回放打破样本相关性，下列说法正确的是？

单选题 · hard

  • A.按时间顺序依次采样即可
  • B.均匀随机采样可打破时间相关← 正确答案
  • C.增大学习率即可消除相关
  • D.删除所有相邻样本即可

答案：B。均匀随机采样让相邻时间步的经验不再连续出现在同一批训练数据中，从而打破时间相关性；按时间顺序采样保留了相关性，学习率与相关性问题无关，删除相邻样本则会丢失大量数据。

Q8. 经验回放为 DQN 带来的好处包括？

多选题 · mid

  • A.提高数据利用效率← 正确答案
  • B.平滑状态分布变化← 正确答案
  • C.降低更新梯度方差← 正确答案
  • D.增大状态空间维度

答案：ABC。同一经验可多次采样，提高数据利用率；随机采样抹平了状态分布的时间波动；小批量平均降低了梯度方差。状态空间维度由环境与特征定义决定，经验回放不改变它。

Q9. 优先经验回放引入重要性权重修正的目的有？

多选题 · hard

  • A.抵消采样不均匀偏差← 正确答案
  • B.保证梯度估计无偏← 正确答案
  • C.增大所有样本奖励
  • D.防止高优先级主导更新← 正确答案

答案：ABD。非均匀采样改变了样本分布，权重 $w_i = (N \cdot P(i))^{-\beta}$ 通过概率倒数抵消偏差、保证梯度无偏，同时也防止高优先级样本在更新中占比过大；权重修正与奖励大小无关。

Q10. 若智能体只用最近几步的经验训练而完全不用回放，最可能发生什么？

单选题 · easy

  • A.训练速度更快并且稳定
  • B.更新震荡甚至发散← 正确答案
  • C.模型参数永远不会变化
  • D.状态空间自动变小

答案：B。只用最近几步经验，样本强相关、分布剧烈波动，梯度方向忽左忽右，损失震荡甚至发散。这正是小琳“只盯着今天错题复习”导致成绩过山车的翻版。