想象你是一家米其林餐厅的主厨，面对不断变化的客人口味，你需要不断调整菜品配方。如果只有你一个人在厨房里慢慢试菜，一晚上只能尝试十几次，效率太低。聪明的做法是：招一批学徒厨师，给他们同一份菜谱，让他们各自在独立的灶台上试做、试吃、记录心得。学徒们不必互相等待——谁先想明白，谁就立刻跑到主厨身边，报告自己的改进建议。主厨汇总大家的智慧，快速更新菜谱，再发回给所有人。这样一晚上就能尝试上百次，而且因为大家用的食材、火候各不相同，得到的经验也五花八门，反而更不容易陷入“固守某一种口味”的僵局。 这就是 A3C（Asynchronous Advantage Actor-Critic，异步优势 Actor-Critic）的核心思想：让多个智能体（学徒）在多个环境副本（灶台）中并行探索，各自计算“这次动作比平均好多少”（优势），然后异步地把梯度更新（改进建议）提交给共享的全局模型（主厨）。“异步”解决效率问题，“优势”解决学习质量问题，两者合在一起，就是 A3C 的两大创新支柱。

岗位关联

对 AI 从业者而言，理解 A3C 的异步并行与优势估计机制，是掌握大规模分布式强化学习训练范式的基础——它直接影响你在真实项目中如何设计高效、稳定的训练架构。

目录
  1. 可视化演示
  2. 核心设计
  3. 异步并行
  4. 优势函数
  5. A2C与A3C
  6. 收敛优化
  7. 应用实践
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

异步去相关——降低样本相关性 各Worker独立探索不同轨迹 梯度天然去相关 异步更新≈经验回放效果

核心设计

主厨的厨房里原本只有一个人——一个 Actor（演员）负责做菜，一个 Critic（品鉴师）负责评价。A3C 的巧妙之处在于，它让主厨把厨房开成了连锁店：每一位学徒厨师都是独立的“ Actor-Critic 小分队”。他们共享主厨的“核心菜谱”（全局网络参数），但在各自的灶台（环境副本）上自由发挥。最妙的是，学徒们不需要互相等齐——谁有心得谁就即刻汇报，这就是“异步”；汇报的内容不是简单的“好吃/难吃”，而是“这道菜比平均水平好多少”，这就是“优势”。两个创新设计一辆马车，拖动了 A3C 在复杂任务中的卓越表现。

从技术角度看，A3C 属于策略梯度家族，它用一个神经网络同时输出策略 π(a|s) 和状态价值 V(s)。Actor 部分负责选择动作，Critic 部分负责评价当前状态。梯度的核心是策略梯度定理，它告诉我们应该朝哪个方向调整参数，使得高优势的动作更有可能出现。

策略梯度的更新方向由以下式子给出：

回到厨房的比喻：学徒端着菜来找主厨，不只是说“我做的这道菜客人很喜欢”（正回报），而是说“这道菜比我这段时间的平均水平高出不少”（优势）。这样主厨才能分辨：哪些进步是客人口味变化造成的（环境噪声），哪些是学徒手艺真的长进了（策略改进）。

∇θJ(θ)=Eπθ[∇θlog⁡πθ(a∣s)⋅A(s,a)]\displaystyle \nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta} \left[ \nabla_\theta \log \pi_\theta(a|s) \cdot A(s,a) \right]
通俗地说：这个公式告诉我们“多去做那些比平均结果好的动作”。A(s,a) 就是“优势”，它测量动作 a 在状态 s 下优于平均水平的程度。
  1. 梯度符号 \nabla_\theta J(\theta)表示参数 \theta 应该往哪个方向调整，才能使总收益 J(\theta) 变大。
    ∇θJ(θ)\displaystyle \nabla_\theta J(\theta)
  2. 概率对数 \log \pi_\theta(a|s)策略网络给动作 a 打出的概率分；取对数后，梯度会推动“好动作的概率上升”。
    ∇θlog⁡πθ(a∣s)\displaystyle \nabla_\theta \log \pi_\theta(a|s)
  3. 优势乘子 A(s,a)这个动作的超额收益。若为正，则概率上升；若为负，则概率下降。
    ×A(s,a)\displaystyle \times A(s,a)

异步并行

有了主厨和学徒的分工，下一步是怎么让厨房高效运转。注意，学徒们是在不同的灶台上做菜的——有的用明火，有的用蒸锅，有的用烤箱。为什么刻意让它们不同？因为如果所有学徒用同样的火候、同样的食材顺序，他们试出来的经验会高度雷同：今天客人爱吃辣，大家都学到了“加辣”，于是全部押注在辣味上，一旦明天口味变化就全盘崩溃。反之，如果大家各自探索不同的方向，经验就五花八门，主厨汇总后能得到更全面、更稳定的菜谱。

在学术语言里，这种雷同叫做“样本相关性”。传统的单智能体强化学习里，连续采集的样本高度相关，就像盯着同一块钟表看秒针，每秒钟看到的画面都差不多，信息量极低。A3C 用多个 worker 在多个环境副本中并行采样，每个 worker 的轨迹天然地“去相关”，合在一起，梯度估计的方差就显著降低，训练也就更稳定。

A3C 的异步更新可以用一个简洁的式子描述：每个 worker 从全局参数拉取最新参数，计算梯度后异步推送回全局参数：

其中每个 worker 的损失函数中既包含策略梯度项，也包含价值估计项。

厨房故事的妙处在于“推完即走”。学徒 A 汇报完立刻回自己灶台继续试菜，不用傻等学徒 B、C、D。不同学徒可能“各说各话”，甚至互相矛盾——但这恰恰是异步的美：在主厨那里，众多学徒的建议被平均化，矛盾被中和，真正有效的方向会被放大。

θglobal←θglobal−α∇θlocalL(θlocal)\displaystyle \theta_{global} \leftarrow \theta_{global} - \alpha \nabla_{\theta_{local}} L(\theta_{local})
这个式子的意思是：全局参数是主厨的菜谱，每个学徒用自己手头的理解（局部参数）算出改进方向（梯度），然后异步地让主厨调整菜谱。
  1. 同步拉取每个 worker 先获取全局最新参数 \theta_{global}，作为自己本次工作的起点。
    θlocal←θglobal\displaystyle \theta_{local} \leftarrow \theta_{global}
  2. 本地计算worker 在本地环境交互若干步，算出损失函数的梯度。
    ∇θlocalL(θlocal)\displaystyle \nabla_{\theta_{local}} L(\theta_{local})
  3. 异步推送按学习率 \alpha 更新全局参数，推完即走，不等待其他 worker。
    θglobal←θglobal−α∇θlocalL(θlocal)\displaystyle \theta_{global} \leftarrow \theta_{global} - \alpha \nabla_{\theta_{local}} L(\theta_{local})

优势函数

主厨最头疼的问题，不是收集不到反馈，而是反馈太“脏”。客人说“今天菜不错”，到底是菜真的做得好，还是客人本来就饿了？环境噪声就像客人的心情，它随机波动、与学徒的手艺无关。如果主厨把这种噪声当成学徒的进步来更新菜谱，就等于在错误的道路上加油门，训练自然摇摇晃晃、无法收敛。

优势函数（Advantage Function）正是为了解决“去噪”而生。它定义为“这个动作的实际回报 Q(s,a) 比该状态的平均价值 V(s) 高多少”。如果高出来的部分为正，说明这个动作确实优于平均水平，值得鼓励；如果为负，说明这是个糟糕的动作，即便回报是正的，也只是运气使然。在 A3C 中，优势函数通常用多步回报来估计，兼顾偏差与方差：

用优势替代原始回报，最大的收益是降低方差。就像做菜时去掉客人心情波动的影响，只保留“手艺本身的信号”，每个梯度的方向都更可信，训练曲线更平滑，收敛也更迅速。A3C 的“优势”两个字，是 Actor-Critic 方法演化过程中最漂亮的一笔。

A(s,a)=∑k=0n−1γkrt+k+γnV(st+n)−V(st)\displaystyle A(s,a) = \sum_{k=0}^{n-1} \gamma^k r_{t+k} + \gamma^n V(s_{t+n}) - V(s_t)
这个公式像厨师做“盲测”：让学徒连续做 n 道菜，记录客人反馈折现后的总和（第一项和第二项），再减去这位学徒平时的平均水平（第三项），剩下的才是“这次真正的手艺提升”。
  1. 多步回报折现求和把未来 n 步的即时奖励按折扣因子 \gamma 折算成当前价值，观测越多，越接近真实回报。
    ∑k=0n−1γkrt+k\displaystyle \sum_{k=0}^{n-1} \gamma^k r_{t+k}
  2. 状态价值预估用 Critic 网络估计第 n 步到达状态的价值，作为对更长未来回报的替代。
    γnV(st+n)\displaystyle \gamma^n V(s_{t+n})
  3. 减去基准线把上述总回报减去当前状态的价值 V(s_t)，差值即“超额表现”。扣除基准后，环境固有噪声被大幅消去，梯度方差显著降低。
    −V(st)\displaystyle - V(s_t)

A2C与A3C

现在，主厨面前摆着两种开连锁店的模式。第一种叫 A2C（同步）：所有学徒做菜做到一个固定节点，必须同时回到主厨身边，等所有人都到齐了，主厨才一次性汇总大家的建议、更新菜谱，然后大家一起出发。第二种叫 A3C（异步）：学徒谁做好了谁就回来，主厨随时接收随时更新，不用等人。听起来异步自由奔放、效率更高，那为什么还要同步呢？

同步 A2C 的核心优势是秩序。因为所有 worker 的更新是基于同一版全局参数计算出来的，梯度之间没有“时间差”，所以更新方向更一致，在有些任务上反而收敛更稳定。异步 A3C 虽然效率高，但 worker 可能用旧参数计算梯度，再推给已经更新过好几轮的全局模型，形成所谓的“陈旧梯度”（stale gradient）。在深度学习中，这种陈旧梯度有时像过时的新闻，不但无用，还可能误导决策。

我们用一张对照表看清两者的区别：

在实际工程中，A2C 因为便于在 GPU 上做大批量并行计算，有时反而比 A3C 更快；A3C 的优势在多核 CPU 环境下更明显——每个线程跑一个环境，成本极低，扩展性强。可以这样理解：如果你的团队沟通顺畅、能完美同步，A2C 就像一支默契的乐队；如果成员各有想法、节奏不一，A3C 反而像一锅融合了各地风味的乱炖，总能碰撞出新灵感。

ΔθA2C=−α1N∑i=1N∇Li(θt)vs.ΔθA3C=−α∇L(θτi)\displaystyle \Delta\theta_{A2C} = -\alpha \frac{1}{N} \sum_{i=1}^N \nabla L_i(\theta_t) \quad\text{vs.}\quad \Delta\theta_{A3C} = -\alpha \nabla L(\theta_{\tau_i})
左边 A2C 把 N 个 worker 的梯度加和取平均，同步且一致；右边 A3C 每个 worker 用自己当时的参数 \theta_{\tau_i} 独立更新，异步且相互交错。
  1. A2C 同步平均所有 worker 针对同一全局参数算好梯度，取平均后统一更新。
    ΔθA2C=−α1N∑i=1N∇Li(θt)\displaystyle \Delta\theta_{A2C} = -\alpha \frac{1}{N} \sum_{i=1}^N \nabla L_i(\theta_t)
  2. A3C 异步单点每个 worker 独立用 \theta_{\tau_i} 算梯度，各自推送，先到先更新。
    ΔθA3C=−α∇L(θτi)\displaystyle \Delta\theta_{A3C} = -\alpha \nabla L(\theta_{\tau_i})

收敛优化

哪怕有了异步并行和优势函数，训练仍可能震荡甚至发散。主厨发现，学徒们汇报得太频繁，每次调整菜谱的幅度太大，菜谱反而越改越乱。这时候需要给“更新步长”加上缰绳——让每次调整更温和一些。在强化学习中，这个“缰绳”就是学习率的调整策略。

A3C 在工程上常用两个技巧稳定训练。第一，调小学习率并给每个参数适配不同步长（RMSProp 优化器）：像对不同食材用不同火候一样，对更新频繁的参数用小步长，对更新稀疏的参数用大步长。第二，加入熵正则项：在损失函数里给策略的“随机性”加上激励，防止策略过早固化、陷入局部最优。如果我们用 H(π(·|s)) 表示策略的熵（混乱度），那么总的损失可以写成：

在厨房里，这条规则对应“时常换换菜单”。如果学徒永远只做最拿手的那道菜，虽然短期收益稳定，但一旦客人腻了就会崩溃。熵正则逼迫学徒时不时尝试新菜式，哪怕当下成绩稍差，长期来看反而能找到更广阔的发挥空间。

L(θ)=Lpolicy+cvLvalue−βH(π(⋅∣s))\displaystyle L(\theta) = L_{policy} + c_v L_{value} - \beta H(\pi(\cdot|s))
这个式子像厨师在“创新”与“稳定”之间找平衡：-\beta H 鼓励学徒大胆尝试新口味（探索），避免一味的保守重复。
  1. 策略损失 L_{policy}驱动策略朝高优势动作偏移，是 Actor 的主要学习信号。
    Lpolicy=−∇θlog⁡πθ(a∣s)A(s,a)\displaystyle L_{policy} = -\nabla_\theta \log \pi_\theta(a|s) A(s,a)
  2. 价值损失 L_{value}让 Critic 对状态价值的估计更准确，用均方误差衡量。
    Lvalue=12(Gt−Vθ(st))2\displaystyle L_{value} = \frac{1}{2}\left( G_t - V_\theta(s_t) \right)^2
  3. 熵正则项 \beta HH 是策略的熵，系数 \beta 控制探索强度。熵越大，策略越随机，越不容易钻进死胡同。
    −βH(π(⋅∣s))\displaystyle - \beta H(\pi(\cdot|s))

应用实践

学徒制度这套哲学，不只在米其林餐厅奏效，在现实世界的 AI 工程中同样大放异彩。A3C 的实践应用，可以理解为主厨在不同场景下开出的连锁分店。从训练游戏 AI 的智能体，到控制机械臂完成精细操作，再到数据中心的实时调度，A3C 都能借助异步并行与优势估计，在有限的计算资源下逼近最优策略。

在技术落地上，A3C 常用的环境是多核 CPU 平台：每个 worker 占用一个线程，与环境的交互、梯度的计算都在线程内完成，线程间通过共享全局参数通信。这种设计让 A3C 既不依赖昂贵的 GPU，又能获得可观的吞吐量。每当一个 worker 完成一轮“试菜”，就唤醒主厨更新菜谱；主厨更新完，其他 worker 在下一轮交互时自然拉到新参数。整个过程无需锁等待、无需跨进程通信，工程实现简洁高效。

需要强调的是，A3C 在设计上领先于那个时代，但它的异步思想和优势估计技巧至今仍是分布式强化学习的基石。即便今天出现了 IMPALA、APE-X 等更先进的框架，它们骨子里的多 worker 异步采样、经验回放、优势估计，都流淌着 A3C 的血液。

AI 应用场景

大规模游戏 AI 训练平台

阶段：训练加速与架构设计

解决的问题：在《星际争霸》《Dota》这类复杂游戏中，单智能体串行训练需要数周甚至数月才能见到效果，且样本相关性高、容易过拟合局部策略。A3C 的多 worker 异步采样让大量游戏副本同时运行，大幅压缩训练时间，同时优势函数保证了策略更新的质量。

具体案例：某游戏公司搭建了一个 16 工人的 A3C 训练集群，每个 worker 独立运行一个游戏环境副本，其中 4 个 worker 使用不同的探索策略。训练 24 小时后，智能体的胜率就已超过传统 PPO 串行训练 72 小时的成绩。异步并行带来的吞吐量优势展露无遗。

数据中心资源调度优化

阶段：策略优化与在线决策

解决的问题：数据中心每分钟要处理数以万计的作业调度请求，传统启发式算法无法应对动态负载。A3C 的异步架构天然匹配分布式部署——每个机架上的调度器是一个 worker，它们共享一个全局调度策略模型，各自根据本地负载反馈异步更新策略。

具体案例：某云厂商在 CPU 集群上部署了 A3C 调度器，40 个 worker 监控不同机架的 CPU/内存水位。相比原有启发式策略，作业平均等待时间降低 23%，资源利用率提升 12%。异步特性让调度系统在高峰时段也能实时响应，无需因等待同步而阻塞。

机器人操作技能习得

阶段：模拟训练与迁移

解决的问题：机械臂的精密操作（如抓取、插孔）如果只在实体机器人上试错，成本高昂且危险。A3C 可先在多个模拟环境中并行训练，每个 worker 模拟不同的摩擦系数、物体形状，学习到的策略天然具备鲁棒性，再迁移到真实机械臂上。

具体案例：某实验室使用 8 个 worker 在 MuJoCo 模拟器中并行训练机械臂抓取策略，每个 worker 的环境参数略有差异（物体大小、摩擦力不同）。训练后策略在真实机械臂上的零样本迁移成功率从 31% 提升到 58%，优势函数的低方差梯度功不可没。

Python 演示

python66 行
import threadingimport numpy as npimport gym class GlobalNet:    """共享全局参数（主厨的菜谱）"""    def __init__(self, state_dim, action_dim):        # 用极简线性层模拟 Actor-Critic 共享网络        self.theta = np.random.randn(state_dim, action_dim) * 0.1        self.v_param = np.random.randn(state_dim) * 0.1     def pull(self):        return self.theta.copy(), self.v_param.copy()     def push(self, grad_theta, grad_v):        self.theta -= 0.01 * grad_theta        self.v_param -= 0.01 * grad_v  def compute_advantage(rewards, values, gamma=0.99):    """多步优势估计：G - V(s_t)"""    advantages = []    G = 0    for r, v in zip(reversed(rewards), reversed(values)):        G = r + gamma * G        advantages.append(G - v)    return list(reversed(advantages))  def worker_fn(wid, global_net, state_dim, action_dim, episodes=50):    """单worker：独立环境采样并异步推送梯度"""    env = gym.make("CartPole-v1")    for ep in range(episodes):        state, _ = env.reset()    done = False    rewards, values, log_probs = [], [], []    while not done:        theta, v_param = global_net.pull()        # 简单 softmax 策略作为 Actor        logits = state @ theta        probs = np.exp(logits - np.max(logits))        probs /= probs.sum()        action = np.random.choice(action_dim, p=probs)        next_state, reward, done, _, _ = env.step(action)        rewards.append(reward)        values.append(state @ v_param)        log_probs.append(np.log(probs[action] + 1e-8))        state = next_state    advs = compute_advantage(rewards, values)    grad_theta = np.zeros_like(global_net.theta)    grad_v = np.zeros_like(global_net.v_param)    for lp, adv, s in zip(log_probs, advs, states):        grad_theta += lp * adv * s    global_net.push(grad_theta, grad_v)    env.close()  global_net = GlobalNet(4, 2)threads = []for wid in range(4):    t = threading.Thread(target=worker_fn, args=(wid, global_net, 4, 2))    threads.append(t)    t.start()for t in threads:    t.join()print("A3C 示例训练完成：全局参数已更新多次")
目的：用多线程模拟 A3C 的异步并行训练流程，演示全局网络、worker 协作、优势估计与梯度推送的完整闭环。
  1. import threadingPython 标准库，用它模拟 A3C 的多个 worker 并行执行。
  2. global_net.pull()worker 从全局网络拉取最新参数，就像学徒查看主厨的最新菜谱。
  3. compute_advantage()用多步回报减去状态价值，计算出“优势”（这道菜比平均水平好多少）。
  4. global_net.push(grad_theta, grad_v)worker 异步推送梯度，主厨立即更新菜谱，不等别人。
  5. threading.Thread(...)开 4 个 worker 线程模拟异步并行，线程之间天然独立、互不阻塞。

常见误区

误区很多初学者以为 A3C 的异步就是“用 GPU 并行计算”，以为换上显卡就能自动获得 A3C 的全部优势。

正解A3C 的“异步”特指 worker 之间不需要同步等待梯度的更新范式：每个 worker 独立采样、独立计算梯度、随时推送。GPU 加速只是计算层面的加速手段，与异步更新逻辑无关。A3C 的设计初衷甚至是在多核 CPU 上高效运行——每个线程跑一个环境副本，而不是依赖大规模 GPU 矩阵运算。

为何常见：因为深度学习时代 “GPU = 并行” 的直觉太深入人心，人们容易把“并行”和“异步”混为一谈，忽略了 A3C 中更新时序逻辑的本质创新。

误区“优势越大，说明奖励越大，所以优势函数就是奖励的另一种叫法。”

正解奖励 r 是环境给的原始反馈，优势 A(s,a) 是“这个动作在状态 s 下相对平均水平的超额表现”。一个动作的奖励可能是正数，但优势却可能是负数——比如在本来就能得 100 分的状态下只得了 90 分，奖励为正但优势为负。优势函数的关键作用是减去基线 V(s)、去除环境噪声，从而降低梯度方差，这是原始奖励做不到的。

为何常见：人们习惯用“反馈大小”来理解学习信号，忽略“相对水平”这一层相对性，所以在直觉上难以区分奖励与优势。

误区“A3C 是 A2C 的升级版，异步比同步先进，所以 A3C 在任何任务上都该更强。”

正解同步 A2C 的梯度基于同一版本参数算出，方向更一致，在 GPU 大规模并行场景下往往更快收敛；异步 A3C 则因陈旧梯度问题在部分任务上会有更大方差。两者各有适用场景：A2C 适合能整齐同步的计算环境，A3C 适合多核 CPU、强调吞吐量的部署。没有绝对意义上的“更好”。

为何常见：从命名上看 A3C 多了一个 “A“（Asynchronous），容易让人误以为是”高级版”，而忽略了同步/异步在方差和吞吐量上的本质权衡。

误区“A3C 用异步多 worker 来去相关，所以可以彻底丢弃经验回放缓冲区。”

正解A3C 确实不需要经验回放，原因是多个 worker 在多个环境副本中并行采样，天然打破了样本的时间相关性。但“不需要回放”是异步并行的结果，不是它的全部意义。经验回放还有其他作用（如数据复用、均匀采样），在设计分布式强化学习方案时仍需权衡。

为何常见：人们容易把“去相关”机制等同于“回放”的唯一目的，从而忽略了它们各自的工程角色和适用边界。

误区“现在有 PPO、SAC 这些新算法，A3C 已经过时，学了也没用。”

正解A3C 的异步并行范式和优势估计思想是所有现代分布式强化学习框架的基石。IMPALA 的 V-trace 优势估计、APE-X 的分布式采样器，处处可见 A3C 的设计影子。理解 A3C 能让你快速读懂更复杂的分布式强化学习系统，而不是把它当作文物考古。

为何常见：新手容易被“新算法更好”的营销话术带偏，忽略了算法背后的思想传承与方法演化。

面试题

Q1. A3C 中“异步”的主要含义是什么？

单选题 · easy

  • A.使用 GPU 加速模型训练
  • B.多个 worker 独立采样并随时推送梯度，无需互相等待← 正确答案
  • C.智能体异步地感知环境状态
  • D.数据在 CPU 与 GPU 间异步传输

答案：B。A3C 的“异步”指 worker 之间不需要同步等待，各自独立计算梯度、随时更新全局参数。A 是计算加速手段，C 与 D 都不是强化学习更新范式的概念。

Q2. 优势函数 A(s,a) 的定义是？

单选题 · easy

  • A.Q(s,a) 减去 V(s)← 正确答案
  • B.奖励 r 减去状态价值 V(s)
  • C.折扣回报 G 减去动作价值 Q(s,a)
  • D.即时奖励 r 本身

答案：A。优势函数是动作价值 Q(s,a) 与状态价值 V(s) 的差，衡量“这个动作比平均好多少”。B 不是标准定义，C 的符号反了，D 忽略相对水平。

Q3. A3C 中优势函数的主要作用是？

单选题 · mid

  • A.提高策略的探索性
  • B.降低梯度估计的方差← 正确答案
  • C.加快环境采样的速度
  • D.减少网络参数量

答案：B。优势函数减去基线 V(s)，去除了环境固有的随机噪声，从而降低策略梯度的方差。A 靠熵正则，C 靠并行采样，D 与优势无关。

Q4. 下列关于 A3C 与 A2C 的说法正确的是？

多选题 · mid

  • A.A2C 是同步更新，A3C 是异步更新← 正确答案
  • B.A3C 一定比 A2C 收敛更快
  • C.A3C 每个 worker 用自己当时的参数计算梯度← 正确答案
  • D.A2C 无法使用多线程并行

答案：AC。A 正确描述了二者核心区别；C 正确描述 A3C 的异步机制。B 错误——异步带来陈旧梯度问题，不一定更快；D 错误——A2C 同样可以并行，只是更新需要同步。

Q5. A3C 为什么不需要经验回放缓冲区？

单选题 · mid

  • A.因为优势函数会去相关
  • B.因为多个 worker 并行采样天然降低了样本相关性← 正确答案
  • C.因为经验回放会降低吞吐量
  • D.因为全局参数是共享的

答案：B。多 worker 在多个环境副本中独立采样，轨迹彼此交叠，时间相关性被打破，因此不需要经验回放。A 错误——优势函数降方差但不去相关；C、D 都不构成充分原因。

Q6. 在 A3C 的损失函数中加入熵正则项的目的是？

单选题 · hard

  • A.减小模型体积
  • B.鼓励策略探索，防止过早收敛到局部最优← 正确答案
  • C.提高优势函数的精度
  • D.保证异步更新的稳定性

答案：B。熵正则给策略的随机性施以正向激励，让动作分布不至过于集中，从而保持探索能力。它不改变模型大小、不影响优势计算，也与异步机制无直接关系。

Q7. A3C 中“陈旧梯度”（stale gradient）问题指的是？

多选题 · hard

  • A.梯度计算时间过长导致效率低
  • B.worker 用旧参数计算梯度，推送到已更新的全局模型← 正确答案
  • C.可能造成更新方向不准确← 正确答案
  • D.梯度过大导致梯度爆炸

答案：BC。陈旧梯度指 worker 基于旧版本参数计算梯度，推送时全局参数已更新，从而使梯度带有滞后性，可能误导更新方向。A 是计算性能问题，D 是梯度数值问题，都不是“陈旧梯度”的本义。

Q8. A3C 中每个 worker 的交互轨迹被用来做什么？

单选题 · mid

  • A.填充经验回放缓冲区
  • B.计算多步回报并估计优势← 正确答案
  • C.更新全局价值函数基线
  • D.直接拼接到全局网络

答案：B。worker 与环境交互得到轨迹，通过多步回报和状态价值估计出优势函数，再用优势加权策略梯度来推送。A 是 DQN 的做法，C 与 D 表述不准确。

Q9. 在 A3C 框架中，全局网络参数更新的时机是？

单选题 · hard

  • A.所有 worker 同步完成后
  • B.每个 worker 完成一段采样并计算完梯度后异步更新← 正确答案
  • C.环境 episode 结束后立即更新
  • D.每步与环境交互后都更新

答案：B。A3C 的核心是“谁先算完谁先更新”，worker 在完成一段采样后立即推送梯度。A 是 A2C 的做法；C 中 episode 结束并非唯一时机，多步 n-step 采样后即可更新；D 每步更新会造成过高的通信开销。

Q10. 以下属于 A3C 核心创新设计的是？

多选题 · easy

  • A.异步并行多 worker 训练← 正确答案
  • B.优势函数估计← 正确答案
  • C.注意力机制
  • D.经验回放

答案：AB。A3C 的两大支柱就是异步并行和优势估计。注意力机制是 Transformer 等结构的组件，经验回放是 DQN 家族的技术，两者均非 A3C 的标识性创新。