想象一队登山者在浓雾弥漫的山地中寻找最高峰。他们的眼睛被蒙住了，只能靠脚下的坡度感知方向——哪边更陡就往哪边走，这就是策略梯度算法的直觉。但山地的地形千奇百怪：有的方向看似陡峭实则通向悬崖，有的方向看似平缓却暗藏捷径。如果登山者手里能有一张“地形曲率地图”，标出每片区域的凹凸起伏，就能把步子迈得更准、更稳。自然梯度思想为登山者绘制了这张地图（Fisher信息矩阵），而ACKTR算法则在“如何快速绘制并携带这张地图”上交出了漂亮答卷——它用Kronecker因子把庞大的地图折叠成小块，既保留曲率信息，又把绘制成本降了一个量级。本文将带你从策略梯度的基本动作出发，一路登顶，看清ACKTR的原理与优势。

岗位关联

对AI从业者而言，理解自然梯度与K-FAC，是攻克大规模策略优化、实现高样本效率强化学习的钥匙；也是从“能跑通算法”走向“能设计算法”的必经一步。

目录
  1. 可视化演示
  2. 1. 策略梯度基础
  3. 2. 步长与震荡
  4. 3. 自然梯度思想
  5. 4. Fisher矩阵计算
  6. 5. K-FAC近似分解
  7. 6. 信任域约束
  8. 7. ACKTR算法架构
  9. 8. 对比与应用
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示ACKTR如何利用Fisher信息矩阵校正梯度方向、K-FAC分解降低计算成本，以及与TRPO/A2C的算法对比。

本节配有交互动效（进入视口后自动加载，约 3KB）。

自然梯度曲率校正 标准SGD：沿负梯度方向更新，不考虑参数空间曲率，在陡峭方向震荡 自然梯度：用Fisher矩阵逆校正方向，适应黎曼曲率，收敛更快 K-FAC分解：大矩阵逆分解为小矩阵逆的Kronecker积，降低复杂度 更新：theta_new = theta - alpha * F^(-1) * grad Fisher信息矩阵提供损失曲面的二阶信息

1. 策略梯度基础

登山队出发前，每人要装备一个“导航仪”——也就是策略网络。这个导航仪根据当前坐标（状态）给出下一步的推荐路线（动作的概率分布）。参数 θ 表示导航仪内部的所有旋钮和设置，它决定了登山者在每一种地形下更倾向于迈出哪种步子。

登山者的终极目标是让整条登山路线上的累计补给（奖励）总和最大，这个目标记作 J(θ)。怎么调整导航仪的旋钮才能让补给更多？策略梯度定理给出了答案：沿着目标函数对 θ 的梯度方向做更新。直观地说，就是派出多名队员走几遍地形，统计“哪些动作带来了更多补给”，然后朝统计出的方向推动旋钮。

于是登山者的第一步动作很简单：走几遍地形，统计好动作与好补给，沿统计出的方向推一格参数。方向有了，但迈多大步的问题随之而来。

∇θJ(θ)=Eτ∼πθ[∑t=0T∇θlog⁡πθ(at∣st)Rt]\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta}\left[\sum_{t=0}^{T} \nabla_\theta \log \pi_\theta(a_t|s_t) R_t\right]
  1. 轨迹 τ 的含义登山者从起点到终点完整走出的一条序列（状态、动作、奖励的链条），期望符号表示对很多条轨迹的结果取平均。
    τ=(s0,a0,r0,s1,a1,r1,…,sT,aT,rT)\tau = (s_0, a_0, r_0, s_1, a_1, r_1, \dots, s_T, a_T, r_T)
  2. 折扣回报 R_t从第 t 步起往后拿到的所有奖励之和，越远的补给越“缩水”（乘折扣因子 γ），体现登山者更珍惜眼前的补给。
    Rt=rt+γrt+1+γ2rt+2+⋯R_t = r_t + \gamma r_{t+1} + \gamma^2 r_{t+2} + \cdots
  3. 评分函数\nabla_\theta \log \pi_\theta(a_t|s_t) 告诉导航仪：如果想让这个动作更常出现，旋钮应往哪个方向拧。
    ∇θlog⁡πθ(at∣st)\nabla_\theta \log \pi_\theta(a_t|s_t)
  4. 期望近似实际中我们只采样若干条轨迹，用它们的平均来估计期望——轨迹越多，估计的方向越准确。
    ∇θJ(θ)≈1N∑i=1N∑t∇θlog⁡πθ(at(i)∣st(i))Rt(i)\nabla_\theta J(\theta) \approx \frac{1}{N}\sum_{i=1}^{N}\sum_{t} \nabla_\theta \log \pi_\theta(a_t^{(i)}|s_t^{(i)}) R_t^{(i)}

2. 步长与震荡

有了方向，登山者还得决定迈多大步。普通策略梯度算法使用固定学习率 α，每步更新公式非常直白。麻烦在于：α 太小，登山者龟速爬行；α 太大，可能一步跨过山坡，在两侧来回摆动。更麻烦的是山地的“各向异性”——某个方向坡度平缓、另一个方向坡度陡峭，同一个步长在陡峭方向已经大步流星时，平缓方向几乎没挪窝。

A2C 这类算法正是这么做的，实现简单，却深受步长困扰。登山老手看一眼它们走出的路径就会摇头：那条锯齿形的轨迹，正是不看地形曲率的代价。

如果地形是均匀的圆碗，这个公式够用；可惜强化学习的损失面往往是狭长的峡谷地形，一个 α 根本无法同时满足各个方向的步幅需求。要突破瓶颈，必须引入地形曲率。

θk+1=θk+α∇θJ(θk)\theta_{k+1} = \theta_k + \alpha \nabla_\theta J(\theta_k)
  1. 参数迭代下标 k第 k 轮更新时登山者的站位坐标（参数向量）。
    θk\theta_k
  2. 学习率 α每步迈出的倍数系数，控制参数更新的幅度。
    α∈(0,1]\alpha \in (0, 1]
  3. 更新公式结构新站位 = 旧站位 + 步长 × 当前坡度方向，就是“沿着最陡坡走一小步”。
    θk+1=θk+α∇θJ(θk)\theta_{k+1} = \theta_k + \alpha \nabla_\theta J(\theta_k)

3. 自然梯度思想

自然梯度的核心洞察是：参数空间里的“距离”，不应用简单的欧氏距离衡量，而应看“策略被改变的程度”——即 KL 散度。Fisher 信息矩阵 F 正是 KL 散度局部二阶展开的曲率矩阵，相当于那张折叠好的“地形曲率地图”。有了 F，真正的“最速下降方向”不再是普通梯度 ∇J，而是经过地形校正的 F⁻¹∇J。

登山者拿到地图后，在平缓的方向可以放心放大步子，在陡峭的方向自动收小步子——每一步造成的“策略变化量”恒定。这就是自然梯度的优雅之处：无论地形多怪，每步迈出的“分布距离”都一样大。

自然梯度的收益很诱人，但代价也很现实——这张“曲率地图”本身并不便宜。Fisher 矩阵的尺寸随参数量平方增长，直接摊开地图可能比登山本身还贵。

θk+1=θk−αF−1∇θJ(θk)\theta_{k+1} = \theta_k - \alpha F^{-1} \nabla_\theta J(\theta_k)
  1. 曲率矩阵的来源Fisher 矩阵是 KL 散度在 θ 处的二阶展开系数，刻画了“参数动一点点，策略变多少”。
    DKL(πθ∥πθ+Δθ)≈12ΔθTFΔθD_{KL}(\pi_\theta \| \pi_{\theta+\Delta\theta}) \approx \frac{1}{2} \Delta\theta^T F \Delta\theta
  2. 地形校正后的梯度F⁻¹∇J 在平缓方向放大分量、在陡峭方向缩小分量，让最终更新方向真正指向分布空间中的最速下降方向。
    F−1∇θJ(θ)F^{-1} \nabla_\theta J(\theta)

4. Fisher矩阵计算

Fisher 矩阵的数学定义非常紧凑：它是评分函数外积在状态-动作分布下的期望。评分函数是一个 n 维列向量（n 为参数量），外积后得到一个 n×n 的方阵。这个矩阵的每个元素都记录着“两个参数方向上策略变化倾向的相关性”。

问题在于现代策略网络的参数量动辄数十万、上百万。n×n 矩阵光存储就需要 TB 级内存，求逆更是 O(n³) 的天文数字——直接计算完全不可行。登山者面对一张比山还大的地图，只能放弃展开它，转而寻找压缩的办法。

F=Es∼dπ,a∼πθ[∇θlog⁡πθ(a∣s)∇θlog⁡πθ(a∣s)T]F = \mathbb{E}_{s \sim d^\pi, a \sim \pi_\theta}\left[\nabla_\theta \log \pi_\theta(a|s) \nabla_\theta \log \pi_\theta(a|s)^T\right]
  1. 外积符号列向量乘以自己的转置，得到一个方阵；若参数有 n 个，矩阵尺寸为 n×n。
    ∇θlog⁡π ∇θlog⁡πT\nabla_\theta \log \pi \, \nabla_\theta \log \pi^T
  2. 对状态求期望状态按策略的稳态分布 d^π 出现，相当于在山地的各个区域采集曲率信息后取平均。
    Es∼dπ,a∼πθ[⋅]\mathbb{E}_{s \sim d^\pi, a \sim \pi_\theta}[\cdot]
  3. 内积含义F 度量了评分函数的方向相关性，即参数微调如何被“放大”为策略分布的变化。
    F⪰0,F∈Rn×nF \succeq 0, \quad F \in \mathbb{R}^{n \times n}

5. K-FAC近似分解

K-FAC（Kronecker-Factored Approximation）提供了一个聪明的压缩方案：把全连接层的 Fisher 矩阵近似拆成两个小矩阵的 Kronecker 积——输入激活的二阶矩 A 与输出梯度的二阶矩 G。大矩阵被折叠成两张小纸片，却保住了大部分曲率信息。

登山者不再需要扛着一张与山等大的地图，只需随身携带两条关键记录：一条关于“地形输入”的统计（A），一条关于“坡度反馈”的统计（G），用它们拼出的近似图已经足够指导每一步。K-FAC 把存储和求逆复杂度从 O(n²) 级别降到了可接受范围。

其中：

F≈A⊗GF \approx A \otimes G
A=E[aaT],G=E[δδT]A = \mathbb{E}[aa^T], \qquad G = \mathbb{E}[\delta\delta^T]
  1. Kronecker 积 ⊗把两个小矩阵按“块复制”的方式拼成一个大矩阵，dim(F) = dim(A) × dim(G)。
    (A⊗G)(i−1)q+j, (k−1)q+l=Ai,kGj,l(A \otimes G)_{(i-1)q+j,\,(k-1)q+l} = A_{i,k} G_{j,l}
  2. 激活二阶矩 A取网络某层输入向量 a，计算它与自身外积的期望，矩阵大小只看输入维度。
    A=E[aaT],A∈Rdin×dinA = \mathbb{E}[aa^T], \quad A \in \mathbb{R}^{d_{in} \times d_{in}}
  3. 梯度二阶矩 G取反传到该层的梯度 δ，计算外积期望，矩阵大小只看输出维度。
    G=E[δδT],G∈Rdout×doutG = \mathbb{E}[\delta\delta^T], \quad G \in \mathbb{R}^{d_{out} \times d_{out}}
  4. 复杂度骤降完整 F 是 n×n（n=d_in×d_out），K-FAC 只需存两个小矩阵，求逆也变成对小块求逆，成本从不可行降到实时可算。

6. 信任域约束

在 ACKTR 之前，TRPO 已经摸到了自然梯度的门。TRPO 是策略梯度家族中的“稳健派”：它要求每次更新前后策略的 KL 散度不超过阈值 δ，相当于给登山者画了一个“信任域”——你只能在半径 δ 的椭圆区域内规划路线，不许一步跨到悬崖对面。

把目标线性化、把 KL 约束做二阶展开后，TRPO 每一步要求解一个带约束的二次优化问题。它的最优解恰好就是自然梯度的方向，步长由 δ 自动调节。但 TRPO 每一步都要用共轭梯度法反复迭代求解，算力开销很大，登山者每走一步都要停下来仔细算半天地图。

TRPO 用“严格约束”换来了稳健性，却牺牲了迭代速度。下一步顺理成章：既然自然梯度方向就是信任域问题的解，那能不能不反复迭代，而是每步直接估算 F⁻¹ 来走自然梯度？

max⁡θ  ∇θJ(θk)T(θ−θk)s.t. 12(θ−θk)TF(θ−θk)≤δ\max_\theta \; \nabla_\theta J(\theta_k)^T (\theta - \theta_k)\qquad \text{s.t. } \frac{1}{2}(\theta - \theta_k)^T F (\theta - \theta_k) \leq \delta
  1. 信任域（KL 约束）更新前后策略的 KL 散度不超过 δ，二阶近似后正是上面的二次型，允许区域是参数空间中的一个椭圆球。
    12(θ−θk)TF(θ−θk)≤δ\frac{1}{2}(\theta - \theta_k)^T F (\theta - \theta_k) \leq \delta
  2. 线性化目标目标函数在 θ_k 处一阶展开，在小区域内把坡面近似成平面，优化问题变得可解。
    ∇θJ(θk)T(θ−θk)\nabla_\theta J(\theta_k)^T (\theta - \theta_k)
  3. 问题解的形式这个约束问题的解析解正是自然梯度方向，步长由 δ 自动确定：
    θ=θk+2δ∇JTF−1∇JF−1∇J\theta = \theta_k + \sqrt{\frac{2\delta}{\nabla J^T F^{-1} \nabla J}} F^{-1} \nabla J

7. ACKTR算法架构

ACKTR 把前面所有零件拼成一辆完整的越野车：Actor 网络输出策略，Critic 网络估计价值，两个网络都使用自然梯度更新，并且用 K-FAC 实时近似各自的 Fisher 矩阵。登山队里，导航员（Actor）负责定方向，地图员（Critic）负责评估当前位置好不好走，两人共享同一套折叠地图（K-FAC），每走一步只需瞬间查阅，不用停下来解大型方程组。

相较 TRPO，ACKTR 的每一步迭代成本低了一个数量级；相较 A2C，它多花一点运算却换来大幅更稳定的收敛。这就是“把曲率地图折进口袋”的威力。

θk+1=θk+αF^k−1∇θJ(θk)\theta_{k+1} = \theta_k + \alpha \hat{F}_k^{-1} \nabla_\theta J(\theta_k)
  1. K-FAC 近似逆F̂ 是当前步用 K-FAC 估计的 Fisher 近似矩阵，对其求逆等价于对两个小矩阵分别求逆。
    F^k−1≈Ak−1⊗Gk−1\hat{F}_k^{-1} \approx A_k^{-1} \otimes G_k^{-1}
  2. Actor-Critic 双网络Actor 更新策略参数，Critic 更新价值参数；Critic 为 Actor 提供更稳定的基线，降低策略梯度方差。
    ∇θJ(θ)=E[∇θlog⁡πθ(a∣s)(Q(s,a)−V(s))]\nabla_\theta J(\theta) = \mathbb{E}[\nabla_\theta \log \pi_\theta(a|s)(Q(s,a) - V(s))]
  3. 在线滚动更新A 与 G 由采样数据在线平滑更新，不需要存储完整的大矩阵，也不依赖多轮共轭梯度迭代。
    Ak=(1−β)Ak−1+β aaTA_k = (1-\beta) A_{k-1} + \beta \, a a^T

8. 对比与应用

ACKTR 的更新哲学可以用一个简洁式子概括。它站在 A2C 和 TRPO 之间：比 A2C 多看了地形曲率，比 TRPO 少算了迭代方程。用登山的话说，A2C 是“莽夫快跑”，TRPO 是“精确但缓慢的测绘队”，ACKTR 则是“带着折叠地图稳步快走的老手”。

从 A2C 到 TRPO 再到 ACKTR，策略梯度家族走过了“只看坡度 → 画曲率图 → 把图折进口袋”的演进路线。ACKTR 不是终点，但它让“地形感知的登山术”第一次变得实用——这也正是它被大规模强化学习任务广泛关注的原因。

A2C: θ←θ+α∇JACKTR: θ←θ+αF^−1∇J\text{A2C: } \theta \leftarrow \theta + \alpha \nabla J\qquad\text{ACKTR: } \theta \leftarrow \theta + \alpha \hat{F}^{-1} \nabla J
  1. 与 A2C 对比A2C 用普通梯度更新，相当于只看脚下坡度；ACKTR 用 K-FAC 近似自然梯度更新，收敛更平稳、样本效率更高。
    F^−1∇J≠∇J\hat{F}^{-1} \nabla J \neq \nabla J
  2. 与 TRPO 对比TRPO 用共轭梯度迭代求自然梯度，每一步都贵；ACKTR 在线估计 F̂⁻¹，单步成本接近普通 SGD。
    CostTRPO≫CostACKTR\text{Cost}_{\text{TRPO}} \gg \text{Cost}_{\text{ACKTR}}
  3. 适用场景参数量适中（百万以内）的策略网络最受益；环境奖励稀疏、地形崎岖的任务尤其需要曲率信息的“稳”，而不是纯梯度的“快”。

AI 应用场景

场景1：机器人连续控制

阶段：策略优化与训练

解决的问题：机械臂的动作空间是连续的，普通策略梯度步长难调，A2C 容易在训练中震荡发散；TRPO 虽稳但每步计算开销大，难以在线频繁更新。ACKTR 用 K-FAC 自然梯度兼顾了稳定与速度。

具体案例：仿真环境中训练机械臂完成物体抓取。使用 ACKTR 奖励曲线平滑上升，约 2 万步内到达高成功率；A2C 在相同步数内仍剧烈波动，TRPO 单步耗时约为 ACKTR 的 5 倍。

场景2：游戏AI（Atari/棋类）

阶段：样本高效强化学习

解决的问题：游戏环境每局产生大量轨迹，传统策略梯度样本利用率低，需要数十亿帧才能达到好分数。ACKTR 曲率感知带来了更高的样本效率。

具体案例：在 Atari Pong 中，ACKTR 比 A2C 更快达到高分；在围棋等棋类策略逼近中，ACKTR 能以更少的对局数据逼近较强策略，适合算力有限的团队探索复杂博弈。

场景3：数据中心节能控制

阶段：仿真与决策策略部署

解决的问题：数据中心制冷控制中，仿真实例昂贵，要求算法在极少的仿真轮次内学到稳定控制策略。ACKTR 的自然梯度避免了调参灾难，适合频繁在线更新。

具体案例：用 ACKTR 训练制冷策略，在有限仿真中学会根据负载与气温调节制冷功率，比传统 PID + 启发式方法节能约 15%，且训练过程无发散。

Python 演示

python37 行
import numpy as np  def loss(theta):    """模拟损失面：x 方向平缓，y 方向陡峭，类似狭长山谷。"""    x, y = theta    return 0.5 * x * x + 8.0 * y * y  def grad(theta):    x, y = theta    return np.array([x, 16.0 * y])  def ordinary_gd(theta0, lr=0.02, steps=30):    """普通梯度下降：只沿负梯度方向走。"""    theta = theta0.copy()    for _ in range(steps):        theta = theta - lr * grad(theta)    return theta  def natural_gd(theta0, lr=0.5, steps=30):    """自然梯度下降：用 Fisher 矩阵的逆校正梯度方向。"""    F = np.diag([1.0, 16.0])  # Fisher 矩阵：两个方向的曲率    F_inv = np.linalg.inv(F)    theta = theta0.copy()    for _ in range(steps):        theta = theta - lr * np.dot(F_inv, grad(theta))    return theta  if __name__ == "__main__":    theta0 = np.array([6.0, 3.0])    for name, fn in [("ordinary_gd", ordinary_gd), ("natural_gd", natural_gd)]:        result = fn(theta0)        print("%s final loss = %.6f" % (name, loss(result)))
目的：在二维椭圆损失面上演示普通梯度与自然梯度的收敛差异，直观展示 Fisher 曲率校正的价值。
  1. def loss(theta)定义模拟损失面（椭圆碗），对应正文中“山地地形”的海拔函数。
  2. F = np.diag([1.0, 16.0])构造 Fisher 矩阵，表示 x 和 y 方向曲率差异；这是“地形曲率地图”的二维版本。
  3. F_inv = np.linalg.inv(F)对 Fisher 矩阵求逆，曲率大的方向（16）缩放小，曲率小的方向（1）缩放大。
  4. theta = theta - lr * grad(theta)普通梯度更新，忽略曲率，在陡峭方向容易震荡。
  5. theta = theta - lr * np.dot(F_inv, grad(theta))自然梯度更新，用曲率校正方向，一步到位。
  6. print("%s final loss = %.6f" % ...)输出对比结果，自然梯度的最终损失远小于普通梯度。

常见误区

误区ACKTR 就是把 A2C 的梯度换成了 K-FAC 近似的矩阵，本质还是 A2C，没什么新思想。

正解ACKTR 的核心变化是把普通梯度换成基于 Fisher 矩阵的自然梯度，更新方向从“欧氏空间最速下降”变成“分布空间最速下降”。K-FAC 只是让这个方向算得起，思想层面的曲率感知与 A2C 有本质差异，二者更新方程完全不同。

为何常见：名字里既有 A2C 又有 K-FAC，表面看起来只是组件拼装，容易低估其思想跃迁。

误区Fisher 矩阵和 Hessian 不都是二阶导吗？数值应该差不多，可以互相替代。

正解对某些特定模型（如高斯分布拟合）二者恰好一致，但强化学习中的策略分布更复杂。Fisher 矩阵是评分函数外积的期望（一阶梯度的二阶矩），刻画“参数变化导致策略分布变化”的敏感度；Hessian 刻画目标函数本身的凹凸性。两者定义、计算代价和几何含义都不同。

为何常见：两者都是对称半正定矩阵，且在简单统计模型下数值巧合相同，容易混淆。

误区K-FAC 分解后和原 Fisher 矩阵完全等价，所以精度没有损失。

正解K-FAC 是近似：它假设输入与梯度之间的相关性可忽略、层间交互可简化，用两个二阶矩的 Kronecker 积逼近完整矩阵，存在近似误差。但实践中其方向与真实自然梯度高度一致，误差远小于完全忽略曲率。

为何常见：“分解”一词让人联想到精确的矩阵分解（如 Cholesky），忽略了“近似”二字。

误区既然 ACKTR 高效又稳，那就把 TRPO 全部换掉，任何任务上都更强。

正解ACKTR 的迭代算力更低，但由于 K-FAC 近似误差和缺少严格信任域机制，在部分小规模或分布式场景中 TRPO 的严格约束仍更稳健。性能优势取决于任务规模和网络结构，“迭代更快”不等于“整体更好”。

为何常见：论文基准结果常突出优点，读者容易忽略适用条件的边界。

误区自然梯度无非是自适应学习率技巧，相当于 Adam 优化器换个名字。

正解Adam 按每个参数的历史梯度范数做元素级缩放，仍在欧氏参数空间中行走；自然梯度则通过 Fisher 矩阵重新定义参数空间的坐标系，改变的是方向而不只是步长。两者数学结构完全不同。

为何常见：自然梯度确实有各方向分量缩放的效果，与自适应学习率表现相近，且“梯度”一词容易让人联想到优化器。

面试题

Q1. ACKTR 中的"KF"指什么？

单选题 · easy

  • A.Kronecker-Factored近似方法← 正确答案
  • B.Kalman Filter滤波方法
  • C.Kernel Function核函数方法
  • D.Knowledge Fusion知识融合方法

答案：A。ACKTR 全称 Actor-Critic using Kronecker-Factored Trust Region，"KF"指 Kronecker-Factored，即用 Kronecker 因子分解近似 Fisher 矩阵。故选 A。其余选项都是干扰项。

Q2. 自然梯度与普通梯度的核心区别是什么？

单选题 · mid

  • A.用Fisher矩阵逆对梯度做了曲率校正← 正确答案
  • B.使用比普通梯度更大的学习率
  • C.可以完全不需要采集环境轨迹
  • D.直接计算精确的Hessian矩阵求逆

答案：A。自然梯度的关键是 F⁻¹∇J，用 Fisher 矩阵逆校正梯度方向，在陡峭方向缩步、平缓方向放步。学习率大小不是本质区别，且自然梯度同样需要采样轨迹，D 中 Hessian 与 Fisher 并不等价。

Q3. Fisher 信息矩阵的维度由什么决定？

单选题 · easy

  • A.策略网络的参数个数← 正确答案
  • B.环境的状态空间大小
  • C.动作空间的维度大小
  • D.训练采样的轨迹数量

答案：A。Fisher 矩阵是 n×n 矩阵，n 为策略网络参数个数，与状态空间、动作空间和轨迹数量无关，故选 A。

Q4. K-FAC 分解的核心好处有哪些？

多选题 · mid

  • A.把大矩阵近似为小矩阵的Kronecker积← 正确答案
  • B.显著降低存储与求逆计算成本← 正确答案
  • C.保证自然梯度方向完全精确
  • D.将策略梯度的偏差减小到零

答案：AB。K-FAC 将大 Fisher 矩阵近似为小矩阵的 Kronecker 积，从而降低存储与求逆成本。它是近似方法，不能保证方向完全精确，也不能把梯度偏差归零，因此 C、D 错误。

Q5. ACKTR 与 TRPO 的更新方式有什么关系？

单选题 · mid

  • A.用K-FAC自然梯度近似TRPO的迭代求解← 正确答案
  • B.ACKTR完全复现了TRPO共轭梯度步骤
  • C.ACKTR与TRPO采用不同优化思想
  • D.ACKTR将目标改为最大化参数范数

答案：A。TRPO 每一步用共轭梯度迭代求解信任域问题，ACKTR 则用 K-FAC 在线估计自然梯度方向，免去迭代求解。二者优化思想同源而非不同，也并非完全复现。

Q6. 关于 ACKTR 中 Fisher 矩阵的估计，说法正确的有哪些？

多选题 · hard

  • A.用K-FAC在线维护输入协方差和梯度协方差← 正确答案
  • B.ACKTR不需要实际构造完整的n×n矩阵← 正确答案
  • C.Fisher矩阵可以对角化为单位矩阵
  • D.直接通过Hessian矩阵恒等变换得到

答案：AB。ACKTR 维护输入协方差 A 与梯度协方差 G，通过 Kronecker 积在线近似 Fisher 矩阵，无需构造完整 n×n 矩阵。C 项“对角化为单位矩阵”无依据，D 项混淆了 Fisher 与 Hessian。

Q7. 自然梯度更新在参数空间中的几何含义是什么？

单选题 · hard

  • A.在分布空间中以固定的KL步长最速下降← 正确答案
  • B.在欧氏空间中固定欧氏步长下降
  • C.沿Hessian特征向量方向做线性搜索
  • D.让返回最长的轨迹方向做线性搜索

答案：A。自然梯度通过 Fisher 矩阵重新定义了参数空间度量，使每步在分布空间（KL 散度）中移动固定的距离，并沿最速下降方向前进。它不固定欧氏步长，也不沿 Hessian 特征向量线性搜索。

Q8. 普通梯度在山地各向异性损失面上容易产生什么现象？

单选题 · easy

  • A.更新时出现反复锯齿震荡← 正确答案
  • B.更新参数几乎停止变化
  • C.自动跳入全局最优最小值
  • D.梯度数值必然溢出报错

答案：A。在狭长山谷形损失面上，普通梯度在陡峭方向反复过冲，形成锯齿震荡路径。它不会自动跳到全局最优，也不必然停止更新或数值溢出。

Q9. 在 ACKTR 中 Actor 和 Critic 网络的分工是什么？

单选题 · mid

  • A.Actor生成策略，Critic估计价值并提供基线← 正确答案
  • B.Actor和Critic严格共享全部参数
  • C.Actor是由Critic通过反向传播训练出来的
  • D.Actor和Critic互不共享任何计算结果

答案：A。Actor 输出策略 π(a|s)，Critic 估计价值 V(s) 并提供基线以减少策略梯度方差。二者共享 K-FAC 近似结构，但并非严格共享全部参数，Actor 也不由 Critic 训练生成。

Q10. 下列关于 ACKTR 优劣势的判断，正确的是哪些？

多选题 · extreme

  • A.迭代计算成本相比TRPO显著下降← 正确答案
  • B.保留曲率感知让策略更新更加稳健← 正确答案
  • C.完全消除了近似误差带来的风险
  • D.对超大规模网络仍需处理K-FAC近似误差← 正确答案

答案：ABD。ACKTR 单步成本远低于 TRPO，且因曲率感知比 A2C 稳健。但 K-FAC 是近似方法，对超大规模网络仍存在近似误差风险，C 项“完全消除”错误。故选 A、B、D。