PPO与TRPO策略梯度算法对比

可视化演示

展示二叉搜索树的构建过程与查找路径，支持逐步插入节点和高亮搜索路径，直观呈现BST的有序性特征。

策略梯度基础

一片大雾笼罩的山脉，你被蒙住双眼，只凭脚下的坡度判断方向。目标是最高的山峰——也就是让累计奖励最大的那一套“步法”。在强化学习里，这套步法由策略网络表示，网络的权重参数 θ 就像登山者身上一个个可调节的“判断旋钮”：面对什么地形、迈出什么动作，都由它说了算。

登山者不可能一条路一条路试遍整个山脉，只能边走边看：走几步，感受坡度，朝最陡的方向调整步伐。这就是策略梯度方法的基本思路——让策略参数沿着目标函数 J(θ) 的梯度方向迭代更新。J(θ) 衡量的是“这套策略平均能拿多少分”。

$$\displaystyle J(\theta)=\mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_{t=0}^{T}\gamma^t r_t\right]$$

1. 策略参数 θ：策略网络里所有可学习的权重，相当于登山者身上决定“看到石头该绕还是该跳”的旋钮。

$$\displaystyle \theta\in\mathbb{R}^d$$

2. 轨迹采样 τ∼π_θ：让当前策略玩一整局，记录一串“状态-动作-状态-动作”的完整决策链，就像登山者走出一条完整的脚印路线。

$$\displaystyle \tau=(s_0,a_0,s_1,a_1,\ldots,s_T,a_T)$$

3. 折扣累计回报：把这一局里每一步获得的奖励 r_t 累加起来，γ 是折扣因子，越远期的奖励权重越低，等于“今天的糖果比明天的香”。

$$\displaystyle \sum_{t=0}^{T}\gamma^t r_t$$

4. 期望 E：对所有可能走出来的轨迹回报求平均，回答“这套策略平均下来能拿多少分”。

$$\displaystyle \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_{t=0}^{T}\gamma^t r_t\right]$$

有了 J(θ) 这座“山”和梯度这个“坡度计”，下一步的关键问题是：每一步究竟迈多大？迈小了登顶太慢，迈大了可能一脚踩空滚下山。TRPO 和 PPO 正是两种不同的“防摔方案”。

TRPO原理

现在来认识一位极度谨慎的登山者。他每次迈步前，都会从背包里掏出一台精密测量仪，扫过面前的地形，确认新落脚点与当前位置的“偏离程度”不超过某个阈值 δ，才肯踏出那一步。这位登山者就是 TRPO——信任区域策略优化。它给策略更新画了一个严格的“安全圈”，圈内行动自由，圈外寸步难行。

画出这个安全圈的尺子叫 KL 散度。通俗地说，KL 散度测量的是“新策略和旧策略的差别有多大”：数值越大，说明策略改动越剧烈。TRPO 的每一次更新都要求新旧策略的 KL 散度不超过 δ，这个约束就是“信任区域”的本体。由于带约束的优化问题很难直接求解，TRPO 采用了二阶优化：用费雪信息矩阵近似目标函数的曲率，再借助共轭梯度法高效求解更新方向，避免直接计算庞大的矩阵逆。

$$\displaystyle \max_\theta\ \hat{\mathbb{E}}_t\left[\frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{\text{old}}}(a_t|s_t)}\hat{A}_t\right]\quad \text{s.t.}\quad \hat{\mathbb{E}}_t\left[\text{KL}\left(\pi_{\theta_{\text{old}}}(\cdot|s_t)\,\|\,\pi_\theta(\cdot|s_t)\right)\right]\le\delta$$

1. 新旧策略比：同一个状态下，新策略选中某动作的概率除以旧策略的概率，衡量“这一步策略改了多少”。

$$\displaystyle r_t(\theta)=\frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{\text{old}}}(a_t|s_t)}$$

2. 优势函数估计 Â_t：这个动作相比平均水平好多少，等于“这一步踩得值不值”。

$$\displaystyle \hat{A}_t=Q(s_t,a_t)-V(s_t)$$

3. 替代目标：用概率比乘以优势，表示“沿用旧数据、策略推进后”预期获得的进步量。

$$\displaystyle \hat{\mathbb{E}}_t\left[r_t(\theta)\hat{A}_t\right]$$

4. KL 散度硬约束：强制新旧策略的平均 KL 散度不超过 δ，这是“安全绳”的数学形态。

$$\displaystyle \hat{\mathbb{E}}_t\left[\text{KL}\left(\pi_{\theta_{\text{old}}}(\cdot|s_t)\,\|\,\pi_\theta(\cdot|s_t)\right)\right]\le\delta$$

安全绳确实让人安心，但代价是每次迈步都要反复测量、迭代求解。背着几十斤的测量仪登山的 TRPO，在每一步上都精确克制，却也步履沉重。这让它在大规模、快节奏的训练场景中渐渐力不从心。

PPO原理

另一位登山者出现了。他没有背测量仪，只在鞋上装了一个限步器——规则极为简洁：“每步和上一段相比的偏离幅度不超过 ±20%，超了我就强制收脚。”这就是 PPO，近端策略优化。它用一种轻巧的“裁剪”操作替代了 TRPO 复杂的约束优化，让策略更新既快又不至于翻车。

PPO 的核心是一个裁剪后的目标函数。它同样计算新旧策略的概率比 r_t(θ)，但当 r_t(θ) 超出区间 [1−ε, 1+ε] 时，裁剪函数会把它强行拉回边界内。配合一个取小值的操作，PPO 能做到：当这个动作确实比平均好（优势为正），概率比不许超过 1+ε；当动作比平均差（优势为负），概率比也不许低于 1−ε。这等于给贪婪的更新戴上了一个软性的缰绳。

$$\displaystyle L^{\text{CLIP}}(\theta)=\hat{\mathbb{E}}_t\left[\min\left(r_t(\theta)\hat{A}_t,\ \text{clip}(r_t(\theta),\,1-\epsilon,\,1+\epsilon)\hat{A}_t\right)\right]$$

1. 概率比 r_t(θ)：与 TRPO 中含义完全相同，是连接两种算法的桥梁。

$$\displaystyle r_t(\theta)=\frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{\text{old}}}(a_t|s_t)}$$

2. 裁剪函数：将 r_t(θ) 压制在 [1−ε, 1+ε] 之间，超界的部分直接压回边界。

$$\displaystyle \text{clip}(r_t(\theta),\,1-\epsilon,\,1+\epsilon)$$

3. 取小值 min：在未裁剪目标和裁剪后目标之间选较小的。这个操作防止策略在优势为正时因为概率比过大而虚高得分。

$$\displaystyle \min\left(r_t(\theta)\hat{A}_t,\ \text{clip}(r_t(\theta),\,1-\epsilon,\,1+\epsilon)\hat{A}_t\right)$$

4. 期望汇总：对一批样本取平均，得到这一轮更新的总目标。

$$\displaystyle \hat{\mathbb{E}}_t\left[\min\left(r_t(\theta)\hat{A}_t,\ \text{clip}(r_t(\theta),\,1-\epsilon,\,1+\epsilon)\hat{A}_t\right)\right]$$

PPO 用极简的数学换来了极高的工程便利：没有二阶矩阵，没有共轭梯度迭代，只靠一次前向传播和一行裁剪代码。它牺牲了 TRPO 那种严格的“纸上保证”，却在实际训练中表现出了同样优秀的稳定性。

数学推导对比

把两位登山者的方法放到同一张图纸上对比，会发现它们其实是同一条路线上的两个分支。两者的共同起点是概率比 r_t(θ)——不管哪种算法，都要回答“新旧策略差了多少”。差别在于如何对待这个差值：TRPO 把它当作一道硬性关卡，超了就禁止更新；PPO 则把它当成一道软性护栏，超了只是“不再奖励你继续往外走”。

用优化语言说，TRPO 求解的是带约束的最大化问题，更新方向是考虑了地形曲率的二阶方向；PPO 则把约束折叠进目标函数里，用 min 和 clip 实现了近似的效果。TRPO 理论上保留了“单调改进”的安全承诺，但这个承诺建立在泰勒展开等近似之上，实际计算中未必能完全兑现；PPO 干脆放弃理论承诺，用大量实验证明了“裁剪带来的稳定性和性能并不输给硬约束”。

$$\displaystyle L^{\text{TRPO}}(\theta)=\hat{\mathbb{E}}_t\left[r_t(\theta)\hat{A}_t\right],\qquad L^{\text{PPO}}(\theta)=\hat{\mathbb{E}}_t\left[\min\left(r_t(\theta)\hat{A}_t,\ \text{clip}(r_t(\theta),\,1-\epsilon,\,1+\epsilon)\hat{A}_t\right)\right]$$

1. TRPO 目标（无裁剪）：替代目标直接等于概率比乘以优势，r_t 越大收益越高，贪婪且需要外部约束按捺。

$$\displaystyle L^{\text{TRPO}}(\theta)=\hat{\mathbb{E}}_t\left[r_t(\theta)\hat{A}_t\right]$$

2. PPO 目标（含裁剪）：给相同的式子加上 min 与 clip，约束从“外部强制”变成“内置刹车”。

$$\displaystyle L^{\text{PPO}}(\theta)=\hat{\mathbb{E}}_t\left[\min\left(r_t(\theta)\hat{A}_t,\ \text{clip}(r_t(\theta),\,1-\epsilon,\,1+\epsilon)\hat{A}_t\right)\right]$$

3. min 的机制：当裁剪后的目标更小时，取小值会压制原目标，逼迫梯度不再鼓励策略继续外移。

$$\displaystyle \min(a,b)=\begin{cases}a,&\text{if }a\le b\\b,&\text{otherwise}\end{cases}$$

4. ε 的语义：裁剪边界 [1−ε, 1+ε] 相当于一个软信任区域的半径，ε 越大允许策略迈得越远。

$$\displaystyle \epsilon\in(0,1),\quad \text{typically }0.2$$

纸面推演揭示了两者的本质：一个重安全、一个重效率；一个精确但笨重、一个简化但灵活。理解了这一点，再看工程实现的取舍就顺理成章了。

工程实现对比

真正爬山时，装备的重量和补给的补给速度同样决定生死。TRPO 和 PPO 在工程层面上的差距，比数学形式的差距更直观。TRPO 每轮更新都要构造费雪信息矩阵、迭代求解线性系统、再做线搜索找到合适步长，这整套“测量-计算-验证”流程让每次更新的耗时比普通梯度更新高出一到两个数量级。PPO 则只是一次标准反向传播，外加一个 clip 操作，训练速度几乎不受影响。

采样效率上，两者都依赖 on-policy 采样，用当前策略收集数据、更新后再丢弃。但 TRPO 因为计算慢，同样时间内能完成的更新轮次更少；PPO 能以相同算力做更多轮次的策略迭代。调参维度上，TRPO 的 δ 值对性能敏感，选小了收敛慢、选大了约束失效；PPO 的 ε 取 0.2 几乎全场景通用，要调的超参数更少。稳定性方面，TRPO 的硬约束理论上更让人安心，但近似计算会吃掉一部分保证；PPO 则用裁剪兜底，实际训练曲线通常同样平滑。

$$\displaystyle \Delta\theta_{\text{TRPO}}\approx\alpha\,F^{-1}\nabla_\theta L(\theta),\qquad \Delta\theta_{\text{PPO}}=\beta\,\nabla_\theta L^{\text{CLIP}}(\theta)$$

1. 逆费雪信息矩阵 F⁻¹：包含地形曲率信息，让 TRPO 的更新方向更准，但计算和存储都很昂贵。

$$\displaystyle F=\mathbb{E}\left[\nabla_\theta\log\pi_\theta(a|s)\nabla_\theta\log\pi_\theta(a|s)^\top\right]$$

2. 自适应步长 α：TRPO 通过线搜索在 KL 约束内找到的最大可走步长，每轮都不同。

$$\displaystyle \alpha=\max\{\alpha:\ \text{KL}\left(\pi_{\theta_{\text{old}}}\|\pi_\theta\right)\le\delta\}$$

3. 固定学习率 β：PPO 无需线搜索，直接用深度学习框架里设好的学习率做梯度更新。

$$\displaystyle \beta>0$$

4. 梯度 ∇L：二者共用的“坡度方向”来源，只是 TRPO 会再乘一个曲率修正矩阵。

$$\displaystyle \nabla_\theta L(\theta)=\mathbb{E}\left[\nabla_\theta\log\pi_\theta(a|s)\,\hat{A}\right]$$

工程项目的现实里，“简单+稳定”常常比“复杂+理论最优”更有生命力。PPO 之所以成为 OpenAI、DeepMind 等实验室的默认选择，不是因为它数学更漂亮，而是因为它能让研究员把精力放在环境设计和奖励塑造上，而不是跟矩阵求逆斗争。

选型应用

经验丰富的登山者都有个装备检查清单：爬雪山要带冰镐，走平坡穿跑鞋。选 TRPO 还是 PPO，本质上也是“看地形下菜碟”。TRPO 适合那些样本极其昂贵、安全要求极高的场景。比如真实机器人步态学习：每一步都靠物理世界采集，试错成本高，TRPO 的每次更新都有 KL 约束兜底，不浪费昂贵样本。代价是算力消耗大、实现复杂。

PPO 则统治了绝大多数现代应用。OpenAI 训练 Dota 2 的 OpenAI Five、ChatGPT 的 RLHF 对齐阶段，用的都是 PPO 的裁剪目标。它的低计算开销和高吞吐让大规模并行训练成为可能，裁剪机制则保证了上亿参数的模型不会在一次更新后胡言乱语。经验法则很简单：先从 PPO 开始，ε 取 0.2，如果发现训练不稳定再考虑 TRPO 或者调大裁剪边界；只有当你明确需要理论安全边际且算力充足时，才把 TRPO 请出山。

没有银弹。理解两种算法的数学联系后，就像登山者摸清了每种装备的脾气：在哪个地形上选哪样工具，心里有数，脚下不慌。

AI 应用场景

Python 演示

import numpy as np  def trpo_surrogate(r, adv):    """TRPO surrogate objective, no clipping."""    return r * adv  def ppo_clip_loss(r, adv, epsilon=0.2):    """PPO clipped objective."""    return np.minimum(r * adv, np.clip(r, 1 - epsilon, 1 + epsilon) * adv)  if __name__ == "__main__":    ratios = np.array([0.7, 0.9, 1.0, 1.1, 1.4, 1.8])    advs = np.array([0.5, 1.0, -0.5, 0.8, 1.2, -1.0])     trpo_loss = trpo_surrogate(ratios, advs)    ppo_loss = ppo_clip_loss(ratios, advs, epsilon=0.2)     print("prob ratio r:", ratios)    print("advantage A :", advs)    print("TRPO loss   :", trpo_loss)    print("PPO loss    :", ppo_loss)     for i in range(len(ratios)):        if ratios[i] < 0.8 or ratios[i] > 1.2:            status = "clipped by PPO"        else:            status = "both same"        print(f"  step{i+1}: ratio={ratios[i]:.1f} -> {status}")

1. ratios = np.array([0.7, 0.9, 1.0, 1.1, 1.4, 1.8])构造新旧策略概率比的样本，其中 0.7 低于下界、1.4 和 1.8 超过上界，用于触发裁剪。
2. def trpo_surrogate(r, adv)TRPO 的替代目标函数，概率比乘以优势，不做任何限制。
3. np.clip(r, 1 - epsilon, 1 + epsilon)PPO 的裁剪操作，将概率比压制到 [0.8, 1.2]。
4. np.minimum(r * adv, clipped * adv)取未裁剪和裁剪后的较小者，防止策略在优势为正时贪婪地扩大概率比。
5. status = "clipped by PPO" if ratios[i] < 0.8 or ratios[i] > 1.2识别哪些概率比超出了裁剪边界，输出两队目标值差异。

常见误区

面试题