假设你养了一只精力旺盛的小狗，想教会它“把远处的球叼回来”。你面前有两位风格截然不同的教练：PPO 教练信奉“小步快跑”，每次只纠正一点点动作偏差，耐心而稳定；SAC 教练信奉“自由探索”，鼓励小狗大胆试错，从冒险中寻找捷径。训练一只机器狗、一条机械臂，本质上和训狗同理——算法负责给动作打分、纠错和升级，奖励函数是你的零食罐，仿真环境是铺好防滑垫的客厅，而 sim-to-real 迁移，就是让小狗从客厅走到车水马龙的户外，把练习的本领真正用出来。这篇文章就用这个“训狗”视角，带你看懂 PPO 与 SAC 的选型、原理、奖励设计与落地上线，让你在真实机器人项目里少走弯路。

岗位关联

掌握 PPO 与 SAC 的选型、原理与部署技巧，是强化学习从论文走进真实机器人控制的关键一步——直接决定你的策略能否在真实项目中稳定落地。

目录
  1. 可视化演示
  2. 算法选型对比
  3. PPO稳定训练
  4. SAC高效探索
  5. 奖励函数设计
  6. 仿真环境搭建
  7. sim-to-real迁移
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

PPO: \u622a\u65ad\u76ee\u6807\u51fd\u6570 (Clipped Surrogate Objective) L\u76ee\u6807 1-\u03b5 1+\u03b5 \u6bd4\u7387 r=\u03c0_new/\u03c0_old

算法选型对比

假设你想让家里的小狗“小跑”学会把球叼回来。你面前站着两位教练：PPO 教练作风严谨，每次练习只纠正一点点动作，强调“别乱来，稳稳进步”；SAC 教练则相反，鼓励小跑撒开腿到处闯，跑错了不生气，还会为“尝试新路线”额外加鸡腿。两位都能教出好狗，但性格迥异，选谁取决于你家的条件和考试时间。

在强化学习世界，“小跑”就是机器人，“叼球”就是控制任务——比如让机械臂抓取、让四足机器人行走。PPO（近端策略优化）用“在线采样、逐步逼近”的方式训练，像拿着教案一页页讲新课；SAC（软演员-评论家）用“经验回放、反复复盘”的方式训练，像做大量错题本。两者的终极目标，都是最大化期望累积回报：

所以选教练之前先回答两个问题：练习场（仿真）便宜吗？考试（真机）次数有限吗？仿真便宜、希望稳，就请 PPO 教练；真机昂贵、想少试几次就上手，则 SAC 教练更对口。这个选型决策，是机器人控制项目的第一道分水岭。

J(π)=Eτ∼ρπ[∑t=0Tγtr(st,at)]\displaystyle J(π) = E_{τ∼ρ_π}\left[\sum_{t=0}^{T} γ^t r(s_t, a_t)\right]
这条公式是所有强化学习的“总纲”：策略 π 决定机器人怎么选动作，目标是把整场任务所有时刻的奖励（越远打折扣越多）加起来求平均，让这个平均值最大。
  1. 策略 ππ(a|s) 表示在状态 s 下选择动作 a 的概率分布，相当于机器人的“行为习惯”。
    π(a∣s)\displaystyle π(a|s)
  2. 轨迹 τ从初始状态到结束的一整段“状态-动作-奖励”序列。
    τ=(s0,a0,r0,s1,a1,r1,⋯ ,sT)\displaystyle τ = (s_0, a_0, r_0, s_1, a_1, r_1, \cdots, s_T)
  3. 折扣因子 γγ^t 让越远未来的奖励权重越小，类似“未来的钱不如现在的钱值钱”。
    0≤γ<1\displaystyle 0 ≤ γ < 1
  4. 期望 E对无数条可能轨迹求平均回报，衡量策略的平均水平。
    Eτ∼ρπ[⋅]\displaystyle E_{τ∼ρ_π}[\cdot]

PPO稳定训练

PPO 教练的教案只有一句话：“每次纠正一点点。”小狗刚学会坐，他不会立刻要求后空翻；动作偏差大了，他会用牵引带轻轻拉回，绝不猛拽。这个“牵引带”在 PPO 里就是截断策略更新。

PPO 全称 Proximal Policy Optimization，英文 “Proximal“ 就是”近端、不跑远“的意思。它先用当前策略采样一批数据，算出一个”新旧策略概率比”，再对这个比值做截断（clip）处理，从而把每次参数更新的幅度牢牢限制在安全范围内：

正如牵引带不让小狗猛冲，clipping 不让策略“漂移”太远。这也是为什么 PPO 在机器人连续控制里口碑最好——容错高、好调参，即使奖励设计得粗糙一些，也能学到像样的行为。对刚入门的工程师来说，PPO 往往是“第一次就跑通”的首选。

LCLIP(θ)=Et[min⁡(rt(θ)A^t, clip(rt(θ), 1−ε, 1+ε)A^t)]\displaystyle L^{CLIP}(θ) = E_t\left[\min\left(r_t(θ) Â_t,\ \mathrm{clip}(r_t(θ),\ 1−ε,\ 1+ε) Â_t\right)\right]
当某条经验想让策略更新的步子太大时（比值超出 1±ε），目标函数就用裁剪后的值兜底，梯度自然变小。这就像牵引带在小狗要猛冲时轻轻勒住它。
  1. 新旧策略比 r_t(θ)新参数 θ 与旧参数 θ_old 在同样状态下选同样动作的概率比值，等于 1 表示策略没变。
    rt(θ)=πθ(at∣st)πθold(at∣st)\displaystyle r_t(θ) = \frac{π_θ(a_t|s_t)}{π_{θ_{old}}(a_t|s_t)}
  2. 优势函数 Â_t这一步动作比“平均水平”好多少，是正数就鼓励，负数就抑制。
    A^t=∑l=0T−tγlrt+l−Vφ(st)\displaystyle Â_t = \sum_{l=0}^{T−t} γ^l r_{t+l} − V_φ(s_t)
  3. 裁剪函数 clip把比值限制在 [1−ε, 1+ε] 内，机器人领域常用 ε=0.2。
    clip(rt(θ), 1−ε, 1+ε)\displaystyle \mathrm{clip}(r_t(θ),\ 1−ε,\ 1+ε)
  4. min 取小在“真实获益”与“裁剪获益”之间取保守值，保证更新永远不越界。
    min⁡(⋅,⋅)\displaystyle \min(\cdot, \cdot)

SAC高效探索

SAC 教练反其道而行：不给小狗规定动作，只在它“尝试与众不同的路线”时额外奖励一份零食——我们把这种奖励叫作“熵”。熵高意味着动作更随机、更多样，像小狗撒欢时花样百出的跑法。

SAC 全称 Soft Actor-Critic，核心是“最大熵强化学习”：不只求回报最大，还要求每一步的随机性尽量大，防止策略过早固化。它的目标函数在普通回报之外，多了一项“熵奖励”：

其中 α 是温度系数，控制探索的权重。SAC 还会自动调节 α：探索不够就把 α 调大，鼓励多尝试；探索太多就把 α 调小，回归稳定利用。

让小跑在客厅里“瞎转悠”，反而可能发现沙发后面有条捷径——SAC 的价值不在动作规范，而在探索时不放过任何可能性。加上经验回放机制能反复利用历史数据，样本效率高、快速试错，特别适合真机交互次数稀少的昂贵场景。

π∗=arg⁡max⁡π∑tE(st,at)∼ρπ[r(st,at)+αH(π(⋅∣st))]\displaystyle π^* = \arg\max_{π} \sum_t E_{(s_t,a_t)∼ρ_π}\left[r(s_t,a_t) + α H(π(\cdot|s_t))\right]
普通强化学习只想着“多拿奖励”，SAC 在此基础上还要求“动作够随机”。随机性越大，越不容易漏掉隐藏的好路线。
  1. 熵 H衡量策略随机性的指标，动作分布越均匀、熵越大。
    H(π(⋅∣s))=−Ea∼π[log⁡π(a∣s)]\displaystyle H(π(\cdot|s)) = −E_{a∼π}[\log π(a|s)]
  2. 温度系数 α把“探索”折算成奖励的汇率，是 SAC 最核心的超参数。
    α>0\displaystyle α > 0
  3. 最优策略 π\*让“回报 + 熵奖励”总和最大的策略，用 argmax 求解。
    arg⁡max⁡π\displaystyle \arg\max_{π}
  4. 状态-动作分布 ρ_π按策略 π 玩任务时，遇到的所有状态和动作的分布。
    (st,at)∼ρπ\displaystyle (s_t, a_t) ∼ ρ_π

奖励函数设计

奖励就是训狗零食。零食给得太单一，小狗只吃一样；给得太多太碎，它会学会“装乖骗零食”——这个现象在 AI 里叫奖励劫持（reward hacking）。设计奖励函数，本质是设计“什么行为值得鼓励”。

机器人任务里最常用的做法是“分项加权”：主目标 + 辅助约束 + 生存鼓励，三者叠加成总奖励：

其中 r_task 直接挂钩任务目标（如机械臂末端与目标的距离减小），r_smooth 惩罚关节速度突变和抖动，r_alive 每步给微小正奖励、鼓励机器人坚持不倒地。权重 w 决定优先级：w_1 太大容易震荡，w_2 太大会让机器人“不敢动”。遇到稀疏奖励（只有成功/失败两种反馈）时，还要加入势能引导或课程学习，先学简单任务再逐步加难。

零食种类丰富、比例得当，小狗才愿意既跑得快又跑得稳；奖励设计也是 PPO/SAC 项目里最花时间的部分，业界常说“算法工程师一半的时间在调奖励”，这句话在机器人控制领域尤其真实。

rtotal(s,a)=w1rtask(s,a)+w2rsmooth(s,a)+w3ralive(s,a)\displaystyle r_{total}(s,a) = w_1 r_{task}(s,a) + w_2 r_{smooth}(s,a) + w_3 r_{alive}(s,a)
奖励函数是强化学习中“设计者的价值观”：每个分项代表一种期望，权重代表优先级。写错了，机器人就会学会钻规则漏洞。
  1. 任务奖励 r_task与目标直接挂钩，最常用的是负距离。
    rtask=−∥s−sgoal∥\displaystyle r_{task} = −\|s − s_{goal}\|
  2. 平滑奖励 r_smooth惩罚相邻两步动作差值过大，抑制抖动。
    rsmooth=−β∥at−at−1∥2\displaystyle r_{smooth} = −β\|a_t − a_{t−1}\|^2
  3. 存活奖励 r_alive每一步给一个小正数，鼓励机器人别过早倒下。
    ralive=1\displaystyle r_{alive} = 1
  4. 权重 w_i人为设定的比例系数，决定各项目标的优先级。
    wi>0\displaystyle w_i > 0

仿真环境搭建

没人敢让小狗第一次就在马路上练捡球。先在客厅铺防滑垫、清空危险品，再逐步加难度——仿真环境就是这个“客厅”，让机器人在虚拟世界里放心摔打。

机器人仿真常用 MuJoCo、PyBullet、Isaac Gym 等物理引擎。你要定义机器人的连杆质量、关节摩擦、电机最大力矩，以及地面摩擦系数等物理参数。搭建时有三条经验：第一，物理参数要贴近真机说明书，仿真太“理想”反而害了后续迁移；第二，难度循序渐进，先简单地形再复杂地形；第三，务必开启“域随机化”。域随机化的数学本质，是对关键物理参数施加随机扰动：

比如机械臂连杆质量标称 2kg，δ=0.2 时，每次训练随机在 1.8~2.2kg 之间抽取。这样一来，策略在训练中见过“各种手感”的机械臂，真机稍有偏差也能从容应对。

客厅练习时故意把零食盆摆歪、把垫子换成不同材质，小狗到考场才不怯场——仿真里的“插科打诨”，正是为了让真机上的策略更皮实。仿真环境的价值，就是在不烧电机、不耗电费的前提下，把机器人的“肌肉记忆”练出来。

pd∼U(pdbase−δ, pdbase+δ)\displaystyle p_d \sim U(p_d^{base} − δ,\ p_d^{base} + δ)
域随机化是仿真训练的“调味料”：每次训练都换一点参数，让策略学会在各种环境下都成立，而不是死记硬背某一种设置。
  1. 动力学参数 p_d包括连杆质量、摩擦系数、电机延迟等可扰动项。
    pd∈{质量, 摩擦, 延迟, ⋯ }\displaystyle p_d \in \{质量,\ 摩擦,\ 延迟,\ \cdots\}
  2. 均匀分布 U区间内每个值等概率出现，是最常用的随机化分布。
    U(a,b)\displaystyle U(a, b)
  3. 扰动幅度 δ控制随机化范围的大小，δ 太小没效果，δ 太大任务学不会。
    δ>0\displaystyle δ > 0

sim-to-real迁移

客厅冠军到了户外可能翻车：草地摩擦力小、有风、有影子、电机发热。把仿真策略搬到真机，专业术语叫 sim-to-real 迁移，这是机器人强化学习落地最难的一关。

业界有三件法宝。第一是域随机化（上一节已建好），把仿真参数调得比现实更“恶劣”；第二是 zero-shot 直接部署：仿真足够乱时，真机策略可以零微调直接上。第三是残差策略微调：保留仿真预训练的主策略，只在真机上学习一个小修正项：

残差策略的好处在于：主策略已经会走路，真机微调只需要学“脚打滑时怎么补一步”，样本需求小得多，而且修正项有界，训练过程更安全。复盘失败案例时最常发现：仿真里 100% 成功，真机第一步就倒——多半是忽略了电机延迟和传感器噪声，在仿真里补上这两项再训一轮往往就能解决。

小狗在客厅学会了基本叼球，到户外只需补“草地打滑时多使点劲”这一小课——sim-to-real 的最高境界，是让真机只补课、不重考。这也是机器人公司把“仿真训练管线”视作核心资产的原因：谁把这张“客厅到户外”的桥搭得稳，谁就能更快把算法变成产品。

areal(s)=abase(s)+aresidual(s)\displaystyle a_{real}(s) = a_{base}(s) + a_{residual}(s)
残差策略就是“补课”：基础能力从仿真里带过来，真机只学差异部分。这比从零开始重训安全、快速得多。
  1. 基础策略输出 a_base仿真预训练的策略针对状态 s 输出的动作指令。
    abase(s)\displaystyle a_{base}(s)
  2. 残差项 a_residual真机微调学到的小修正式动作，通常被限制在很小范围内。
    aresidual(s)\displaystyle a_{residual}(s)
  3. 叠加合成最终真机动作 = 基础动作 + 修正动作。
    areal(s)=abase(s)+aresidual(s)\displaystyle a_{real}(s) = a_{base}(s) + a_{residual}(s)

AI 应用场景

四足机器人步态训练

阶段：仿真训练 → sim-to-real 部署

解决的问题：真机训练时机器人每走一步都可能摔倒，电机和结构件损耗极高；传统 PID 调参又无法适应草地、沙地、斜坡等复杂地形。用 PPO 在 Isaac Gym 中大规模并行仿真训练小跑步态，配合域随机化，可大幅减少真机试错成本。

具体案例：某四足机器人团队在仿真中给每条腿的质量加 ±30% 扰动、地面摩擦在 0.3~1.2 之间随机，训出的策略部署到真机后，在草地、沙地、斜坡均能稳定行走，从仿真到真机部署仅用 2 小时。

机械臂抓取分拣

阶段：数据采集 → 离线训练 → 在线微调

解决的问题：真实产线上机械臂每次抓取都要占用产线节拍、消耗电能，真机交互次数极其宝贵。SAC 的 off-policy 特性可利用经验回放反复学习历史数据，样本效率高，能少做几千次真机抓取实验。

具体案例：物流分拣场景中，机械臂末端装有相机，SAC 以“目标物与夹爪距离减小 + 夹取成功 +1”为奖励，在仿真中预训练后用 200 次真机抓取微调，成功率从 71% 提升到 93%。

双轮自平衡机器人

阶段：在线训练 + 安全约束

解决的问题：自平衡任务奖励稀疏（只有“稳住”和“跌倒”两种反馈），且真机在线训练要求策略不能乱来。PPO 的截断更新让单步策略改动很小，大错误率低，配合动作限幅的安全护栏，非常适合现场在线学习。

具体案例：某实验室使用 PPO 在 5 分钟真实在线训练内让双轮机器人学会原地自平衡，网络参数量小，可在嵌入式设备上实时推理运行。

Python 演示

python71 行
import numpy as np  class OneDimRobot:    """一维机器人: 输出连续速度指令, 目标是到达 x=1.0 的位置"""     def __init__(self, target=1.0, step_len=0.1):        self.target = target        self.pos = 0.0        self.step_len = step_len     def reset(self):        self.pos = 0.0        return self.pos     def step(self, action):        self.pos += np.clip(action, -self.step_len, self.step_len)        dist = abs(self.pos - self.target)        reward = 1.0 if dist < 0.05 else -dist * 2.0        done = dist < 0.05        return self.pos, reward, done  class GaussianPolicy:    """连续高斯策略: 均值是可学习参数, 标准差固定控制探索"""     def __init__(self, lr=0.02, std=0.5):        self.mean = 0.0        self.std = std        self.lr = lr     def sample(self, state):        return np.random.normal(self.mean, self.std)     def log_prob(self, action):        return -0.5 * ((action - self.mean) / self.std) ** 2  def collect_trajectory(robot, policy):    """采集一条轨迹: 状态, 动作, 奖励"""    states, actions, rewards = [], [], []    state = robot.reset()    for _ in range(60):        action = policy.sample(state)        state, reward, done = robot.step(action)        states.append(state)        actions.append(action)        rewards.append(reward)        if done:            break    return states, actions, rewards  def main():    robot = OneDimRobot(target=1.0)    policy = GaussianPolicy(lr=0.02)    for episode in range(300):        states, actions, rewards = collect_trajectory(robot, policy)        returns = np.cumsum(rewards[::-1])[::-1]        advantage = returns - np.mean(returns)        for i in range(len(actions)):            grad = -advantage[i] * (actions[i] - policy.mean) / (policy.std ** 2)            policy.mean -= policy.lr * grad        if episode % 60 == 0:            print("episode=%d return=%.3f mean=%.3f" % (                episode, sum(rewards), policy.mean))    print("final mean=%.3f" % policy.mean)  if __name__ == "__main__":    main()
目的：用极简的“PPO 风格”策略梯度训练一维机器人向目标位置移动，演示轨迹采集、优势估计和连续策略更新的核心流程。
  1. class OneDimRobot:定义了机器人环境：状态是位置，动作是速度指令，奖励与到达目标的距离挂钩。
  2. reward = 1.0 if dist < 0.05 else -dist * 2.0密集奖励塑形：离目标越近奖励越高，到达则给大奖励。
  3. class GaussianPolicy:连续动作策略：用高斯分布采样动作，均值就是可学习参数。
  4. state, reward, done = robot.step(action)与环境交互一步，对应正文里“小狗走一步吃一口零食”。
  5. returns = np.cumsum(rewards[::-1])[::-1]从轨迹末尾反推累计回报，模拟 γ=1 的期望累积回报。
  6. advantage = returns - np.mean(returns)优势估计：回报高于平均的动作为正样本，低于平均的为负样本。
  7. grad = -advantage[i] * (actions[i] - policy.mean) / (policy.std ** 2)策略梯度：让优势大的动作概率变大，属于 PPO 的核心更新逻辑（这里省略了 clip 裁剪项，便于理解主干）。
  8. policy.mean -= policy.lr * grad小步更新策略参数，对应 PPO “每次只纠正一点点”的哲学。

常见误区

误区我听说 SAC 是较新的算法，PPO 已经过时了，所以机器人项目一律用 SAC 就好，效果肯定更好。

正解算法新旧不代表优劣，关键在于匹配场景。PPO 是 on-policy，稳定性好、超参容错高、代码成熟，适合仿真资源充足的连续控制任务；SAC 是 off-policy，样本效率高但 Q 网络调参更挑剔、计算开销更大。好比两位教练各有绝活：PPO 教练适合长期稳定陪练，SAC 教练适合在真机实验次数极少时“快速突击”。选型要看“练习场租金”和“考试次数”，而不是算法发布时间。

为何常见：人们容易把“新算法”等同于“更好的算法”，尤其在看到论文刷榜时忽略了论文场景与真实机器人场景的巨大差异。

误区把“走直线、速度合适、不抖、别太慢”全部写进奖励，每一条都设权重，这样机器人肯定学得又快又好。

正解奖励分项过多会让优化目标互相打架，机器人常常钻出你没想到的“漏洞”——比如在原地快速抖动来刷“不倒下”的存活奖励，这就是奖励劫持。正确的做法是：主任务奖励要直观明确，辅助项尽量少而精，权重先粗调再微调。就像喂零食，种类太多反而让小狗不知道哪一口才是关键，最该做的是先明确“叼回球”这个主目标。

为何常见：直觉上“努力方向越多，学得越全面”，但强化学习优化的是总奖励的数值，而不是人类眼中的“行为优雅”。

误区仿真里已经 100% 成功了，把同样的策略文件拷到真机上，机器人应该也能完美运行。

正解仿真与真机之间存在 sim-to-real gap：电机延迟、摩擦差异、传感器噪声、关节柔性等都无法完全模拟。仿真里的成功往往是“背下了仿真环境”，换到真机就失灵。必须用域随机化让策略见过各种参数变化，或者用残差策略在真机上只补课不重考。就像客厅冠军到了户外草地，还是要重新适应摩擦力。

为何常见：初学者把仿真当作“真实环境的无损复制品”，忽略了物理引擎永远是对现实的近似。

误区SAC 能复用历史数据，肯定很快就能训好，训练时间一定比 PPO 短很多。

正解样本效率高不等于墙钟时间短。SAC 每步要更新两个 Q 网络、一个策略网络和一个温度系数，单步计算量远大于 PPO；而且它对学习率、网络规模、目标熵等超参更敏感，调参失败时反而更慢。样本效率解决的是“真机交互次数贵”的问题，不是“训练算得快”的问题。好比 SAC 教练做错题本很省练习次数，但整理错题本本身也要花时间。

为何常见：混淆了“样本效率”与“计算效率”两个概念，看到论文里的样本曲线快就以为训练时间也短。

误区听说 PPO 又稳又好用，所以装上默认参数跑就完事了，不需要做任何超参调整。

正解PPO 只是“容错高”，不代表“免调参”。学习率、裁剪范围 ε、优势估计中的 GAE 系数 λ、批量大小都会显著影响训练结果。学习率太大会让截断机制频繁触发、策略学不动；ε 太大等于没裁剪，太小则更新太慢。正确的姿势是像训狗一样“先按标准套路来，再根据回报曲线微调力度”。

为何常见：很多教程演示 PPO 在标准环境上一跑就出效果，给人“顺手就能用”的错觉，忽略了教程背后已经调好的超参。

面试题

Q1. PPO 通过什么机制防止策略更新步子过大？

单选题 · easy

  • A.截断新旧策略概率比← 正确答案
  • B.完全冻结价值网络
  • C.强制学习率降为零
  • D.只用一个样本更新

答案：A。PPO 用 clip 把新旧策略概率比限制在 [1−ε, 1+ε] 内，比值越界时梯度被截断，就像牵引带拉住小狗，防止一次更新跑太远。完全冻结价值网络、学习率归零或单样本更新都不是 PPO 的做法。

Q2. SAC 在普通回报之外额外最大化的目标是什么？

单选题 · easy

  • A.策略的熵（随机性）← 正确答案
  • B.策略的方差
  • C.价值网络的深度
  • D.动作空间的维度

答案：A。SAC 是最大熵强化学习，在回报项之外加上 αH，熵越大代表策略越随机、探索越充分，好比鼓励小狗多尝试新路线。方差、网络深度和动作维度都与 SAC 的核心机制无关。

Q3. PPO 与 SAC 在数据利用方式上的根本区别是？

单选题 · mid

  • A.PPO 是 on-policy，SAC 是 off-policy← 正确答案
  • B.PPO 是 off-policy，SAC 是 on-policy
  • C.两者都是 on-policy
  • D.两者都是 off-policy

答案：A。PPO 只用当前策略采样的数据，用完即弃；SAC 用回放池反复学习历史数据。对应教练风格：PPO 一页页教新课，SAC 反复刷错题本，所以 SAC 样本效率更高。

Q4. SAC 中温度系数 α 自动调节的目的是？

单选题 · mid

  • A.自动平衡探索与利用← 正确答案
  • B.自动调整网络层数
  • C.自动选择传感器型号
  • D.自动生成仿真地形

答案：A。α 是熵奖励的权重：探索不足就调大 α 鼓励随机动作，探索过多就调小 α 回归稳定利用。它就像自动调节“零食里探索奖励的比例”，与网络结构、传感器和地形无关。

Q5. 下列哪些可以作为 sim-to-real 域随机化的对象？

多选题 · mid

  • A.连杆质量的随机扰动← 正确答案
  • B.电机力矩响应延迟← 正确答案
  • C.相机传感器的光照噪声← 正确答案
  • D.训练代码的缩进风格

答案：ABC。域随机化针对物理和感知参数：质量、摩擦、延迟、光照都是典型对象。代码缩进与机器人物理无关，不属于随机化范畴。随机化这些参数可以让策略在真机环境偏差时更鲁棒。

Q6. 真机交互成本极高、希望少做实验时，通常优先选择？

单选题 · mid

  • A.SAC（样本效率更高）← 正确答案
  • B.PPO（在线采样更新）
  • C.随机网格搜索算法
  • D.完全不学习只靠人工查表

答案：A。SAC 是 off-policy 算法，通过经验回放复用历史数据，样本效率高，适合真机实验次数昂贵的场景。PPO 在线采样对真机磨损大，网格搜索和人工查表在大规模任务上不可行。

Q7. clip(r_t(θ), 1−ε, 1+ε) 中 ε 取 0.2 时，策略比值的允许范围是？

单选题 · hard

  • A.[0.8, 1.2]← 正确答案
  • B.[0.2, 1.8]
  • C.[0.9, 1.1]
  • D.[0.0, 2.0]

答案：A。ε=0.2 时，裁剪下限为 1−0.2=0.8，上限为 1+0.2=1.2。比值超出该范围的优势梯度会被截断，防止策略“漂移”太远。这就像牵引带的长度限制：允许小狗小范围活动，但不能猛冲。

Q8. 残差策略 a_real = a_base + a_residual 的部署价值在于？

单选题 · hard

  • A.保留仿真主能力仅学小修正← 正确答案
  • B.从零开始完全重训新策略
  • C.减少机器人全部传感器
  • D.直接把仿真奖励全部取反

答案：A。残差策略保留仿真预训练的基础能力，真机只学习一个小修正项，样本需求小且修正有界更安全。完全重训浪费仿真成果，减少传感器和取反奖励都不是有效的迁移手段。

Q9. 下列哪些属于奖励函数设计中的常见坑？

多选题 · hard

  • A.只用单一稀疏信号不加引导← 正确答案
  • B.让机器人钻规则漏洞骗奖励← 正确答案
  • C.任务与平滑奖励权重失衡← 正确答案
  • D.每次训练前随机化全部物理参数

答案：ABC。稀疏奖励需要势能引导；奖励劫持是智能体钻规则漏洞刷分；权重失衡会导致震荡或“不敢动”。D 是域随机化的正常做法，不是奖励设计的坑。

Q10. PPO 训练机器人时推荐的工程实践有哪些？

多选题 · mid

  • A.先简化仿真再逐步加难← 正确答案
  • B.奖励函数分项加权并记录← 正确答案
  • C.监控回报曲线判断收敛← 正确答案
  • D.直接把超参调到极端值

答案：ABC。课程式难度递进、奖励分项加权、回报曲线监控都是实战推荐做法。把超参调到极端值（如学习率极大）会让策略更新失控，违反 PPO“小步渐进”的核心原则。