想象一个孩子学骑自行车。妈妈不会给他背力学公式，而是在小区空地划一道线：“骑到那棵树下，我就给你一朵小红花。”孩子歪歪扭扭地蹬，时而太快冲过线，时而太慢倒下来。每一次接近终点，妈妈都鼓一次掌；每一次跌倒，他只记下哪里错了。空地上练得多了，他把车骑得稳稳当当；可真的要骑上满是行人和水坑的马路，他又得重新适应。这个从“小区空地”到“真实马路”的过程，正是强化学习控制机器人的核心逻辑。孩子在空地上“试错—奖励—调整”的循环，就是智能体与环境互动；空地是仿真环境，妈妈的小红花是奖励信号，最终上马路是仿真到现实的迁移。我们要让机器人在虚拟世界里低成本练出胆量和技巧，再把它安全地搬到现实世界，去完成搬箱子、攀爬、装配这些难以建模的复杂任务。这背后，还牵扯到传感、控制理论、工程协作、伦理安全等许多跨学科力量。

岗位关联

对 AI 从业者来说，理解强化学习控制，是从“写模型”走向“造身体”的关键一步——它让你知道如何用奖励把机器人从虚拟训练场送进真实世界，并为系统安全负责。

目录
  1. 可视化演示
  2. 强化学习原理
  3. 奖励信号设计
  4. 策略优化方法
  5. 仿真训练环境
  6. 仿真现实迁移
  7. 复杂动态任务
  8. 跨学科协同
  9. 伦理安全评估
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示Agent-环境交互循环、Sim2Real迁移流程、以及安全约束下的策略优化，直观理解强化学习控制系统。

本节配有交互动效（进入视口后自动加载，约 3KB）。

强化学习交互循环 Agent观察状态执行动作与环境交互 环境返回奖励信号和新状态指导策略更新 pi*(a|s) = argmax E[sum gamma^t r_t] Agent通过试错学习最优策略最大化累积奖励

强化学习原理

孩子第一次学骑自行车，妈妈不会给他讲重心公式，而是让他戴好护具，在小区空地上试骑。孩子两腿发软，把车把左甩右甩，身体的状态、车速的快慢、每一次蹬踏，都成为他脑子里不断回放的“现场记录”。每次离终点近一点，妈妈就奖励一朵小红花——这就是孩子最早的“状态、动作、奖励”闭环。

在机器学习里，这个闭环被抽象成强化学习：机器人是智能体，它观察环境得到状态，选择一个动作影响环境，然后获得一个标量奖励。与监督学习不同，强化学习没有标准答案，只有“事后评价”。它把“如何骑车”变成一个连续决策问题，用马尔可夫决策过程（MDP）来形式化描述这个闭环。

MDP 由状态集合、动作集合、状态转移概率、奖励函数和折扣因子构成。强化学习的目标不是最大化当前这一步的奖励，而是最大化从当前时刻开始的长期累积回报。这是因为很多控制任务的重要后果要很多步之后才会显现：骑快了能早点到，但转弯时也更容易摔。

孩子之所以愿意先慢后快、先练转弯再冲直线，就是因为他学会了用“长远能不能骑到终点”来评价眼前的每一脚蹬踏。折扣累积回报，正是把这种“看得远”转化为数学语言。

Gt=∑k=0∞γkrt+k+1\displaystyle G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}
这个公式把“未来一路上的所有奖励”都折算成当前的一个总分，γ 越小，未来越不值钱。
  1. 即时奖励序列$r_{t+1}, r_{t+2}, \dots$ 表示未来每个时刻智能体获得的收益，像孩子每次蹬车后的反馈。
    rt+1,rt+2,rt+3,…r_{t+1}, r_{t+2}, r_{t+3}, \dots
  2. 折扣因子$\gamma$ 是 0 到 1 之间的系数，乘的次数越多，远期奖励的权重越小。
    γ∈[0,1)\gamma \in [0,1)
  3. 累积求和把所有折扣后的奖励加起来，$G_t$ 就是对“长期骑到终点”这件事的总打分。
    Gt=∑k=0∞γkrt+k+1G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}

奖励信号设计

妈妈的奖励如果发得太密，每蹬一圈就给一颗糖，孩子就会低头数糖而不是看路；如果等到三年后骑到西藏才给奖励，孩子早就放弃了。奖励信号既要能指明方向，又不能喧宾夺主。

这是强化学习里经典的“稀疏奖励”与“稠密奖励”之争。机器人完成一次装配可能要几千步，只在最后给 1 分，中间没有任何反馈，学习会异常缓慢；但把每一步都打上分，又可能诱导机器人找到刷分漏洞。

一种折中方案是奖励塑形：设计一个势能函数 $\Phi(s)$，例如“离目标越近分数越高”，然后给每一步增加一个辅助奖励。理论表明，这样的塑形不改变原问题的最优策略，但工程中仍要仔细校验，否则智能体可能原地绕圈刷势能差。

妈妈把“更靠近终点”也折算成即时的小红花，孩子就能更快感受到进步，但前提是小红花只能奖励真正的靠近，而不是“原地表演踩踏板”。

F(s,a,s′)=γΦ(s′)−Φ(s)\displaystyle F(s,a,s') = \gamma\Phi(s') - \Phi(s)
这个公式把“比刚才更接近目标”的那部分进步转化成额外奖励。
  1. 势能函数$\Phi(s)$ 描述当前状态离目标有多近，像妈妈看到孩子离终点还有多远。
    Φ(s)\Phi(s)
  2. 折扣后的势能$\gamma\Phi(s')$ 是到达新状态后，把“更接近目标”的程度折算成未来价值。
    γΦ(s′)\gamma\Phi(s')
  3. 势能差$F$ 是“改善了多少”的边际信号；变好了就给额外奖励，变差了就减少奖励。
    F(s,a,s′)=γΦ(s′)−Φ(s)F(s,a,s') = \gamma\Phi(s') - \Phi(s)

策略优化方法

孩子骑了几圈后，总结出“把重心稍微左倾、同时蹬半圈”特别稳，于是这个动作被他反复使用；而猛拐弯导致摔倒的动作，他再也不做了。这种“好用多练、不好用少碰”就是策略优化。

策略是从状态到动作的映射。参数化的策略 $\pi_\theta$ 可以是一个神经网络，输入状态、输出动作分布。策略梯度方法的目标是找到参数 $\theta$，使期望累积回报最大化。

采用似然比技巧，目标函数的梯度写作期望形式。式中 $A_t$ 是优势函数，表示这个动作比该状态的平均表现好多少。好动作的 log 概率被推高，坏动作被压低。

孩子正是在一次次摔倒中估算“哪个动作比平均水平好”，然后悄悄加大那个动作的概率；几百次训练后，那些概率被“种”进肌肉记忆，形成自然的骑行策略。

∇θJ(θ)=Eτ∼πθ[∑t=0T∇θlog⁡πθ(at∣st)At]\displaystyle \nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=0}^{T} \nabla_\theta \log \pi_\theta(a_t|s_t) A_t \right]
这个公式告诉机器人：按照“优势”的大小去调整每个动作出现的概率。
  1. 期望回报$J(\theta)$ 是在当前策略 $\pi_\theta$ 下所有可能轨迹的奖励期望。
    J(θ)=Eτ∼πθ[∑t=0Tγtrt]J(\theta)=\mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_{t=0}^{T}\gamma^t r_t\right]
  2. 策略梯度对 $J(\theta)$ 求参数梯度，得到调整参数的方向。
    ∇θJ(θ)\nabla_\theta J(\theta)
  3. 优势函数$A_t$ 表示动作 $a_t$ 比该状态平均表现好多少。
    At=Qt−VtA_t = Q_t - V_t
  4. 加权更新用优势给对数概率梯度加权，使好动作概率上升、坏动作概率下降。
    ∇θlog⁡πθ(at∣st) At\nabla_\theta \log \pi_\theta(a_t\mid s_t) \, A_t

仿真训练环境

孩子不可能一开始就在川流不息的马路上学车。他在小区空地上练习：地面平整、没有汽车，摔倒了可以立刻站起来。空地就是他的“仿真训练场”。

机器人也一样，在真实世界试错成本高、会损坏设备。因此先在物理仿真器里训练。物理引擎模拟重力、摩擦、碰撞、惯性，让强化学习算法在虚拟环境里快速积累经验。

但仿真器再逼真，也只是近似。为了让策略在真实中也能用，常用“域随机化”：每次训练随机抽取物理参数，比如摩擦系数、负载质量、时延，并让策略对所有参数分布都表现良好。配合大规模并行仿真，可以把原本几个月的训练压到几个小时。

孩子在小操场上不仅要会骑平地，还要会骑过模拟的小坡、绕开放倒的锥桶；这些“随机状况”让他学到的不是某个固定场地攻略，而是通用的平衡能力。

π∗=arg⁡max⁡πEξ∼p(ξ)Eτ∼π,Mξ[∑t=0Tγtrt]\displaystyle \pi^* = \arg\max_{\pi} \mathbb{E}_{\xi \sim p(\xi)} \mathbb{E}_{\tau \sim \pi, M_\xi} \left[ \sum_{t=0}^{T} \gamma^t r_t \right]
这个公式要求在“五花八门的仿真参数”下都要拿高分，逼着策略变得鲁棒。
  1. 随机化参数$\xi \sim p(\xi)$ 表示每次训练时从参数分布中抽取新的物理参数。
    ξ∼p(ξ)\xi \sim p(\xi)
  2. 带参环境$M_\xi$ 表示带参数 $\xi$ 的仿真环境动态模型。
    MξM_\xi
  3. 期望目标$\pi^*$ 最大化在参数分布下的平均累积奖励，让策略不依赖某一组固定的物理参数。
    π∗=arg⁡max⁡πEξ∼p(ξ)Eτ∼π,Mξ[∑t=0Tγtrt]\pi^*=\arg\max_{\pi}\mathbb{E}_{\xi\sim p(\xi)}\mathbb{E}_{\tau\sim\pi,M_\xi}\left[\sum_{t=0}^{T}\gamma^t r_t\right]

仿真现实迁移

孩子终于骑上真实马路，发现井盖会滑、风会吹、后座会沉。空地练出来的技巧，到了马路要打折扣。这就是存在于仿真与现实之间的“域差距”。

域差距来自视觉差异、接触动力学、传感器噪声、时间延迟。为了弥补它，除了训练时做域随机化，还要在部署前做系统辨识：用真实机器人试跑，反推出最接近真机的仿真参数。

系统辨识的目标是调整参数，使同一控制输入下仿真轨迹与真实轨迹的误差最小。上线后还可以用少量真实数据对策略做在线微调，让模型从“接近真实”走向“活在真实”。

妈妈先让孩子推着车走一圈，再在没车的小路上试骑，用真实反应校准训练计划——这正是“先辨识、再微调”的朴素版本。

ξ∗=arg⁡min⁡ξ∑t=0T∥xsimξ(t)−xreal(t)∥2\displaystyle \xi^* = \arg\min_{\xi} \sum_{t=0}^{T} \left\| x_{\text{sim}}^\xi(t) - x_{\text{real}}(t) \right\|^2
这个公式把“仿真和真实差多少”量化成一个距离，然后调整仿真让它更贴近真实。
  1. 状态轨迹$x_{\text{sim}}^\xi(t)$ 和 $x_{\text{real}}(t)$ 分别是同一控制输入下仿真器和真实机器人的状态。
    xsimξ(t),  xreal(t)x_{\text{sim}}^\xi(t),\; x_{\text{real}}(t)
  2. 误差范数$\left\| \cdot \right\|^2$ 把每个时刻的偏差平方累加，衡量两条轨迹有多不像。
    ∥xsimξ(t)−xreal(t)∥2\left\| x_{\text{sim}}^\xi(t) - x_{\text{real}}(t) \right\|^2
  3. 参数搜索$\arg\min_\xi$ 找到让真实与仿真轨迹最接近的物理参数组合。
    ξ∗=arg⁡min⁡ξ∑t∥xsimξ(t)−xreal(t)∥2\xi^* = \arg\min_{\xi} \sum_t \left\| x_{\text{sim}}^\xi(t) - x_{\text{real}}(t) \right\|^2

复杂动态任务

上马路之后，还有更难的活儿：车筐里放鸡蛋、一只手撑伞、遇到台阶要跳上跳下。这类任务里，车轮与地面、手掌与车把之间的“接触”让动力学变得极难建模。

复杂动态任务包括多指抓取、足式行走、柔性装配。传统控制依赖精确模型，面对软体接触和瞬时碰撞时力不从心；强化学习可以从大量数据里学到这些难以写方程的非线性关系。

只追求任务成功还不够，真实操作中还要避免损坏物体。因此在强化学习目标中加入接触力惩罚项，让策略在完成任务的同时学会“温柔发力”。接触力项由末端力传感器估计，与奖励共同驱动策略。

孩子带一篮鸡蛋骑车，不是越稳越快越好，而是要在速度、平衡和“别颠碎鸡蛋”之间做权衡；复杂任务的奖励，正是把这类无形约束写进目标函数。

max⁡θEτ∼πθ[∑t=0Tγt(rt−λ∥ft∥2)]\displaystyle \max_\theta \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=0}^{T} \gamma^t \left( r_t - \lambda \left\| f_t \right\|^2 \right) \right]
这个公式在目标里扣掉“用力过猛”的分数，让机器人既办成事又不出蛮力。
  1. 接触力$f_t$ 是时刻 $t$ 机器人末端与环境之间的接触力，像孩子手把上感受到的震动。
    ftf_t
  2. 正则化惩罚$\lambda\|f_t\|^2$ 在奖励中扣掉用力过猛的分数，$\lambda$ 控制惩罚强度。
    λ∥ft∥2\lambda \left\| f_t \right\|^2
  3. 带惩罚的目标在最大化奖励的同时最小化冲击力，让策略学会柔顺操作。
    max⁡θEτ∼πθ[∑t=0Tγt(rt−λ∥ft∥2)]\max_\theta \mathbb{E}_{\tau\sim\pi_\theta}\left[\sum_{t=0}^{T}\gamma^t \left( r_t - \lambda\| f_t\|^2 \right)\right]

跨学科协同

一个孩子能安全骑车，不只是腿脚有力：眼睛判断距离，耳朵听周围声音，大脑处理规则，身体保持平衡。这些来自不同“老师”的能力必须协同。

强化学习控制也是如此。视觉感知给强化学习提供状态信息，控制理论提供稳定性和安全边界，机械设计决定关节力矩和自由度，产业界则提供真实需求和规模化验证。缺少任何一环，系统都无法走出实验室。

工程上常用“混合控制”把强化学习与经典控制融合：强化学习输出高层动作，模型预测控制等模块再用参考状态做底层修正。如此既获得强化学习的自适应性，又保留控制理论的鲁棒性。

孩子最终骑得稳，靠的是感官、肌肉和规则的合唱；机器人的真正落地，也同样依赖感知、控制理论、机械工程与产业协同创新生态的共同托举。

ut=utRL+Kt(x^t−xtref)\displaystyle u_t = u_t^{\mathrm{RL}} + K_t \left( \hat{x}_t - x_t^{\mathrm{ref}} \right)
这个公式把“学习的决策”和“理论的修正”相加，是跨学科协同的一个缩影。
  1. RL 动作$u_t^{\mathrm{RL}}$ 是强化学习策略根据状态直接给出的控制量。
    utRLu_t^{\mathrm{RL}}
  2. 参考误差$\hat{x}_t - x_t^{\mathrm{ref}}$ 是当前状态与参考状态的偏差，由控制理论提供。
    x^t−xtref\hat{x}_t - x_t^{\mathrm{ref}}
  3. 混合叠加$K_t$ 是修正增益，叠加后得到同时拥有学习和机理优势的总控制量。
    ut=utRL+Kt(x^t−xtref)u_t = u_t^{\mathrm{RL}} + K_t\left(\hat{x}_t - x_t^{\mathrm{ref}}\right)

伦理安全评估

孩子上路前，妈妈给他戴上头盔、护膝，约定好“速度不能太快，看到路口必须停下”。这些安全规则不是骑车学会之后才补的，而是从第一天就刻在训练流程里。

当机器人进入工厂、医院和家庭，伦理与安全不再是研究论文里的假设，而是工程实践的基本门槛。一个会伤害操作员的抓取策略，即使成功率再高也不能上线。安全性需要可评估、可检验、可问责。

带约束马尔可夫决策过程把安全要求写进优化：在最大化任务奖励的同时，要求长期累积风险成本不超过阈值。每一步设定安全成本，例如与人的距离越近成本越高。这样“危险但高分”的策略会被硬性排除，而不是在奖励里被折中掉。

给机器人戴上“安全头盔”、划出“不可跨越的线”，并不会埋没它的能力，反而让它有资格走进真实世界；评估、防护、责任归属三位一体的机制，正是强化学习控制走向成熟的入场券。

max⁡πEπ[∑t=0Tγtrt]s.t.Eπ[∑t=0Tγtct]≤τ\displaystyle \max_{\pi} \mathbb{E}_{\pi} \left[ \sum_{t=0}^{T} \gamma^t r_t \right] \quad \mathrm{s.t.} \quad \mathbb{E}_{\pi} \left[ \sum_{t=0}^{T} \gamma^t c_t \right] \le \tau
这个公式让“任务完成得好”必须让步于“风险不能超过红线”。
  1. 安全成本$c_t$ 是每一步动作给环境带来的风险，例如离操作者太近的程度。
    ctc_t
  2. 风险约束累积风险成本不超过阈值 $\tau$，让“危险但高分”的策略被硬性排除。
    Eπ[∑γtct]≤τ\mathbb{E}_{\pi}\left[\sum \gamma^t c_t\right] \le \tau
  3. 约束优化任务奖励最大化必须在安全约束内进行。
    max⁡πEπ[∑γtrt]s.t.Eπ[∑γtct]≤τ\max_{\pi}\mathbb{E}_{\pi}\left[\sum \gamma^t r_t\right] \quad \mathrm{s.t.} \quad \mathbb{E}_{\pi}\left[\sum \gamma^t c_t\right]\le \tau

AI 应用场景

Sim2Real 抓取分拣

阶段：仿真训练与迁移部署

解决的问题：传统抓取依赖人工设计抓取点，面对玩具、螺丝、异形件时泛化差。强化学习在仿真中随机化物体外观与物理参数，练出对未知物体的鲁棒抓取策略，再迁移到真实机械臂。

具体案例：在工业分拣场景中，机械臂面对杂乱摆放的零件，使用域随机化在仿真中训练视觉抓取策略，部署后抓取成功率从手工规则的 70% 提升到 90% 以上。

四足机器人复杂地形行走

阶段：策略优化与在线微调

解决的问题：台阶、碎石、斜坡难以精确建模，传统步态规划经常摔倒。强化学习在大规模并行仿真中训练步态策略，再经过系统辨识和在线微调适配真实机体。

具体案例：某四足机器人通过在仿真中随机化摩擦系数和地形坡度，获得跨地形步态策略，在野外测试中能在石块路面上连续行走数公里。

机械臂柔性装配

阶段：复杂动态任务与安全约束

解决的问题：装配时微小误差会导致卡死或损坏零件。强化学习学习接触策略，同时结合阻抗控制提供柔顺性，避免刚性位置控制带来的冲击。

具体案例：在 3C 电子装配中，机械臂通过强化学习学习插拔连接器的动作序列，配合力控传感器和阻抗控制回路，解决了传统方法卡顿和插损高的问题。

Python 演示

python75 行
import random BINS = 16VBINS = 16XB = 4.0VB = 2.0 class PointRobot:    def __init__(self):        self.x = 0.0        self.v = 0.0        self.dt = 0.1     def reset(self):        self.x = random.uniform(-2.5, 2.5)        self.v = 0.0        return self.state()     def state(self):        xi = int((self.x + XB) / (2 * XB) * BINS)        vi = int((self.v + VB) / (2 * VB) * VBINS)        xi = min(BINS - 1, max(0, xi))        vi = min(VBINS - 1, max(0, vi))        return xi, vi     def step(self, u):        u = {0: -1.0, 1: 0.0, 2: 1.0}[u]        self.v += u * 0.3 - 0.1 * self.v        self.x += self.v * self.dt        done = abs(self.x) < 0.4 and abs(self.v) < 0.4        reward = 10.0 if done else -abs(self.x)        if abs(self.x) > XB:            done = True            reward = -10.0        return self.state(), reward, done env = PointRobot()Q = [[0.0, 0.0, 0.0] for _ in range(BINS * VBINS)]alpha, gamma, eps = 0.1, 0.95, 0.3 def act(s, eps):    if random.random() < eps:        return random.randint(0, 2)    i = s[0] * VBINS + s[1]    return max(range(3), key=lambda a: Q[i][a]) for ep in range(400):    s = env.reset()    steps = 0    while steps < 200:        a = act(s, eps)        ns, r, done = env.step(a)        i = s[0] * VBINS + s[1]        j = ns[0] * VBINS + ns[1]        Q[i][a] += alpha * (r + gamma * max(Q[j]) - Q[i][a])        s = ns        steps += 1        if done:            break    eps = max(0.01, eps * 0.995) # evaluate trained policysuccess = 0for _ in range(100):    s = env.reset()    steps = 0    while steps < 200:        a = act(s, 0.0)        s, r, done = env.step(a)        steps += 1        if done:            if r > 0:                success += 1            breakprint("成功率: %.0f%%" % (success))
目的：用 Q-learning 训练一个一维点机器人运动控制策略，让它学习从随机位置移动到目标区域。
  1. Q = [[0.0, 0.0, 0.0] for _ in range(BINS * VBINS)]初始化状态价值表，每个离散状态有 3 个动作的估计值。
  2. def act(s, eps):以概率 eps 随机探索，否则选择当前价值最高的动作。
  3. Q[i][a] += alpha * (r + gamma * max(Q[j]) - Q[i][a])Q-learning 核心更新，用一步实际奖励加未来最优估计修正旧价值。
  4. eps = max(0.01, eps * 0.995)探索率逐回合衰减，让策略从“乱试”逐步转向“利用经验”。
  5. s, r, done = env.step(a)与环境交互一步，获得新状态、奖励和是否结束的信号。
  6. if done:一个回合结束，跳到下一个训练回合。

常见误区

误区我在奖励函数里给每个动作都加分，智能体应该学得更快吧？

正解过于密集的奖励容易导致“奖励黑客”，智能体找到不完成任务也能骗分的方法。稀疏奖励加上精心设计的势能塑形，才能既引对方向、又不留作弊空间。就像妈妈不能每蹬一圈就发糖，否则孩子只顾数糖不看路。

为何常见：我们直觉上认为即时反馈等于快反馈，忽略了策略可能利用奖励函数的疏漏。

误区在仿真器里跑到 99% 成功率，直接放到真机上不就行了？

正解仿真与真实之间存在视觉、物理、时延等域差距，直接部署通常掉链子。需要用域随机化、系统辨识、在线微调进行迁移。孩子能在小区空地骑车，不代表马上能在马路上下坡。

为何常见：仿真器渲染越来越逼真，让人误以为物理和传感也完全一致。

误区碰到障碍物就扣奖励，智能体自然会学会避开。

正解奖励是数值权衡，高风险低概率事件可能被忽略。需要 CMDP、安全层、硬约束等机制，在训练和部署时都保证安全。就像不能只靠“口头警告”让孩子远离车流，必须拉住手、划出禁区。

为何常见：奖励是最直观的指挥棒，但数值权衡无法承载“绝对不可越过”的安全红线。

误区PID 和 MPC 这些老方法没有用了，强化学习全都能解决。

正解工程上常用强化学习与模型预测控制、阻抗控制结合，用模型知识提供稳定性保证，强化学习负责难以建模的部分。孩子骑车也需要天生的平衡感加上后天的规则训练，两者互补。

为何常见：媒体报道渲染强化学习的“万能”，忽略了真实系统的安全性和样本效率要求。

误区机器人学了好几万步还没立起来，这算法肯定有问题。

正解稀疏奖励和复杂接触任务收敛慢是常态。需要检查奖励是否可学习、状态表示是否充分、仿真是否保真，并通过课程学习逐步增加难度。孩子学骑车摔几十次才找到感觉，是很正常的。

为何常见：人们容易拿监督学习的收敛速度类比强化学习，忽略了在线试错的方差。

面试题

Q1. 强化学习中的“奖励”最类似于下面哪个日常场景？

单选题 · easy

  • A.老师批改作业后给分数← 正确答案
  • B.学生做实验前阅读说明书
  • C.工程师画图纸时使用比例尺
  • D.摄影师调整光圈时的测光表

答案：A。奖励是行为之后获得的评价信号，类似老师给作业打分。B 是行动前的准备，C 是辅助工具，D 是环境测量，均不是对过去行为的反馈。

Q2. 折扣因子 γ 接近 0 时，智能体会更看重什么？

单选题 · easy

  • A.远期高额回报
  • B.近期即时奖励← 正确答案
  • C.动作的随机性
  • D.环境的物理参数

答案：B。γ 越小，远期奖励被折扣得越厉害，智能体越短视，几乎只看下一步的回报。γ 接近 1 时才会看重长期收益。

Q3. 下列哪项属于典型的奖励塑形技巧？

单选题 · easy

  • A.每次都直接奖励固定分数
  • B.用势能函数差给临近状态加分← 正确答案
  • C.把图像缩小再输入给智能体
  • D.只在最终成功时给出奖励

答案：B。奖励塑形利用势能函数 Φ(s) 的差分产生额外引导信号。A 是恒定奖励，C 属于图像预处理，D 是稀疏奖励设置。

Q4. 域随机化为什么能帮助仿真到现实的迁移？

多选题 · mid

  • A.增强对物理参数扰动的鲁棒性← 正确答案
  • B.让策略不依赖单一物理参数← 正确答案
  • C.降低对精确建模仿真的要求← 正确答案
  • D.提高真空环境视频渲染帧率

答案：ABC。域随机化在训练中变化摩擦、质量、延迟等参数，让策略学会“放之四海而皆准”的控制。D 提到提高渲染帧率与迁移鲁棒性无关。

Q5. 在策略梯度方法中，优势函数 A_t 表示什么？

单选题 · mid

  • A.当前轨迹的总步数
  • B.动作比平均水平好多少← 正确答案
  • C.环境奖励的最大值
  • D.状态向量的维度数

答案：B。优势函数 A_t = Q_t - V_t，比较当前动作的预期回报与该状态平均价值的差异。好动作优势为正，坏动作为负。

Q6. 系统辨识在 Sim2Real 迁移中做什么？

单选题 · mid

  • A.识别图像里的物体类别
  • B.调整仿真参数贴近真实轨迹← 正确答案
  • C.辨识机器人的关节位置
  • D.压缩传感器数据流

答案：B。系统辨识通过对比真实与仿真轨迹，反向估计更准确的物理参数，从而缩小仿真与现实的域差距。

Q7. 混合控制中 RL 与控制理论融合的工作方式是？

单选题 · mid

  • A.RL生成高层动作，MPC做底层修正← 正确答案
  • B.RL完全替代传感器并规划轨迹
  • C.控制理论消除所有随机噪声
  • D.RL只用于离线数据标注

答案：A。混合控制利用 RL 的灵活性与控制理论的稳定保证，常见做法是 RL 输出高层动作，模型预测控制等模块做参考修正。

Q8. 避免仿真训练策略直接部署到真实机器失败，常用的方法包括？

多选题 · hard

  • A.域随机化提高参数泛化能力← 正确答案
  • B.系统辨识减小仿真与真实差距← 正确答案
  • C.在线微调适应真实环境← 正确答案
  • D.提高仿真分辨率以增加地图细节

答案：ABC。域随机化让策略面对参数扰动更鲁棒，系统辨识把仿真模型校准到真实，微调用真实数据进一步适配。D 提高分辨率不解决物理和动态差异。

Q9. 关于 CMDP（带约束马尔可夫决策过程），下列说法正确的是？

多选题 · hard

  • A.最大化任务奖励同时限制风险成本← 正确答案
  • B.安全约束可以完全依赖奖励塑形
  • C.需要设计安全成本函数约束长期风险← 正确答案
  • D.属于先训练后评估的伦理审查环节

答案：AC。CMDP 在奖励最大化之外加入硬性风险约束，需要设定安全成本 c_t。B 错误，奖励惩罚可被权衡绕开；D 是实践流程，不是 CMDP 本身。

Q10. 在接触式强化学习任务中，加入正则项 λ||f_t||² 的目的是？

单选题 · extreme

  • A.增大接触力让抓取更稳固
  • B.惩罚过大的接触力使操作柔顺安全← 正确答案
  • C.加速物理引擎的碰撞检测过程
  • D.降低状态空间表示的维度

答案：B。这项正则化在目标函数中抑制过大的接触力，让机器人学会温柔而精确的操作，减少零件损坏和安全隐患。