想象你是一家连锁健身房的项目经理，你的学员（智能体）要参加各种训练课：去街机厅打砖块、去模拟场地学滑雪、去新开的定制场馆练走路。为了让任何一位教练（算法）走进任何一家门店都能立刻开课，整个行业必须有一份统一的运营手册：几点开课（reset）、每个动作怎么计分（step）、学员状态怎么上报（observation）、教练的评分怎么记录（reward）。在强化学习的世界里，这份手册就是 Gym 与 Gymnasium——一套把「训练场地」标准化为统一接口的规范。本文沿着「开一家训练馆」这条线，带你认识场地、读懂哨声、自建场馆、加装装备、开设连锁分店，最后把一个训练营完整运营起来。读完你会发现，搞定了环境，强化学习就成功了一半。

岗位关联

对 AI 从业者而言，Gymnasium 是强化学习工程的「通用插座」——看懂 reset/step/空间/包装器/并行化，任何 RL 算法都能在你的环境上跑起来，这是从理论走向落地的第一道基本功。

目录
  1. 可视化演示
  2. 环境接口初探
  3. 经典内置环境
  4. 核心交互机制
  5. 自定义环境
  6. 辅助装备改造
  7. 连锁并行训练
  8. 实战闭环配置
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

Gymnasium标准接口：Agent-Environment交互循环 Agent (\u03C0)\u03C0(a|s) \u2192 策略网络DQN/PPO/SAC/A3C...reset(seed=None) \u2192 obs, infoAgent (\u03C0)

环境接口初探

想象你要开一家健身房，但你不想自创一套经营规则——否则教练换一家店就不会带课了。于是整个行业约定了一份「场地标准」：所有训练馆都必须有相同的开课流程、相同的器械操作规范。学员走进任何一家会员店都能立刻开练。Gym 就是这个行业标准，Gymnasium 则是它目前最有生命力的「标准修订版」。

OpenAI 在 2016 年发布 Gym，迅速成为强化学习实验的事实标准；后来社区接手维护，于 2022 年推出 Gymnasium 并成为主流。它定义了环境交互的最小 API，几乎所有主流算法库（Stable-Baselines3、Ray RLlib、CleanRL）都围绕它开发。安装只需 pip install gymnasium，然后四行代码就能跑通一个环境：

每创建一个环境，它都会通过 observation_space 和 action_space 声明场地规格——用 spaces.Box 描述连续数值区间，用 spaces.Discrete 描述离散选项。算法据此搭建网络的输入输出维度。

这套「开课—动作—反馈」的循环，正是健身房运营手册的核心条款。你不需要知道每家店的装修细节，只要遵守这份规范，任何算法都能在任意环境上完成训练。

(st+1,rt)∼P(st+1,rt∣st,at)(s_{t+1}, r_t) \sim P(s_{t+1}, r_t \mid s_t, a_t)
这个式子概括了「环境响应」全过程：学员在状态 s_t 做了动作 a_t，环境按内部规则 P 给出新状态和即时奖励——就像学员做完一组动作后，身体状态和教练评分同时更新。
  1. 当前状态 s_tt 时刻学员所处的局面，比如小车上杆子的角度与速度。
    sts_t
  2. 选择动作 a_t学员按当前策略做出的决定，如向左推或向右推。
    ata_t
  3. 环境响应分布 P训练馆的「物理规则」，描述给定状态下每种结果的概率。
    P(st+1,rt∣st,at)P(s_{t+1}, r_t \mid s_t, a_t)
  4. 新的状态与奖励环境采样出一个新状态和即时奖励，返回给学员。
    st+1, rts_{t+1}, \ r_t
python4 行
import gymnasium as gymenv = gym.make("CartPole-v1")obs, info = env.reset()obs, reward, terminated, truncated, info = env.step(env.action_space.sample())

经典内置环境

大型连锁健身房除了基础训练区，还配有街机厅和模拟运动场——这就是 Gymnasium 的内置环境。它们是新手教练起步最快的免费场地。

先说街机厅 Atari：它仿真了几十款经典街机游戏，如 Breakout（打砖块）、Pong（乒乓球）、SpaceInvaders（太空入侵者）。观测是像素画面，动作是离散的摇杆与按键组合。DQN 等里程碑论文都用它做标准测试台，直到今天仍是评估算法「通用性」的试金石。再说模拟运动场 Box2D：它用物理引擎模拟刚体运动，最著名的有 CartPole（小车立杆）、LunarLander（登月舱着陆）、BipedalWalker（双足行走），动作通常是连续的力矩值，适合入门连续控制。此外还有 MuJoCo（更精细的机器人控制）和 Toy Text（小规模离散文本世界）。

这些场地都登记在同一本「目录册」里——环境注册表。gym.make("CartPole-v1") 实际上是通过 id 查注册表找到工厂函数再创建环境；env.spec 可以查看元信息，如最大步数、版本号。你完全可以注册自己的环境，让它拥有同样的身份证。

街机厅和模拟运动场是新手教练入门性价比最高的地方——环境免费、规则清晰、跑得快，几乎每一篇 RL 入门论文都在这里起步。

ot=[st−k+1st−k+2⋮st],ot∈Rk×H×Wo_t = \begin{bmatrix} s_{t-k+1} \\ s_{t-k+2} \\ \vdots \\ s_t \end{bmatrix}, \quad o_t \in \mathbb{R}^{k \times H \times W}
单帧像素画面看不出运动方向，Atari 算法常把最近 k 帧堆叠起来——就像把连拍照片叠成一张「轨迹图」，让学员感知到速度与方向。
  1. 堆叠窗口 k叠多少帧由算法需求决定，Atari 惯例是取最近 4 帧。
    k=4k = 4
  2. 单帧画面 s_t每一帧是 H 行 W 列的像素矩阵。
    st∈RH×Ws_t \in \mathbb{R}^{H \times W}
  3. 堆叠观测 o_t按时间顺序纵向拼接，得到形状为 k×H×W 的观测张量。
    ot∈Rk×H×Wo_t \in \mathbb{R}^{k \times H \times W}

核心交互机制

训练课程中每一声哨响都有明确含义：开课哨、动作哨、下课哨。Gymnasium 用三个信号把课程节奏固定下来。

reset() 是开课哨：把环境恢复到初始布局，返回初始观测 obs 和额外信息 info。传入 seed 参数可以复现同一堂课，这是实验可复现的地基。step(action) 是动作哨：推进一个时间步，返回五元组 (obs, reward, terminated, truncated, info)。其中 terminated 表示「自然下课」——达成目标或失败倒下；truncated 表示「到点强制下课」——超出步数上限或外部中断。两者都表示回合结束，但含义完全不同：算法在 truncated 状态下通常仍可做自举（bootstrap），而在 terminated 下则不能。info 是教练的笔记本，记录真实分数、动作耗时等调试信息，不直接参与学习。

与 Gymnasium 交互时只要记住三声哨——reset 开课、step 动作、terminated/truncated 下课。大量训练事故都源于把下课原因搞混，读懂哨声是调通一切的基础。

Gt=∑k=0T−tγkrt+k+1G_t = \sum_{k=0}^{T-t} \gamma^{k} r_{t+k+1}
这是「本节课总成绩」：从时刻 t 起，把每一步奖励按折扣因子 γ 折现后求和。远处的奖励不那么值钱，正如开学第一天的体能课，效果远不如考前冲刺课来得直接。
  1. 即时奖励 r每完成一个动作，教练给出的当次评分。
    rt+k+1r_{t+k+1}
  2. 折扣因子 γ0 到 1 之间的数，表示未来奖励相对此刻的衰减程度。
    γ∈[0,1)\gamma \in [0, 1)
  3. 累积求和从当前时刻一直累加到回合结束 T。
    ∑k=0T−t\sum_{k=0}^{T-t}
  4. 折扣回报 G_t未来各步奖励的加权和，就是这一节课的总成绩。
    GtG_t

自定义环境

内置场地不够用怎么办？自己开一家训练馆：画场地、定规则、摆器材。Gymnasium 提供了「场地设计模板」，你只需填写必填项。

写一个自定义环境，核心是继承 gym.Env 基类，并在 __init__ 中声明 action_space、observation_space 和 metadata。必须实现 reset()——返回 (obs, info)；以及 step(action)——返回 (obs, reward, terminated, truncated, info)。render() 和 close() 可选，用于可视化与资源清理。最后用 gym.register(id="MyEnv-v0", entry_point="my_module:MyEnv") 把它登记进目录册，之后就能和其他环境一样用 gym.make 统一创建。写好一个环境的关键是：动作空间声明要严谨，观测内容要包含算法决策所需的全部信息，奖励函数要能准确表达任务目标。

开一家训练馆，核心工作不是装修，而是把 S、A、P、R、γ 五张表填清楚。Env 基类就是这张表格的固定格式，填好注册进目录，任何算法都能来带课。

M=(S,A,P,R,γ)\mathcal{M} = (\mathcal{S}, \mathcal{A}, P, R, \gamma)
一个自定义环境本质上就是一个马尔可夫决策过程（MDP）的五要素：场地、动作、规则、评分和折扣。写环境的过程，就是在落实这五张表单。
  1. 状态集合 S训练馆所有可能的场地局面。
    S\mathcal{S}
  2. 动作集合 A学员可做的全部动作选项。
    A\mathcal{A}
  3. 转移概率 P规则本身——给定状态和动作，下一状态如何变化。
    P(st+1∣st,at)P(s_{t+1} \mid s_t, a_t)
  4. 奖励函数 R评分标准，给出每步的即时奖励。
    R(st,at,st+1)R(s_t, a_t, s_{t+1})
  5. 折扣因子 γ长期目标相对短期目标的重要程度。
    γ\gamma

辅助装备改造

同一家健身房，教练可以给学员戴心率带（观测更精细）、用话术鼓励（奖励更友好）、把杠铃换成可调节重量（动作更多样）。Wrapper 就是这类「辅助装备」——不改健身房本身，只改学员的体感与反馈。

Wrapper 在不修改原始环境源码的前提下，对 reset/step 做增量改造。三种常用类型：ObservationWrapper 对观测做预处理（灰度化、缩放、归一化、帧堆叠）；RewardWrapper 对奖励做塑形或裁剪；ActionWrapper 对动作做映射（把连续动作离散化，或加探索噪声）。Gymnasium 还内置了 TimeLimit（回合步数截断）、RecordEpisodeStatistics（记录每回合回报）等实用装备。多个 Wrapper 可以像洋葱一样层层嵌套，比如「帧堆叠 → 奖励裁剪 → 时间限制」三层包装一个 Atari 环境。

给环境套 Wrapper，就像给课程加装备和话术。装备能让训练收敛更快、更稳，但必须「规则友好」——势能塑形不改变最优策略，而随意乱加的奖励很可能把学员带偏去刷分。

F(s,a,s′)=γΦ(s′)−Φ(s)F(s, a, s') = \gamma \Phi(s') - \Phi(s)
势能塑形：如果 Φ 是「离目标有多近」的评分，那么 F 就鼓励学员走向评分更高的状态。理论上这类塑形不改变最优策略——就像教练的鼓励话术不会改变杠铃的物理定律，但能帮学员少走弯路。
  1. 势能函数 Φ对状态 s 打一个「潜力分」，典型的做法是离目标越近分越高。
    Φ(s)\Phi(s)
  2. 动作前后状态学员在状态 s 做动作 a，到达新状态 s'。
    s→as′s \xrightarrow{a} s'
  3. 塑形奖励 F用前后潜力分的折扣差作为额外奖励信号。
    γΦ(s′)−Φ(s)\gamma \Phi(s') - \Phi(s)

连锁并行训练

一家店慢慢练太慢——如果这门课同时在 8 家分店开，每秒钟就能收集 8 条学员的成长数据。VectorEnv 就是连锁训练馆的排课系统。

单个环境每次 step 只推进一个时间步，而 RL 训练动辄百万步，串行等待的墙钟时间难以接受。gymnasium.vector.make("CartPole-v1", num_envs=8) 可以一次创建 8 个独立环境；SyncVectorEnv 同步执行，AsyncVectorEnv 则用多进程并行跑，父进程自动汇总各环境结果。并行后观测的形状从 (H, W) 变成 (num_envs, H, W)，动作也要以批量向量的形式一次性传入。一次 reset 会同时返回所有环境的初始观测和信息列表。

连锁分店是样本吞吐的倍增器：同样的墙钟时间，采集的数据量是原来的 N 倍。对样本效率低的算法（如策略梯度家族），这是性价比最高的提速手段之一。

Ot=(ot(1),ot(2),…,ot(N)),At=(at(1),at(2),…,at(N))O_t = (o_t^{(1)}, o_t^{(2)}, \dots, o_t^{(N)}), \quad A_t = (a_t^{(1)}, a_t^{(2)}, \dots, a_t^{(N)})
一个批次动作进入 N 个环境，挤出一个批次观测。形状从单环境的 (H, W) 变成 (N, H, W)，这就是并行化最直观的代价与收益。
  1. 并行数量 N同时开课的分店数，对应 num_envs 参数。
    NN
  2. 单环境观测第 i 家店学员此刻的观测。
    ot(i)o_t^{(i)}
  3. 批量观测 O_t把 N 个观测沿新的批量维度拼接。
    Ot∈RN×H×WO_t \in \mathbb{R}^{N \times H \times W}
  4. 批量动作 A_t算法一次给 N 个环境各发一个动作。
    At=(at(1),…,at(N))A_t = (a_t^{(1)}, \dots, a_t^{(N)})

实战闭环配置

场地、规则、装备、连锁都有了，接下来要真正运营一个训练营：排课、记录每位学员的成绩曲线、定期考核、保证同样的课程在不同教练手里结果一致。

与算法库对接是第一步。Stable-Baselines3、Ray RLlib、CleanRL 都要求环境遵循 Gymnasium 接口，通常你只需提供一个 make_env() 工厂函数——返回一个「创建环境的 lambda 表达式」，再用 make_vec_env 打包成向量环境即可。训练监控方面，用 RecordEpisodeStatistics 记录每回合回报，接入 TensorBoard 或 CSV，实时观察训练曲线。稳定复现方面，需要同时设置全局随机种子、numpy 种子，并在 reset(seed=...) 中指定种子，固定 CUDA 随机源。最后，正确评估策略要用独立的评估流程——在固定种子上多跑几十个回合取平均，而不是拿训练末尾窗口的成绩当最终成绩。

能打仗的 RL 训练系统，不是把环境跑起来就完事，而是环境、算法、监控、评估、复现五个环节咬合成闭环。Gymnasium 提供了这个闭环的「通用插座」，现在你已经知道每一个插头的接法了。

Rˉeval=1Neval∑i=1NevalR(i),R(i)=∑t=0T(i)γtrt(i)\bar{R}_{\text{eval}} = \frac{1}{N_{\text{eval}}} \sum_{i=1}^{N_{\text{eval}}} R^{(i)}, \quad R^{(i)} = \sum_{t=0}^{T^{(i)}} \gamma^t r_t^{(i)}
评估就像期末统考：用 N_eval 次独立开课的平均总成绩评价学员，而不是拿平时训练最后几节课的表现充数。
  1. 单次考核成绩第 i 次开课从 reset 到下课的总折扣回报。
    R(i)=∑t=0T(i)γtrt(i)R^{(i)} = \sum_{t=0}^{T^{(i)}} \gamma^t r_t^{(i)}
  2. 多次考核取平均用 N_eval 次考核的平均值消除随机性，得到稳定指标。
    Rˉeval=1Neval∑i=1NevalR(i)\bar{R}_{\text{eval}} = \frac{1}{N_{\text{eval}}} \sum_{i=1}^{N_{\text{eval}}} R^{(i)}

AI 应用场景

游戏 AI 回归测试

阶段：环境构建与基准测试

解决的问题：游戏版本迭代频繁，手工测试关卡难度与 AI 行为成本高；版本升级后 AI 是否退化难以量化。把游戏逻辑封装成 Gymnasium 环境后，任何策略都能在统一规则下自动跑分。

具体案例：某休闲游戏团队把核心玩法封装为自定义 Atari 风格环境，用同一套 PPO 算法在旧版与新版关卡上分别训练，对比平均回合分数曲线，自动定位「改版后难度骤增」的关卡并反馈给策划，上线后玩家流失率下降 18%。

机器人仿真验证

阶段：自定义环境与奖励塑形

解决的问题：真机试错有安全风险和硬件损耗，且无法并行跑几千次实验。仿真环境配合势能塑形 Wrapper，可以在虚拟世界先学出稳定步态，再迁移真机。

具体案例：双足机器人团队搭建 Box2D/MuJoCo 仿真环境，编写「先学走直、再学转弯」的分阶段势能塑形奖励，训练 1000 万步后部署到真机，再用真机数据反向微调仿真器参数，迁移成功率从 30% 提升到 85%。

大规模调度策略离线训练

阶段：并行采样与监控部署

解决的问题：单个环境模拟一条外卖骑手轨迹太慢，覆盖高峰期场景需海量样本，串行训练要数周。AsyncVectorEnv 多进程并行采样能成数量级缩短墙钟时间。

具体案例：即时配送团队用 AsyncVectorEnv 并行启动 64 个城市路网环境，每个环境模拟一个片区的骑手调度，配合 RLlib 分布式训练，将新区域调度策略的训练时间从两周压缩到一天，并在评估曲线上线前完成自动阈值告警。

Python 演示

python74 行
import numpy as npimport gymnasium as gymfrom gymnasium import Env, spaces, Wrapper  class MiniGrid(Env):    """极简网格健身房: 学员从左上角出发, 走到右下角得 1 分."""     def __init__(self, size=5, max_steps=20):        super().__init__()        self.size = size        self.max_steps = max_steps        self.action_space = spaces.Discrete(4)  # 0上 1下 2左 3右        self.observation_space = spaces.Box(            low=0, high=size - 1, shape=(2,), dtype=np.int64        )        self.agent_pos = np.array([0, 0], dtype=np.int64)        self.goal_pos = np.array([size - 1, size - 1], dtype=np.int64)        self.steps_done = 0     def reset(self, *, seed=None, options=None):        super().reset(seed=seed)        self.agent_pos = np.array([0, 0], dtype=np.int64)        self.steps_done = 0        return self.agent_pos.copy(), {}     def step(self, action):        self.steps_done += 1        if action == 0:            self.agent_pos[0] = max(0, self.agent_pos[0] - 1)        elif action == 1:            self.agent_pos[0] = min(self.size - 1, self.agent_pos[0] + 1)        elif action == 2:            self.agent_pos[1] = max(0, self.agent_pos[1] - 1)        else:            self.agent_pos[1] = min(self.size - 1, self.agent_pos[1] + 1)        terminated = bool(np.array_equal(self.agent_pos, self.goal_pos))        truncated = self.steps_done >= self.max_steps        reward = 1.0 if terminated else -0.01        return self.agent_pos.copy(), reward, terminated, truncated, {}  class ShapedReward(Wrapper):    """给离目标更近的中间奖励, 引导学员少绕路."""     def step(self, action):        obs, reward, terminated, truncated, info = self.env.step(action)        if not terminated:            dist = float(np.abs(obs - self.env.goal_pos).sum())            reward += 0.05 * (self.env.size - dist)        return obs, reward, terminated, truncated, info  def train_random(env, episodes=200):    """用随机策略跑若干回合, 返回每回合总回报列表."""    returns = []    for _ in range(episodes):        obs, _ = env.reset()        total = 0.0        while True:            action = env.action_space.sample()            obs, reward, terminated, truncated, _ = env.step(action)            total += reward            if terminated or truncated:                break        returns.append(total)    return returns  if __name__ == "__main__":    raw_env = MiniGrid(size=5, max_steps=20)    print("原始环境平均回报:", round(np.mean(train_random(raw_env, 200)), 3))    wrapped_env = ShapedReward(MiniGrid(size=5, max_steps=20))    print("塑形后平均回报:  ", round(np.mean(train_random(wrapped_env, 200)), 3))
目的：演示如何从零实现一个 Gymnasium 自定义环境，并用 Wrapper 做奖励塑形——随机策略下，塑形后的平均回报通常明显高于原始环境。
  1. self.action_space = spaces.Discrete(4)声明动作空间为 4 个离散选项（上下左右），算法据此采样与对齐网络输出。
  2. self.observation_space = spaces.Box(low=0, high=size - 1, shape=(2,), dtype=np.int64)声明观测为 0 到 size-1 之间的二维整数坐标。
  3. terminated = bool(np.array_equal(self.agent_pos, self.goal_pos))到达终点视为「自然下课」，与截断严格区分。
  4. truncated = self.steps_done >= self.max_steps超过步数上限触发强制截断，与 terminated 分开上报。
  5. class ShapedReward(Wrapper):不修改原环境一行代码，只通过包装增强奖励信号。
  6. reward += 0.05 * (self.env.size - dist)离目标越近奖励越多，引导智能体朝目标方向探索。
  7. returns.append(total)记录每个回合的总回报，最终用 np.mean 求平均来评估策略优劣。

常见误区

误区我只要会调 gym.make 和调用现成算法库训练就行，环境内部怎么跑跟我不相干，反正数据能出来。

正解环境是训练正确性的根基。把 truncated 当 terminated 会导致回报计算错误、自举时机错误，训练曲线看似上升实则学歪；观测空间定义错了，算法网络的输入维度都对不上。正如教练不读懂哨声含义就没法带课一样，不理解 reset/step 的语义，出了问题根本无从排查。

为何常见：算法库封装越来越深，先跑通 demo 再慢慢碰环境的惯性，容易让人产生「环境不重要」的错觉。

误区我用 Box 还是 Discrete 都行，反正能编过、能跑起来，训练效果不好再调。

正解空间声明是算法与环境的「合同」。Discrete(4) 告诉策略网络输出 4 类 logits；Box(shape) 告诉网络输入维度。声明错误轻则直接报错，重则在采样或归一化时被静默截断，导致动作语义错乱、训练不收敛。

为何常见：初学者常跳过官方文档直接抄代码，没意识到 space 是环境与算法之间的类型系统契约。

误区既然奖励是学习的信号，那我给中间每一步都发奖励，智能体一定学得更快更好。

正解无约束的塑形会改变甚至破坏最优策略——学员可能学会「原地转圈刷分」而不是奔向目标。势能塑形 Φ(s) 之所以被广泛使用，是因为形如 F=γΦ(s')-Φ(s) 的塑形理论上不改变最优策略；但它需要精心设计，绝非奖励越大越好。

为何常见：「给甜头」是最直觉的激励方式，很多人没意识到奖励函数的设计会重新定义问题本身，而不只是加速求解。

误区反正每个环境实例的逻辑一样，多开几个不是重复劳动吗？还不如把单环境跑快点。

正解每个环境实例独立探索，轨迹各不相同，并行采样既提升了样本多样性，又大幅缩短墙钟时间——单位时间采样量直接乘 N。AsyncVectorEnv 用多进程并行，还绕开了 Python GIL 带来的串行瓶颈。

为何常见：单环境 demo 跑通后，很难直观感受到采样吞吐瓶颈；只有实验时间以小时甚至天计时，才会意识到并行化是性价比最高的加速手段。

面试题

Q1. Gymnasium 中环境交互的两个核心方法是？

单选题 · easy

  • A.reset 与 step 方法← 正确答案
  • B.train 与 eval 方法
  • C.start 与 stop 方法
  • D.init 与 exit 方法

答案：A。Gymnasium 的标准接口是 reset（开课哨，初始化局面）与 step（动作哨，推进一个时间步）。train/eval 是算法库的概念，init/exit 是 Python 对象生命周期方法，start/stop 则不是 Gymnasium 的约定。

Q2. step(action) 的返回值依次是什么？

单选题 · easy

  • A.观测、奖励、终止、截断、信息← 正确答案
  • B.动作、奖励、观测、终止、信息
  • C.终止、截断、观测、奖励、信息
  • D.奖励、观测、动作、终止、信息

答案：A。step 的五元组顺序是 (obs, reward, terminated, truncated, info)。观测是学员看到的新局面，奖励是教练评分，terminated/truncated 分别表示自然下课与强制截断，info 是调试笔记。其余选项把动作混入返回值，是常见的记混点。

Q3. 关于 terminated 与 truncated，正确的说法是？

单选题 · mid

  • A.terminated 表示回合自然完成← 正确答案
  • B.truncated 表示自然完成胜利
  • C.terminated 表示超时强制下课
  • D.truncated 也只在超时时触发

答案：A。terminated 对应「自然下课」——达成目标或失败倒下；truncated 对应「到点强制下课」——超出步数上限或外部中断。两者都结束回合但语义不同，算法对 truncated 通常仍做自举，对 terminated 则不做。混淆二者是训练 bug 的高发源头。

Q4. 关于自定义环境的观测空间，正确的说法有？

多选题 · mid

  • A.Box 适合描述连续数值向量← 正确答案
  • B.Discrete 适合描述离散选项← 正确答案
  • C.空间必须与动作空间一致
  • D.观测空间只能用浮点类型

答案：AB。Box 描述连续区间（如坐标、速度），Discrete 描述离散集合（如方向、按键）。观测空间与动作空间是完全独立的两个声明，不需要一致；Box 也支持 int64 等整数类型。选项 C、D 都是常见误解。

Q5. 奖励塑形（Reward Shaping）的主要作用是？

单选题 · mid

  • A.引导智能体走向目标状态← 正确答案
  • B.随机增大所有动作奖励
  • C.完全消除环境的奖励信号
  • D.只保留回合终止的奖励

答案：A。奖励塑形通过补充中间奖励引导探索，例如离目标越近给分越高，让稀疏奖励问题变得可解。随机增大奖励会混淆学习信号，消除或只保留终止奖励都属于极端做法，不是塑形的本意。

Q6. 关于 Wrapper 的说法，正确的是？

单选题 · hard

  • A.不改源码即可扩展环境功能← 正确答案
  • B.只能降低环境的运行速度
  • C.可以替代策略网络的学习
  • D.用于删除训练中的观测数据

答案：A。Wrapper 是辅助装备层，在不动原始环境源码的前提下改造观测、奖励或动作，可以像洋葱一样叠加。它本身不参与策略学习，也不负责数据删除；正确使用时通常提升训练效率而非拖慢速度。

Q7. VectorEnv 并行训练带来的核心收益是？

单选题 · hard

  • A.同时采集多条独立经验轨迹← 正确答案
  • B.减少单个环境的奖励数值
  • C.直接更新神经网络的权重
  • D.完全替代强化学习算法逻辑

答案：A。VectorEnv 相当于连锁训练馆，多个独立环境同时采样不同轨迹，既增加样本多样性又成倍缩短墙钟时间。它不改变奖励数值、不更新网络权重的计算，也不替代算法本身——只是环境的并行加速器。

Q8. gym.make 创建环境时常用的配置参数有？

多选题 · easy

  • A.max_episode_steps 最大步数← 正确答案
  • B.render_mode 渲染方式← 正确答案
  • C.learning_rate 学习率参数
  • D.action_noise 动作噪声项

答案：AB。max_episode_steps 限制回合最大步数（对应 truncated 触发条件），render_mode 控制是否渲染画面，两者都是 gym.make 的合法参数。learning_rate 属于优化器配置，action_noise 属于算法探索策略，都不该传给环境工厂。

Q9. 关于势能奖励塑形 F(s,a,s')=γΦ(s')-Φ(s)，正确的说法有？

多选题 · hard

  • A.不会改变问题的最优策略← 正确答案
  • B.奖励越大收敛速度必然越快
  • C.能引导智能体走向高势能状态← 正确答案
  • D.势能函数只能设置为常数值

答案：AC。势能塑形用前后状态潜力分的折扣差作为额外奖励，理论保证不改变最优策略，同时引导智能体朝潜力更高的状态探索。奖励过大会淹没真实信号，反而拖慢甚至破坏收敛；Φ 是状态函数，取常数则塑形失效。

Q10. Gymnasium 与 OpenAI Gym 的关系是？

单选题 · mid

  • A.社区维护的继任版本← 正确答案
  • B.与 Gym 毫无关联的新库
  • C.仅用于围棋对弈的环境库
  • D.已经停止维护的旧版接口

答案：A。OpenAI 发布 Gym 成为事实标准后停止维护，社区接手推出 Gymnasium 并持续更新，API 基本兼容，绝大多数现代 RL 库都基于它。它不只是围棋环境，也不是与 Gym 无关的新项目。