交互世界：动作空间设计

可视化演示

演示离散嵌入与连续参数化动作编码、层次化高层策略底层执行动作空间、动作空间大小对世界模型生成质量与收敛影响三大模式交互动画。

动作空间基础

在给 AI 设计手柄之前，我们得先弄清楚：这支手柄上到底要放哪些按键？这组“能按的键”的全体，就是动作空间。生活中最常见的动作空间是电梯的楼层按钮——你只能在 1 楼到 20 楼之间选一个按下。而调光台灯是无极旋钮，转动它你可以让亮度停在 37% 这种任意位置。前者是离散动作空间，后者是连续动作空间。

在交互世界和强化学习系统中，AI 每时每刻都要从动作空间里挑一个动作来执行。动作空间的定义直接决定了 AI 的表达能力上限：按键太少，AI 很多事做不了；按键太多太细，AI 又学不会。动作空间可以用数学集合来精确定义：

动作空间的维度也不宜盲目堆高。想象手柄上有 30 个按键，新手根本记不住哪个键干什么；同理，AI 在高维动作空间里也很难探索到有效动作。设计动作空间的黄金法则是：在够用的前提下尽量精简。把 AI 的动作选项看作一本菜单，菜单越精炼，点菜越果断。

动作表示编码

手柄的按键确定后，下一步是让 AI 能“读取”动作。AI 不认识“向右走”三个汉字，只认识数字向量。所以要把动作翻译成向量——这就是动作表示。独热编码是处理离散动作最直接的方式：4 个动作「左、右、跳、蹲」分别编码成长度为 4 的向量，某个位置为 1，其余为 0。这就像给每个按键编了一个独一无二的 ID。

连续动作则用参数化映射：把摇杆的偏转角度和力度直接放进一个多维向量里，例如 $a=(0.3, -0.8)$ 表示向右微推摇杆并向后拉 0.8 力度。若动作维度太高，还可以做动作量化——把连续值切成档位，类似空调的 1~5 档风力，降低 AI 的学习难度。动作编码的映射关系可写为：

动作编码就像游戏手柄的蓝牙协议——玩家按按钮的物理动作被翻译成数字信号，AI 收到的就是这个数字信号。设计一个好的编码，能让 AI 在数字世界里“手感”极佳。

交互动作设计

有了按键、有了信号，接下来要设计 AI 在真实交互世界里的“游玩体验”。交互世界的核心是状态-动作-反馈闭环：AI 观察当前世界状态 s，选择一个动作 a，世界因此发生变化并产生新状态 s′，同时给 AI 一个奖励或反馈。这个闭环和玩家打音游完全一样：看到音符（状态）→ 按键（动作）→ 听到音乐反馈（反馈）→ 下一个音符到来。

交互动作设计还要考虑时序性：有些动作是瞬时的（按一下跳跃键），有些动作是持续的（按住加速键），这要求动作空间能表达“按下”与“按住”的差别。设计用户映射策略时，往往把低频、关键的决策量映射为离散按键，把高频、连续的量映射为连续轴，如 FPS 游戏中鼠标微调视角是连续的，切枪换弹是离散的。其中的转移关系可以用状态转移函数描述：

一个设计良好的交互动作系统，就像一款手感出色的游戏：玩家（或 AI）能迅速判断“这个操作会带来那个结果”，反馈清晰、可预期、可学习。

世界模型动作

进阶玩法是：不再让 AI 在真实环境里试错，而是在它脑子里构建一个“模拟器”，躺着也能预演各种动作会带来什么结果。这个脑内模拟器就是世界模型。世界模型先通过动作编码器把离散或连续动作压缩成紧凑的潜向量，再把潜向量与环境状态一起送入状态转移网络，预测未来状态。这相当于玩家在脑子里默念：“我按下这个键，画面大概会变成这样”——不用真按，也能猜到结果。

潜空间动作就是把动作浓缩成几个关键数字，像把一整段舞姿压制成“旋转 +3、跳跃 +2”两三个参数，神经网络在这种低维表达上做预测要轻松得多。动作条件生成则更进一步：直接以动作向量为条件，生成未来世界的多帧画面或剧情分支。预测模型是：

有了世界模型，AI 就能在脑内“打草稿”。练舞之前先比划比划，下棋之前先在心中推演几步，这种想象力是 AI 从“反应式”走向“规划式”的关键飞跃。

视频生成控制

把世界模型的动作机制再放大一步，就到了视频生成领域。如今 AI 生成视频不再只靠一句提示词，而可以通过动作序列精确控制画面。你可以这样理解：给导演（AI）一份分镜动作表——“第 1 秒角色向左转身，第 2 秒起跑，第 3 秒跳跃”——模型就照着这张动作表逐帧生成画面。这就是条件视频生成，动作在这里不是配角，而是控制画面的指挥棒。

构建这种系统，需要对动作序列建模：把一串动作按时间排列成序列，模型在每一帧都参考当前动作来生成画面。运动一致性是难点，如果前一帧人在左边、后一帧动作是“向右跑”，画面里的人不能瞬移到右边，这要求模型对动作做平滑的插值引导。交互指令控制则让用户能在生成过程中实时修改动作方向，比如“跳过石头改为绕过去”。用一个条件概率描述这个过程：

这套“动作指挥画面”的机制，相当于给 AI 导演配了一支具体到键位的遥控器：你按什么动作键，它就能演出什么戏。动作序列越细致，生成视频的剧情可控性就越强。

工程实践优化

最后落地工程时，还要像游戏厂商调校手柄一样打磨细节。第一件事是动作空间降维：如果原始动作有几百个维度，很多维度其实是冗余的，可以用主成分分析、自编码器等方法提取关键动作维度，把 300 维砍到 10 维，AI 的学习难度会骤降。第二件是稀疏动作处理：当动作空间很大但常用动作很少时，AI 很难随机探索到有效行为，可以用经验回放、课程学习来让它先从简单动作学起。

第三件是训练稳定性：连续动作空间 + 策略梯度算法很容易训练崩溃，通常需要限制动作更新幅度、加入探索噪声衰减、或者使用动作输出的边界约束。第四件是构建动作原语库：把基础动作（走、跑、跳、转身）预先封装成库，AI 学习高层策略时只需要组合这些原语，不需要从头学关节级控制。优化目标常常写成：

工程优化的本质是“手感调校”：不是改变手柄的玩法，而是让按键更跟手、响应更灵敏、误触更少。动作空间设计得再精妙，最终都要在工程层面打磨到稳定、高效、可复用，才能真正走进产品。

AI 应用场景

Python 演示

import random  class ActionSpace:    """离散动作空间 + 简单世界模拟器"""     def __init__(self, actions_list):        # 动作列表，例如 ["left", "right", "jump", "stay"]        self.actions_list = actions_list     def get_actions(self):        return self.actions_list     def sample(self):        return random.choice(self.actions_list)  class WorldSimulator:    """极简交互世界：小球在直线上移动，动作改变它的位置"""     def __init__(self, space):        self.space = space        self.pos = 0        self.velocity = 0        self.gc_count = 0     def get_state(self):        return {"pos": self.pos, "vel": self.velocity}     def step(self, action):        # 用动作更新位置、速度和奖励        if action == "left":            self.velocity -= 1        elif action == "right":            self.velocity += 1        elif action == "jump":            self.velocity -= 0.5        elif action == "stay":            self.velocity = self.velocity * 0.9         self.velocity = max(-3, min(3, self.velocity))        self.pos += self.velocity        # 位置越接近 0，奖励越高（鼓励小球回原点）        reward = 1.0 / (1.0 + abs(self.pos))        self.gc_count += 1        return self.get_state(), reward     def reset(self):        self.pos = random.uniform(-5, 5)        self.velocity = 0        self.gc_count = 0        return self.get_state()  def run_episode(sim, max_steps=20):    state = sim.reset()    total_reward = 0    print("初始状态:", state)    for _ in range(max_steps):        action = sim.space.sample()        state, reward = sim.step(action)        total_reward += reward        print(f"动作: {action:>5s} -> 状态: {state}, 奖励: {reward:.4f}")    print(f"总奖励: {total_reward:.4f}\n")  if __name__ == "__main__":    space = ActionSpace(["left", "right", "jump", "stay"])    sim = WorldSimulator(space)    run_episode(sim, max_steps=10)    run_episode(sim, max_steps=10)

1. class ActionSpace把动作空间封装成对象，支持列出所有动作和随机采样。
2. self.actions_list = actions_list使用带 _list 后缀的命名，避免与 get_actions 方法冲突。
3. def step(self, action)世界模拟器的核心：一个动作输入，改变位置与速度，输出新状态和奖励。
4. reward = 1.0 / (1.0 + abs(self.pos))离原点越近奖励越高，驱动 AI 学会“向左/向右”的动作价值。
5. run_episode(sim, max_steps=20)跑完一整条“动作-状态-奖励”轨迹，展示交互回合的完整生命周期。

常见误区

面试题