深入理解域随机化 Domain Randomization

可视化演示

第 1 节 基本概念：为什么需要域随机化

徒弟“小灶”在一间固定的练习厨房里学做番茄炒蛋。厨房的灶台靠左、灯光雪亮、铁锅特别顺手。他练了三个月，闭着眼都能炒出满分。可正式上岗那天，后厨的灶台换到了右边，灯光昏黄，锅变成了不粘锅——小灶居然连蛋都翻不熟了。问题出在哪？他练的不是“做菜”，而是“在那一间特定厨房里做菜”。对机器人来说，仿真环境就是那间练习厨房，真实世界就是真正的后厨。两者之间的差异，叫做“域差距”（domain gap）。

为了让机器人不变成“只会在一间仿真厨房里耍威风”的偏科生，研究者提出了域随机化：训练时不让环境固定不变，而是给仿真环境里的各种参数随机加扰动——换个背景、改个摩擦、调个重力。这样，机器人见过足够多“变体”之后，学到的就不再是某个特定环境的死记硬背，而是真正的控制策略。换句话说，域随机化是在用“多样化的练习”换取“真实世界的泛化”。

数学上，我们可以把机器人在真实世界中的期望回报，拆成仿真中的期望回报减去一个“域差距”项。想要真机表现好，要么提高仿真表现，要么缩小域差距。

小灶后来学聪明了：练习时让师傅随机调整灶台位置、灯光亮度和锅的材质。六个月后再进后厨，他扫一眼环境就能快速适应。域随机化，就是机器人的“多样化工地训练”，让它从“背板选手”变成“真会做菜的厨师”。

第 2 节 随机化范围：让厨房“换装”的边界

师傅给小灶定了一条规矩：练习厨房可以随便换装，但不能换成一个游泳池。灯光可以从暖黄调到冷白，锅可以从铁锅换成不粘锅，但灶台必须在厨房里、食材必须还是番茄和蛋。这里的“可以变什么、变到多大范围”，就是域随机化的随机化范围（randomization range）。

范围设定是域随机化最核心的工程决策。范围太小，仿真分布盖不住真实分布，练了半天还是偏科；范围太大，训练难度陡增，策略可能根本学不会。通常的做法是给每个参数规定上下界，然后从界内采样。如果某个参数在真实世界中大致服从某种规律（比如光照强度在白天是偏亮的），我们还可以选择更贴近真实分布的采样方式，而不仅仅是最简单的均匀分布。

在实现层面，环境参数被组织成一个向量，每次训练回合开始前从指定分布里抽一组值，再用这组值生成一局仿真。这个采样过程可以形式化地写成：

值得一提的是，随机化范围不是一成不变的。就像师傅先让小灶在灯光只变一档的厨房里练手，等他熟练后再慢慢扩大变化幅度——这叫“课程式随机化”。范围由窄到宽，训练由易到难，最终让策略在“最难但还能学会”的窗口上稳定下来。

第 3 节 关键参数选择：最该折腾哪几样

给厨房换装，不是每样东西都要天天折腾。换灯泡省事，但把灶台改成电磁炉、把铁锅改成陶罐，对做菜的影响天差地别。对机器人来说，参数也有“敏感”和“不敏感”之分：随便挑几个参数乱随机化，可能既浪费算力又得不到泛化收益。

域随机化中常见的参数分四类。第一类是视觉参数：纹理、光照、颜色、相机视角——它们决定机器人“看到什么”。第二类是物理参数：摩擦系数、物体质量、关节阻尼——它们决定机器人“感觉到什么手感”。第三类是动态参数：电机力矩、传动延迟、控制频率——它们决定机器人“响应有多快”。第四类是感官噪声：传感器读数上的白噪声、信号丢包——它们模拟真实世界的“不靠谱”。

这么多参数，怎么知道该优先随机化哪个？一个实用的思路是算“灵敏度”：把每个参数单独做微扰，观察策略期望回报的变化幅度。变化越剧烈，说明这个参数越值得随机化。用数学表达，就是回报对参数的偏导数绝对值：

小灶的师傅有一个笔记本，上面记着：灯光怎么变，火候照样练得出来；但锅的导热系数一变，时间火候全得重新调。于是他把“锅的材质”列为重点随机化对象，灯光只做轻扰动。选对重点，事半功倍。

第 4 节 过度随机化：当厨房不再像厨房

师傅有一天心血来潮，把练习厨房布置成了太空舱：零重力、食材漂在空中、灶台发出刺眼的霓虹光。小灶练了一个月，不但没进步，连最基本的颠锅都忘了——厨房变化得太离谱，做菜的基本功都被淹没了。这就是过度随机化（over-randomization）。

过度随机化有几个典型信号。第一，训练曲线不收敛：随机化力度越大，机器人面对的环境越千奇百怪，策略更新时梯度方向互相打架，loss 高居不下。第二，任务难度失衡：部分随机参数组合把任务变得不可能完成（比如摩擦系数调到 0，机器人一走路就滑倒），策略在无效回合上浪费大量样本。第三，关键特征丢失：随机化的范围大到把任务的关键线索淹没（比如物体纹理和背景融为一体），机器人根本不知道该看哪里。

要从数学上理解这个问题，可以观察期望回报的方差。随机化带来的方差可以分解为“参数导致的方差”和“策略自身随机性导致的方差”。当参数导致的方差过大时，有效训练信号就像被淹没在噪音里：

识别出过度随机化后，正确做法是“回调”：缩小波动最大的参数范围，或者在训练初期关掉某些参数，等策略基础稳定后再逐步放开。就像师傅立刻把厨房从太空舱恢复成普通厨房，让小灶先找回颠锅的手感，再缓慢增加变化。

第 5 节 训练与部署：从练习厨房到真实后厨

完整的域随机化训练流程，很像师傅带小灶出师的安排。第一步是采样参数：每次训练回合开始前，从随机化分布里抽一组厨房配置。第二步是训练策略：在这样配置的仿真厨房里，让小灶试做、试错、调整动作。第三步是仿真对照实验：在完全不随机化的“标准厨房”里考核一次，确认基本功没有丢。最后一步才是实机部署：进入真实后厨正式掌勺。

整个训练过程的数学目标非常直观：我们需要找到一组策略参数，使得“在所有可能的厨房配置下”的平均表现最好。注意，这里的期望是对随机化分布求的——这正是域随机化与普通强化学习的本质区别：

部署环节还有一个容易被忽略的细节：真机部署前，一定要在“标准仿真环境 + 标准考核任务”上做一次对照实验。如果随机化版本连标准仿真环境的表现都不如固定版本，说明随机化可能干扰了基本功；反之，如果两者差不多，而随机化版本在变化环境里更抗打，那就放心上真机。

第 6 节 性能评估：怎么知道学徒出师

小灶练习了大半年，师傅怎么知道他能不能出师？只看他“在练习厨房里的颠锅次数”没用——师傅会做三件事：让他做一桌固定菜单、换个全新厨房突击考试、故意把厨房弄乱看他慌不慌。这对应域随机化的三类评估方法。

第一类是泛化指标：比如“在多种未见过的环境配置下任务成功率”的平均值和方差。成功率平均值高说明策略能力强，方差小说明策略稳定。第二类是域差距度量：把同一策略分别放到仿真和真机上评测，计算两者表现之差。差越小，说明仿真环境模拟得越真实，随机化越有效。第三类是鲁棒性分析：系统性地加大随机化强度，画出“成功率-随机化强度”曲线，观察策略在多大的扰动下开始崩溃。

把这三类方法统一起来，可以提炼出一个核心评估量——泛化差距，即策略在真实环境中的平均表现与它在仿真环境中的平均表现之差：

师傅最终让小灶出师的标准很简单：在完全陌生的厨房里，做同一道菜的合格率超过九成。对机器人团队来说，真机评测就是那道最终的考卷——仿真里的漂亮曲线再好看，也比不上真实世界里一次稳稳的抓取。

第 7 节 工程实践：稳定复现的秘密

带小灶练了一年，师傅总结出三条后厨管理经验：一是练习计划要有节奏，二是记录每一道菜的参数配方，三是每隔一段时间就复盘调整。域随机化的工程实践也是如此，最关键的技巧是随机化调度——不让随机化范围一步到位，而是像“课程”一样逐步展开。

具体做法是：训练初期用小范围随机化（甚至先用固定环境），让策略学到基本功；随着训练推进，按固定节奏逐步扩大随机化范围，直到达到预设的最大值。这个过程可以用一个简单的线性扩展公式描述：

除了调度，工程上还要注意三点：资源管理——并行运行多个随机化仿真环境会大幅提升采样效率，但要小心 CPU/GPU 负载；日志调试——把每次采样到的参数值连同训练指标一起记录下来，方便复现“神奇回合”；迭代优化——每次真机实验后，把真实测量到的参数范围反馈到仿真里，让随机化分布越来越贴近现实。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""域随机化迷你演示：网格世界Q-learning，对比固定环境与随机化环境训练"""import randomimport numpy as np GRID = 5GOAL = (4, 4)WALL_NUM = 3 def make_env(randomize=False):    """生成环境。randomize=True 时每次重新随机摆放墙的位置（模拟域随机化）"""    if not randomize:        return {(1, 1), (2, 3), (3, 1)}    walls = set()    while len(walls) < WALL_NUM:        w = (random.randint(0, GRID - 1), random.randint(0, GRID - 1))        if w != (0, 0) and w != GOAL and w not in walls:            walls.add(w)    return walls def step(state, action, walls):    """执行一步动作，返回新状态、奖励、是否结束"""    dr, dc = [(-1, 0), (1, 0), (0, -1), (0, 1)][action]    r, c = state    ns = (min(max(r + dr, 0), GRID - 1), min(max(c + dc, 0), GRID - 1))    if ns in walls:        ns = state    reward = 1.0 if ns == GOAL else -0.01    return ns, reward, ns == GOAL def train(randomize, episodes=1000):    """Q-learning 训练。randomize 控制是否启用域随机化"""    q = np.zeros((GRID, GRID, 4))    lr, gamma, eps = 0.1, 0.95, 0.4    for ep in range(episodes):        walls = make_env(randomize)          # 核心：每回合重新采样环境        state, done = (0, 0), False        while not done:            r, c = state            if random.random() < eps:                a = random.randint(0, 3)            else:                a = int(np.argmax(q[r, c]))            ns, rew, done = step(state, a, walls)            nr, nc = ns            q[r, c, a] += lr * (rew + gamma * float(np.max(q[nr, nc])) - q[r, c, a])            state = ns        eps = max(0.05, eps * 0.995)    return q def evaluate(q, rounds=200):    """在固定真实环境中测试成功率"""    ok = 0    walls = make_env(randomize=False)    for _ in range(rounds):        state = (0, 0)        for _ in range(200):            r, c = state            state, rew, done = step(state, int(np.argmax(q[r, c])), walls)            if done:                ok += 1                break    return ok / rounds if __name__ == "__main__":    q_fixed = train(randomize=False)    q_rand = train(randomize=True)    print("固定环境训练  成功率: %.1f%%" % (100 * evaluate(q_fixed)))    print("域随机化训练  成功率: %.1f%%" % (100 * evaluate(q_rand)))

1. walls = make_env(randomize)每回合重新采样环境参数（墙的位置），这正是域随机化在代码层面的落点。
2. if random.random() < eps: a = random.randint(0, 3)用 epsilon-greedy 策略平衡探索与利用，前期多探索。
3. q[r, c, a] += lr * (rew + gamma * float(np.max(q[nr, nc])) - q[r, c, a])Q-learning 的核心更新式：用当前奖励加上未来最大 Q 值去逼近真实价值。
4. walls = make_env(randomize=False)评估时使用固定的真实环境，模拟“真机部署”后的考核。

常见误区

面试题