Sim2Real：真实世界适应

可视化演示

对比仿真环境与真实环境的策略执行差异，展示残差策略校正方法：基础策略π₀+残差Δπ→融合策略π，弥合Sim2Real现实差距。

现实差距来源：驾校与真实道路的鸿沟

你在驾校练车时标线清晰、地面平整；上路之后，老旧路面的裂缝、雨后的轮胎打滑、视线被大车遮挡——这些驾校里没见过的细节，就是“仿真到现实”的差距。仿真器把物理世界建模成几何、材质、光照和传感器读数的组合，可这个模型永远只是近似，近似带来的偏差就是 Sim2Real Gap。

差距主要来自四个方面。第一是物理引擎简化：摩擦力、弹性形变往往用粗糙公式近似；第二是传感器噪声：相机像素、IMU 漂移在仿真里常被忽略；第三是环境动态变化：光照、人流、天气随时间改变，仿真环境却往往静止；第四是动力学失配：机器人关节摩擦、电机延迟和仿真参数对不上。先用最典型的传感器噪声来看差距如何被量化：

就像不同驾校的路面材料不同，每台真实机器人的传感器噪声也各不相同。认清差距是上路驾驶的第一步——现实差距源决定了后面所有适应策略要攻击的靶子。

在线微调策略：刚上路时的教练随车

刚拿到驾照上路，最稳妥的方式是请一位教练坐在副驾，随时根据真实路况给你指正。在线微调（Online Fine-tuning）就是这个思路：把仿真预训练好的策略当作“会开车的新手”，再用真实环境采集的交互数据，一边开车一边更新它的参数。

具体流程包含四步：真实数据收集、小步幅更新、经验回放池、持续适应。先让策略在真实环境中运行并记录状态、动作、奖励构成回放池；每次只从池子里抽一小批数据做梯度更新，学习率设置得很小；更新完的数据继续回写池子，形成持续适应的闭环。这里的核心公式就是梯度下降：

教练随车不是要把你的驾驶习惯推倒重来，而是小幅修正。在线微调的精髓也在这里：小步幅更新避免破坏仿真学到的稳定技能，经验回放池则像教练的记事本，反复咀嚼遇到过的路况，让策略适应得更稳。

残差策略校正：老司机的小幅修正

真正开了十年车的老司机，超车变道时不会猛打方向盘，而是让主体轨迹保持稳定，只加入非常小幅的修正量。残差策略校正（Residual Policy）学的正是这种“小幅修正”：把仿真预训练策略当作基线（baseline），它已经能给出八十分的动作；再训练一个小网络输出残差修正项，专门补偿真实环境造成的偏差，最终动作为两者之和：

这样设计的最大优势是“保持稳定兜底”：基线策略复用仿真学到的绝大部分技能，残差网络只用少量真实数据就能训练，因为它的任务范围很窄。即使残差网络暂时学歪，基线动作还在，机器人顶多表现平庸，不会彻底失控——这正是安全关键的机器人部署中最看重的特性。

泛化与鲁棒性：储备多种路况经验

驾校为了提高学员的通过率，会在训练场里加装雨雾模拟、夜间灯光、急弯路段，让你在考试前就见惯了各种“异常路况”。类似地，泛化与鲁棒性解决的是“真实世界总会出现你没见过的场景”的问题。最经典的手段是域随机化（Domain Randomization），在仿真中随机扰动光照、材质、摩擦系数、机器人质量等参数，让策略在一个“随机化全家桶”里训练：

光靠域随机化还不够。对抗扰动会在训练中主动攻击策略的薄弱状态，逼它更皮实；分布外检测负责识别“这个状态我没见过”并发出警告；安全回退机制则在检测到危险时切换到保守策略。四者配合，就像驾驶员不仅有丰富路况经验，还配备了车道偏离预警和自动紧急制动。

评估基准体系：标准化的驾照考试

驾校教得好不好，不能靠学员自己说，要看统一的科目考试成绩。真实世界适应同样需要一套标准化的评估基准，否则每家团队用各自的标准自说自话，无法横向比较。一个成熟的评估基准体系包含统一评测指标、场景难度分级、成功率统计和跨平台复现。

其中最直观也最常用的指标是任务成功率（Success Rate），统计策略在 N 次测试中成功完成指定任务的占比：

场景难度分级也很关键：简单场景对应“科目二倒库”，中等场景对应“城市道路”，困难场景对应“雨夜山路”。所有场景和指标统一定义后，不同团队的结果才能跨平台复现、公平比较，整个领域的“驾照含金量”才可信。

标准化接口规范：全国统一的驾考大纲

全国驾照考试之所以可信，是因为交规、考试项目、评分标准都由国家统一制定，各地驾校遵循同一套大纲。标准化接口规范要做的，就是为仿真的“驾校”和真实机器人的“考场”之间立一套统一规则：统一仿真接口、策略部署协议、数据格式规范和生态工具链。

这样抽象出来的核心是一个标准化的策略接口，它规定策略如何接收观测、输出动作：

有了这套“统一交规”，同一个训练好的策略可以无缝迁移到不同仿真器和不同型号的机器人上，训练工具链、数据记录格式、部署协议全部对齐。驾校再多，学员拿到的驾照全国通用——这就是标准化推动技术生态成熟的力量。

AI 应用场景

Python 演示

import numpy as np  class ResidualPolicy:    """残差策略：基线动作 + 可学习的残差校正。"""     def __init__(self, base_gain=0.5, lr=0.05):        self.base_gain = base_gain     # 仿真中学习的基线增益        self.lr = lr                   # 在线微调学习率        self.residual = 0.0            # 残差校正项        self.err_list = []             # 记录误差历史     def act(self, obs, target):        # 基线策略：仿真中的比例控制器，给出大体正确的动作方向        base = (target - obs) * self.base_gain        return base + self.residual     def update(self, obs, target, actual):        # 用真实环境的反馈更新残差项，逐步补偿系统性偏差        error = target - actual        self.err_list.append(error)        # 累计近期误差，帮助消除稳态偏差        self.residual += self.lr * (error + 0.2 * sum(self.err_list[-100:]))        return error  def real_env(action, bias=0.3, noise=0.05):    # 真实环境响应打折 + 恒定偏差 + 随机噪声    return action * 0.8 + bias + np.random.randn() * noise  def sim_env(action):    # 仿真环境为理想线性响应    return action  def main():    policy = ResidualPolicy()    target = 1.0    print("step  仿真偏差  真实偏差  动作")    for step in range(30):        obs = 0.0  # 简化场景：每步从零状态出发        action = policy.act(obs, target)        sim_actual = sim_env(action)        real_actual = real_env(action)        sim_err = target - sim_actual        real_err = policy.update(obs, target, real_actual)        if step % 5 == 0:            print(f"{step:4d}  {sim_err:7.3f}  {real_err:7.3f}  {action:6.3f}")  if __name__ == "__main__":    main()

1. base = (target - obs) * self.base_gain基线策略只在仿真中学习过一次，输出的动作方向正确但忽略真实偏差
2. return base + self.residual最终动作 = 基线动作 + 残差修正，对应公式 \(a = a_{\text{base}} + \Delta\)
3. error = target - actual用真实环境的反馈计算偏差，这是在线微调的数据来源
4. self.residual += self.lr * (error + 0.2 * sum(self.err_list[-100:]))残差项按学习率吸收当前误差与近期累计误差
5. return action * 0.8 + bias + np.random.randn() * noise模拟真实环境响应打折、恒定偏置和随机噪声的干扰

常见误区

面试题