Sim-to-Real迁移

Sim-to-Real 迁移（仿真到现实）研究如何把在模拟器中训练好的 RL 策略（policy，即从观测到动作的映射函数）部署到真实物理世界——是机器人灵巧操作、四足行走、人形机器人控制等突破的关键技术。2024-2025 年，随着 NVIDIA Isaac Lab、Genesis 等新一代大规模并行仿真平台的成熟，以及人形机器人产业的爆发，sim-to-real 已从学术实验走向工业标配。本页梳理 Reality Gap、Domain Randomization、Domain Adaptation、System Identification 等核心方法，并覆盖 2025 年最新的仿真平台与迁移范式。前置阅读：强化学习概览、安全强化学习。

核心直觉

把 Sim-to-Real 想象成飞行员在飞行模拟器里训练后开真飞机——模拟器和现实总有差距，关键是让训练出的技能足够”鲁棒”（robust，即对环境变化不敏感），能扛住这些差异。

从形式化角度，Sim-to-Real 的本质是一个分布偏移（distribution shift）问题。模拟器中的 MDP（Markov Decision Process，马尔可夫决策过程，即用状态、动作、转移、奖励四元组描述的决策框架）定义为 $M_{sim} = (S, A, P_{sim}, R_{sim}, \gamma)$，而真实世界的 MDP 为 $M_{real} = (S, A, P_{real}, R_{real}, \gamma)$——两者的状态转移概率和奖励函数不同。训练目标是最大化模拟器中的期望回报：

$$J(\pi) = \mathbb{E}_{\tau \sim \pi, P_{sim}} \left[ \sum_t \gamma^t \cdot r_t \right]$$

但部署时策略面对的是 $P_{real}$，直接迁移会出现性能下降。Sim-to-Real 的各种方法本质上都在缩小 $P_{sim}$ 与 $P_{real}$ 之间的差距，或者让策略对这种差距不敏感。

• Reality Gap（现实鸿沟）= 模拟器是物理世界的简化：摩擦系数不准、传感器有噪声、零件有磨损、光照会变化——这些差异让模拟器里的完美策略在现实中可能完全失效。形式化地，如果策略在模拟器中达到回报 $J_{sim}$，真实世界中只有 $J_{real} < J_{sim}$，差距 $J_{sim} - J_{real}$ 就是 Reality Gap。
• Domain Randomization（域随机化）= 训练时故意把模拟器的物理参数（摩擦、质量、光照）从分布 $p(\xi)$ 中随机采样，让策略见过各种”可能的世界”，到了真实世界它只是又一个没见过的随机样本——以鲁棒性弥补精度。数学上，训练目标变为对参数的期望：$J_{DR}(\pi) = \mathbb{E}_{\xi \sim p(\xi)} [ J(\pi; \xi) ]$，即策略需要在所有可能的物理参数组合上都表现良好。
• Domain Adaptation（域适应）= 与其随机化，不如把模拟器的分布调到接近真实——用少量真实数据校准模拟器参数或学习观测特征映射。常用技术包括对抗性域适应（adversarial domain adaptation，用 GAN 式方法让模拟器视觉特征分布逼近真实图像）和协方差对齐。
• System Identification（系统辨识）= 直接测量真实机器人的物理参数（关节摩擦、电机延迟），把它们写回模拟器，让模拟器尽可能精确。本质上是最小化 $\|\theta_{sim} - \theta_{real}\|$，其中 $\theta$ 是物理参数向量。
• Sim-to-Real 与 Sim-to-Sim= 有时先在 GPU 上大并行训练，再迁移到物理精度更高的模拟器，最后才到现实——分阶段降低迁移风险。Sim-to-Sim 迁移也用于验证：先在快但精度低的仿真器（如 Brax）训练，再在精度高的仿真器（如 MuJoCo）验证策略鲁棒性。
• 零样本迁移 vs 微调= 零样本（zero-shot）指直接把模拟器策略部署到现实不微调；微调（adaptation）指在现实环境中用少量交互继续学习——前者更安全，后者效果更好但成本高。2024 年的趋势是”零样本为主 + 少量在线微调”的混合策略。

原理图解

Sim-to-Real 迁移全流程

从模拟器训练、随机化到真实部署的完整链路：

Domain Randomization：以多样性对抗不确定性

训练时模拟器参数随机化，让真实世界变成”又一个随机样本”：

三种迁移策略对比

零样本迁移最安全、域适应效果最好、系统辨识最精确——各有适用场景：

动手实践

numpy 演示：Domain Randomization 的鲁棒性

一个简化的抛物线投掷任务：模拟器重力 g 已知但不精确，训练时随机化 g，测试在真实 g 下的命中表现：

import numpy as np

# 真实物理参数（未知，部署时才暴露）
g_real = 9.81                    # 真实重力加速度
target_distance = 10.0           # 目标距离

# 动作 = 初速度 v；简化模型：distance = v^2 / g
def physics(v, g):
    return v ** 2 / g

# 方案 A：不做随机化，用固定 g_train = 9.8 训练
g_train_fixed = 9.8
v_fixed = np.sqrt(target_distance * g_train_fixed)  # 最优速度
print("固定 g 训练，真实距离:", round(physics(v_fixed, g_real), 2))

# 方案 B：Domain Randomization，g 在 [8.0, 11.0] 随机
# 训练目标：让在随机 g 下平均距离最接近 target
best_v, best_loss = None, 1e9
for v_candidate in np.linspace(8.0, 11.5, 100):
    losses = []
    for g_rand in np.random.uniform(8.0, 11.0, 200):
        losses.append((physics(v_candidate, g_rand) - target_distance) ** 2)
    avg_loss = np.mean(losses)
    if avg_loss < best_loss:
        best_loss, best_v = avg_loss, v_candidate

print("域随机化训练，真实距离:", round(physics(best_v, g_real), 2))
print("说明：域随机化让策略对参数变化更鲁棒，真实差距更小")

实践要点

• Domain Randomization 的随机范围要够大= 宁可让模拟器”离谱”一些，也要覆盖真实世界可能出现的参数——OpenAI 的机械手随机化超过 10 个物理参数。但范围太大也会让训练变难，需要平衡。
• 视觉随机化与物理随机化要分开= 视觉随机化（纹理、光照、相机角度）主要解决感知鲁棒性，物理随机化（摩擦、质量）主要解决控制鲁棒性——通常两者都要做。
• Isaac Gym / Brax 大规模并行训练= 域随机化需要大量并行环境，NVIDIA Isaac Gym 单 GPU 可跑 4096 个机器人环境，是当前 sim-to-real 训练的标配基础设施。
• 少量真实数据能大幅提升迁移效果= 纯零样本迁移性能通常有 10-30% 损失；用几十分钟真实数据做 system identification 或 fine-tuning，可以接近甚至达到真实训练效果。
• 传感器仿真要逼真= 相机的镜头畸变、运动模糊、HDR；IMU 的偏置与噪声——这些仿真质量直接影响视觉/本体感受策略的迁移成功率。
• 渐进式迁移更稳妥= 先在高精度模拟器验证，再在低精度但快速的模拟器并行训练，最后在现实中小心测试——一步到位迁移风险大。
• Safety Shield 在部署阶段兜底= 即便迁移良好，也建议在真实部署阶段加安全护盾（参见安全强化学习），防止意外损坏设备。

典型应用

• 灵巧手操作= OpenAI 2018-2019 的机械手单手解魔方，用大规模 Domain Randomization（物理+视觉）实现 sim-to-real，是 sim-to-real 的标志性成果。
• 四足机器人= ETH Zurich 的 ANYmal 机器人用 sim-to-real 学会走路、跑步、上下楼梯、摔倒恢复——2019 年 Science Robotics 论文展示了域随机化在足式机器人的成功。
• 无人机控制= 深度 RL 训练的无人机竞速策略（Nature 2023，UZH 团队）击败人类冠军，全程在模拟器训练后迁移到真实无人机。
• 自动驾驶仿真训练= Waymo、Cruise 用极度逼真的仿真器（含传感器仿真、交通流仿真）训练自动驾驶决策，再迁移到真实路测——sim-to-real 是自动驾驶的核心范式之一。
• 机械臂工业抓取= Amazon 仓库的机械臂抓取系统用 sim-to-real 训练，域随机化让抓取策略适应不同光照和物体——相比传统视觉规划管线鲁棒性大幅提升。
• 软体机器人= 软体机器人（如气动抓手）的物理仿真难度极大，sim-to-real 方法结合降阶模型和域适应在逐步推进。详见分层强化学习。

典型类库与工具

类库	语言	说明
NVIDIA Isaac Gym / Isaac Lab	Python	大规模并行机器人仿真与 RL 训练平台，sim-to-real 训练的首选
MuJoCo	C/Python	深度 RL 最常用的高精度物理引擎，DeepMind 收购后开源
PyBullet	Python	基于 Bullet 的开源物理引擎，轻量快速，社区广泛使用
Brax	Python	Google 基于 JAX 的大规模并行物理仿真库，GPU/TPU 加速
Genesis	Python	2024 年开源的统一生成式物理仿真平台，支持多后端与域随机化
Mujoco Playground / dm_control	Python	机器人环境集，支持域随机化与 sim-to-real 实验框架

术语表

术语	英文	解释
仿真到现实迁移	Sim-to-Real Transfer	把模拟器训练的策略部署到真实物理世界的技术
现实鸿沟	Reality Gap	模拟器与真实世界的物理/感知差异导致的性能下降
域随机化	Domain Randomization	训练时随机化模拟器参数，让策略对参数变化鲁棒
域适应	Domain Adaptation	用真实数据校准模拟器或学习特征映射以缩小鸿沟
系统辨识	System Identification	测量真实系统物理参数并写入模拟器以提升精度
零样本迁移	Zero-Shot Transfer	不在真实环境微调、直接部署模拟器策略的迁移方式
自动课程学习	Automatic Curriculum Learning	在模拟器中动态调整任务难度以提升训练效率
并行仿真	Massively Parallel Simulation	在 GPU 上同时运行数千环境加速训练，sim-to-real 的关键基础设施

延伸阅读

• Tobin et al.,「Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World」(IROS 2017)：Domain Randomization 的开创性论文，OpenAI 团队，被引用数千次。
• OpenAI et al.,「Solving Rubik’s Cube with a Robot Hand」(arXiv 2018)：机械手解魔方的 sim-to-real 里程碑，展示了大规模域随机化的力量。
• Lee et al.,「Learning Quadrupedal Locomotion over Challenging Terrain」(Science Robotics 2020)：ANYmal 四足机器人 sim-to-real 论文，足式机器人的代表性成果。
• Peng et al.,「Sim-to-Real Transfer of Robotic Control with Dynamics Randomization」(ICRA 2018)：系统分析域随机化在机器人控制中的应用，含实用调参经验。
• Zhao et al.,「Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: a Survey」(IEEE TNNLS 2020)：sim-to-real 的系统综述，梳理方法分类与对比。
• Kaufmann et al.,「Champion-level Drone Racing using Deep RL」(Nature 2023)：UZH 团队无人机竞速击败人类冠军的里程碑论文，sim-to-real 的最新成就。
• Makoviychuk et al.,「Isaac Gym: High Performance GPU-Based Physics Simulation」(NeurIPS Datasets 2021)：NVIDIA Isaac Gym 论文，大规模并行训练的基础设施文献。