弥合大规模预训练与人形机器人高效微调之间的鸿沟 Towards Bridging the Gap between Large-Scale Pretraining and Efficient Finetuning for Humanoid Control
LIFT框架：SAC大规模预训练+物理信息世界模型，实现人形机器人安全高效微调
前置知识
Soft Actor-Critic (SAC)
SAC是一种最大熵离策略强化学习算法，由Haarnoja等人于2018年提出。其核心思想是在最大化累积回报的同时最大化策略的熵，鼓励探索多样性。SAC使用随机策略，通过两个Q网络（critic）和一个温度参数来平衡探索与利用。与PPO等在线策略算法不同，SAC可以复用历史经验数据，具有更高的样本效率。在本文中，SAC被扩展到大规模并行仿真环境，支持大批次更新和高UTD（Update-To-Data）比率，实现快速收敛。
SAC是本文的核心算法骨架，理解其离策略特性和熵正则化机制对于理解为何选择SAC而非PPO进行预训练和微调至关重要
物理信息世界模型 (Physics-Informed World Model)
物理信息世界模型将已知的物理先验（如拉格朗日动力学方程）嵌入到神经网络中，而非纯粹用神经网络学习环境动力学。具体而言，对于机器人系统，刚体动力学方程中的质量矩阵、科里奥利力、重力项都是已知的，只有接触力和摩擦力矩需要通过残差网络学习。这种混合方法比纯神经网络模型具有更好的泛化能力和数据效率。
物理信息世界模型是本文微调阶段的核心组件，理解其如何结合解析物理和学习残差是理解本文方法的关键
Update-To-Data (UTD) 比率
UTD比率是指在每个环境交互步中，策略网络执行的梯度更新次数。UTD=1表示每收集一步数据就更新一次网络，UTD=10表示每收集一步数据就更新10次。提高UTD可以更充分地利用已收集的数据，提高样本效率，但也可能导致过拟合和值估计偏差。在大规模并行仿真中，由于每步可以收集大量并行环境的转换数据（如1024个环境），高UTD的实际开销相对较小。
UTD比率是影响预训练收敛速度的关键超参数，本文发现UTD从1提升到10可以显著加速训练，这是方法可行性的基础
领域随机化 (Domain Randomization)
领域随机化是一种Sim-to-Real迁移技术，通过在训练时随机扰动环境参数（如摩擦系数、质量、关节阻尼等），使策略对真实世界的不确定性具有鲁棒性。在本文的预训练阶段，领域随机化被应用于MuJoCo Playground环境中的地板摩擦、关节刚度、躯干质量等参数，覆盖真实世界中的物理不确定性。
领域随机化是实现零样本Sim-to-Real迁移的关键技术，本文的预训练策略能够在真实机器人上直接部署依赖于此
确定性策略执行与随机探索分离
在强化学习中，策略可以是随机的（输出动作分布）或确定性的（输出动作均值）。传统微调方法在环境中直接执行随机策略进行探索，这会导致人形机器人在支撑面很小的单腿支撑期对扰动极度敏感，容易摔倒。本文的核心创新之一是在环境中只执行确定性动作（动作均值），而将随机探索限制在世界模型的仿真回放中，从而大幅降低真实环境中的安全风险。
这是本文安全微调策略的核心，理解确定性执行与世界模型中随机探索的分离是理解LIFT框架的关键
研究动机
现有人形机器人强化学习控制面临一个根本性困境：大规模并行仿真预训练通常使用PPO等在线策略算法，这些算法虽然能在数千个GPU并行环境中快速收敛并实现零样本Sim-to-Real迁移，但其在线策略特性意味着每次更新后旧数据就被丢弃，样本效率极低。当策略需要在新环境（如不同地形、不同速度目标）中微调时，只有有限的真实世界或目标任务数据可用，PPO无法有效利用这些稀缺数据。更严重的是，直接在新环境中执行随机策略进行探索对人形机器人极其危险——由于支撑多边形小（尤其是单腿支撑期），微小的随机扰动就可能导致摔倒。离策略算法如SAC虽然能复用历史经验，但在大规模并行仿真中的稳定性和Sim-to-Real验证一直缺失。此前Raffin（2025）展示了SAC在大规模并行仿真器中可以稳定，但缺乏Sim-to-Real评估和微调性能验证。FastTD3实现了人形机器人的Sim-to-Real，但其在新环境中的微调能力未被证明。
本文的目标是本文的目标是设计一个统一的预训练-微调框架LIFT（Large-scale pretraIning and efficient FineTuning），实现三个具体目标：第一，在大规模并行仿真中实现SAC的稳定预训练，达到与PPO相当的收敛速度和奖励性能，并在单张NVIDIA RTX 4090 GPU上一小时内完成训练；第二，实现预训练策略的零样本Sim-to-Real部署；第三，在新环境中高效微调策略，仅需数百秒的真实交互数据即可显著提升性能，同时保证微调过程的安全性。总体而言，LIFT要将大规模仿真的墙壁时钟效率与基于模型学习的样本效率结合起来，为人形机器人提供一个实用的持续学习基线。
与已有工作不同的是，本文的独特切入角度在于三个关键观察：首先，SAC的离策略特性使其与基于模型的算法（如SSRL）天然兼容，而PPO的在线策略特性导致其在世界模型中的探索不稳定；其次，SAC的随机策略可以直接用于世界模型中的多样化探索，无需额外的噪声注入机制；第三，将确定性动作执行（环境交互）与随机探索（世界模型回放）分离，可以同时保证安全性和探索覆盖度。这一设计抓住了此前被忽视的关键点：人形机器人微调的安全风险主要来自环境中的随机探索，而非策略更新本身，因此将探索转移到学习的世界模型中是解决安全-效率矛盾的关键。此外，本文发现预训练数据可以直接用于初始化世界模型，避免了从头训练世界模型的高昂墙壁时钟成本，这是此前SSRL等方法未能利用的效率提升机会。
核心方法
LIFT框架的直觉可以用一个学习骑自行车的类比来理解：先在安全的训练环境中大量练习基础技能（预训练），然后学习一个关于自行车物理特性的心理模型（世界模型预训练），最后在真实道路上只做保守的、确定性的骑行动作，而将大胆的、探索性的尝试放在心理模型的想象中进行（微调）。技术路线上，LIFT分为三个阶段：第一阶段，使用JAX实现的SAC在MuJoCo Playground的数千个并行环境中进行大规模策略预训练，支持大批次更新（batch size 1024）和高UTD比率（UTD=10），在单张RTX 4090上约30分钟即可收敛；第二阶段，利用预训练阶段收集的全部转换数据离线训练物理信息世界模型，该模型结合拉格朗日刚体动力学和学习的残差预测器来捕捉接触力和未建模效应；第三阶段，将预训练策略部署到新环境（如Brax仿真器），仅执行确定性动作收集数据，同时在世界模型中使用SAC随机策略进行探索，迭代更新策略和世界模型直至收敛。
LIFT的核心创新在于将确定性数据收集与世界模型中的随机探索分离，这一设计解决了人形机器人微调中的安全-效率矛盾。具体而言，在微调阶段，策略在真实环境（或目标仿真器）中只执行确定性动作（即动作分布的均值），不注入任何探索噪声。这样做的好处是收集的数据更加干净，不会因为随机扰动导致机器人进入危险状态。与此同时，探索性行为被转移到物理信息世界模型中：使用SAC的随机策略在世界模型中生成多样化的合成轨迹，这些轨迹用于训练actor-critic。物理信息世界模型的关键优势在于，它将已知的刚体动力学作为硬约束，只学习未知的接触力和摩擦力矩残差，这比纯神经网络世界模型（如MBPO的集成模型）具有更强的泛化能力和物理一致性。此外，世界模型中的奖励可以完全解析计算（因为状态包含所有运动学信息），避免了学习奖励预测器的不稳定性。这一设计的本质区别是：传统方法在真实环境中探索（不安全），LIFT在想象中探索（安全），而物理先验确保了想象的可信度。
方法步骤详情
LIFT的完整流程包含三个阶段，每阶段有明确的输入、操作和输出。阶段一：大规模策略预训练。输入为MuJoCo Playground环境配置（6个人形任务：2种地形乘以3种机器人配置），操作是使用JAX实现的SAC进行训练，关键设置包括1024个并行环境、batch size 1024、UTD=10、replay buffer 10^6个转换，使用Optuna进行约10小时的超参数搜索，输出为收敛的SAC策略和全部训练数据记录。阶段二：物理信息世界模型预训练。输入为阶段一收集的所有转换数据，操作是训练残差预测器，该预测器接收特权状态和动作的拼接，输出外部力矩和预测不确定性，通过可微分的Brax物理引擎（执行拉格朗日动力学的半隐式欧拉积分）计算下一状态，最小化负对数似然损失，输出为训练好的世界模型。阶段三：策略和世界模型微调。输入为预训练策略和世界模型、目标环境（如Brax），操作是一个迭代循环：（a）在目标环境中用确定性动作（动作均值）收集最多1000步数据，（b）用收集的数据微调世界模型（多epoch训练加自回归损失，horizon从1线性增加到4），（c）在世界模型中用随机SAC策略进行探索（horizon从1线性增加到20），生成合成轨迹加入replay buffer，（d）用SAC更新actor-critic，输出为适应新环境的微调策略。
技术新颖性
LIFT的技术新颖性体现在三个方面。第一，SAC的大规模并行仿真实现：此前SAC主要用于单环境或少量并行环境的训练，本文通过JAX的固定张量形状设计实现了高效的操作融合和编译内核复用，使得大批次高UTD更新不产生额外的数据传输开销。与FastTD3使用混合高斯噪声不同，LIFT完全依赖SAC自身的随机策略进行探索。第二，离线世界模型预训练：与MBPO和Dreamer的在线联合训练不同，LIFT将世界模型训练与策略训练解耦，在策略预训练完成后完全离线训练世界模型，这避免了在大规模并行仿真中同时训练世界模型的墙壁时钟开销。第三，确定性收集加世界模型探索的分离：这是与所有先前方法最本质的区别。传统方法（包括SSRL）在环境中执行随机策略进行探索，LIFT在环境中只执行确定性动作，将所有随机探索转移到物理信息世界模型中。此外，本文修正了SSRL公开实现中特权状态到Brax广义坐标的映射问题，并发现对于人形机器人，基础高度是特权状态中不可或缺的维度（省略它会导致世界模型rollout不稳定），而SSRL的四足配置中省略高度没有问题。
实验结果
本文在两个平台（Booster T1和Unitree G1）上进行了全面实验，所有实验在单张NVIDIA RTX 4090 GPU上执行，结果取8次独立运行的平均值。预训练阶段，LIFT在6个人形任务（2种地形乘以3种机器人配置）上实现了与PPO和FastTD3相当或更高的评估回报，且在崎岖地形上以更快的墙壁时钟速度稳定在峰值性能。关键发现是，经过Optuna超参数调优后，T1LowDimJoystick任务的收敛时间从约7小时缩短到仅30分钟。零样本Sim-to-Real实验中，LIFT预训练的低维Booster T1策略成功部署到真实机器人，在草地、上坡、下坡、泥地等未见表面上实现了零样本行走。微调阶段是本文最核心的验证：在Booster T1的sim-to-sim微调实验中，设计了三种场景——分布内（0.6 m/s）、长尾（1.0 m/s）、分布外（1.2和1.5 m/s）。LIFT在所有任务上都稳定收敛并精确跟踪目标速度，而基线方法表现出严重问题：SAC（无探索噪声）快速过拟合并崩溃；PPO初始性能合理但逐渐退化直至坍塌；FastTD3剧烈振荡最终失败；SSRL在0.6 m/s有收敛迹象但无法达到目标速度，在更高速度任务上完全不收敛。消融实验进一步证实：移除世界模型预训练会显著减慢微调速度，移除SAC预训练则导致策略陷入局部最优（只能原地站立，前向速度接近零）。物理信息世界模型对比MBPO集成模型的实验中，MBPO完全无法收敛（episode return接近零），因为纯神经网络的泛化能力不足，out-of-distribution动作导致物理不合理的预测（如身体高度），使critic损失爆炸。真实世界微调实验中，一个在仿真中表现良好但零样本迁移失败的策略，经过80到590秒的数据收集后，展现出更直立的姿势、更平滑的步态和更稳定的前向速度。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Booster T1 预训练 (T1LowDimJoystickRoughTerrain) | 评估回报 (Eval Return) | LIFT: 约100 (36000秒内) | PPO: 约95, FastTD3: 约90 | 更快收敛，更高或相当的峰值回报 |
| Booster T1 微调 (0.6 m/s, 分布内) | 前向速度跟踪 (m/s) | LIFT: 稳定跟踪0.6 m/s | PPO: 初始跟踪后崩溃, FastTD3: 振荡失败, SSRL: 接近但未达标 | 唯一成功收敛的方法 |
| Booster T1 微调 (1.5 m/s, 分布外) | 前向速度跟踪 (m/s) | LIFT: 在40000步内收敛至1.5 m/s | PPO/FastTD3/SSRL: 全部失败 | 唯一成功的方法 |
| 物理信息世界模型 vs MBPO (1.5 m/s) | Episode Return | LIFT: 约100 | MBPO: 约0 (完全不收敛) | 质的差异，MBPO因泛化能力不足而失败 |
| 预训练墙壁时钟效率 (T1LowDimJoystick) | 收敛时间 | LIFT: 约30分钟 (调优后) | 未调优: 约7小时 | 约14倍加速 |
局限与改进
本文的局限性主要体现在三个方面。第一，真实世界微调的实用性受限：当前实现依赖Vicon动捕系统获取基础高度估计，这限制了跟踪区域并需要人工监督；基础线速度通过IMU加速度积分估计，存在漂移问题；每次微调迭代是顺序执行的（最多8秒数据收集后进行世界模型更新再进行合成rollout策略更新），导致墙壁时钟时间达数小时且需要频繁更换电池。第二，感知维度有限：LIFT目前仅使用本体感觉观测（关节角度、速度、IMU等），不包含相机或其他高维传感器输入，这限制了其在需要视觉信息的任务（如灵巧操作、物体交互）中的应用。第三，安全机制仍需人工介入：虽然确定性动作执行降低了风险，但actor网络的模型误差仍可能导致不安全状态，当前依赖人工操作员远程终止异常行为。此外，本文的实验仅在仿真环境中进行sim-to-sim微调验证（MuJoCo到Brax），真实世界微调实验的规模有限，仅展示了步态改进的定性结果，缺乏定量的性能指标对比。
独立分析的弱点
本文存在几个值得深入分析的弱点。首先，物理信息世界模型的假设限制：当前模型仅考虑刚体动力学和接触力/摩擦力矩残差，对于涉及柔性接触（如抓取软物体）、流体交互或复杂地形（如沙地、雪地）的场景，这种建模方式可能不够充分。改进方向是引入更丰富的物理先验，如有限元方法的降阶模型或混合物理-神经网络接触模型。其次，UTD比率的稳定性问题：本文观察到UTD超过10后收益递减，这可能与值估计偏差累积有关。虽然作者提到周期性重置和架构正则化等技术可能是互补的，但未进行实验验证。一个值得探索的方向是在大规模并行训练中结合CrossQ的批归一化技术来稳定更高UTD的训练。第三，世界模型的rollout horizon限制：微调阶段的世界模型探索horizon从1线性增加到20，这限制了长期信用分配的能力。对于需要长程规划的任务（如穿越复杂地形），可能需要分层世界模型或更长的稳定rollout。第四，确定性数据收集的多样性问题：虽然世界模型中的随机探索提供了多样性，但确定性收集的环境数据本身缺乏多样性，这可能导致世界模型在状态空间的某些区域训练不足。改进方向是引入主动学习策略，选择信息量最大的状态进行数据收集。
未来方向
作者提出了几个重要的未来研究方向。第一，安全机制的自动化：当前的安全管理依赖严格终止条件和人工监督，未来可以引入机器人辅助重置、不确定性感知探索或带安全开关的恢复策略，以减少人工干预并提高真实世界微调的安全性。第二，高维感知输入的整合：将LIFT扩展到视觉为中心的任务，需要开发潜在空间世界模型来捕捉超越机器人身体状态的动力学，DreamerV3的架构可以作为参考。第三，层次化和物体中心任务：当前框架假设奖励仅依赖于机器人本体感觉状态，对于涉及外部物体的任务（如踢球），需要扩展状态以包含物体姿态并建模物体动力学。基于本文的低层跟踪控制器，可以训练高层策略输出速度或姿态目标。第四，异步数据收集和学习：当前的顺序执行（数据收集后世界模型更新再策略更新）效率低下，可以借鉴SERL的异步流水线设计。此外，基于论文成果可以延伸的方向包括：将LIFT应用于其他机器人形态（如四足、双臂），探索迁移学习（将一个任务的预训练知识迁移到不同任务），以及研究世界模型的持续学习（避免在多任务微调中遗忘已学知识）。
复现评估
本文的复现条件相当友好。代码和视频已开源在项目网站。所有实验在单张NVIDIA RTX 4090 GPU上执行，无需多GPU集群，这大大降低了硬件门槛。仿真环境使用开源的MuJoCo Playground和Brax，无需购买商业软件。基线实现也基于开源仓库。预训练阶段需要约10小时的超参数搜索（Optuna），但调优后的训练仅需30分钟。微调阶段的墙壁时钟时间较长（数小时），但实际环境交互数据量很小（数百秒）。主要的复现挑战在于：（1）需要熟悉JAX生态系统，因为核心实现使用JAX而非PyTorch；（2）MuJoCo Playground和Brax之间的环境对齐需要仔细处理（坐标系、四元数格式、归一化等），作者提到修正了SSRL公开实现中的映射问题；（3）真实世界实验需要Booster T1机器人和Vicon动捕系统，这限制了硬件复现。总体而言，仿真部分的复现难度中等，需要一定的JAX和机器人仿真经验，但开源代码和详细的超参数表格大大降低了复现门槛。
论文图表
