HSImul3R：基于物理闭环优化的人机交互仿真就绪三维重建

物理闭环双向优化，实现仿真就绪的人-场景交互重建

前置知识

SMPL人体模型

SMPL（Skinned Multi-Person Linear Model）是一种参数化人体网格模型，通过形状参数 $\beta$ 和姿态参数 $\theta$ 将人体表示为6890个顶点的三角网格。形状参数控制体型高矮胖瘦，姿态参数通过23个关节点的旋转角控制肢体动作。SMPL模型可以高效地生成逼真的人体三维网格，是人体动作估计和重建的标准表示方式，广泛应用于动作捕捉、虚拟现实等领域。

论文使用SMPL表示人体运动，前向优化阶段需要在物理仿真器中将SMPL动作重定向到人形机器人，理解SMPL是理解整个人-场景交互重建流程的基础。

DUSt3R三维重建

DUSt3R是一种基于预训练Transformer的端到端三维重建方法，能够从未标定的图像直接回归点云图（point maps）和相机位姿。它通过构建图像对的连接图，使用ViT网络估计每对图像的点云图和置信度图，然后通过全局对齐优化恢复深度图和相机位姿。DUSt3R的优势在于无需相机标定和昂贵的后优化，但对人体会产生重建伪影。

本文使用DUSt3R作为场景重建的基础方法，但指出了其在人体和场景结构上的缺陷，这正是本文要解决的核心问题之一。

强化学习运动模仿

强化学习运动模仿（Motion Imitation）是指使用RL训练人形智能体模仿参考动作轨迹。代表性方法如DeepMimic和PHC（Perpetual Humanoid Control），通过设计奖励函数鼓励智能体跟踪参考动作的关键点位置、关节角度等，同时保持物理可行性。PHC特别针对长时间段的鲁棒性进行了优化，能够在物理仿真器中实现稳定的人形运动控制。

本文的前向优化阶段基于PHC框架，引入场景感知的监督信号来优化人形机器人与物体的交互稳定性，理解RL运动模仿是理解前向优化的核心。

物理仿真反馈优化

物理仿真反馈优化是指将物理仿真器的输出作为监督信号来优化生成模型。传统方法依赖人工标注或3D真值，而这种方法直接利用仿真结果（如物体是否稳定、是否穿透）来评估生成内容的物理合理性。代表工作DSO（Direct Simulation Optimization）将仿真反馈作为扩散模型微调的监督信号，使生成的3D物体更符合物理规律。

本文提出的DSRO（Direct Simulation Reward Optimization）是对DSO的改进，利用仿真反馈优化3D物体生成质量，这是反向优化阶段的核心技术。

image-to-3D生成模型

image-to-3D生成模型能够从单张或多张图像生成高质量的3D物体表示。论文使用的MIDI模型是一种预训练的image-to-3D扩散模型，可以生成网格或点云形式的3D物体。这类模型通常在大规模3D数据集上训练，能够生成结构完整、细节丰富的3D物体，但在物理合理性方面可能存在缺陷。

本文使用MIDI作为3D结构先验来改善场景重建质量，并通过DSRO微调MIDI来提升生成物体的物理稳定性，这是论文的关键技术路线之一。

研究动机

当前人-场景交互（HSI）重建方法面临严重的感知-仿真鸿沟（perception-simulation gap）。具体表现为：视觉上合理的重建结果往往违反物理约束，导致在物理仿真引擎中不稳定，无法用于具身AI应用。这个鸿沟主要源于对人体和环境的碎片化建模——现有方法很少捕捉二者之间的显式物理耦合。例如，HSfM作为首个稀疏视角HSI重建方法，在仿真中的稳定交互率仅为10.52%（Easy）、4.50%（Medium）、2.66%（Hard），场景穿透率高达69.51%。直接将重建结果放入仿真器会导致人形机器人踢开物体、物体独立站立等失败情况。这些问题严重阻碍了从视觉观察到机器人部署的转化。

本文的目标是本文的目标是构建第一个仿真就绪（simulation-ready）的人-场景交互三维重建框架，能够从随意拍摄的稀疏视角图像或单目视频中重建出可以直接在物理仿真器中稳定运行的人-场景交互。具体而言，框架需要实现三个目标：第一，在物理仿真器中实现稳定的人-场景交互，人形机器人和物体能够保持有意义的接触状态；第二，通过仿真反馈优化场景几何，提升3D生成物体的物理合理性；第三，将优化后的人体动作成功部署到真实世界的人形机器人上，实现sim-to-real迁移。

与已有工作不同的是，本文的独特切入角度在于将物理仿真器从被动的测试工具转变为主动的监督者。与现有方法仅在2D图像空间优化（如HSfM）或仅在视觉质量上优化（如MIDI）不同，HSImul3R提出了一种物理闭环的双向优化策略：前向优化利用场景感知的强化学习在仿真器中优化人体动作，反向优化利用仿真反馈优化场景几何。这种双向机制首次实现了人体动态和场景几何的联合物理验证，从根本上弥合了感知-仿真鸿沟。此外，本文还构建了HSIBench基准数据集，填补了HSI仿真评估领域的空白。

核心方法

HSImul3R的整体思路可以概括为先对齐、再双向物理优化。给定随意拍摄的稀疏视角图像，首先独立重建场景几何（使用DUSt3R）和人体运动（使用4DHumans和ViTPose），然后通过显式3D结构先验（来自image-to-3D生成模型MIDI）将二者对齐到统一的度量空间。对齐后，进入物理闭环优化阶段：前向优化通过场景感知的强化学习在物理仿真器中优化人体动作，使其与场景物体保持稳定的物理接触；反向优化通过Direct Simulation Reward Optimization（DSRO）利用仿真反馈微调3D生成模型，改善场景物体的结构完整性和物理稳定性。这种双向优化形成了一个正反馈循环：更好的场景几何支持更稳定的人体动作，更稳定的交互反馈又改善场景重建质量。

本文的核心创新在于将物理仿真器作为主动监督者，而非传统的被动测试者。具体体现在两个方面：第一，前向优化阶段提出场景感知强化学习（Scene-targeted RL），在PHC运动模仿框架中引入场景接触损失 $\ell_{scene}$，鼓励人形机器人与物体保持物理接触。这与传统运动模仿仅关注动作跟踪不同，它同时考虑了物理交互的稳定性。第二，反向优化阶段提出DSRO，将仿真结果分为4种类型（物体在重力下不稳定、交互中不稳定、稳定但无交互、稳定交互），利用这些类型化的仿真反馈作为扩散模型微调的监督信号。这与DSO等仅使用二元稳定性信号不同，DSRO的4类型信号提供了更细粒度的物理指导。这种双向物理闭环是首次在HSI重建中实现的。

方法步骤详情

方法分为三个主要步骤：第一步是人-场景交互重建与对齐。输入为J=4张未标定的稀疏视角图像，使用DUSt3R重建场景3D结构，使用SAM2检测和关联人体，4DHumans提取SMPL动作序列，ViTPose提取2D关键点。通过人体中心BA和全局对齐统一坐标系。然后利用MIDI生成每个物体的高保真3D表示 $R_{scene}$，并通过接触/非接触损失优化人-物体位置。第二步是前向优化：将对齐后的重建集成到物理仿真器（IsaacGym）中，基于PHC框架进行场景感知的强化学习。奖励函数包含关键点跟踪一致性、接触约束和场景接触损失，优化人形机器人的运动策略。第三步是反向优化：对每个场景运行15次仿真（不同随机种子），根据仿真结果将物体分为4种类型，利用类型化反馈微调MIDI模型的LoRA参数，优化物体的几何结构和物理稳定性。

技术新颖性

本文的技术新颖性体现在多个层面：首先，首次提出物理闭环的双向优化框架用于HSI重建，将仿真器从被动评估工具转变为主动优化参与者。其次，DSRO是对DSO的重要改进——DSO仅使用二元稳定性信号，而DSRO定义了4种类型（Type 1-4），提供更细粒度的物理反馈，特别是区分了稳定但无交互的中间状态。第三，场景感知强化学习损失是对PHC运动模仿的创新扩展，首次在运动模仿中引入场景物体的接触约束。第四，利用显式3D结构先验进行人-场景对齐，解决了DUSt3R在人体重建和场景结构上的缺陷。最后，HSIBench是首个专门为HSI仿真评估设计的基准数据集，填补了领域空白。

实验结果

本文在HSIBench数据集上进行了全面的实验评估，结果表明HSImul3R在多个维度上显著超越现有方法。在仿真稳定性方面（Table 1），HSImul3R在Easy、Medium、Hard三个难度级别上分别达到53.68%、30.56%、13.92%的稳定交互率，相比HSfM的10.52%、4.50%、2.66%提升了约4-5倍。场景穿透率从HSfM的69.51%大幅降低到22.9%，证明了3D结构先验的有效性。人体运动质量方面，W-MPJPE从5.02降到4.09，PA-MPJPE从2.79降到2.17，表明物理优化后的动作更接近真实。在image-to-3D生成质量方面（Table 2），DSRO微调后的MIDI模型重力稳定性从79.19%提升到91.50%，Chamfer Distance从0.198降到0.173，F-Score从81.95%提升到88.25%，均优于DSO。消融实验表明，每个组件都有贡献：V1（简单集成）的稳定率仅为13.96%，V2（无场景损失）为39.56%，V3（中心点距离）为42.57%，V4（无DSRO）为29.56%，完整方法达到53.68%。输入视角分析（Table 3）显示16-view、10-view、4-view的性能相近，表明方法对视角数量不敏感。最后，在Unitree G1真实机器人上的成功部署证明了方法的sim-to-real迁移能力。

**Fig. 6**: Unitree G1真实机器人Sim-to-Real部署结果

查看结构化数据

任务	指标	本文	基线	提升
人-场景交互仿真稳定性	Stability-HSI (%)	53.68 / 30.56 / 13.92 (Easy/Medium/Hard)	HSfM: 10.52 / 4.50 / 2.66	+43.16 / +26.06 / +11.26个百分点
场景穿透率	SP-3D (%)	22.9%	HSfM: 69.51%	降低46.61个百分点
人体运动精度	W-MPJPE / PA-MPJPE	4.09 / 2.17	HSfM: 5.02 / 2.79	降低18.5% / 22.2%
3D物体生成稳定性	Stability-Gravity (%)	91.50%	MIDI: 79.19%, DSO: 87.23%	+12.31 / +4.27个百分点
3D物体几何质量	Chamfer Distance / F-Score	0.173 / 88.25%	MIDI: 0.198 / 81.95%	CD降低12.6%, FS提升6.3个百分点

局限与改进

作者在论文中坦诚地承认了方法的三个主要局限性。首先，成功稳定交互的比例仍然不高，特别是在复杂交互场景或涉及多个物体（超过三个）的情况下，这限制了方法在复杂真实场景中的应用。其次，许多失败案例表现为人体和物体最终独立站立，而非进行有意义的交互，这表明方法在促进人-物体接触方面仍有改进空间。第三，微调的image-to-3D模型不可避免地继承了MIDI原始训练数据和HSIBench的偏差，可能限制其对域外场景的泛化能力。从独立观察来看，还有几个值得注意的局限：第一，计算成本较高，每个场景需要运行15次仿真来收集训练信号，这在实际应用中可能不经济；第二，方法假设静态场景，仅人体是动态的，这限制了在动态环境中的应用；第三，HSIBench数据集规模较小（300个实例），且志愿者数量有限（3人），可能不足以评估方法的泛化能力；第四，DSRO微调仅使用LoRA rank 64，可能限制了模型的优化能力。

独立分析的弱点

本文存在几个值得深入分析的弱点。第一，仿真成功率仍然偏低，即使在Easy级别也只有53.68%，这意味着将近一半的场景仍然失败。失败的主要原因是物体被踢开或独立站立，说明场景接触损失的设计可能不够强，或者强化学习的探索空间过大。改进方向可以考虑设计更密集的接触奖励信号，或引入课程学习策略从简单交互逐步过渡到复杂交互。第二，DSRO的4类型分类虽然比二元信号更细粒度，但仍然过于粗糙。例如，Type 3（稳定但无交互）和Type 4（稳定交互）之间的边界可能不够清晰，导致训练信号有噪声。可以考虑引入连续的稳定性评分而非离散类型。第三，方法对物体数量的扩展性有限，作者承认超过3个物体时性能下降明显。这可能是因为当前的对齐和优化流程是顺序处理每个物体的，可以考虑引入并行处理或场景级别的全局优化。第四，HSIBench的场景多样性不足，仅包含椅子、桌子、沙发等有限物体类别，缺乏户外场景、复杂工具等。

未来方向

基于本文的成果，未来研究可以在多个方向展开。作者提出的方向包括改进复杂多物体场景的处理能力，以及提升方法的泛化性。基于本文的双向物理闭环框架，可以延伸出以下方向：第一，将框架扩展到动态场景，允许物体和环境同时运动，这将大大扩展应用范围；第二，结合大语言模型进行任务规划，使机器人能够理解坐到椅子上、把杯子放到桌上等高层指令并执行相应的人-场景交互；第三，将DSRO应用于其他3D生成任务，如室内场景生成、机器人工作空间设计等；第四，探索更高效的仿真反馈收集策略，减少每个场景15次仿真的计算开销；第五，构建更大规模的HSIBench，覆盖更多物体类别、交互类型和文化背景；第六，研究如何将本文的sim-to-real迁移扩展到更多类型的机器人平台，如轮式机器人、四足机器人等。

复现评估

从复现角度来看，本文具有较好的可复现性。代码和项目页面已在论文中公开，提供了详细的实现细节。训练使用AdamW优化器，LoRA rank 64，batch size 1，学习率 $10^{-5}$，1800步，4张NVIDIA A100 GPU——这是一个相对适中的算力需求。数据集HSIBench的构建过程描述清晰，包含19个物体、50多个动作序列、300个交互实例、16视角采集。然而，复现仍面临一些挑战：第一，依赖多个预训练模型（DUSt3R、MIDI、4DHumans、ViTPose、SAM2），需要正确配置和运行这些组件；第二，物理仿真器IsaacGym的配置和调优可能需要专业知识；第三，HSIBench数据集是否完全开源尚不明确；第四，DSRO微调的具体细节（如4类型的判定阈值）可能需要进一步澄清。总体而言，对于具备相关经验的研究者，复现本文应该是可行的。

HSImul3R：基于物理闭环优化的人机交互仿真就绪三维重建 HSImul3R: Physics-in-the-Loop Reconstruction of Simulation-Ready Human-Scene Interactions