ONE-SHOT：基于空间解耦运动注入和混合上下文集成的组合人类-环境视频合成 ONE-SHOT: Compositional Human-Environment Video Synthesis via Spatial-Decoupled Motion Injection and Hybrid Context Integration
提出解耦运动注入和混合上下文集成，实现高质量组合人-环境视频生成
前置知识
视频基础模型
在大规模视频数据上预训练的深度学习模型，能够生成高质量视频。VFM通常基于扩散模型架构，学习视频的潜在表示分布，通过去噪过程逐步恢复真实视频。支持文本提示、条件图像等多种控制方式。代表性的VFM包括Wan、Hunyuan-Video等。
ONE-SHOT建立在预训练VFM（Wan2.1）之上，理解VFM的工作原理对于理解为何采用ControlNet式分支设计和LoRA微调策略至关重要。
SMPL-X
参数化3D人体模型，通过一组低维参数（姿态参数、形状参数、表情参数）表示人体姿态和外观。SMPL-X在SMPL基础上增加了手部和面部建模能力，能够生成精细的人体网格表示。在视频生成中，SMPL-X序列被用作结构化的运动先验，通过渲染2D姿态图或体素网格为生成网络提供精确的身体姿态控制信号。
ONE-SHOT使用SMPL-X序列在canonical空间中表示人类运动，理解SMPL-X的参数化方式对于理解运动解耦和canonical-space injection机制非常重要。
旋转位置编码
一种将位置信息编码到查询和键向量的技术，通过旋转变换将相对位置信息注入注意力机制。对于位置p，RoPE应用依赖于p的旋转矩阵R(p)到查询Q和键K。RoPE的优势是编码相对位置关系，使注意力对token之间的位移敏感，且具有良好的外推性。
ONE-SHOT提出的Dynamic-Grounded-RoPE是核心创新之一，它通过自适应缩放RoPE来建立不同空间域之间的对应关系，理解RoPE是理解这一创新的基础。
LoRA
低秩适应是一种参数高效的微调方法。LoRA冻结预训练模型的权重，并在每个线性层中添加可训练的低秩分解矩阵。对于权重矩阵W，LoRA引入A和B可训练矩阵，使得前向计算变为Wx + BAx。这种方法可以大幅减少可训练参数量，同时保持与全量微调相当的性能。
ONE-SHOT采用LoRA进行参数高效优化，只训练稀疏参数就实现了精确控制，理解LoRA有助于理解为何这种方法能保持VFM的生成多样性。
点云
3D场景的一种紧凑表示方式，由大量空间点组成，每个点包含坐标和可选的属性如颜色或法向量。点云可以通过深度传感器、多视角立体视觉或SLAM系统获得。在计算机视觉中，点云常用于3D重建和场景理解。通过投影操作，点云可以渲染为2D深度图或RGB-D图像，为2D生成网络提供3D结构信息。
ONE-SHOT使用2D投影的点云作为环境条件，理解点云到2D投影的渲染过程对于理解环境条件分支的设计很重要。
研究动机
现有以人为中心的视频合成方法在主体和场景的精细、独立编辑方面面临重大挑战。首先，通过百万级监督微调来扩展主体和环境编辑能力的方法在精度上仍然受限，它们往往缺乏分离和独立控制人类运动和环境背景的能力，限制了在需要高度定制化和结构一致性内容的专业工作流程中的实用性。其次，虽然使用显式3D几何信息的近期研究能够实现更精细的运动控制和扩展生成自由度，但这些方法面临三个关键瓶颈：一是繁重的3D处理负担，当前方法严重依赖复杂空间信号（如点云）与人类运动的显式对齐，这种统一的3D预处理要求对可扩展性和实际应用施加了显著约束；二是折衷的生成能力，在刚性条件的狭窄下游任务上密集微调往往会损害VFM的固有表达能力，导致创造性多样性的退化；三是短期合成限制，现有框架主要受限于短时合成（约10秒），无法在持久的3D环境和主体外观下保持长时间序列的全局时空一致性。
本文的目标是本文提出ONE-SHOT框架，旨在解决现有方法在组合人类-环境视频生成中的三个核心瓶颈：消除对繁重3D预处理的依赖、避免过度条件化损害生成灵活性、突破短时合成的限制。具体目标是实现参数高效的人类-环境视频生成，通过因子化人类运动、环境几何、相机轨迹和人类外观为解耦信号，并在统一框架内以最小干扰集成这些信号。ONE-SHOT希望能够在保持预训练VFM文本指令跟随能力的同时，实现对主体外观、人类动态、空间环境和相机轨迹的独立控制，并支持分钟级别的长时序视频生成，同时保持主体身份和场景时空一致性。
与已有工作不同的是，本文的独特切入角度在于因子化生成过程为不同信号的组合合成，而不是像现有方法那样在输入层面或特征层面空间融合人类运动和环境提示。现有方法如Uni3C和RealisMotion将人类运动与点云等环境提示在统一的空间域中融合，这种刚性耦合会导致过度条件化现象，即密集的结构输入主导生成过程，削弱了对文本提示的响应性。ONE-SHOT通过canonical-space injection机制解耦人类运动先验和环境几何，通过cross-attention而非空间融合的方式注入运动信号，有效缓解了条件竞争。此外，本文提出了Dynamic-Grounded-RoPE来在注意力中直接建立不同空间域之间的空间对应关系，避免了脆弱的3D预对齐需求，这是与现有方法依赖复杂3D对齐预处理的本质区别。在长时序合成方面，本文通过混合上下文集成机制（静态参考token和动态记忆token）来维持主体身份和场景连贯性，这是现有方法未能有效解决的问题。
核心方法
ONE-SHOT的整体思路是因子化生成过程为解耦的信号组合，通过ControlNet式的并行分支将控制信号注入冻结的VFM骨干。框架接收场景点云、相机外参、人物身份外观、可选场景上下文记忆和指定的人类运动序列作为输入，目标是合成真实的人类-环境视频。方法将条件集合因子化为六个互补组件：环境条件（3D场景的RGB/深度投影）、运动条件（canonical-space token和粗布局边界框）、外观条件、上下文记忆、文本条件和时空二值掩码。环境、外观、上下文和掩码等密集空间/视觉先验直接注入，而运动条件通过专用的cross-attention路径实现解耦控制。整个方法使用LoRA进行参数高效的多任务训练，采用三种训练模式：仅场景、仅运动和完全条件化。
ONE-SHOT的核心创新是解耦的运动注入机制，与已有方法的本质区别在于运动信号与环境的交互方式。现有方法（如Uni3C、RealisMotion）将人类运动与点云等环境提示在统一的空间域中融合，这种刚性空间耦合会导致运动和环境信号之间的条件竞争，密集的结构输入往往主导生成过程。ONE-SHOT通过cross-attention在canonical空间注入运动，而非空间融合，这种解耦设计提供了更稀疏的条件调优，缓解了VFM固有表达性崩溃的风险。另一个核心创新是Dynamic-Grounded-RoPE，它在cross-attention中自适应缩放旋转位置编码，在不依赖任何启发式3D对齐的情况下建立不同空间域之间的空间对应关系。第三个核心创新是混合上下文集成机制，通过静态上下文参考token（保持主体身份）和动态上下文记忆token（跟踪整体外观）来支持分钟级的长时序生成，这些特征collectively提供足够的上下文来防止身份漂移和环境伪影。
方法步骤详情
方法分为四个主要步骤。第一步是环境条件序列生成：从3D场景点云P在目标外参下通过2D投影渲染操作生成RGB-D序列。第二步是canonical空间人类运动表示：使用SMPL-X序列参数化人类运动，将全局平移设为零并将身体中心化在canonical原点，将canonical SMPL-X网格渲染为pose-aligned token map，渲染相机选择使得身体占据固定比例以归一化跨视频尺度。第三步是解耦运动cross-attention注入：为控制人类运动和空间放置，解耦人类控制为canonical空间的局部运动和视频token网格上由粗布局信号指定的全局放置，通过cross-attention注入运动。第四步是模型训练：采用多任务训练策略，使用二值掩码序列指示哪些区域应该合成vs保留，考虑三种训练模式：仅场景、仅运动和完全条件化，训练目标遵循flow-matching目标。
技术新颖性
ONE-SHOT的技术新颖性体现在多个方面。首先，canonical-space motion injection机制通过cross-attention而非空间融合的方式注入运动信号，这种解耦设计在技术上是新颖的，它有效地缓解了刚性人类先验和文本提示之间的条件竞争。其次，Dynamic-Grounded-RoPE是一种新的位置嵌入策略，它通过自适应缩放rotary positional embeddings在不同空间域之间建立空间对应关系，而不需要任何启发式的3D对齐。具体来说，对于视频网格上的查询token位置p，应用scale-grounded RoPE：当位置在目标区域内时，使用缩放后的坐标；当位置在目标区域外时，使用大的常数背景标签。第三，混合上下文集成机制通过静态参考token和动态记忆token的组合来维持长时序的主体身份和场景连贯性，这在技术上也是新颖的。最后，多任务训练策略使得环境与运动监督可以从异构源学习，这是对传统完全监督微调的技术创新，它鼓励解耦模块的专门化同时在测试时保持组合泛化能力。
实验结果
实验结果从定量和定性两个维度全面评估了ONE-SHOT的性能。在Traj100数据集的自我重构任务中，ONE-SHOT取得了最好的FID（16.88）和FVD（181.17）分数，表明视觉保真度和时间真实感的改进。它在运动平滑度（0.940）和背景一致性（0.959）上也达到最高。在交叉组合评估中，ONE-SHOT在FID/FVD（150.98/1382.4）、运动平滑度（0.993）和背景一致性（0.963）上表现最佳，这表明解耦控制泛化到重构之外。消融研究显示，移除RoPE grounding显著恶化FID/FVD（22.34/229.76）并降低运动平滑度（0.9268），模型表现出不正确的空间放置和更弱的运动跟随。移除面部参考或使用未裁剪参考会损害重建质量，禁用上下文记忆主要影响长时序一致性。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Self-reconstruction (Traj100) | FID | 16.88 | RealisMotion 18.89 | 10.6% reduction |
| Self-reconstruction (Traj100) | FVD | 181.17 | RealisMotion 193.89 | 6.6% reduction |
| Self-reconstruction (Traj100) | Motion Smoothness | 0.940 | RealisMotion 0.916 | 2.6% increase |
| Self-reconstruction (Traj100) | Background Consistency | 0.959 | RealisMotion 0.940 | 2.0% increase |
| Cross-composition (Identity/Motion Swap) | FID | 150.98 | RealisMotion 151.19 | 0.14% reduction |
| Cross-composition (Identity/Motion Swap) | FVD | 1382.4 | RealisMotion 1486.8 | 7.0% reduction |
| Cross-composition (Identity/Motion Swap) | Motion Smoothness | 0.993 | RealisMotion 0.960 | 3.4% increase |
| Cross-composition (Identity/Motion Swap) | Background Consistency | 0.963 | RealisMotion 0.919 | 4.8% increase |
局限与改进
作者承认的局限性包括：方法依赖于重建的场景点云和相机轨迹的质量，不准确、稀疏或有噪声的点云（例如由于不完美的深度估计或人类移除）可能降低场景一致性并恶化生成质量。此外，人类估计模块（本文中的Human3R）的错误也可能传播到最终结果。方法在极端bbox-grounding情况下也可能失败（例如严重错误放置的用户指定框），一些时间漂移仍然可能在非常长的视频中积累。我们自己的观察表明，Dynamic-Grounded-RoPE虽然建立了空间对应关系，但在边界框放置严重错误时仍然可能导致空间错位。混合上下文集成机制虽然在大多数情况下维持了长时序一致性，但在非常长的视频（超过分钟级）中仍然可能出现外观漂移。此外，方法需要SMPL-X序列作为输入，这意味着对于没有结构化运动标注的普通视频，需要额外的人类估计步骤，这可能引入误差。方法在复杂的人-物体交互方面可能还有改进空间，虽然论文展示了holding a longsword的交互，但对于更复杂的双手操作或工具使用，控制精度可能不足。
独立分析的弱点
ONE-SHOT的独立分析弱点包括以下几个方面。首先，方法对点云质量的高度依赖是一个显著弱点，在深度估计失败或场景复杂的户外环境中，重建的点云可能不准确，导致生成的视频出现几何不一致或伪影。改进方向可以是集成更鲁棒的3D重建方法，或开发对输入点云质量不敏感的robust机制，例如使用深度不确定性估计来自适应调整条件强度。其次，边界框定位的精确性对运动控制至关重要，但在实践中用户可能难以精确指定边界框，特别是在复杂场景或遮挡情况下。改进方向可以是开发自动边界框生成模块，或使用更灵活的空间定位机制如热力图或可变形区域。第三，方法在非常长视频（超过2分钟）中的外观漂移问题仍然存在，虽然混合上下文集成缓解了这个问题，但完全消除长时序漂移还需要更强大的记忆机制。改进方向可以是引入更sophisticated的记忆更新策略，例如基于注意力的记忆检索或层次化记忆结构。第四，方法需要SMPL-X序列作为输入，这对用户来说是一个高门槛，未来工作可以支持更宽松的运动输入，如2D关键点或文本描述的运动。最后，方法在处理复杂人-物体交互时可能不够精确，改进方向可以是引入物体级别的建模或更细粒度的交互控制。
未来方向
作者提出的未来方向包括：改进鲁棒的场景/人类重建、处理极端bbox grounding、完全消除长时序漂移。基于ONE-SHOT的成果，可以延伸的有趣研究方向包括：1）扩展到多人类场景，当前方法主要针对单个人物，多人物交互是一个重要且具有挑战性的方向；2）支持音频控制，将声音作为额外的条件信号，实现音画同步的视频生成；3）实时交互式生成，通过优化推理效率和设计轻量级网络结构，实现实时的交互式视频编辑；4）更丰富的文本交互，除了通过文本提示进行编辑外，还可以支持通过自然语言进行运动描述或场景布局调整；5）跨域泛化，将方法扩展到不同的视频域（如动画、医学影像等）；6）自监督学习，减少对标注数据的依赖，通过自监督或弱监督学习提高方法的泛化能力；7）可解释性研究，深入理解解耦运动注入和混合上下文集成的工作机制，为进一步改进提供理论指导；8）与其他模态的结合，例如与语言模型结合实现更智能的视频生成，或与物理引擎结合实现更真实的物理交互。
复现评估
从论文提供的信息来看，项目的代码已在GitHub上公开（https://martayang.github.io/ONE-SHOT/），这有利于复现。训练数据使用了多个数据集的混合：EMDB2（包含动态相机拍摄的序列和成对的全局人类/相机运动标注）、MotionX的人类运动子集（主要是静态相机视频，包含多样的身体运动）、ARKitScenes（提供点云捕获用于加强环境重建和相机感知投影）以及自收集的网络视频集以增加数据多样性和长时序评估。总共约50k个片段，每个5-20秒长。测试使用Traj100（按照与RealisMotion相同的协议）以及额外自收集的交叉组合测试集用于评估身份、运动和/或场景的交换。模型基于预训练的Wan2.1 VFM，使用LoRA进行参数高效优化。论文提供了详细的训练设置和消融研究结果，但没有提供具体的硬件配置和训练时间。考虑到VFM的规模和50k训练数据，复现可能需要多GPU集群和较长的训练时间。整体来说，开源代码和详细的方法描述使得复现是可行的，但需要相当的计算资源。
论文图表
