AnchorWorld：基于视图演化定制的具身第一人称世界模拟 AnchorWorld: Embodied Egocentric World Simulation with View-based Evolution Customization

方法步骤的完整描述如下：首先，输入处理阶段接收人体运动序列和相机姿态序列，运动编码器将运动投影到潜在嵌入，相机编码器将相机姿态编码，同时应用时间下采样以匹配VAE编码视频潜在的时间分辨率。其次，空间姿态注意力步骤将视频token与人体运动token和相机姿态token沿空间维度拼接，通过空间自注意力块处理，然后使用截断操作丢弃辅助姿态token，只保留更新后的视频特征。第三，锚点视图上下文注入将锚点视图图像编码为潜在token，与视频潜在token沿帧维度拼接，使用3D RoPE为不同锚点视图分配不同的帧轴位置以区分它们。第四，视图姿态注入将相机姿态编码为嵌入，空间广播到匹配潜在分辨率，在自注意力层之前加到视觉token上。最后，文本驱动的锚点视图演化通过交叉注意力注入演化描述，为保持局部性使用注意力掩码，对于文本提示，其键只对生成的视频token和对应的锚点视图token可见，其他位置设为负无穷。

技术新颖性主要体现在四个方面：投影式动作控制表示与PlayerOne的部分解耦运动注入不同，本文通过结合全身运动和相机轨迹实现投影式控制，让模型能够在任意视点下理解3D运动到2D观察的映射，这是第一次将这种投影机制应用于具身第一人称视频生成。异构视图联合训练通过统一的投影式动作条件框架支持第三人称和第一人称视频的联合训练，利用第三人称视频的完整运动监督来补偿第一人称视频的稀疏监督，这种混合视图训练策略在之前的具身视频生成工作中未被探索。锚点视图的三元组表示与现有方法只用图像或只用姿态不同，本文将RGB外观、3D姿态和演化提示组合成统一的锚点视图表示，这是第一个支持可演化局部世界定制的具身世界模型。掩码交叉注意力实现局部控制通过限制文本提示只影响特定视频token和对应锚点视图token，实现了锚点特定的文本控制，这种精细化的注意力掩码设计使得多个锚点视图可以独立演化而不相互干扰。

从独立分析的角度，可以识别出以下具体弱点和改进方向：手部姿态缺失问题，由于当前第一人称数据中手部估计不可靠，本文排除手部姿态，这限制了精细交互操作的模拟。改进方向可以是开发更鲁棒的第一人称手部姿态估计方法，或者设计能够从不完整姿态估计中学习的模型架构，例如通过部分观测推断完整姿态。锚点视图中的玩家污染，训练数据中锚点视图可能包含第一人称玩家，虽然模型通过第一人称视频监督和姿态信息学会了忽略玩家，但这仍然是一种次优设置。改进方向可以是在训练时应用更精细的玩家掩码和修复技术，或者设计能够显式建模锚点视图应该独立于玩家这一约束的损失函数。全局演化描述的限制，当前实现对所有锚点视图使用相同的演化描述，这限制了场景中不同区域独立演化的能力。改进方向可以是设计锚点特定的演化描述机制，同时保持它们之间的空间一致性，例如通过演化描述之间的空间传播或约束。颜色不一致性，Ego-Exo4D数据集中第三人称和第一人称视频之间存在明显的颜色差异，虽然模型能够利用锚点视图的有价值场景信息同时保持与初始第一人称帧一致的色调，但这仍然是一个挑战。改进方向可以是在训练时引入颜色一致性损失，或者使用风格迁移技术来对齐不同视角的色调。

作者提出的未来工作方向包括：实时自回归交互，扩展框架以支持实时自回归交互，这对于第一人称设置中的长时间范围探索至关重要。具身智能体持续与环境交互并探索更大规模场景时，模型必须实时更新由自身动作引起的环境状态变化，这需要在模型内更强地强调长期记忆机制。开放世界数据收集，收集开放世界数据以构建更广泛的环境并支持更长时间范围的世界探索。这将包括更多样化的场景类型、更复杂的环境结构和更丰富的人类环境交互模式。多样化动态场景建模，扩展框架以支持更多样化的场景和锚点特定的动态控制，同时结合世界的自然动态演化，从而构建更真实和时间丰富的世界。这将超越当前主要关注的人相关活动，涵盖环境自身的动态变化、天气变化、光照变化等。基于本文成果可以延伸的未来方向包括：多智能体交互，当前工作主要关注单个人类用户的交互，未来可以扩展到多个智能体在同一环境中的协调交互，这将需要建模智能体之间的相互影响和协作行为。物理一致的模拟，当前方法主要关注视觉一致性，未来可以引入物理引擎或物理约束来确保生成的世界不仅在视觉上合理，而且在物理上是一致的，例如物体碰撞、重力、摩擦等物理规律的遵循。跨模态世界定制，除了当前使用的文本演化提示，可以探索其他模态如语音、手势、草图作为世界定制的输入，使交互更加自然和多样化。

从复现评估的角度分析：本文使用了多种数据集，包括内部策划的200K真实单人动作视频、101K来自MultiCamVideo的UE合成视频、100K第一人称样本来自Ego-Exo4D和LEMMA，以及25K静态样本和10K动态样本。这些数据集中，Ego-Exo4D和LEMMA是公开可用的，MultiCamVideo代码不可用，内部策划数据未公开。人体运动和锚点视图姿态估计使用GVHMR，这是一个公开工具，但需要一定的GPU资源运行。训练在16块NVIDIA 80G GPU上进行，总计算量约1406 GPU小时，这是一个相当大的计算需求，对于没有大规模计算资源的实验室来说复现成本很高。基础模型Wan2.2 TI2V 5B是公开可用的，但需要相应的许可证。本文没有明确提供代码或模型权重，考虑到训练的计算成本和数据集的可获得性，完整复现的难度较高。不过，如果作者发布代码和预训练模型，基于这些权重进行推理和小规模微调应该是可行的。评估指标如GIM-based Mat. Pix.、CLIP-V、PSNR、SSIM、LPIPS、ATE、RTE、RRE、VideoAlign-TA和VBench都是标准或公开可用的工具，便于复现实验结果。总体而言，完整复现训练过程难度较大，但复现推理和部分实验如使用预训练模型在不同测试集上评估是中等难度。