细粒度具身交互的多智能体第一人称世界模型 Multi-Agent Egocentric World Model with Fine-Grained Embodied Interaction

第一步，构建条件。对每个智能体 $n$，输入初始帧 $x^{(n)}_0$、文本 $P^{(n)}$、动作 $A^{(n)}$ 与共享历史池 $E$：把自我的手/臂渲染成骨架图，并把其他智能体的 3D 姿态投影到本视角相机坐标，拼成 $X^{(n)}_{\mathrm{pose}}$；头部运动转成共享规范坐标系下的 Plücker 射线图 $X^{(n)}_{\mathrm{ray}}$；从 $E$ 中选出重投影覆盖最大的历史帧，经 SAM3 去除人物后按目标射线扭曲，得到 $X^{(n)}_{\mathrm{warp}}$ 与可见性掩码 $M^{vis}_{(n)}$，再贪心选出 $K=4$ 张覆盖互补的干净参考帧作为跨流锚点。第二步，编码：视频 latent 与姿态/扭曲条件过冻结 VAE，射线图过 MLP，沿通道维拼到噪声 latent 上。第三步，联合去噪：所有流 latent 与锚点 token 拼成 $Z^{\mathrm{joint}}_{\tau} = [Z^{\mathrm{gen}}_{\tau}; Z_{\mathrm{ref}}]$，所有流共享同一 RoPE 位置框架、以可学习智能体嵌入 $e^{(n)}$ 区分身份，文本走各流独立的 cross-attention。第四步，训练：整流流损失只监督生成帧，微调 DiT 与条件模块，学习率 $3\times10^{-5}$、全局 batch 4、4 张 A100 80GB。第五步，推理：35 步去噪、CFG 7.0，一次生成两条 77 帧、480×480、10 FPS 的同步 ego 流。

技术新颖性体现在四个方面。其一，联合去噪序列设计：沿用多视角生成的思路，但用“共享 RoPE + 可学习智能体嵌入”解决流归属问题，文本条件按流独立、视觉信息按流共享，是针对“视角不同、世界同一”的折中设计。其二，共享动作条件：把对方姿态显式投影进自己的画面作为跨智能体运动线索，这在细粒度具身设定下是新的——以往多智能体工作没有逐关节级别的动作对齐。其三，双通道环境记忆：几何扭曲证据约束“该看到的区域”，锚点 token 补上“看不到的区域”和干净外观，比单纯参考图或单一全局特征（如 MultiWorld 的 VGGT 全局编码）更精确。其四，评测协议：$S_{\mathrm{env}}$/$S_{\mathrm{update}}$ 通过掩码设计把“输入给的一致性”排除在外，并用受控扰动实验（Table 5，环境冲突使 $S_{\mathrm{env}}$ 降 0.090 而状态冲突使 $S_{\mathrm{update}}$ 降 0.147）验证指标的判别力，这种严谨性在同类工作中少见。

弱点一：可扩展性。token 级拼接加全局自注意力意味着 $N$ 个智能体时序列长度线性增长、注意力开销平方增长，十人规模的多人场景不现实；改进方向是层次化或稀疏的跨流注意力（如 γ-World 的 hub 机制），或维护显式世界状态寄存器让各流只与“状态”交互。弱点二：条件构造的工程脆弱性。真实数据的 $X^{\mathrm{warp}}$ 依赖 DA3 度量深度与 SAM3 分割质量，在弱纹理、反光或严重遮挡的厨房场景中，深度误差会直接变成错误的几何证据；改进方向是给扭曲条件加不确定度加权，或用生成式补全替代硬掩码。弱点三：无物理与接触建模。握手、递物等交互的“结果”完全由外观先验决定，可能出现穿模，而基于特征相似度的 $S_{\mathrm{update}}$ 也检测不出这类细粒度错误；改进方向是引入接触点条件或轻量物理先验。弱点四：评测依赖真值几何。共视对应需要真值深度与相机位姿，只能在可控基准上计算；改进方向是用学习式对应或 VLM 判据做弱化版评测。弱点五：身份一致性只在合成域可测，真实域的身份漂移无法量化；改进方向是用跨视角人物重识别特征做代理指标。

作者提出的方向：联合建模动作与观测，让智能体不仅能预测世界还能规划行为、预判自己对共享世界的影响，使世界模型服务于策略学习；设计高效的跨智能体通信与记忆机制以支持更大群体；结合高效视频生成实现实时交互式多智能体世界仿真。基于本文成果可延伸的方向：其一，把共享世界状态显式化（物体级状态表或 3D 场景图），让“交互改变状态”有结构化载体而非纯靠注意力隐式传播，可自然支持物体持久性与遮挡后重新出现；其二，与具身策略学习闭环——把 ME-World 当作多智能体“想象引擎”做 rollout 训练协作策略，或做 what-if 反事实推演；其三，引入接触与物理约束的动作/状态表示，提高交互结果的物理合理性；其四，把 77 帧块生成改造成低延迟流式架构，迈向真正的多用户 VR 实时预演系统；其五，数据维度上把厨房之外的多人场景（运动、医疗、工厂协作）纳入训练，检验跨域泛化能力。

复现门槛中等偏高。有利条件：骨干 Cosmos-Predict2.5 2B、Wan-2.1 因果视频 VAE、Cosmos-Reason1 7B 文本编码器均为公开模型；合成数据源 Inter-X（1822 段双人交互）与 InterHuman（450 段）公开，100 个 VRM 虚拟人与 Blender 环境可获取，渲染管线（EEVEE、504×504、10 FPS）论文描述详细；真实数据 CoMind 为公开数据集；训练规模小——4 张 A100 80GB、全局 batch 4、Real/Synthetic 各一个检查点，学术组可负担；推理只需 35 步去噪。不利条件：截至论文发表未见官方代码发布（仅有项目页 cvlab-kaist.github.io/ME-World）；真实数据管线需复现 DA3 深度估计、SAM3 分割、Sapiens2 全身姿态、SLAM 相机解算与 Qwen 字幕生成的完整链条，工程量大；合成管线的动作重定向（双骨 IK 对齐手腕、手指关节映射）细节繁多；指标实现依赖 DINOv3 ViT-L/16、真值深度与相机。若作者开源代码与数据管线，复现难度中等；若只按论文复刻，估计需 1-2 名工程师投入数月。