LOME：以动作条件化的第一人称世界模型学习人物-物体操控 LOME: Learning Human-Object Manipulation with Action-Conditioned Egocentric World Model

方法步骤可按流水线顺序拆解为五步。第一步是「输入与条件编码」：给定一张场景参考图 $I \in \mathbb{R}^{3 \times H \times W}$、一段描述操控意图的文本 $y \in \mathbb{R}^{d_1}$、一组每帧相机外参 $\zeta \in \mathbb{R}^7$（包括内参 $K$），以及逐帧人体动作序列 $A \in \mathbb{R}^{d_2}$；用 VAE 编码器 $E$ 得到图像潜在 $x_I = E(I)$ 与视频潜在 $x = E(V)$，并把 $x_I$ 与 $x$ 沿时间维拼接成 $[x_I, x]$ 作为「干净场景锚」；相机 $\zeta, K$ 通过 Plücker 射线图 + 一个轻量 2D 卷积 + 残差块的相机适配器 $C(\cdot)$ 得到相机特征 $z$，再以逐元素方式加到视频潜在上得到 $\hat{x} = [x_I, x+z]$。第二步是「2D 动作图构造」：对第 $i$ 帧，3D 人体+手部关键点 $P_i$ 经相机投影 $\Pi(\zeta_i, P_i, K)$ 投到图像平面得到 $A_i$，随后用背景遮蔽光栅化成 3 通道动作图 $\hat{A}_i \in \mathbb{R}^{3 \times H \times W}$；位于相机视锥外、或落入头显自身区域的关键点会被剔除以防泄漏场景信息。第三步是「联合动作-环境去噪训练」：把动作图 $\hat{A}$ 同样用 VAE 编码得到动作潜在 $a = E(\hat{A})$，并与 $\hat{x}$ 沿时间维拼接得到 $[\hat{x}, a] \in \mathbb{R}^{C \times (2L'+1) \times H' \times W'}$；训练时仅对 $x$ 与 $a$ 加噪，$x_I$ 保持干净；损失为流匹配速度场 MSE $\mathcal{L} = \mathbb{E} \| u_{\theta,t}([\hat{x},a]|c) - u_t([\hat{x},a]|c) \|_2^2$，其中 $c = \{y, z\}$ 仅包含文本与相机。第四步是「修改式 CFG 推理」：由于动作 $a$ 不再与输出独立，作者把标准 CFG 拆为三项控制，分别用权重 $w_1=5$（视频+动作，无条件）、$w_2=3$（视频，环境条件）来强化条件；具体公式见 Eq.(7)。第五步是「视频重建」：去噪完成后舍弃首帧（恢复出的场景锚 $x_I$）和尾部一半帧（恢复出的动作潜在 $a$），把剩余的纯视频潜在送入 VAE 解码器 $D$ 得到最终像素视频 $\hat{V}$，再以 81 帧、$832 \times 480$ 分辨率输出。训练侧，技术细节包括：仅在 VACE 模块上以 rank=128 的 LoRA 微调，其他参数冻结；Adam-like 优化器，学习率 $1 \times 10^{-5}$，全局 batch size=32（每 GPU 1 个视频），共 2000 步，32 块 NVIDIA A100-80GB，时长 49 帧。

技术新颖性可从三层来归纳。第一层是表征层面：把「3D 人体关键点 → 2D 投影 → 涂鸦式动作图」这一轻量管线作为控制信号，避免引入额外的控制网络或预训练手部检测器；相较 CoSHAND 用 SegAny 在 GT 视频上切手部 mask，LOME 不依赖 GT、且天然与相机几何对齐。第二层是建模层面：把「动作潜在」与「视频潜在」沿时间维拼接做联合去噪，并通过修改 CFG 同时处理「(视频,动作)|条件」「(视频,动作)|∅」「(视频,∅)|条件」三种分布，结构上比 VideoJAM 的通道拼接更利于双向时序注意力，且在 Table 4 中得到量化印证（FVD 39.58 vs 41.23、tLPIPS 0.051 vs 0.055、CLIP-I 0.903 vs 0.900）。第三层是应用层面：所有训练都直接在 80 万条第一人称真实视频（EgoDex）上完成，不依赖仿真器、不依赖 3D/4D 重建，因此能直接泛化到实验室内 novel 物体和场景（Fig. 11 中橙袋、雪碧、AiPods case 等），输出还能模拟出「液体物理因果」（Fig. 5 灌可乐），这是显式物理仿真器都未必能稳定复现的细粒度行为。

独立审稿视角下可以指出四点可改进方向。其一，「相机+姿态联合校准」缺失：Fig. 7 显示偏移可达数十像素，目前没有任何在线自校正模块；可在训练时引入「动作图 → 视频帧」的投影一致性损失，让模型自己适配姿态误差。其二，「多物体组合推理」失效：Fig. 8 中双手夹杯失败暴露出模型对「双手各自承担子任务」的分解能力不足；可加入显式的物体级槽位 (slot) 表征、或以 scene-graph 作为中间条件，把「杯子抓住并抬高」「夹子对准冰块」解耦为两条独立子目标再拼接。其三，「长时序/长程规划」空白：当前 81 帧不能支撑需要多次抓-放的任务；可在推理时引入自回归 rollout（每段 N 帧后将末端动作作为下一段起点）配合短时记忆模块，或参考 PlayerOne (Tu et al. 2025) 的 streaming world model 思路扩展到分钟级。其四，「算力门槛 vs. 实用部署」矛盾：训练需要 32×A100-80G 在 2000 步内完成，推理对显存同样不友好；可借鉴知识蒸馏把 14B 教师蒸馏到 1.3B–3B 学生模型，对应 PIXEL-Reasoning 类实时交互场景。

作者在结论与 Limitations 中明示了三条未来路径，本文结果还隐含了若干延伸方向。第一，「自回归推理与效率提升」：作者明确提到「探索蒸馏技术以实现 autoregressive 推理并提高效率」，是把 LOME 改造成实时人机交互引擎的关键。第二，「物理一致性扩展」：当前 PC 评分 4.0 仍有提升空间，可引入可微物理仿真器作为额外的物理损失，让生成的液体刚体动力学更精确。第三，「跨形态泛化」：把 LOME 的 2D 动作图范式推广到机器人/无人机导航（已有 Whole-Body Conditioned Egocentric Video Prediction 等先例），从人类第一人称到智能体第一人称。在外部延伸方向上：(a) 「与 VLA 模型结合」：把 LOME 当作「视觉幻想器」，给 Pi0.6、OpenVLA 等策略模型提供可交互的视频预测，从而在真实部署前低成本地做 rollout 与反事实推理；(b) 「合成数据生成器」：用 LOME 配合 RH20T、AgiBot 等具身数据集放大训练分布，缓解真实机器人数据稀缺；(c) 「AR/VR 内容创作」：用户戴着头显即可凭文本+自己的姿态生成可分享的视觉片段，目前已具备项目页原型；(d) 「多模态条件扩展」：力觉、触觉信号亦可投影为 2D 通道并入 $\hat{A}$，让「抓握力矩」「滑动/静止」成为可控条件。

复现评估分三层。其一「代码/模型开源」：作者给出项目页 https://zerg-overmind.github.io/LOME.github.io/，但从论文主体并未承诺何时开源代码与权重；考虑到依赖的 Wan2.1-VACE-14B 已开源、社区已有完整的 VideoJAM/PIXL/PlayerOne 流水线经验，复现「算法层」难度中等。其二「数据」：训练使用 5/6 切分的 EgoDex（Hoque et al. 2025）约 28 万段视频，作者额外录制了 10 段实验室 in-the-wild 视频作为泛化展示；如果 EgoDex 公开申请顺利可获取，则训练数据问题不大。其三「算力门槛」：训练需 32×A100-80G 共 2000 步，按每 GPU ~0.5 TFLOPs×h 估算约需 32×A100-80G 同时运行 4–8 小时，单一机构难以承受；但通过 LoRA 仅微调 VACE 模块这一选择，使参数高效微调（如 DoRA、ReFT）甚至 QLoRA 在更小卡数（8×A100）上的复现成为可能——这是后续开源社区需要尝试的方向。整体难度评定为「前沿 + 工程繁重」，对独立研究者而言实现级复现挑战大、对大实验室而言工程化复现可行。