ExoActor：以第三人称视频生成为可泛化的交互式人形机器人控制 ExoActor: Exocentric Video Generation as Generalizable Interactive Humanoid Control

流程共六个连续操作：(1) Robot-to-Human Embodiment Transfer——以一张机器人第三视角 RGB 为输入，调用 Nano Banana Pro（基于 Gemini 3.1 Pro）和图 12 中的系统级 prompt，把机器人替换为穿紧身压缩衣的「霍比特人比例男性」，强制前后朝向与机器人一致、肩腰线 1:1 对齐、严格保留场景与相机参数，得到与人类中心分布对齐的参考帧。(2) Task-to-Action Decomposition——把任务指令 $G$（如「捡起面前的棕色盒子并站起来」）丢给 GPT-5.4 Thinking，按图 11 的 prompt 输出形如 approach→bend→grasp→lift→stand 的原子动作链 $C=\{a_1,\dots,a_T\}$。(3) Prompt Construction——再由 GPT-5.4 Thinking 把动作链、初始图像内容、任务目标按图 13 的模板融合为「场景-任务感知动作描述」，再嵌入到 B/A/S 三级 prompt 模板（图 14、15）的 Shot/Scene/Motion/Execution/End State 等字段中。(4) Video Generation——以参考帧加结构化 prompt 调用 Kling 3，输出 10 秒、机位锁定的第三人称动作视频（备选模型包括 Veo 3.1 和 Wan 2.6，Kling 3 的失败率最低）。(5) Whole-body Motion Estimation——对每一段视频用 GENMO 在扩散框架下输出 SMPL 关节旋转 $q_t$ 与全局位置 $p_t$，得到全身轨迹 $M=\{q_t,p_t\}_{t=1}^T$，并对部分遮挡帧做时序插值。(6) Hand + Execution——以 24 FPS 同步用 WiLoR 估计左右手的 6D 姿态 $h_t^l,h_t^r$ 与离散交互状态 $s_t^l,s_t^r\in\{0,1,2\}$，构造交互感知运动表征 $\tilde{M}=\{q_t,p_t,h_t^l,h_t^r,s_t^l,s_t^r\}_{t=1}^T$；直接送入 SONIC 控制器，控制器取滑窗参考 $\hat{q}_{t:t+k}$ 与机器人本体状态 $s_t$，输出动作；手部目标进一步映射到 Unitree Dex3-1 的 7-DoF 关节并通过 event queue 推流到机器人侧的双手机电控制板。

技术新颖性可以归纳为三层：(i) 表层流程层面首次把 embodiment transfer + action chain + 结构化 prompt + motion tracking 这四步串成一条端到端可跑通的系统，且整个 pipeline 不依赖任何任务专属的数据采集，所有模块都可以独立替换或升级；(ii) 实证层面通过 Kling 3 vs Veo 3.1 vs Wan 2.6 的消融（保真度与稳定性更优）、GENMO vs CRISP 的消融（更快更稳）以及「加 retargeting 与否」的反直觉消融（直接吃 SMPL 的几何保真度反而更高），给出了可复现的工程结论而非单纯定性对比；(iii) 概念层面明确指出「视频生成模型即零样本策略」这种新范式的工程边界，例如腕部姿态估计误差、手指姿态离散化、前向 vs 背向视角的差异，并把以上边界系统地写进了 B/A/S 任务分级与失败模式分析，为后续物理先验注入、机器人中心生成、统一 benchmark 等研究方向设置了清晰靶点。

对几个关键弱点的独立分析与改进方向：(i) 视频生成器是物理不一致的——它会把小物品生成成大物品、违反刚体运动规律；改进方向是引入可微分物理模拟器作为生成器约束 / 后置过滤，把「接触力、重力、支撑关系」作为额外的损失项或采样约束。(ii) motion estimation 的误差在腕部方向上放大成抓取成败，这本质是单目视角下的歧义；改进方向是引入 affordance 网络或机器人 Wrist 的 IK 约束做后处理，或在生成阶段就要求手腕方向更显著的近景镜头。(iii) 离线 pipeline 无法应对真实环境扰动；改进方向是把 video generator + motion estimator 替换为流式版本（如 sliding window 的短时长生成），并把控制回路转换为 closed-loop。(iv) robot-to-human 转移会让机器人失去「自主感」，并把场景里所有与人相关的视觉知识强行迁移过来；改进方向是训练专门的 robot-centered diffusion model，从数据中学习「how a robot of shape G1 interacts」，直接去掉 transfer 步骤。(v) 当前指尖只有 3 离散态，没法支持细粒度操作；改进方向是把指尖控制升到关键点 + 抓取姿态回归，并联合训练机器人抓取视频数据。(vi) benchmark 缺失导致工程选择缺乏可比性；改进方向是构建带 ground truth 真实机器人轨迹的视频-控制配对数据集，跨模型统一评测。

作者在第 4 节给出了非常具体的未来计划：4.1 节提出把 exocentric reference 接到 scene-aware whole-body control 上，让 SONIC 在吃参考轨迹的同时能融合本体感知与在线视觉反馈，实现闭环跟踪；4.2 节强调视频生成要引入物存性、接触动力学、几何一致性、运动学约束等物理先验，并建议评估指标应与具身任务对齐；4.3 节规划 streaming / real-time 的 task imagination；4.4 节探索从 egocentric 输入反向生成 exocentric 视频以放宽对外部摄像头的依赖；4.5 节研究联合训练的视频-运动翻译模型（不止分阶段训练 motion extractor + executor），并在手腕旋转上加入几何与时序先验；4.6 节提出 robot-centric 视频生成（直接以机器人为视觉对象生成动作）；4.7 节呼吁建立统一的视频驱动人形控制基准。基于成果本身还能延展出几条：把它接到 VLA 的高层推理层，让 GPT-5 类模型同时输出 sub-task 文案与视频脚本；结合 RLHF 让视频生成器针对任务成功率反向微调；以及把第 6 节建议的「counterfactual generation」扩展到反事实学习，比如「如果换成左手拿会怎样」。

复现评估：作者公开了项目页（https://baai-agents.github.io/ExoActor/），但论文本身没有放出完整代码或权重。pipeline 中每一段都依赖商业或第三方托管 API：embodiment transfer 用 Nano Banana Pro（Gemini 3.1 Pro）、任务分解与 prompt 用 GPT-5.4 Thinking、视频生成默认用 Kling 3（备选 Veo 3.1、Wan 2.6）、手部估计用 WiLoR、运动估计 GENMO、控制器 SONIC，运行在 Unitree G1 + Dex3-1 灵巧手上。prompt 全文在 Appendix A.1-A.5 公开（图 11-15），这意味着中间步骤可较容易地复现，但视频生成与 LLM 部分涉及真实 API 费用与配额，离线生成的视频数据规模并未公开。算力方面没有给出 GPU 规模，但 GENMO、Kling、SONIC 等组件本身已知要求数十 GB 显存级别。综合来看，prompt 与方法描述是公开的，硬件和算法堆栈清晰，但完整代码未释放，加上依赖多个商用 API，整体复现难度属于中等偏高：能跑通 B 级任务的 demo 是可行的，但要复现论文中 A/S 级的全部案例并做严肃的失败率统计，仍需要重新实施 GENMO + SONIC 工程并打通多个 API 配额。