InternW0：面向高效真实世界交互的基础物理世界模型 InternW0: A Foundational Physical World Model for Efficient Real-World Interactions
异步视频-动作双专家架构：慢速预测缓存复用、快速动作实时纠偏，16.47Hz 闭环操作
前置知识
世界-动作模型（WAM）
在世界模型基础上进一步耦合未来视觉预测与机器人动作生成的模型：一方面预测环境如何演化，另一方面生成可执行的控制指令，使预测直接服务于交互。它把感知理解、物理动力学与控制决策放进同一个可学习的表征里，形成预测—行动—观察的闭环。
InternW0 是 WAM 路线的代表作：视频专家管预测、动作专家管控制，理解 WAM 的定位才能看懂全文的架构取舍与实验设计。
Flow Matching（流匹配）
一种生成模型训练范式：在干净数据 $x_0$ 与高斯噪声 $\epsilon$ 之间构造线性插值路径 $x_\tau=(1-\tau)x_0+\tau\epsilon$，训练网络回归目标速度场 $v^*=\epsilon-x_0$，推理时沿速度场积分即可从噪声逐步还原样本。相比扩散模型轨迹更直、采样步数更少。
InternW0 的视频预测和动作生成统一用连续流匹配训练，公式(5)(6)的损失定义是理解其训练目标的基础。
Mixture-of-Transformers（MoT，模态专家混合）
模态专属参数化的 Transformer 架构：不同模态（视频、语言、动作等）拥有各自独立的自注意力/FFN 参数与 token 流，只在必要时通过跨模态注意力交换信息，避免异质模态在同一套参数里互相干扰，同时保留共享推理的可能。
InternW0 的视频专家与动作专家正是 MoT 思想的实例化，理解它才能明白论文共享表征加专属专家的分离式设计。
动作分块（Action Chunking）
把连续控制序列切成固定长度的片段（本文每 16 步一个 chunk，64 步动作共 4 个 chunk），一次生成整段动作后按新观测逐步执行。它是现代机器人策略在推理开销与响应速度之间折中的主流做法，也是上下文复用与条件注入的自然粒度。
InternW0 的 K/V 编辑、软提示、力觉条件都以动作 chunk 为单位组织，是该模型异步推理机制的基本粒度。
六维力/扭矩与混合力位控制
末端 wrench 包含 3 个力分量与 3 个力矩分量，直接反映接触状态与负载；混合力位控制则在跟踪期望位姿的同时调节接触力，是插接、倒液、移液等接触密集任务的核心控制方式，使机器人在保持接触的同时顺应外部作用力。
InternW0 在后训练阶段把力/触觉历史作为条件并联合预测未来 wrench，这是它在定量移液等任务上大幅领先的关键机制。
K/V 缓存与上下文路由
Transformer 每层的 Key/Value 张量可被缓存复用以免重复计算；路由则指用新观测生成的查询向量去检索、修订缓存内容，让旧上下文按需更新而非整体重算。二者结合可实现大模型长上下文的高效增量式消费。
InternW0 的异步双工推理正是靠缓存视频 K/V 加观测条件化的逐层 K/V 编辑器，同时做到预测复用与实时纠偏。
研究动机
机器人要在持续变化的环境中行动，仅靠感知到策略的反射式回路并不够：动作执行期间世界仍在演变，策略必须预判候选动作的后果才能在部分可观测条件下做出好决策。近期的世界-动作模型（WAM）把未来视觉预测与动作生成耦合起来，但仍存在三大痛点。其一，模态贫乏：主流模型主要消费视觉与本体感知，缺少力/触觉通道，难以应对插接、倒液、移液等接触密集任务。其二，同步架构的时延矛盾：昂贵的视频扩散式预测与快速控制绑在同一时钟上，若每次动作更新都重新生成未来，代价不可接受——同类模型 Motus 单次动作更新延迟高达 1866.10 ms（0.54 Hz），预测再准也来不及用；Fast-WAM 把延迟降到 190 ms，却在两次预测之间沿用不变的计划执行，策略条件于越来越陈旧的世界视图。其三，具身不通用：不同机器人的动作语义、自由度与传感配置差异巨大，联合训练容易互相干扰。
本文的目标是本文为 InternW 系列打造首个实例 InternW0，一个面向真实世界高效交互的基础物理世界模型，落实三条设计准则：(1) 全模态接口——在共享物理表征内统一视觉、语言、本体感知、力/触觉与动作，支持异构具身；(2) 异步多频率处理——把慢而准的长时程视觉预测与快而灵的高频动作生成解耦，让预测信息在过期之前就能影响正在进行的执行；(3) 局部环境建模——在部分观测和外部扰动下估计局部物理状态，预测自身动作与外部影响的后果，并随新证据持续修正。工程目标是在约 7,200 小时异构数据上预训练后，于 LIBERO、RoboTwin 2.0 等仿真基准达到有竞争力的水平，并能完成 15 步金属有机框架（MoF）合成流程与 5 步力感知定量移液等真实湿实验室科学任务，同时把关键路径动作延迟压到约 60 ms。
与已有工作不同的是，本文的独特切入是不对称双工架构加观测条件化上下文路由。与同步 WAM 每次动作更新都重算完整预测（或干脆用过期计划）不同，InternW0 让大容量视频专家按慢速时间表生成未来预测，并把逐层 K/V 缓存为可复用的预测上下文；轻量动作专家以更高频率出动作。两次预测之间，用当前 chunk 的 DINOv3 观测特征生成路由查询 $q$，经逐层 K/V 编辑器对缓存上下文做残差修正——先检索 $R_{\ell,n}=\text{Attn}(W_q q_n, K_\ell, V_\ell)$，再路由回原视频 token 位置，以零初始化投影和门控 $\sigma(\gamma_\ell)$ 叠加 $\Delta K,\Delta V$——使每个动作 chunk 都拿到被最新观测校准过的上下文，而无需重跑视频模型。另一独特处是训练信号设计：IDM 条件流的梯度不截断，动作损失穿过编辑器反传进视频专家，让预测表征同时被重建未来与对控制有用两个目标塑形；辅以 MoT 模态专家、软提示与 37 维统一动作接口实现跨具身预训练。
核心方法
直觉上，InternW0 像一位心中有预案、手上会应变的实验员：脑中预演（视频预测）不必每次动手都重来，但每次动手前都按眼前实况校正预案。技术路线四条。(1) 异构预训练：约 7,233.5 小时、7 个数据集、25 个域的数据统一到 37 维动作/状态接口，按域平方根权重 $p_d=\sqrt{N_d}/\sum_j\sqrt{N_j}$ 采样，batch 域内同质。(2) 双专家流匹配联合训练：视频帧经冻结 Wan VAE、chunk 观测经冻结 DINOv3 编码；MoT 骨干上视频与动作专家分别用连续流匹配（$x_\tau=(1-\tau)x_0+\tau\epsilon$，$v^*=\epsilon-x_0$）训练，总损失 $\mathcal{L}_{pre}=\mathbb{E}[\lambda_v\mathcal{L}_{video}+\lambda_a\mathbb{I}_{act}\mathcal{L}_{joint}]$，无动作标签的自我中心视频只监督视频专家。(3) 异步双工推理：视频专家慢速产出预测并缓存逐层 K/V，动作专家每个 chunk 用观测条件化 K/V 编辑器修正上下文后快速去噪出动作。(4) 接触感知后训练：接入力/触觉历史并联合预测未来 wrench。
核心创新是预测复用加观测校正的解耦机制，本质区别有三。第一，同步 WAM（如 Fast-WAM）须为每次动作更新重算完整预测，或沿用不变的计划——InternW0 用逐层 K/V 编辑器：把新观测作查询 $q$，检索 $R_{\ell,n}=\text{Attn}(W_q q_n, K_\ell, V_\ell)$，路由回原视频 token 位置 $D_{\ell,n}=\text{Attn}(K_\ell, R_{\ell,n}, R_{\ell,n})$，残差 $(\Delta K,\Delta V)$ 经零初始化投影与门控 $\sigma(\gamma_\ell)$ 叠加到缓存（$\hat{K}_{\ell,n}=K_\ell+\sigma(\gamma_\ell)\Delta K_{\ell,n}$），编辑器初始为恒等映射、渐进学会观测依赖的修正，长时程结构与时新反馈兼得。第二，IDM 条件流与主视频流共享参数但独立加噪，其 K/V 不断梯度，动作损失穿过编辑器反传，预测表征由重建未来与控制有用性共同塑形。第三，力/触觉只在后训练作动作侧观测引入（$y_i=[a_i^\top, f_i^\top, h_i^\top]^\top$，未来接触与动作一起去噪），不动视频主干。
方法步骤详情
(1) 数据准备：七个数据集（InternData-A1 3,494.3h、AgibotWorld 2,620.0h、RoboCOIN 438.1h、Galaxea 314.9h、EgoLab 275.4h、MolmoAct 70.3h、RoboDojo 20.5h）共 811,969 条轨迹、25 个域；动作/状态统一为 37 维（每臂 7 关节+3 平移增量+6 旋转 6D+1 夹爪，另 3 维底盘），缺失通道置零并打掩码；统一 15 fps 约定，每样本 13 帧多视角图拼 384×320 画布、64 步动作切 4 个 16 步 chunk；离线清洗静态轨迹、头/腰运动区间、夹爪短脉冲（±0.6 阈值检测往返）。(2) 预训练：软提示 $P(d)$ 前置每个动作 chunk；IDM 条件流以 0.5 概率保持干净、否则独立加噪；视频注意力用首帧因果掩码，首帧作干净时间锚。(3) 推理：视频专家慢速生成预测并缓存逐层 K/V；每个动作 chunk 用新观测驱动 K/V 编辑器修正上下文，Action DiT 去噪出 16 步动作。(4) 接触感知后训练：接入力/触觉历史并联合预测未来 wrench，关键路径延迟 60.73 ms。
技术新颖性
技术新颖性体现在五点。(1) 异步双工加 K/V 编辑器的预测复用是新的算法-系统组合：上下文不是简单缓存复用，而是每个 chunk 都被当前观测的残差修正，作者注明路由设计沿用 AHA-WAM 的观测引导思想，但落到逐层编辑与预训练骨干上。(2) 把 MoT 的模态专属参数化从语言-图像扩展到视觉动态、身体动作与接触力学的物理世界建模，视频专家不消耗动作 token，保持物理预测的具身无关性。(3) IDM 条件流梯度直通视频专家：不同于把世界模型当纯前置特征的用法，动作监督反向塑造预测表征，使 K/V 的有用性成为训练目标的一部分。(4) EgoLab——275 小时头戴相机拍摄的湿实验室自我中心视频（2.5K、50 fps，含移液、称量、滴定、研磨等操作），经 HaWoR 手部重建与 VLM 子任务切分后走纯视频通路注入实验操作先验，受限数据消融显示它把随机化场景成功率从 13.73% 提到 21.97%。(5) 数据工程严谨：相位感知的合法性检查、24 个统计组分离归一化、确定性采样索引支持精确断点续训，这套管线的可复现性本身就是贡献。
实验结果
仿真上 InternW0 全面领先或持平。LIBERO 全 40 任务平均 98.6%（Spatial 99.4/Object 99.4/Goal 98.6/Long 97.0），超最强基线 LingBot-VA（98.5）0.1 分、Fast-WAM（97.6）1.0 分。RoboTwin 2.0-Full 上 93.20/93.04/93.12（干净/随机化/平均），两设置仅差 0.16 分，超 Fast-WAM 1.29、AHA-WAM 0.32 分，距最高 ABot-M0.5（94.10）差 0.98 分。最能体现泛化的是 Clean2Random：仅用干净演示后训练，平均 75.60%，比最强基线 GigaBrain-0.7（67.3）高 8.30 分，随机化 68.0% 也是最高，但与干净间仍有 15.2 分差距。真实世界 5 任务（各 15 次随机试验）：Make Sandwich 73.3% 与 π0.5 持平；Pick Industrial Parts 82.7% 对 π0.5 的 53.1%（后者多因识别错放盒）；Sort Tubes 88.9%；15 步 MoF 实验进度率 68.4% 对 π0.5 的 50.2%——π0.5 从第 8 子任务起跌至 6.7%，InternW0 撑到第 12 子任务 66.7%、仅在毫米级按钮阶段降至 26.7%；灵巧手移液进度率 65.3% 对 π0.5 的 46.7%，5 个子任务中 4 个最佳。效率上关键路径 60.73 ms、16.47 Hz，比 Fast-WAM 快 3.13 倍，比 Motus（1,866.10 ms、0.54 Hz）快约 30 倍。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LIBERO（40 任务单臂操作） | 四套件平均成功率 | 98.6% | LingBot-VA 98.5% / Fast-WAM 97.6% | +0.1pp（对最强基线）；Spatial 99.4% 为最佳，+0.6pp |
| RoboTwin 2.0-Full（50 任务双臂） | 任务平均成功率（clean/randomized） | 93.12%（93.20/93.04） | ABot-M0.5 94.10% / AHA-WAM 92.80% | 较最佳基线 -0.98pp；较 AHA-WAM +0.32pp、较 Fast-WAM +1.29pp |
| RoboTwin 2.0-Clean2Random（域外泛化） | 平均成功率（clean/randomized） | 75.60%（83.20/68.0） | GigaBrain-0.7 67.3%（66.8/67.9） | +8.30pp 平均；clean +1.7pp（对 4D-WAM 81.5%） |
| 真实 MoF 实验（15 步材料合成） | 进度率（15 次试验） | 68.4% | π0.5 50.2% / Fast-WAM 10.7% | +18.2pp（对 π0.5） |
| 真实定量移液（灵巧手，5 步） | 进度率（15 次试验） | 65.3% | π0.5 46.7% / Fast-WAM 18.7% | +18.6pp（对 π0.5） |
| 关键路径动作生成 | 延迟 / 更新率（RTX 5090D） | 60.73 ms / 16.47 Hz | Fast-WAM 190.00 ms / 5.26 Hz；Motus 1,866.10 ms / 0.54 Hz | 3.13× 于 Fast-WAM；较 Motus 快约 30 倍 |
局限与改进
作者承认的局限：Clean2Random 下干净与随机化评估仍有 15.2 分差距，未见过的场景随机化依然困难；MoF 实验最后的按钮按压阶段（要求毫米级精度）成功率仅 26.7%；灵巧手机器人数据被排除在预训练语料之外，力/触觉要到接触感知后训练才接入，基础模型本身的接触理解有限。我的补充观察：(1) 对比公平性存疑——RoboTwin Full 设置上 ABot-M0.5（94.10%）与 OpenWAM-α（93.60%）更高，而各家训练数据规模与配方并未对齐，7,200 小时语料的构成差异使结论难以完全归因于架构；(2) EgoLab 消融只在约 50 小时受限数据下进行，全量语料下其边际收益是否保持未知；(3) 真实任务每项仅 15 次试验且未报告方差，置信区间较宽；(4) 视频预测质量本身（如 FVD 或预测-现实偏差度量）从未被直接评估，预测有用性只能通过下游动作间接体现；(5) 异步执行的失效恢复机制——计划与现实偏差多大时触发重预测——未量化；(6) MoF 与移液任务依赖共享 VLM 做子任务分解，端到端长时程自主性有限。
独立分析的弱点
(1) 力/触觉通路依赖硬件：只有配备力/触觉传感的机器人在后训练能用上接触感知，而公开机器人数据集绝大多数无力信号，跨数据迁移时该通路常缺——可用仿真接触模拟或从视频隐式推断接触力做预填充训练。(2) K/V 编辑器的残差修正是局部的：若现实大幅偏离预测（如物体被意外碰倒），小幅残差可能不足以纠正上下文，需要显式的计划失效检测与自适应重预测触发机制。(3) 37 维统一接口对高自由度灵巧手表达受限：移液任务的 20-DoF 手是后训练特化，通道级掩码无法建模手指间耦合——可探索分层接口或每具身学习的低维潜动作空间。(4) 评测集中在桌面操作：移动操作、导航与人机共享空间的长时程记忆能力未测。(5) 60.73 ms 关键路径虽快，但对某些接触任务所需的数百赫兹力控内环仍不够，真正的力控可能仍落在底层控制器，模型级力感知的实时性边界未澄清。(6) 多阶段科学任务依赖外部 VLM 做子任务生成与分解，失败级联与子任务边界错误的风险未被讨论。
未来方向
作者提出的方向：从观测走向干预理解——区分被动演化与动作致变的效应，引入因果建模与隐藏状态估计，这对依赖时机、力度、温度与操作顺序的科学流程至关重要；更广模态与专属专家——接入深度、3D 几何、音频等模态并要求可靠时间戳与空间标定的多模态数据管线；跨尺度跨时域预测——用分层表征、记忆与自适应时间分辨率处理快局部动力学与慢多阶段过程，配不确定性校准预测；一个物理基座适配多环境——参数高效适配与少量演示即可专业化到新机器人与新协议；真实世界闭环持续改进——把预测误差信号用于发现数据缺口与标定问题并持续学习、防灾难性遗忘；轻量化——目标约 4B 乃至小于 1B 参数的嵌入式世界模型。基于本文成果可延伸：把 EgoLab 式自我中心数据扩展到生物实验、外科等更多科学场景；用缓存的预测上下文做基于模型的强化学习或测试时规划搜索；系统研究重预测时机的自适应调度策略；将 wrench 预测用于滑移等异常的主动检测；与 InkStone 平台上的 Intern-S2 高层推理结合成完整的实验科学家智能体。
复现评估
项目页 internrobotics.github.io/internw0 已公开，但报告未明确说明代码、模型权重或 EgoLab 数据集是否开源。数据方面：六个机器人/仿真数据源（AgibotWorld、Galaxea、RoboCOIN、MolmoAct、RoboDojo 及部分公开）可获取，但 InternData-A1 为内部仿真数据，EgoLab 需自建采集（DJI 头戴相机、2.5K/50 fps、275 小时加 HaWoR 手部重建与 VLM 子任务切分），成本很高。训练基础设施为 FSDP2 加 Ray 的多节点分布式栈，含域内同质 batch、确定性采样与事务式分布式检查点，模型总参数量未披露（推测为数十亿级 Video DiT 加轻量 Action DiT）。推理门槛较低：单张 RTX 5090D 即可跑通关键路径测量。后训练超参给了较完整信息（LIBERO 50 epochs、lr 5e-5；RoboTwin 5 epochs、lr 2e-5），微调层面的结果可信度较高；预训练层面算力与数据工程门槛使第三方完全复现困难，属于论文级细节充分但企业级资源依赖较强的研究。
论文图表