PonderPounce：以预训练多模态大模型作为机器人控制的情景上下文引擎

复用预训练MLLM原生上下文作机器人记忆，以异步连续认知令牌驱动VLA控制器

前置知识

VLA（视觉-语言-动作模型）

VLA 是把图像观测与语言指令直接映射为机器人动作的端到端模型，由视觉语言骨干加动作解码头（扩散或流匹配头）组成，以固定频率输出动作块。代表工作有 π0、π0.5 与 GR00T N1.5，在大规模机器人数据上预训练，通用操作能力强，但一般只以当前观测为条件，不带情景记忆。

本文的快系统 POUNCE 直接从 π0.5（3.6B）或 GR00T N1.5（3B）初始化，理解 VLA 的输入输出形式（观测、本位感觉、指令到动作块）是理解认知令牌如何注入控制器的前提。

MLLM 的因果上下文与 KV 缓存

多模态大语言模型以因果注意力处理自回归序列，历史 token 的中间状态缓存在 KV cache 中，新输入只需追加编码而无需重算历史，因此上下文天然是只追加（append-only）的记忆载体。会话级 StaticCache 让每次查询只编码新 token，成本与上下文长度近似解耦。

本文的核心主张就是把这一原生上下文直接当作机器人情景记忆使用而不另建外部记忆库；推理优化部分（78ms 认知刷新、16K 上下文上限）完全依赖这套缓存机制。

双过程理论（System 1 / System 2）

源自 Kahneman《思考，快与慢》的认知框架：System 1 快而自动，System 2 慢而深思。机器人领域借它描述异步双系统架构——低频大模型做推理规划，高频小模型做实时控制，两者以不同时钟运行并通过接口交换信息，典型如 Helix、FiS-VLA。

PonderPounce 命名即来自该框架：PONDER 是 System 2（约 1Hz 刷新认知），POUNCE 是 System 1（1Hz 调用、20Hz 放播动作），异步调度与认知年龄编码都围绕双时钟设计。

流匹配（Flow Matching）

一种生成式建模方法：训练网络回归从噪声分布到数据分布的概率流速度场，推理时沿该场数值积分生成样本。VLA 常用它做动作头，以 MSE 拟合速度场、输出连续动作向量序列，比离散 token 化动作更平滑，适合高频控制。

本文动作损失 $\mathcal{L}_{fm}$ 即动作流匹配 MSE；消融实验中衡量认知陈旧度的指标（归一化损失从 1.00× 升至 9.22×）也是这个量。

连续潜空间接口与认知载体令牌

指高低层模型间不传文本而传连续隐向量的接口，如 LCB 的 latent code、Helix 的内部表征。已知风险是潜通道退化为只编码指令级信息、对视觉变化不敏感。本文用 K 个载体位（K=1）的最终隐层状态 $C_t \in \mathbb{R}^{K \times H}$ 作认知令牌，附正弦编码的年龄。

这是全文核心接口。作者用 held-state 干预（成功率 60.83%→1.83%）与陈旧度诊断专门验证它确实传递了情景信息而非指令摘要。

研究动机

机器人操作常常依赖当前画面中不存在的证据：被遮挡物体的位置、几秒前按钮按下时短暂出现的高亮标记、“刚才演示的那种绕行方向”等。作者在记忆基准 RoboMME 上量化了这一缺口：只看当前观测的 π0.5 成功率仅 17.93%，加入历史动作也只升到 19.73%，而人类达到 90.50%。现有补救方案都要为历史专门设计机制：FrameSamp+Modul 采样历史帧经层级调制器注入控制器；SAM2Act+ 维护分割特征库做注意力检索；MemER 检索关键帧并输出文本子目标；MEM 用递归语言记忆；MemoryVLA 维护外部记忆库；RoboTTT 把历史压进部署期更新的快权重。这些采样、存储、检索或压缩组件都必须针对机器人轨迹专门设计或学习，架构复杂，且 System 2 的容量难以脱离控制器独立扩展。

本文的目标是作者要回答的核心问题是：什么样的表示与接口能让积累的情景上下文真正变得对控制器可执行？具体目标是：不发明任何新的记忆模块，直接把预训练多模态大模型 PONDER（Qwen3.5-9B）的原生因果上下文当作机器人情景记忆，在其中按序累积指令、演示与逐帧观测；再用一个预训练动作模型 POUNCE（RoboMME 上从 π0.5 3.6B 初始化，RoboCasa-DC 上从 GR00T N1.5 3B 初始化），只通过“最新连续认知令牌+其年龄”这一极简接口读取上下文信息，输出 20Hz 动作块。两系统以解耦时钟异步运行、端到端联合训练，不需要桥接预训练；同时 System 2 容量应能独立扩展——在 9B 与 0.8B 之间替换时控制器架构与接口完全不变。

与已有工作不同的是，本文的独特切入是视角转换：把“记忆”从机器人专属的工程问题重新定义为对预训练语境能力的复用。与 MemoryVLA 的外部记忆库、ICRT 把演示塞进控制器自回归序列、RoboTTT 写入快权重不同，历史只存在于 MLLM 的激活中；与 RT-H、MemER 等文本子目标层级不同，默认接口传的是连续认知令牌，子目标文字与演示推理仅作为训练期监督保留在 System 2 内部，从不进入控制器。最接近的异步先例 Helix 虽同为快慢双模型，却不会循环地传递情景或演示上下文。据作者所知，“持久 MLLM 上下文+解耦时钟+循环连续路由”三者的组合尚无先例，这构成了清晰的贡献边界。

核心方法

直觉上，系统像一个“慢思考的记笔记者”加一个“快执行的工人”：PONDER（Qwen3.5-9B）把指令、演示、逐帧观测和此前想法按序记进自己的因果上下文，每次查询在上下文末尾插入 K=1 个载体位置，取其最终隐层状态作为认知 $C_t \in \mathbb{R}^{K \times H}$；POUNCE（π0.5 3.6B / GR00T N1.5 3B）每次被调用时取最新就绪认知 $C_{ref(j)}$ 与正弦编码的年龄 $\Delta(j)$ 拼成前缀 $P_j=[e_{\Delta(j)}, W_c C_{j,1},\dots,W_c C_{j,K}]$，结合当前观测、指令与本位感觉由流匹配头预测动作块 $A_{1:h}$，以 20Hz 放播；无就绪认知时用可学习的空认知 $C_\emptyset$。两端到端联合训练：$\mathcal{L}=w_1\mathcal{L}_{fm}+w_2\mathcal{L}_{ground}$，前者是动作流匹配 MSE，后者是转移令牌 $T_t$、子目标文本与演示推理的交叉熵。

核心创新是“认知令牌+年龄”的极简连续接口与“记忆即预训练语境能力”的设计哲学。区别一：不加任何专门记忆组件——没有历史采样器、外部存储、检索策略或历史压缩器，历史就活在 MLLM 的 KV 缓存里（作者强调这是工程缓存而非记忆机制）。区别二：通道内容极简且带时间戳——POUNCE 只收到最新认知及其年龄 $\Delta(j)$，训练时对 POUNCE 调用间隔（约 100ms 对数正态）、PONDER 查询间隔（约 1s）和 300ms 计算延迟分别采样，使每个状态以多种年龄出现，让控制器学会利用陈旧度。区别三：LM 头生成的子目标与演示推理只是训练期接地手段，推理时文本留在 System 2 内部；为防动作梯度经共享主干淹没语言监督，进入 PONDER 的动作梯度被缩放 0.5 倍。

方法步骤详情

第一步（PONDER 查询）：时刻 $t$ 把观测 $O_t$ 追加进含指令、演示 $D_{1:n}$ 与历史认知的上下文，预测转移令牌 $T_t\in\{T_{Yes},T_{No}\}$；若 $T_{Yes}$ 则先生成内部文本（演示推理 DR、子目标 $S_t$）再插入载体位，否则载体直接跟在 $O_t$ 后，取最终隐层状态得 $C_t$，全程不向控制器解码文本。第二步（调度）：POUNCE 调用 $j$ 时取最新已完成认知 $ref(j)=\max\{t:\tau_t^{(2)}+d_t\le\tau_j^{(1)}\}$，计算年龄并构建前缀。第三步：POUNCE 流匹配头预测 20 步动作块并 20Hz 放播。第四步（训练）：教师强制转移令牌与文本载荷，$w_1{=}1.0$、$w_2{=}0.1$（RoboCasa-DC 无标注则 $w_2{=}0$，配 15% 认知 dropout），8×B200 训 4320 步、学习率 $2\times10^{-5}$。第五步（部署）：StaticCache 只编码新 token，融合 Triton 核把 POUNCE 延迟从 142ms 降到 25ms，认知刷新 78ms。

技术新颖性

技术新颖性有四点。其一，接口与训练组合新：连续认知通道与单独适配的子目标文本参考性能几乎持平（60.83% vs 59.96%），说明贡献不在通道本身，而在“联合端到端训练+预训练上下文”的配方——无需桥接预训练即可接通两个预训练模型。其二，容量可迁移性被系统验证：同架构同接口下，上下文引擎从 0.8B 换 9B 提升 10.79 个百分点，而随机初始化 9B 完全失败（0.00%），说明收益来自预训练语境能力而非参数量本身。其三，少见的干预式通道分析：held-state 干预（60.83%→1.83%）证明控制器依赖查询级刷新的认知而非子目标级摘要，正面回应了潜通道退化的已知担忧。其四，异步时间感知设计：把认知年龄作为显式输入并在训练中采样多种延迟，是对快慢系统“何时信任旧信息”问题的新处理。

**Figure 1**: Pretrained MLLM context as scalable robot memory

实验结果

主实验一（RoboMME 记忆操作，16 任务、3 跑均值）：1× 数据下达 60.83%，超 FrameSamp+Modul 44.51%（+16.32pp）、MemER 42.38%、π0.5 17.93%；其中 Counting 74.67%、Permanence 62.83%、Reference 72.17% 领先，Imitation 仅 33.67% 低于基线 51.39%；9× 数据达 75.54% vs 57.88%，逼近人类 90.50%。主实验二（容量迁移）：9B 引擎 60.83% 对 0.8B 的 50.04%（+10.79pp），随机初始化 9B 为 0.00%。主实验三（RoboCasa-DC 跨具身演示条件化，5 个 held-out 任务、5 跑均值）：12.5%±0.9，超最强基线 SeeTraceAct 11.6%，禁用认知降至 8.6%。消融：去演示推理监督降至 48.21%，去全部 LM 头接地 27.96%；子目标文本参考 59.96%；held-state 干预暴跌至 1.83%；陈旧度诊断中 1s 刷新检查点在认知 4.3s 时归一化损失 9.22×，4s 训练压到 1.14×，但 0.3s 绝对损失从 0.117 升至 0.232。服务上认知刷新 78ms、动作调用 25ms p50，支撑 20Hz 放播。

**Table 1**: RoboMME success rate (%) by memory design

**Table 2**: RoboCasa-DC success rate (%)

**Table 3**: Supervision and context-to-control variants

**Table 4**: The reported checkpoint requires within-subgoal refreshes

**Table 5**: Pretrained context capacity transfers to control

**Table 6**: RoboMME reasoning-template schemas

**Table 7**: RoboMME per-task success rate (%)

**Table 9**: Selected context-to-control architectures

**Table 10**: Target vs. sustainable output rate per clock

**Table 11**: POUNCE invocation latency (ms, p50) by serving path

**Table 12**: PONDER per-fire latency (ms) by serving path

**Figure 4**: Measured staleness under slow-refresh training

查看结构化数据

任务	指标	本文	基线	提升
RoboMME 记忆操作（1× 数据，16 任务）	平均成功率 (%)	60.83	FrameSamp+Modul 44.51（MemER 42.38、π0.5 17.93）	+16.32 个百分点
RoboMME 记忆操作（9× 数据）	平均成功率 (%)	75.54	FrameSamp+Modul 57.88	+17.66 个百分点
RoboCasa-DC 跨具身演示条件化（5 个 held-out 任务）	平均成功率 (%)	12.5 ± 0.9	SeeTraceAct 11.6（UniSkill 11.2、Vid2Robot 8.8）	+0.9 个百分点；禁用认知降至 8.6
RoboMME：System 2 规模对比（同架构同接口）	平均成功率 (%)	9B 引擎 60.83	0.8B 引擎 50.04	+10.79 个百分点（随机初始化 9B 为 0.00）

局限与改进

作者坦承的限制：RoboMME 的转移门控、子目标与演示推理标注来自模拟器模板，生产成本未测且基线未获得同等推理监督，对比同时反映架构与监督差异；评估仅限两个仿真基准、每次查询仅 1 个认知载体（K=1）；RoboCasa-DC 绝对成功率仅 12.5%，只是接口迁移的初步证据；9B 上下文模型配 3–3.6B 控制器带来额外训练与推理开销；延迟剖析只测 batch-1 而非并发吞吐；append-only 上下文上限 16K token。方法学上，held-state 干预没有评估为稀疏传输专门训练的策略，陈旧度诊断是教师强制的离线损失而非闭环成功率，随机初始化 9B 训练发散导致无法做匹配收敛的预训练对照。我补充观察：Imitation 族明显弱于直接复用帧的基线（33.67% vs 51.39%），说明原生上下文并非对所有记忆需求都最优；评估固定 1Hz 时钟与 300ms 延迟，从未真正测过陈旧状态复用与空认知路径；1× 下三跑 2.63pp 的波动大于部分对比差距。

独立分析的弱点

独立分析几个弱点。其一，Imitation 短板暴露纯隐通道的局限：在需要逐帧复刻演示弧线与方向的任务上，直接帧 token 复用更有效（51.39% vs 33.67%），改进方向是在 POUNCE 侧保留轻量近期帧缓冲，或让认知通道携带演示帧的检索指针，形成混合记忆。其二，监督不对称削弱结论力度：60.83% 中 LM 头接地贡献巨大（去掉后仅 27.96%），而基线没有这些模拟器模板标注，改进方向是用 VLM 自动生成等价标注喂给基线，或在匹配监督下重训 FrameSamp+Modul。其三，对查询级刷新的强依赖与 1s 慢时钟的经济性冲突：held-state 干预掉到 1.83%，但每秒都跑 9B 模型成本高，应显式训练稀疏传输策略并加年龄鲁棒正则。其四，认知通道不可解释：POUNCE 如何使用 $C_t$ 仍是黑箱，应做表示探针与认知宽度（K>1）扫描。其五，16K 上下文限制长任务与多回合记忆，可引入分段摘要或上下文压缩。

未来方向

作者提出的方向：在匹配监督与标注成本下比较各架构；用视觉语言模型生成或传播标注以摆脱模拟器模板，并检验标注质量与成本的影响；构造保持当前场景、只改相关历史的反事实配对以更干净地隔离记忆使用；扩展上下文类型细分、更多机器人本体与真机实验；在等算力下比较能耗与并发吞吐；蒸馏、量化或缩小上下文模型；做闭环刷新周期扫描、显式稀疏传输训练、表示探针、认知宽度扫描与更大规模及预训练对照；在需要记忆与长程意图的时序连贯视觉-动作数据（桌面、游戏交互）上扩展软 token 学习。基于本文成果还可延伸：把认知令牌接口推广到导航、GUI 智能体等同样需要情景记忆的控制问题；结合外部检索突破 16K 限制实现跨回合终身记忆；探索事件触发的认知更新以降低常驻算力。

复现评估

复现信息相当充分但门槛很高。有利方面：附录给出完整训练配置——RoboMME 用 8×B200 训 4320 步、全局批 32、学习率 $2\times10^{-5}$（100 步 warmup 后常数）、AdamW $(\beta_1,\beta_2)=(0.9,0.95)$、权重衰减 $10^{-10}$、种子 42、梯度裁剪 1.0、动作梯度缩放 0.5；RoboCasa-DC 为 4000 步、学习率 $1\times10^{-5}$、$w_2{=}0$、15% 认知 dropout；调度采样参数、四族推理模板（Table 6）乃至逐字 DR 目标样例与延迟剖析（Table 10–12）均写明；基线多为已发表数字可直接引用。不利方面：论文未提及开源代码或权重；依赖 Qwen3.5-9B、π0.5 3.6B、GR00T N1.5 3B 三个预训练检查点与 8 张 B200 级 GPU；评估需 800 回合×3 次；融合 Triton 核与 StaticCache 会话工程需自行复现。总体属算力与工程密集型，完整复现难度大，但按论文协议引用基线+自训主模型的验证路径相对可行。

PonderPounce：以预训练多模态大模型作为机器人控制的情景上下文引擎 PonderPounce: A Pretrained MLLM as an Episode Context Engine for Robot Control