← 返回 2026-09-08

SimpleMemVLA：面向视觉-语言-动作模型的简洁高效原生视频记忆 SimpleMemVLA: A Simple but Effective Native-Video Memory for Vision-Language-Action Models

Cheng Yin, Wang Xu, Junpeng Yang, Sikyuen Tam, Hanyu Liu, Yuan Yao, Xiangrui Zeng, Junbo Cui, Yequan Wang, Zhouping Yin, Yankai Lin 📅 2026-09-02 👍 10 2026-09-12 18:30
VLA 机器人操作 流式推理 视频语言模型 长时程记忆
arXiv HuggingFace PDF

不设专用记忆模块，把分钟级时间戳视频直接作为VLM原生上下文，四项记忆基准全部刷新SOTA

前置知识

VLA（视觉-语言-动作模型）

VLA 是接收相机图像与语言指令、直接输出机器人动作序列的多模态大模型，通常由预训练视觉语言主干（VLM）加一个动作专家头组成。代表工作包括 RT-2、OpenVLA、π0、π0.5 等，动作生成方式从离散化 token 演进到扩散或流匹配等连续生成范式。

本文的全部讨论对象就是 VLA 的记忆能力：现有 VLA 普遍只看单帧或亚秒级窗口，SimpleMemVLA 提出的改动正作用在'历史如何进入 VLA 主干'这一架构环节上。

部分可观测性与 POMDP

当环境的真实状态无法从当前观测完全恢复时，控制问题成为部分可观测马尔可夫决策过程（POMDP)。在机器人长时程操作中，'目标物被盖在哪块布下'或'按钮已按几次'这类信息只存在于早前帧中，任何只依赖当前观测的反应式策略 $\pi(a_t \mid o_t, \ell)$ 在原理上就是病态的。

论文第一节的问题设定：记忆型操作任务的观测不满足马尔可夫性，这解释了为什么必须让策略条件于历史 $\pi(a_t \mid h_t, \ell)$，也是所有记忆基准设计的理论出发点。

三类专用记忆机制与写时承诺

现有 VLA 记忆工作分三大家族：检索（从外部库挑帧给策略）、学习式压缩（把历史压进固定 token 预算，如 64 token）、循环状态（持续把过去折叠进固定大小隐状态，如 16 token），另有符号存储。论文指出它们共同的'写时承诺'缺陷：必须在不知道未来决策需要什么时就决定保留什么，被丢弃的信息可能日后恰恰关键。

这是论文的核心批判对象和对照组：SimpleMemVLA 的归因实验正是在同一套栈上重建这三个家族，用数据证明写时承诺的代价（22.6%–31.5% 对 88.3%）。

流匹配与 DiT 动作头

流匹配（flow matching）训练一个速度场把高斯噪声沿线性路径 $A_\tau = (1-\tau)\bar{A}_t + \tau\epsilon$ 推向干净动作块，推理时用少量欧拉步积分。DiT 风格动作专家以条件向量（此处为子任务隐藏状态与本体状态编码）为输入，生成未来 $H$ 步连续动作。

SimpleMemVLA 的动作头就是标准流匹配专家，理解它才能看懂论文的窄文本通道设计：动作头不直接看几千个视觉 token，只接收生成子任务跨度的隐藏状态。

VLM 原生视频接口与时间戳 temporal patch

现代视频 VLM（如 Qwen2.5/3-VL 系列及本文用的 Qwen3.5-4B）在预训练时就学会以'视频通道'读入时序帧：视觉处理器把相邻帧组成 temporal patch，并在每个 patch 前加明文时间戳标记，让模型原生具备时间定位能力。以非原生方式（如把各帧当独立图像拼接）输入则要求模型从零重学时序结构。

SimpleMemVLA 的关键前提是'以主干预训练时的格式喂历史'——带时间戳的低采样率视频流让注意力能按'何时发生'检索证据，消融显示去掉时间戳或打乱帧序会直接破坏计数和单事件记忆。

KV 缓存与 prefill 前缀复用

Transformer 推理时每个 token 在每层的注意力键值（KV）会被缓存；若两个请求共享长前缀，可预先计算并缓存该前缀（prefill），后续只计算新增 token。这是 LLM 服务中 prefix caching 的标准技术。

论文的精确流式推理正是利用'相邻决策共享几乎全部历史前缀'：在机器人执行当前动作块时后台预填充共享前缀并缓存 KV，下一决策只处理新到的 temporal patch，从而把决策延迟从 1.02 秒压到 0.68 秒且输出与全量重算逐字节一致。

滑窗注意力（SWA）与线性注意力

SWA 限制 softmax 注意力层只能看到最近 $L$ 个 token，使 KV 缓存有界；线性注意力层则以常数大小循环状态概括整条序列、无逐 token 状态累积。Qwen3.5-4B 的 32 层中 24 层是线性注意力、8 层是 softmax 注意力，因此只需对这 8 层开窗即可让每决策计算与内存都独立于回合长度。

附录 E 的 SWA 变体是迈向无边界流式部署的关键：配合回合绝对时间戳和 episode 级打包训练，实现任意历史长度下恒定 0.92 秒的决策延迟，理解它才能看懂论文的可部署性主张。

研究动机

机器人操作一旦从桌面短技能扩展到长时程任务，就不可避免地遭遇部分可观测性：选择下一个动作所需的信息可能只出现在几分钟前的观测里——积木最初从哪块垫子上被拿起、被遮挡的目标放在了哪里、某个按钮已经按了几次。然而主流通用 VLA（RT-2、π0、π0.5、OpenVLA 等）只条件于单帧图像或亚秒级观测窗口，面对这类任务无论训练得多好都会失败，因为两个当前观测完全相同的状态可能需要不同动作。已有工作为此插入专用记忆机制：检索库、学习式压缩器（MemoryVLA、ContextVLA）、循环状态（RMT、TTT、CronusVLA）和符号存储（场景图等）。但它们共享一个结构性缺陷——写时承诺（write-time commitment）：必须在还不知道未来决策需要什么时就决定保留什么，检索可能漏掉相关帧，压缩丢失视觉细节，循环更新覆盖早期证据。这些机制成立的假设是分钟级历史太大无法直接处理，而这一假设已不再成立：以操作常用的采样率，60 秒历史只占 262k token 上下文窗口中的约 5.6k token，整个窗口足以容纳约 45 分钟（245k token）的历史。

本文的目标是本文的目标是验证一个极简命题：预训练 VLM 主干的原生视频上下文本身就可以充当 VLA 的记忆接口，无需任何专用记忆模块，同时不拖慢控制回路。具体拆成三个子目标。其一，原始历史观测必须以主干预训练时惯于处理的格式（带明文时间戳的视频流）进入模型，让注意力在决策时刻'读时'自行挑选证据，而不是在'写时'预先决定保留什么。其二，主干从历史中读到的信息必须能有效驱动动作头——论文让主干生成当前子任务的简短文本描述，并以该生成跨度的上下文隐藏状态作为历史通向流匹配动作头的唯一通道。其三，分钟级历史不能把每次决策推超实时预算，需要通过流式推理在机器人执行当前动作块时预填充共享历史前缀并复用 KV 缓存，把决策延迟压到接近单帧 VLA 的水平。最终衡量标准是：在记忆型基准上全面超越检索、压缩、循环三类机制，且在通用控制任务上不付出性能代价。

与已有工作不同的是，本文的独特切入角度是'做减法'而非'做加法'。此前所有记忆工作都在观测流和策略之间插入越来越精巧的中间机制——外部存储、检索索引、压缩表示或循环状态，而作者论证这些机制共同的根基假设（分钟级历史太大）已被现代 VLM 推翻，因此最应该做却没人做的对照实验是：同一个策略、同一个主干、同一份训练数据，直接把完整的带时间戳视觉历史作为原生上下文喂进去会怎样？论文把已有机制的本质缺陷统一概括为写时承诺：它们都在需求未知时提前决定了丢弃什么，而丢弃的信息可能恰恰是未来决策需要的；即便给符号管线配上真值感知（GroundSG 达 84.1%），仍低于直接看原始流的 88.3%，说明瓶颈在写时丢弃而非感知精度。作者还援引流式视频理解领域的平行发现（现成 VLM 配滑动窗口即可匹敌专用流式记忆方法）支撑判断，并把'原生上下文应作为未来 VLA 记忆机制的强制对照基线'作为对领域的核心主张。与最接近的 MEM 相比，MEM 仍在进主干前压缩近期帧和旧事件，而本文研究的是恰好能装进上下文窗口的分钟级历史。

核心方法

方法的直觉非常朴素：与其猜未来需要什么，不如把一切都摆在那里让模型自己看。技术路线分三步。第一步，保留历史：每个决策时刻重建覆盖最近 $T_w$ 秒、以低速率 $f_v$ 采样的窗口 $V_t = (o^h_{t-(K-1)s}, \ldots, o^h_t)$，$K = T_w f_v$ 为帧数上限、$s = f_c/f_v$ 为子采样步长，经 Qwen3.5-4B 主干的原生视频通道输入，相邻帧组成 temporal patch 并加明文时间戳，与视频预训练格式完全一致。第二步，读取并蒸馏为文本：主干在完整历史上下文中生成当前子任务 $g_t$（普通聊天回复，上限 64 token），该跨度的 token 嵌入与隐藏状态 $h(\cdot)$ 融合，加本体状态编码 $\psi(\bar{q}_t)$ 构成条件集 $C_t$。第三步，动作生成：DiT 式流匹配专家 $v_\phi$ 以 $C_t$ 为条件，从高斯噪声沿学习到的速度场积分少量欧拉步得到 $H$ 步动作块，执行前 $n_e$ 步。相邻决策共享几乎全部历史前缀，执行动作时后台预填充该前缀并缓存 KV，下一决策只处理新到的 patch，输出与全量重算完全一致。

核心创新是把'何时选择证据'从写时推迟到读时。已有三大机制家族都要在观测到达时通过某个固定接口决定保留什么：检索限制哪些帧及其时间元数据能到达主干（本文对照用 8 个均匀采样、无序、无时间戳的关键帧），压缩限制表示容量（固定 64 个上下文 token，查询与当前决策无关），循环状态把过去反复折叠进固定 16 token 的表示——而未来决策的需求此刻未知。SimpleMemVLA 则不设任何中间记忆接口，直接以主干预训练过的原生视频格式（帧序 + 明文时间戳）呈现完整采样历史，让任务条件化的自注意力在决策时自行定位证据，把选择成本交还给读时注意力。第二个关键设计是'窄文本通道'：动作专家只接收很短的 token 序列，历史信息必须经主干生成子任务跨度的上下文隐藏状态蒸馏后才能到达动作头，这一信号紧凑、可直接检查和编辑，相当于工作记忆——每次决策主干重读视觉历史并把当前任务状态写入隐藏表示，动作头据此出招。消融证实历史信息主要由隐藏状态承载（替换或置零隐藏状态会使行为坍塌甚至重定向到替换目标，而替换 token 嵌入几乎无影响），且复用哪怕上一决策的隐藏状态都会急剧掉分。

方法步骤详情

流程如下。每个基准由配置元组 $(C_{hist}, C_{cur}, T_w, f_v, H, d_a)$ 指定，如 RMBench 用 60 秒窗口、2 fps、$H=30$、$d_a=14$。输入构建：头部相机帧采样成窗口走视频通道，腕部相机单帧走图像通道，遵循'多帧相机成视频、单帧相机成图像'规则，让输入格式本身区分过去与现在；提示词 $x_t = \Phi(V_t, \{o^{w,i}_t\}, \ell)$ 只需本体与时间戳约定的纯文本说明。训练：子任务标签 $g^*_t$ 由云端 LLM 离线观看演示后为每个监督锚点写一句话；动作目标为示范动作块 $\bar{A}_t$；总损失 $\mathcal{L} = \lambda_{sub}\mathcal{L}_{sub} + \lambda_{act}\mathcal{L}_{act}$，前者为答案跨度交叉熵，后者为条件流匹配目标，线性路径 $A_\tau = (1-\tau)\bar{A}_t + \tau\epsilon$。AdamW 优化，主干与动作头学习率 $10^{-5}$ 与 $5\times10^{-5}$。部署：执行动作块前 $n_e$ 步，期间缓冲观测以精确重建下一窗口，同时预填充共享历史前缀；附录 E 的 SWA 变体支持无界流。

技术新颖性

技术新颖性有三点。第一，把一个被整个子领域忽略的前提拉出来重新检验：专用记忆机制都建立在'历史必须先被抽象'之上，而本文用 60 秒约 5.6k token 的实测数据说明现代视频 VLM（262k 上下文）已使分钟级原生上下文完全可行，把设计问题从'如何压缩历史'改写为'如何让读时选择变得便宜'。第二，子任务隐藏状态作为历史到动作的唯一通道是干净的接口设计：它既是信息瓶颈（迫使主干把分钟历史蒸馏进几十个 token），又保留可解释性（子任务文本可读、可审计、可编辑），还天然支持流式缓存（生成跨度位于序列尾部，始终在滑窗内）。第三，配套的精确流式推理保证输出与全量重算逐字节一致，这是调度优化而非近似加速；SWA 变体进一步把每决策计算和状态都做成与回合长度无关（恒定 0.92 秒），并用 episode 级打包训练保证训练与部署的上下文构造严格同构。相比最接近的 MEM（仍压缩后再进主干）和文本式历史（面临分布漂移与写时取舍的两难），本文的采样视频流在训练和部署时是同一个对象，从根上绕开了困境。

SimpleMemVLA architecture and streaming inference. (a) The architecture uses only standard VLA components, with self-attention over plaintext-timestamped history serving as memory. (b) Consecutive decisions differ by only one temporal patch, enabling shared-prefix prefill during action execution and reducing latency from 1.02 s to 0.68 s with identical outputs (Section 4.5).
Figure 2: SimpleMemVLA architecture and streaming inference. (a) The architecture uses only standard VLA components, with self-attention over plaintext-timestamped history serving as memory. (b) Consecutive decisions differ by only one temporal patch, enabling shared-prefix prefill during action execution and reducing latency from 1.02 s to 0.68 s with identical outputs (Section 4.5).
The SWA variant: one context construction, trained and deployed. (a) Two consecutive streaming decisions: each appends one unit (orange) to the persistent stream, the softmax window slides by one unit, and the unit leaving it (red) has its cache rows freed; the linear-attention state (green) integrates from t = 0 and is never reset. (b) Training forwards each episode once as a trunk and supervises B branches at random anchors, each attending to its last ≤M units and resuming the linear state snapshotted at its fork — exactly the deployed construction.
Figure 11: The SWA variant: one context construction, trained and deployed. (a) Two consecutive streaming decisions: each appends one unit (orange) to the persistent stream, the softmax window slides by one unit, and the unit leaving it (red) has its cache rows freed; the linear-attention state (green) integrates from t = 0 and is never reset. (b) Training forwards each episode once as a trunk and supervises B branches at random anchors, each attending to its last ≤M units and resuming the linear state snapshotted at its fork — exactly the deployed construction.

实验结果

四个记忆基准全部第一：RMBench 单模型九任务对比集 94.0%，超最强逐任务专家 MemoryWAM（83.0%）11.0 分，且是唯一从单记忆（91.6%）到多记忆设置（97.0%）不降反升的方法；16 任务 RoboMME 达 88.3%，超最强非 Oracle 基线 43.7 分，16 个任务全部第一（共 21 法），并超真值感知参考 GroundSG（84.1%）；MIKASA-Robo 达 74.0%，超最强已有 VLA MemoryVLA++（44.4%）29.6 分，也超非 VLA 专家 GMP（67.8%）；RoboMemArena（26 任务、平均超 1000 控制步）TSR 63.6%，超最强已有模型 17.4 分并超其真值参考（46.1%），遮挡类 39.1→64.3、计数类 31.4→71.4，但搬运类不领先。通用对照不掉点：LIBERO 97.5% 并列最佳（π0 为 94.2%）；LIBERO-Plus 零样本 78.4%，超最强记忆增强模型 5.3 分。归因实验：同一套栈换记忆接口，检索/压缩/循环在 RoboMME 仅 31.5%/22.6%/20.6%，对照原生 88.3%。因果干预：遮蔽任务相关证据使输出改变（计数任务 16/16 减一），遮无关片段不变；拼接捐赠片段 100% 重定向输出，呈现涌现视觉上下文学习。效率：流式推理把 60 秒窗口决策延迟从 1.02 秒降至 0.68 秒（预算 0.96 秒），45 分钟历史下重算需 32.1 秒而流式仅 1.18 秒。

RMBench per-task success rates (%), averaged over the nine tasks with published baselines. Every baseline trains one specialist model per task while SimpleMemVLA is a single multi-task model evaluated at n=100 seeds per task in the streaming deployment. †No prior VLA reports Place-Mat so it is excluded from all averages. Best per column in bold.
Table 1: RMBench per-task success rates (%), averaged over the nine tasks with published baselines. Every baseline trains one specialist model per task while SimpleMemVLA is a single multi-task model evaluated at n=100 seeds per task in the streaming deployment. †No prior VLA reports Place-Mat so it is excluded from all averages. Best per column in bold.
RoboMME category-level success rates (%). AVG is over all sixteen tasks. Gray rows are reference-only and excluded from ranking. Bold and underline mark ranks 1 and 2. The SimpleMemVLA variant rows re-create one mechanism family each on the otherwise unchanged SimpleMemVLA stack.
Table 2: RoboMME category-level success rates (%). AVG is over all sixteen tasks. Gray rows are reference-only and excluded from ranking. Bold and underline mark ranks 1 and 2. The SimpleMemVLA variant rows re-create one mechanism family each on the otherwise unchanged SimpleMemVLA stack.
MIKASA-Robo five-task success rates (%). GMP is a per-task non-VLA reference. Best VLA per column in bold.
Table 3: MIKASA-Robo five-task success rates (%). GMP is a per-task non-VLA reference. Best VLA per column in bold.
RoboMemArena category-level TSR and CSR (%) over all 26 tasks under the official protocol. MemER is the benchmark authors' reimplementation, FrameSamp+Modul the only external leaderboard entry, the gray oracle row excluded from ranking. Best per column in bold.
Table 4: RoboMemArena category-level TSR and CSR (%) over all 26 tasks under the official protocol. MemER is the benchmark authors' reimplementation, FrameSamp+Modul the only external leaderboard entry, the gray oracle row excluded from ranking. Best per column in bold.
LIBERO success rates (%) on the four standard suites, 500 trials per suite. Best per column in bold.
Table 5: LIBERO success rates (%) on the four standard suites, 500 trials per suite. Best per column in bold.
Per-benchmark instantiation of the SimpleMemVLA configuration tuple and the resulting training cost. Everything else about the method is identical across suites. Training time is wall-clock hours on 128 H100 GPUs.
Table 7: Per-benchmark instantiation of the SimpleMemVLA configuration tuple and the resulting training cost. Everything else about the method is identical across suites. Training time is wall-clock hours on 128 H100 GPUs.
LIBERO-Plus breakdowns. Top: by source LIBERO suite. Bottom: by the benchmark's difficulty levels.
Table 9: LIBERO-Plus breakdowns. Top: by source LIBERO suite. Bottom: by the benchmark's difficulty levels.
The Sensor Noise column of Table 6, split by corruption type and severity tier.
Table 10: The Sensor Noise column of Table 6, split by corruption type and severity tier.
Closed-loop success of the SWA streaming deployment, on the RMBench protocol of Table 1 (100 held-out seeds per task).
Table 11: Closed-loop success of the SWA streaming deployment, on the RMBench protocol of Table 1 (100 held-out seeds per task).
SimpleMemVLA leads all memory suites and matches the best results on the general-purpose suites. All methods from the per-suite tables are shown in score order. SimpleMemVLA uses one model per suite, while RMBench baselines are task-specific specialists. Gray oracle and human references are excluded from ranking.
Figure 3: SimpleMemVLA leads all memory suites and matches the best results on the general-purpose suites. All methods from the per-suite tables are shown in score order. SimpleMemVLA uses one model per suite, while RMBench baselines are task-specific specialists. Gray oracle and human references are excluded from ranking.
Task-level effects of restricted memory interfaces on RoboMME. The three controlled variants differ from SimpleMemVLA only in how history enters the model. (a) Success rates across 16 tasks grouped by benchmark dimension. (b) The same results normalized to native-context performance. Retrieval, token compression and recurrent state retain at most 79%, 96% and 58%, respectively, with the token-compression peak confined to the count task SwingXtimes.
Figure 4: Task-level effects of restricted memory interfaces on RoboMME. The three controlled variants differ from SimpleMemVLA only in how history enters the model. (a) Success rates across 16 tasks grouped by benchmark dimension. (b) The same results normalized to native-context performance. Retrieval, token compression and recurrent state retain at most 79%, 96% and 58%, respectively, with the token-compression peak confined to the count task SwingXtimes.
History interventions redirect the output across all suites. Blocks denote benchmarks and rows show histories from oldest to most recent, processed through the unchanged deployment pipeline. Orange borders mark evidence frames, gray fills evidence ablations and red borders donor-episode insertions.
Figure 5: History interventions redirect the output across all suites. Blocks denote benchmarks and rows show histories from oldest to most recent, processed through the unchanged deployment pipeline. Orange borders mark evidence frames, gray fills evidence ablations and red borders donor-episode insertions.
Streaming keeps at-decision latency near the single-frame cost across 15 s–45 min histories. All measurements use unique frames on one H100 with bf16 and batch size 1. (a) At 60 s, streaming reduces latency from 1.02 s to 0.68 s, below the 0.96 s real-time budget. (b) At 45 min (245k tokens), full recomputation reaches 32.1 s while streaming requires only 1.18 s. Both paths produce byte-identical sub-task text.
Figure 6: Streaming keeps at-decision latency near the single-frame cost across 15 s–45 min histories. All measurements use unique frames on one H100 with bf16 and batch size 1. (a) At 60 s, streaming reduces latency from 1.02 s to 0.68 s, below the 0.96 s real-time budget. (b) At 45 min (245k tokens), full recomputation reaches 32.1 s while streaming requires only 1.18 s. Both paths produce byte-identical sub-task text.
Native-context memory relies on retained temporal evidence and contextual hidden states. (a) Cover-blocks fails once the covering event leaves the window, whereas press-button degrades gradually as completed presses are removed. (b) Both tasks depend on frame order, while timestamps matter primarily for counting. (c) Stale sub-task hidden states sharply reduce success, whereas equally stale position IDs leave it unchanged. (d) Behavior follows the source of the hidden states rather than the token embeddings, identifying contextual hidden states as the memory-to-action interface.
Figure 7: Native-context memory relies on retained temporal evidence and contextual hidden states. (a) Cover-blocks fails once the covering event leaves the window, whereas press-button degrades gradually as completed presses are removed. (b) Both tasks depend on frame order, while timestamps matter primarily for counting. (c) Stale sub-task hidden states sharply reduce success, whereas equally stale position IDs leave it unchanged. (d) Behavior follows the source of the hidden states rather than the token embeddings, identifying contextual hidden states as the memory-to-action interface.
First on all sixteen RoboMME tasks among the 21 deployable methods. Gray dots denote the 20 other non-Human, non-Oracle methods evaluated by the benchmark. Boxes show the interquartile range of the 21-method ranked pool, with median and full range. Orange diamonds mark SimpleMemVLA and labels report its competition rank out of 21.
Figure 8: First on all sixteen RoboMME tasks among the 21 deployable methods. Gray dots denote the 20 other non-Human, non-Oracle methods evaluated by the benchmark. Boxes show the interquartile range of the 21-method ranked pool, with median and full range. Orange diamonds mark SimpleMemVLA and labels report its competition rank out of 21.
Task-wise RoboMME success rates (%, higher is better) for representative methods. Panels group the 16 tasks into Counting, Permanence, Reference and Imitation. Overall is recomputed from all 16 task scores. Human and GroundSG (Oracle, using ground-truth VLM outputs) are shown only as references and are excluded from the ranked comparison.
Figure 9: Task-wise RoboMME success rates (%, higher is better) for representative methods. Panels group the 16 tasks into Counting, Permanence, Reference and Imitation. Overall is recomputed from all 16 task scores. Human and GroundSG (Oracle, using ground-truth VLM outputs) are shown only as references and are excluded from the ranked comparison.
Complete task-wise RoboMME success rates (%, higher is better) for all 24 rows. Tasks follow the source-table order and methods retain the same order in every panel. Colors encode memory families. The orange hatched bar denotes SimpleMemVLA.
Figure 10: Complete task-wise RoboMME success rates (%, higher is better) for all 24 rows. Tasks follow the source-table order and methods retain the same order in every panel. Colors encode memory families. The orange hatched bar denotes SimpleMemVLA.
Figure 6, extended with the SWA streaming variant (measured on the longest RMBench episode; one H100, bf16, batch 1, calibrated against Figure 6's setup). (a) The whole SWA decision takes 0.92 s, inside the 0.96 s real-time budget, with no background work left to overlap. (b) Every prior mode's cost grows with the memory span; the SWA decision is constant, with the resident cache capped at the L = 5,888-token window.
Figure 12: Figure 6, extended with the SWA streaming variant (measured on the longest RMBench episode; one H100, bf16, batch 1, calibrated against Figure 6's setup). (a) The whole SWA decision takes 0.92 s, inside the 0.96 s real-time budget, with no background work left to overlap. (b) Every prior mode's cost grows with the memory span; the SWA decision is constant, with the resident cache capped at the L = 5,888-token window.
查看结构化数据
任务指标本文基线提升
RMBench 十任务双臂记忆操作（九任务对比集） 任务成功率 (%) 94.0（单模型覆盖全部 10 任务；M(1) 91.6 → M(n) 97.0） 83.0（MemoryWAM，每任务单独训练专家模型） +11.0，且是唯一在多记忆设置下性能上升的方法
RoboMME 十六任务单臂记忆（Counting/Permanence/Reference/Imitation） 16 任务平均成功率 (%) 88.3（全部 16 任务排名第一，共 21 个可部署方法） 44.5（最强非 Oracle 基线 FrameSamp-Modul）；真值感知参考 GroundSG 84.1 +43.8，并超真值感知参考 +4.2
MIKASA-Robo 五任务遮挡/部分可观测记忆 五任务平均成功率 (%) 74.0（RC-9 上 59，对 MemoryVLA++ 的 16） 44.4（MemoryVLA++，最强 VLA）；非 VLA 逐任务专家 GMP 67.8 对最强 VLA +29.6，对 GMP +6.2
RoboMemArena 二十六任务长时程（平均超 1000 控制步） TSR 全阶段成功率 (%) / CSR (%) 63.6 / 72.1（Occlusion 64.3，Counting 71.4） 46.2（FrameSamp+Modul）；基准真值参考 46.1 +17.4，并超真值参考 +17.5
LIBERO 四套件通用操作（每套件 500 试验） 平均成功率 (%) 97.5 97.5（RIPT-VLA 并列最佳）；π0 94.2 并列最佳，证明携带长历史不损害反应式操作
LIBERO-Plus 零样本扰动迁移（10,030 任务） 总成功率 (%) 78.4（Camera 维度 76.9 领先） 73.1（MemoryVLA++）；RIPT-VLA 68.4 +5.3（对最强记忆增强模型）
RoboMME 受控归因（同一主干/数据/动作头，只换记忆接口） 16 任务平均成功率 (%) 88.3（原生视频上下文） 检索 31.5 / token 压缩 22.6 / 循环状态 20.6 +56.8（对最强替代机制）
流式推理延迟（60 秒历史窗口，单张 H100，bf16） 每次决策延迟 (s) 0.68（后台预填充 0.11 s 藏于执行期；45 分钟历史下 1.18 s） 1.02（全量重算；45 分钟历史下 32.1 s） −33%，进入 0.96 s 实时预算；45 分钟处快约 27 倍

局限与改进

作者承认的局限：结论限于所评估的主干、基准与记忆接口；SWA 流式变体在最难的两个记忆任务有损（RMBench 总分 94.0→91.0，Obs&PU 65→56、Battery 90→71），且必须全程在 SWA 机制下训练；残余失败集中在精确控制（Insert Peg 46%，真值感知 Oracle 也只有 15.6%）与细粒度重识别（Observe&Pickup 65%、RememberColor-5 58%），说明原生历史解决记忆但不替代感知与控制。我的观察：其一，六个基准全是仿真，无真实机器人实验，实机噪声与帧率抖动对读时选择的影响未知；其二，子任务标签依赖云端 LLM 离线逐锚点标注，是隐藏的数据工程依赖；其三，方法深度绑定具备原生视频接口的主干（Qwen3.5-4B），迁移到 π0 等未验证；其四，0.68 秒延迟对 16.7 Hz 控制刚好够用，但采样率与窗口再增大会挤压 token 与像素预算（超过几分钟窗口需运行时改写视觉处理器分辨率上限）；其五，窗口下界受证据年龄硬约束——cover 任务证据在约 25 秒前，15 秒窗口直接失败——分钟尺度以上仍需压缩，SWA 的线性注意力残留只是有损近似。

独立分析的弱点

第一，低速率采样 $f_v$ 是有损下采样（RMBench 2 fps、RoboMemArena 1 fps），关键事件若落在两帧之间（快速抛掷、瞬时遮挡）会被整帧跳过，论文自述取'不跳过决定性事件的最低速率'，但这依赖人工先验，改进方向是事件触发的自适应采样。第二，基础方案用窗口相对时间戳，同一物理帧的标签随窗口滑动而变，缓存无法跨决策复用，episode 受 262k 位置上限（约 48 分钟）约束；SWA 变体改用绝对时间戳才支持无界流，却形成两套时间约定并行的维护负担。第三，'把一切放进上下文'在小时到天级持续运行中必然失效，届时仍需写时机制，如何结合读时选择的精度与有界记忆的成本才是真正的开放问题。第四，64 token 上限的子任务通道可能丢弃难以语言化的连续空间细节——消融显示记忆全由隐藏状态承载——对毫米级精度的装配任务，纯文本中间层的空间带宽可能不足。第五，评估全是结构化仿真桌面任务，'记忆'多为离散事件（盖住位置、按压计数、演示序列），真实环境中模糊、连续、跨回合的记忆需求完全未被检验；45 分钟触及位置上限后回合被硬性截断，缺少优雅降级。

未来方向

作者提出：原生上下文应作为未来 VLA 记忆机制的强制对照基线——加专用机制前，先看同一策略直接读到自己的视觉历史会怎样；SWA 变体走向无界输入流的持续部署；在更多主干与接口上检验结论边界。可延伸方向：其一，混合架构——窗口内原生注意力负责分钟级读时选择，窗口外配轻量写时摘要并以绝对时间戳对齐，兼得 88.3% 的精度与有界成本；其二，把历史干预（遮蔽、置灰、拼接捐赠、替换演示）发展为标准诊断工具，检验任何记忆 VLA 是否'真的在读历史'，16/16 计数变化与 100% 捐赠重定向是可复用的因果证据模板；其三，涌现视觉上下文学习暗示存在非微调的任务适配路径：纯靠构造视觉上下文（示教片段、替换线索）在线重指定冻结策略行为，可与少样本模仿结合；其四，扩展动作头通道（空间锚点、掩码等辅助条件），弥补纯文本通道的空间精度，直指 Insert Peg 类残余失败；其五，实机与跨本体验证——本体差异已封装进配置元组，真实平台复现是自然下一步；其六，系统刻画读时选择的适用条件：Table 10 显示破坏位置证据的噪声（雾化 60.7%、缩放模糊 62.5%）正是失败点。

复现评估

复现条件较好但算力门槛高。代码已开源（github.com/wadeKeith/SimpleMemVLA）；主干 Qwen3.5-4B 开源；六个基准全部公开（RMBench 基于 RoboTwin 2.0，另有 RoboMME、MIKASA-Robo、RoboMemArena、LIBERO、LIBERO-Plus），协议披露充分：RMBench 每任务 100 留出种子，RoboMemArena 每任务 51 回合，LIBERO 每套件 500 试验，评估与训练种子不相交。主要成本：每套件单独训练一次，128 块 H100 上 14–28 小时（RMBench 23h、RoboMemArena 28h、LIBERO 14h），总量数千 GPU 时；子任务标签需云端 LLM 对每条演示逐锚点标注，属一次性数据成本。细节披露到位：学习率、损失构成、配置元组、各套件窗口/帧率均在 Table 7 与附录 A 给出；流式输出一致性有逐字节验证声明。难点在工程侧：复刻原生视频通道的 temporal patch 与时间戳格式、KV 前缀缓存调度、DiT 动作头联合训练。若只想验证核心主张，可先在 LIBERO 或缩小窗口规模上低成本复现。整体评级：中高难度、可复现。

论文图表

VLA memory mechanisms versus SimpleMemVLA. Left: Three prior design families insert dedicated memory machinery between the observation stream and policy, while SimpleMemVLA uses the timestamped stream directly as native context. Right: A 60 s history uses only 5.6k tokens of the backbone's 262k-token context window, which can hold roughly 45 minutes.
Figure 1: VLA memory mechanisms versus SimpleMemVLA. Left: Three prior design families insert dedicated memory machinery between the observation stream and policy, while SimpleMemVLA uses the timestamped stream directly as native context. Right: A 60 s history uses only 5.6k tokens of the backbone's 262k-token context window, which can hold roughly 45 minutes.

左侧对比四代设计：记忆库+检索、token 压缩、循环状态都在观测流与策略之间插入'读取-写入'式的专用记忆机器，而 SimpleMemVLA 直接把带时间戳的视频流作为原生上下文，无需任何抽象。右侧给出关键量级：60 秒历史仅占约 5.6k token，45 分钟历史约 245k token，262k 的上下文窗口约等于 48 分钟历史。

这张图同时给出了全文的论点（去掉记忆机器）和论据（token 预算实测），是理解'为什么现在可以不压缩'的入口，也是论文标题中 Simple 一词的直观来源。

Table 6: LIBERO-Plus zero-shot robustness transfer to the 10,030 perturbed tasks, all policies trained on standard LIBERO only. Best per column in bold.

零样本迁移到 10,030 个扰动任务：SimpleMemVLA 总分 78.4 居首（Camera 76.9、Robot 68.4、Light 96.4、Background 96.8 均领先），超 MemoryVLA++ 73.1、OpenVLA-OFT 69.6、RIPT-VLA 68.4；Language 维度 68.6 弱于 OpenVLA-OFT 的 81.0。

显示保留历史作为稳定视觉参照提升了鲁棒性（RIPT-VLA 掉 29.1 分而本文掉 19.1 分），同时诚实地指出改写指令类扰动仍是弱点。

Table 8: Complete task-level RoboMME results underlying Table 2, including the per-task scores of our controlled variants, plotted in Figure 4.

RoboMME 全部 24 行方法 × 16 任务的原始成功率，包括 SimpleMemVLA 三个受控变体（检索/压缩/循环）在每个任务上的分数，例如检索变体在 Permanence 任务 42.0 但序列类任务仅 10–20。

Figure 4 与归因结论的数据源头，供逐任务核查各记忆接口的具体失败模式。