HeLM：面向非马尔可夫机器人操作的分层显式语言记忆 HeLM: Hierarchical Explicit Language Memory for Non-Markovian Manipulation
用事件触发的显式语言记忆，让VLA机器人记住任务进展并跨回合利用历史信息
前置知识
VLA 模型（Vision-Language-Action）
以 RT-2、OpenVLA、π0 为代表的机器人基础模型，在大规模视觉-语言预训练模型之上，把图像观测与自然语言指令直接映射为机器人动作，通常端到端微调。它使机器人能泛化到多样指令与不同本体，但默认策略只看当前一帧观测。
HeLM 的低层策略 LLP 就是微调后的 π0 VLA，理解其'当前观测+指令→动作'的输入输出形式，是理解为什么这类模型在需要记忆的任务上失败的前提。
马尔可夫性与非马尔可夫任务
马尔可夫性指当前状态已包含决策所需的全部历史信息，策略只需 $\Pi(a_t \mid o_t, I)$。非马尔可夫任务则不满足：同样的观测可能对应不同历史（例如玻璃擦没擦过、按钮按了几个），只看当前观测无法推断真实状态 $s_t$，即 $P(s_t \mid o_t, I) \neq P(s_t \mid o_{0:t}, I)$。
论文的整个问题定义（式 (1) 与式 (5)）都建立在'观测不足以恢复状态'这一前提上，能否识别非马尔可夫结构决定了能否读懂 HeLM 的设计动机。
VLM（视觉语言模型）
以 Qwen2.5-VL 为代表的多模态大模型，对图像和文本做统一的自回归推理，可以通过更换 system prompt 切换行为模式，也能用 QLoRA 等参数高效方法在单卡 GPU 上微调。它既能'看'也能'写'，天然适合同时做事件判断和文本记忆改写。
HeLM 的高层策略 HLP 就是微调后的 Qwen2.5-VL-7B，其检测模式与更新模式共享同一组 VLM 参数、仅靠不同提示词区分，这是论文两阶段推理的实现基础。
分层策略架构（HLP / LLP）
把复杂任务拆成两层：高层策略（HLP）低频地输出子目标或语言命令，负责抽象推理与规划；低层策略（LLP）高频地把命令翻译成连续控制动作。分层使高层可以承担记忆、推理等认知功能，低层专注于精确的运动控制。
HeLM 把'记忆管理'与'动作生成'正是靠这一分层解耦的：HLP 每 10 个 LLP 步才调用一次，记住该记的；LLP 只管把命令执行好。读懂这个分工才能理解框架各组件。
QLoRA 参数高效微调
把基座模型权重量化为 4 bit 并冻结，只训练注入各层的低秩适配矩阵（rank 为 $r$）。它大幅降低微调的显存与算力需求，使 7B 级 VLM 在消费级 GPU 上可训练，是当前机器人 VLM 微调的主流做法。
HeLM 用 QLoRA（$r=16$）在约 13 万帧合成数据上微调 HLP，这是复现其实验的关键配置，也解释了为什么单卡就能训 7B 骨干。
动作分块
现代 VLA（如 π0）一次前向预测一小段未来动作序列而非单步动作，LLP 每次执行一个 horizon 为 $H$ 的动作块。这减少了推理频率，但也意味着高层信息只能以块为粒度注入，块内发生的事在块结束前对高层不可见。
HeLM 的事件检测节奏（每个动作块边界调用一次 HLP，$H=10$ 步）以及'块内瞬态事件可能被漏掉'的局限，都直接源于这一机制。
研究动机
现有 VLA 模型（RT-2、OpenVLA、π0 等）普遍遵循马尔可夫假设，把策略建模为 $\Pi(a_t \mid o_t, I)$，只将当前观测映射到动作。这在需要工作记忆的任务中会系统性失败：擦窗户时机器人无法判断哪块玻璃已经擦过，会反复擦同一区域；按'红绿蓝'顺序按键时，按下红键后模型丢失进度信息而重复按红键（Fig. 1）。本质上，同样的观测可能对应不同的隐状态，即 $P(s_t \mid o_t, I) \neq P(s_t \mid o_{0:t}, I)$，只看当前帧的策略无法区分。已有的记忆增强方案各有缺陷：一类从历史观测提取潜在嵌入或压缩历史 token（如 PCMB 记忆库），表征不可读，失败原因难以定位；另一类直接堆叠历史帧或标注视觉关键帧（Keyframe 类方法），图像 token 随事件数线性累积，计算与显存开销大，限制长时程扩展性。此外，LIBERO、RLBench 等主流基准每个回合独立重置，记忆类新基准（LIBERO-Mem、MemoryBench 等）也只考察回合内记忆，跨回合持久性完全未被评测。
本文的目标是本文的目标是让 VLA 机器人具备真正的任务工作记忆：在任务相关历史超出当前观测时仍能正确决策，并同时覆盖回合内（intra-episode）与跨回合（inter-episode）两种情形。具体而言，作者希望构造一个分层框架，用人类'内心独白'式的显式自然语言记录任务进展（例如'我已按下红、绿键，该按蓝键了'、'杯子原本在左边'），并满足三个设计条件：一是可解释——记忆状态是可读文本，便于定位失败发生在检测还是更新环节；二是紧凑——语言摘要的 token 数不随任务长度线性膨胀，长时程下显存与延迟可控；三是可跨回合——第一回合获得的信息（按钮顺序、物体原始位置）能在后续回合被召回。作者在自建的 10 个真实非马尔可夫任务、56 个变体上验证这一目标，并要求方法在单臂双相机的真机硬件上可实时运行。
与已有工作不同的是，本文的独特切入点是把'语言'当作机器人记忆的表示形式本身，而不是辅助反馈信号。与 Inner Monologue 只把成功信号和场景描述用于闭环重规划不同，HeLM 显式维护任务相关历史的持续语言记录；与 MEM 混合视觉短程上下文和文本长程记忆不同，HeLM 把'事件检测'与'记忆更新'因子化为两个独立阶段，只在检测到任务相关事件或指令变化时才更新记忆；与 RoboMemory 存取过往经验支持未来交互不同，它只服务于当前非马尔可夫任务；与 Chameleon 的潜在多模态 token 记忆不同，HeLM 的记忆是纯文本、完全可读。另一个被主流基准忽视的维度是 inter-episode 设定：完成后续指令需要先前回合中获得、且无法从当前观测恢复的信息，作者将其形式化为独立的评测轴（式 (5)），并用'工作记忆 + 情景记忆'双字段机制覆盖这一设定，据此构建了 10 任务 56 变体的新真机评测套件。
核心方法
HeLM 的直觉来自人类'内心独白'：我们靠默默记下'按键已按两次、还剩一次''杯子原本在左边'来管理复杂任务。技术路线上，HeLM 把记忆管理与动作生成分层解耦：高层策略 HLP 基于 Qwen2.5-VL-7B，经 QLoRA（rank $r=16$）在约 13 万帧合成数据上微调，负责维护显式语言记忆 $M_t = \langle m^{\text{work}}_t, m^{\text{epi}}_t \rangle$（工作记忆 + 情景上下文，式 (2)）并生成动作命令 $z_t$；低层策略 LLP 是微调后的 VLA（π0），把 $z_t$ 与观测 $o_t$ 映射为动作 $a_t$，策略由此形式化为 $\Pi(a_t \mid o_t, I, M_t)$。推理采用两阶段机制：LLP 每执行一个动作块（$H=10$ 步），HLP 在块边界同步调用，先在 Detect 模式判断是否发生任务相关事件，再在 Update 模式做事件触发的记忆更新，因此记忆不会在无关时间步被无谓改写。事件与命令词表由 TaskSpec 模式在推理时提供，语言记忆因而能组合出训练中未见过的任务配置。
核心创新有三点。第一，显式语言作为记忆模态：与从历史帧提取潜在向量（PCMB 等）相比，文本记忆可直接读出'Progress: blue, red'，失败时可区分是检测错还是更新错；与堆视觉关键帧相比，语言 token 数不随事件数线性增长——8 事件回合下 HeLM 显存低于 6 GB，Keyframe-HLP 峰值达 28 GB。第二，事件触发 + 两阶段推理：$\pi^{\text{det}}$ 与 $\pi^{\text{upd}}$ 共享同一 VLM 参数，仅用不同 system prompt 区分；仅当 $e_t \neq \varnothing$ 或 $I_t \neq I_{t-1}$ 时才执行 $M_{t+1}, z_{t+1} = \pi^{\text{upd}}(I_t, M_t, e_t)$，否则保持不变（式 (4)）。Table 3 显示一阶段联合推理平均仅 67.7%，比两阶段的 85.7% 低 18 个百分点，证明'先检测、后更新'的因子化是性能关键。第三，working/episodic 双字段：回合结束时 $m^{\text{work}}$ 的摘要晋升进 $m^{\text{epi}}$ 并清空工作字段，实现跨回合信息保留而工作进度归零。
方法步骤详情
第一步，任务定义与数据合成：为每个任务编写 TaskSpec 逻辑模式（可手写或 LLM 生成），声明合法动作命令、任务相关事件（如'pressed red button'）及对应记忆更新，但不规定固定动作序列；TaskSpec 把短子任务轨迹合成为约 13 万帧 DETECT 与 UPDATE 监督样本，形式是标准视觉指令微调数据。第二步，训练：HLP 用 QLoRA（$r=16$）微调 Qwen2.5-VL-7B；LLP（π0）按任务用 150–200 条真机演示微调。第三步，在线推理：LLP 执行长度 $H=10$ 步的动作块，每个块边界同步调用 HLP；Detect 模式按 $e_t \sim \pi^{\text{det}}(e_t \mid o_t, M_t, z_t)$ 输出事件或空。第四步，条件更新：若 $e_t \neq \varnothing$ 或 $I_t \neq I_{t-1}$，Update 模式生成新记忆 $M_{t+1}$ 与命令 $z_{t+1}$，否则保持不变。第五步，回合边界处理：指令切换触发更新，把 $m^{\text{work}}$ 摘要写入 $m^{\text{epi}}$ 并清空工作字段，新回合据此行动。全程 HLP 只接收事件与命令词表，不接收 TaskSpec 全文或真值记忆转移，需自主完成检测与更新。
技术新颖性
HeLM 的贡献不是新模型结构，而是对'记忆表示'这一设计维度的系统论证。已有记忆增强 VLA 大多在 latent 空间做文章（检索历史 token、压缩记忆库），或保留视觉历史（多帧堆叠、关键帧标注）；HeLM 证明纯文本记忆在记忆密集任务上更优——文本丢掉像素级细节，却保留计数、顺序、位置等任务关键抽象，这是反直觉的实证发现。因子化的事件检测与更新是对 Inner Monologue 类方法的实质推进：后者把反馈与规划混在一次前向中，HeLM 用共享参数、双 system prompt 把'发生了什么'与'该记住什么'解耦，Table 3 显示这一设计在擦窗任务 A3 上把成功率从 22.2% 提到 96.6%。作者还首次把 inter-episode 持久性形式化为独立评测轴：$P(s_t \mid o_{t_{k}:t}, I_t) \neq P(s_t \mid o_{0:t}, I_{0:t})$（式 (5)），填补了 LIBERO-Mem 等基准只测回合内记忆的空白。组件级失败归因（检测/执行/顺序/终止四类）在记忆增强 VLA 文献中也较少见，为后续改进给出明确靶点。
实验结果
真机回合内评测（Fig. 5）：HeLM 平均子任务成功率 85.7%，比最强基线高 12.8 个百分点（Keyframe-HLP 72.9%、PCMB-π0 39.5%、朴素 π0 16.7%）；分任务看 A1 按压 N 次 100%、A2 按顺序 92.2%、A3 擦窗 96.6%、A4 找物体 66.6%、A5 抓放按 73.3%。严格任务成功率（顺序正确且正确终止）下 HeLM 保持 81.3%，Keyframe-HLP 跌至 29.3%，两个 latent 基线均为 0%。跨回合评测（Table 1）：HeLM 平均 89.2%（E1 90.5、E2 87.7、E3 90.0、E4 80.0、E5 97.7），Keyframe-HLP 仅 16.6% 且 E2、E4 为 0。LIBERO-Mem 消融（Table 2，LLP 为 π0.5）：HeLM 平均 58.5% 对 π0.5 的 36.5%；记忆密集的 T3–T8 上 HeLM 45.8%、π0.5 仅 10.0%，去掉语言记忆或去掉微调的消融均为 0%，证明收益来自记忆本身且需要任务微调。两阶段推理消融（Table 3）：一阶段联合推理 67.7% 对 HeLM 85.7%，A3 差距最大（22.2% 对 96.6%）。组合泛化（Table 4）：未见变体上 HeLM 78.0%，Keyframe-HLP 65.7% 且三个任务无法终止。长时程（Fig. 6）：重复次数增至 7 时 A1-long 保持 100%、A2-long 至少 77%；8 事件时显存低于 6 GB（基线 28 GB，省 4.5 倍），长时程延迟快 2.5 倍。失败归因：HeLM 失败集中在检测 64.1%（以假阳性为主）与底层执行 31.2%，顺序错误仅 4.7%，终止错误为 0。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 回合内真机任务（A1–A5，10 任务 56 变体套件，每任务 15–30 回合） | 平均子任务成功率 | HeLM 85.7% | Keyframe-HLP 72.9%；PCMB-π0 39.5%；Naïve-π0 16.7% | 比较强基线高 12.8 个百分点 |
| 严格任务成功（全部子任务按正确顺序完成且正确终止，A1–A5） | 严格成功率 | 81.3% | Keyframe-HLP 29.3%；PCMB-π0 与 Naïve-π0 均为 0% | +52.0 个百分点 |
| 跨回合任务（E1–E5，需保留先前回合信息） | 平均子任务成功率 | 89.2%（E1 90.5 / E2 87.7 / E3 90.0 / E4 80.0 / E5 97.7） | Keyframe-HLP 16.6%（E2、E4 为 0，多处无法终止） | +72.6 个百分点 |
| LIBERO-Mem 仿真（T1–T10，LLP 为 π0.5，单 HLP 覆盖全部任务） | 平均任务成功率 | 58.5%（T3–T8 为 45.8%） | π0.5 36.5%；无记忆 HLP 12.0%；无微调 HLP 8.5%（T3–T8 上 π0.5 仅 10.0%，两个消融为 0%） | 平均 +22.0 个百分点；记忆密集组 +35.8 个百分点 |
| 两阶段推理消融（真机 A1–A5） | 平均子任务成功率 | 85.7% | 一阶段联合推理 67.7%（A3 上仅 22.2%） | +18.0 个百分点 |
| 组合泛化（未见配置变体 A1′–A5′，HLP 无额外微调） | 平均子任务成功率 | 78.0% | Keyframe-HLP 65.7%（A1′、A4′、A5′ 无法终止） | +12.3 个百分点且全部正确终止 |
| 长时程鲁棒与效率（A1/A2 扩展至 7 子任务，8 事件回合） | 成功率保持 / 显存峰值 / 推理延迟 | A1-long 100%、A2-long ≥77%；显存 <6 GB | Keyframe-HLP 显存峰值 28 GB | 省 4.5× 显存，长时程快 2.5× |
局限与改进
作者明确承认四点局限。其一，'该记什么'由 TaskSpec 预定义的任务相关事件决定，不具备开放式事件发现能力，新任务需要重写事件词表与合成监督数据。其二，评测只覆盖离散事件（按键、开抽屉、擦窗），不涉及液面高度、精确几何历史等连续状态跟踪。其三，HLP 在每个 LLP 动作块（10 步）边界同步调用，既有推理开销，也可能漏掉完全发生在块内的瞬态事件。其四，工作记忆与情景记忆分离相对于单一持久记忆的收益从未做过对照实验。我的补充观察：失败分析显示 64.1% 的失败来自检测（以假阳性为主，尤其 A4/E4 开抽屉与 A3/A5 完成判定），而框架对错误的记忆更新没有自纠错机制，一次假阳性会污染后续所有决策；inter-episode 评测只有 Keyframe-HLP 一个对手，PCMB 与朴素 π0 因回合重置被排除，结论的对比强度打了折扣；真机实验只用一台 7 自由度 AgileX PiPER 臂加桌面/腕部 RGB 相机，跨本体泛化未知；且 HLP 自回归生成文本使短任务下初始延迟高于基线，效率优势只在长时程兑现。
独立分析的弱点
第一，事件定义依赖手工 TaskSpec，扩展到新任务需重新设计事件词表并重跑数据合成管线，与'通用机器人'目标相悖；改进方向是让 VLM 从少量演示中自适应发现事件，或用 LLM 直接从指令生成 TaskSpec。第二，检测假阳性不可逆：一旦把'已完成'误写入记忆，策略会跳过子任务且无法恢复，A3、A4 的部分失败即源于此；可为更新加入确认机制，如多帧投票、事件置信阈值或可撤销的暂存记忆区。第三，同步块级调用存在两难——调用频繁则延迟高，调用稀疏则漏事件；可训练轻量事件检测器异步监听，仅在疑似事件时唤醒大 VLM。第四，HLP 与 LLP 之间只传文本命令，空间细节被压缩，A4 找物体仅 66.6% 可能与此有关；可在命令中附带粗粒度空间锚点。第五，训练需约 13 万帧合成数据加每任务 150–200 条真机演示，数据管线较重；可探索用 VLM 世界模型合成更少但更难的边界样本。第六，评测全部为短序列离散事件，尚未验证数小时、数十事件的真实长程任务；文本摘要也可能在超长任务中丢失关键细节，需要记忆压缩与遗忘机制。第七，仅验证单一机械臂本体，跨本体可迁移性存疑。
未来方向
作者提出的方向包括：自适应事件发现，摆脱手工 TaskSpec 对'该记什么'的限定；替代性记忆组织，例如对照评估单一持久语言记忆与 working/episodic 分离的优劣；更高频率或异步的高层推理，消除块级同步带来的延迟与漏检。基于本文成果还可进一步延伸：一是把情景记忆升级为跨任务的长期语义记忆，从'当前任务的历史'走向'机器人经验库'，与 RoboMemory 类经验存取系统结合；二是覆盖连续状态的记忆表示，用文本+数值混合字段记录液面、力度、位姿等连续量；三是把 HLP 的检测能力蒸馏到更小的模型，降低 7B VLM 的推理开销（附录 F.2 已开始评估更小骨干的成功率-成本权衡）；四是利用语言记忆的可读性做自动失败诊断与课程生成——记忆轨迹本身就是结构化错误日志，可用 LLM 离线分析假阳性模式并针对性扩充训练数据；五是把 inter-episode 设定推广为社区标准基准，并补齐 latent 记忆类基线的跨回合版本，使方法对比更完整；六是探索记忆与探索式重规划的闭环，让机器人对可疑记忆主动复核。
复现评估
论文提供项目主页（kimspacehuni.github.io/HeLM），方法细节相当完整：TaskSpec 模式、system prompt、训练超参数、基线实现（含 PCMB 适配）、子任务评分规则与指令模板分布在附录 A–F，有利于复现。复现成本分两档：LIBERO-Mem 仿真部分门槛较低——Qwen2.5-VL-7B 用 QLoRA（$r=16$）微调约 13 万帧，单张 24–48 GB 显存的 GPU 即可承载，LLP 可用开源 π0/π0.5 权重；真机部分门槛显著更高，需要 7 自由度 AgileX PiPER 臂与桌面/腕部 RGB 相机，每个任务采集 150–200 条演示，评测每任务跑 15–45 回合，人力与时间成本高。文中未明确承诺开源代码与数据集，若仅凭论文复现真机结果，TaskSpec 合成管线的工程实现（如何从短轨迹自动构造 DETECT/UPDATE 监督）是最大不确定点。建议先复现 LIBERO-Mem 与两阶段推理消融以验证核心机制，再决定是否投入真机复现。
论文图表
以'按红绿蓝顺序按键'为例对比 Vanilla VLA 与 HeLM：普通 VLA 在 $t=2$ 按下红键后失去进度信息，$t=3$ 又重复按红键导致失败；HeLM 则把进度写进语言记忆（'我已按下红键'→'我已按下红、绿键'），高层策略据此引导低层策略在 $t=5$ 按下蓝键完成任务。
这是全文的问题陈述：用一个极简例子说明马尔可夫假设为何失败、语言记忆如何补救，读者看完此图即可理解论文动机与基本机制。