← 返回 2026-08-14

空间记忆智能体：面向空间智能的经验驱动程序性记忆 Spatial Memory Agent: Experience-Grounded Procedure Memory for Spatial Intelligence

Haokai Zhang, Yuhang Ding, Yunshu Zhou, Xinze Du, Shengtao Zhang, Zhiyue Zhao, Yuling Xi, Hao Chen 📅 2026-08-13 👍 42 2026-08-19 18:30
免训练 智能体记忆 检索增强 空间智能 自进化 视觉语言模型
arXiv HuggingFace PDF

冻结VLM用可迁移教训记忆与迁移可靠性校准，实现免训练的空间推理自进化

前置知识

冻结模型自进化（parameter-update-free self-evolution）

在不修改模型任何权重的前提下，通过外部状态（经验库、记忆、技能库）让智能体随交互积累而持续变强的范式。模型本体保持不变，所有「学习」都发生在外部存储中：部署时只需加载记忆文件，不需要 GPU 训练、不需要微调流水线，也不会发生灾难性遗忘。

本文全部贡献都建立在「权重不动」这一约束上，SMA 是该范式在空间智能领域的首次系统实践，理解这一约束才能明白它与后训练、工具调用两条路线的本质区别。

程序性记忆与可迁移教训（procedural memory / transferable lesson）

不同于存储具体问答实例的情景记忆（episodic memory），程序性记忆存储「怎么做」的可复用原则。本文的记忆卡是紧凑文本：任务、摘要、一条可迁移教训，外加访问数、累计奖励、可靠性分数三个统计字段。检索时只暴露任务、摘要与教训，不暴露历史预测或标准答案，从接口层面禁止答案抄袭。

SMA 记忆单元的这个设计决定了它迁移的是推理程序而非实例答案，是理解消融实验（去掉教训字段损失 3.5 分）和案例研究的钥匙。

验证器引导反思（verifier-guided reflection）

用可验证奖励（答案对错的标量 $r_i \in [0,1]$）和标准答案 $y^\star$ 共同指导反思模型，把一次 rollout 压缩为摘要与教训的机制。反思输出严格 JSON，且有防泄漏规则：可以看答案来诊断对错原因，但禁止在教训中复述答案本身。

反思信号的质量直接决定记忆质量——论文的 reward-only 对照（反思时看不到标准答案）在 RoboSpatial 上掉 5.5 分，量化了这一设计的价值。

收缩估计与贝叶斯先验（shrinkage estimator）

用先验「虚拟样本」平滑小样本统计量的经典方法。SMA 的可靠性更新 $v_j = \frac{\lambda v_0 + c_j}{\lambda + n_j}$ 等价于 $\lambda$ 次均值为 $v_0$ 的虚拟访问与 $n_j$ 次真实访问的凸组合：$v_i = \frac{\lambda}{\lambda+n_i} v_0 + \frac{n_i}{\lambda+n_i}\cdot\frac{c_i}{n_i}$。访问少时贴近中性先验 $v_0=0.5$，访问多时由经验成功率主导。

这是 TRS 公式的数学本质：理解它才能明白为什么低访问记忆天然保守、$\lambda=2$ 相当于「一胜一负两次虚拟访问」、以及为什么更新满足次序不变性。

两阶段检索：语义过滤 + 联合重排序

第一阶段用任务嵌入余弦相似度 $\text{rel}_{ij}=\cos(\psi(t_i),\psi(t_j))$ 与阈值 $\delta$ 过滤出候选集；第二阶段把归一化相似度与归一化 TRS 加权融合 $S_{ij}=(1-\eta)z(\text{rel}_{ij})+\eta z(v_j)$（$z(\cdot)$ 为截断 z-score），取 top-$k$ 作为指导集注入提示。

论文的核心论点「最相近的记忆未必最好」就落在这套规则上：消融显示去掉语义过滤损失 5.8 分，而把 $\eta$ 从 0 调到 0.5 正是超越 MemP 的关键。

研究动机

VLM 的空间推理仍然是明显短板：论文的无记忆基线在四个基座模型上，Omni3D（需要估计真实 3D 数量、遮挡、容纳关系的基准）准确率只有 37.2%–41.6%，RoboSpatial 也只有 54.1%–61.2%，说明静态识别之外的 3D 量化、视角变换、空间关系判断远未解决。现有改进集中在两条路：其一是后训练（SpatialVLM 构建空间指令数据做 SFT、RoboSpatial 融合 2D/3D 数据训练、SpatialEvo/SAGE 等用自生成数据和强化学习），代价是需要构建空间标注、消耗大量 GPU 算力更新权重，而且换一个基座模型就要重训一遍；其二是智能体工具调用（S-Agent 在推理时调用深度估计、3D 重建等专家空间工具，SpaceTools 用 RL 训练工具调用策略），代价是推理期依赖外部专家工具，带来延迟、API 成本和部署复杂度。与此同时，文本智能体社区的记忆方法（MemP、MemRL 等）大多按语义相似度检索经验，无法区分「表面上文本相关」和「这条经验在新视觉场景下真的能帮对」，直接搬到空间任务上会检索出语义接近但实际误导的经验。

本文的目标是本文提出第三条互补路线——免参数更新的空间自进化：让一个完全冻结的 VLM 在「可验证空间环境」中积累经验，把验证器打分过的 rollout 经验证器引导反思压缩成一条条可迁移教训，存入外部记忆库；再给每条记忆在线校准一个迁移可靠性分数（TRS），估计它对未来新空间问题的实际帮助程度；部署阶段进入只读模式，用「语义相似度 + TRS」联合检索出最可靠的教训引导冻结模型推理。整个过程不改一个权重、推理时不调用任何专家空间工具，目标是在四个不同规模的冻结基座、多个空间基准上稳定超过无记忆、RAG、相似度记忆和 MemRL 类基线。

与已有工作不同的是，独特切入角度有三层。第一，作者把文本智能体的 agentic memory 范式首次系统地引入空间智能，明确指出已有记忆方法的两个缺口：主要面向文本中心任务、检索主要依赖语义相似度。第二，SMA 把「记忆的价值」与「产生它的那次 rollout 对不对」解耦：每条新记忆的 TRS 均匀初始化为 $v_0$，之后完全由「被检索之后是否真的反复帮助模型拿到验证奖励」的访问证据来校准——这是与 MemRL 类价值更新规则的本质区别。第三，检索上把相似度降级为初筛，最终排序由相似度与 TRS 联合决定，把检索从语义匹配升级为证据加权的程序选择；写入上采用 One-Pass 协议（只写一遍、后续只更新可靠性），避免记忆库随遍数膨胀冗余。

核心方法

直觉是：如果模型每做完一道空间题，都能提炼出一条「下次遇到类似套路该注意什么、该避免什么坑、该做什么检查」的通用教训，并且知道哪些教训真的靠谱、哪些只是碰巧，那么不改权重也能越做越好。技术路线分写、读两个阶段。写阶段（经验获取）：在环境划分 $X$ 上逐题作答，先检索记忆做提示，冻结 VLM 输出 $o_i=\mathcal{F}(V_i,t_i,G_i)$ 并解析预测 $\hat{y}_i$，验证器给标量奖励 $r_i=\text{Eval}(\hat{y}_i,y_i^\star)$；只在第一遍由反思模型 $R_\phi$ 把 $(o_i,t_i,y_i^\star,r_i)$ 压缩成记忆卡 $m_i=(t_i,s_i,l_i,n_i,c_i,v_i)$，即任务、摘要、可迁移教训、访问数、累计奖励、TRS 六个字段（One-Pass 写入，后续遍只复用记忆库更新被检索卡片的可靠性）。读阶段（只读部署）：在留出划分 $D$ 上执行同样的两阶段检索，把 top-$k$ 卡片暴露的任务、摘要、教训拼进提示引导冻结模型，不写新记忆、不更新任何统计量。

核心创新是访问证据校准的迁移可靠性分数（Transfer Reliability Score, TRS）。每张新卡初始化 $n_i\leftarrow 0$、$c_i\leftarrow 0$、$v_i\leftarrow v_0$（默认 $v_0=0.5$，$\lambda=2$）；每当该卡被选入指导集 $G_i$ 且本次答案获得奖励 $r_i\in[0,1]$，就更新 $n_j\leftarrow n_j+1$、$c_j\leftarrow c_j+r_i$、$$v_j \leftarrow \frac{\lambda v_0 + c_j}{\lambda + n_j}。$$ 这个估计器可解读为 $\lambda$ 次虚拟访问（均值为 $v_0$）与 $n_j$ 次真实访问的凸组合，满足论文要求的五条性质：均匀初始化（不因来源题对错而偏袒）、访问证据依赖、次序不变（只看访问总数与累计奖励）、低访问保守（一两次访问不会剧烈改变分数）、证据驱动收敛（频繁帮助答对的经验被 promote、反复有害的被 suppress）。与 MemRL 的本质区别在于：记忆价值不来自写出它的那道题是否做对，而来自它之后被检索时的实际迁移战绩，把检索从语义匹配升级为证据加权的程序选择。论文数据强力支持这一点：按检索记忆平均 TRS 分桶，部署准确率从 $[0.2,0.3)$ 桶的 19.3% 单调升到 $[0.9,1.0]$ 桶的 97.3%。

方法步骤详情

完整流程（算法 1）：输入冻结 VLM $\mathcal{F}$、反思模型 $R_\phi$、环境划分 $X$、部署划分 $D$；参数为遍数 $T$、检索数 $k$、相似度阈值 $\delta$、TRS 权重 $\eta$、先验值 $v_0$、先验强度 $\lambda$。第一步，初始化空记忆库 $M$。第二步，循环 $T$ 遍，每遍随机打乱 $X$：对每个问题 $\xi_i=(V_i,t_i,y_i^\star)$，先算任务嵌入余弦相似度，过滤出 $C_i=\{m_j\in M: \text{rel}_{ij}\ge\delta\}$，再按 $S_{ij}=(1-\eta)z(\text{rel}_{ij})+\eta z(v_j)$ 取 top-$k$ 组成指导集 $G_i$；调用冻结 VLM 生成输出并解析预测 $\hat{y}_i$；验证器打分 $r_i$；对 $G_i$ 中每张卡更新 $(n_j,c_j,v_j)$；仅当处于第一遍（$e=0$）时，反思模型以 $(o_i,t_i,y_i^\star,r_i)$ 为输入输出严格 JSON 的摘要 $s_i$ 与教训 $l_i$，并以均匀初始值写入新卡。第三步，只读部署：对 $D$ 中每个 $\xi_i$ 重复相同的两阶段检索，将 top-$k$ 卡的任务、摘要、教训字段拼入用户提示，保存预测，但不写记忆也不更新 $(n_j,c_j,v_j)$。默认超参：$k=3$、$\eta=0.5$、$\lambda=2.0$、$v_0=0.5$、temperature=0、top-p=1，$\delta$ 按基准在 0.488–0.618 之间选取，嵌入用 text-embedding-3-large。

技术新颖性

技术新颖性体现在四个层面。（1）问题层面：首次把免训练 agentic memory 引入空间智能，与空间后训练、工具调用形成第三条正交路线，并以训练类方法 SpatialEvo-7B 为参照证明外部记忆路线可以更强（宏平均 +16.4 分）。（2）记忆价值估计层面：均匀初始化 + 访问证据校准把「来源 rollout 质量」与「未来迁移价值」解耦——论文实证二者确实不同：成功来源的记忆下游准确率 85.7%，失败来源的也有 61.4%，说明一次失败的 rollout 也能产出有用教训，一次正确的 rollout 也可能产出过窄的教训，这是对 MemRL 类「按对错记账」规则的实质改进。（3）检索层面：两级过滤 + z-score 归一化加权明确论证「最近邻未必最好」——SMA 把宏平均检索相似度从 MemP 的 0.792 降到 0.698，宏平均准确率却从 66.8% 升到 69.8%，说明刻意放弃部分语义相似性换取更高的实证可靠性是划算的。（4）写入协议层面：One-Pass 写入以十分之一的记忆量、低 21% 的冗余、约两倍的 TRS 更新覆盖率取得更好效果，是对「持续写入」直觉的反结构性发现。

Conceptual overview of training-free spatial intelligence growth with the Spatial Memory Agent (SMA). SMA leaves the frozen VLM parameters unchanged, writes verifier-grounded spatial experience into a reusable memory bank, estimates the transfer reliability of each memory, and retrieves the most reliable procedures for read-only deployment on new spatial tasks.
Figure 2: Conceptual overview of training-free spatial intelligence growth with the Spatial Memory Agent (SMA). SMA leaves the frozen VLM parameters unchanged, writes verifier-grounded spatial experience into a reusable memory bank, estimates the transfer reliability of each memory, and retrieves the most reliable procedures for read-only deployment on new spatial tasks.
System methodology and workflow of the Spatial Memory Agent (SMA). During memory writing, a frozen vision-language model solves verifiable spatial problems and a reflection step compresses each rollout into a procedural memory. During read-only deployment, semantic similarity filters the memory bank to retrieve candidates, while the verifier-derived transfer reliability score (TRS) ranks those candidates before they guide new tasks; model parameters and the memory bank remain unchanged during deployment.
Figure 3: System methodology and workflow of the Spatial Memory Agent (SMA). During memory writing, a frozen vision-language model solves verifiable spatial problems and a reflection step compresses each rollout into a procedural memory. During read-only deployment, semantic similarity filters the memory bank to retrieve candidates, while the verifier-derived transfer reliability score (TRS) ranks those candidates before they guide new tasks; model parameters and the memory bank remain unchanged during deployment.
Memory-writing protocol scaling of Qwen3.6-27B over RoboSpatial, ERQA, Omni3D, EmbSpatial and SAT across ten passes. Compared with One-Pass Memory Writing, Continual Memory Writing expands bank size and redundancy while lowering TRS-update coverage.
Figure 6: Memory-writing protocol scaling of Qwen3.6-27B over RoboSpatial, ERQA, Omni3D, EmbSpatial and SAT across ten passes. Compared with One-Pass Memory Writing, Continual Memory Writing expands bank size and redundancy while lowering TRS-update coverage.

实验结果

主实验覆盖 5 个基准（RoboSpatial、ERQA、Omni3D、SAT、EmbSpatial）× 4 个冻结基座共 20 组评估，SMA 在每个模型块都拿到最高宏平均：Qwen3.5-122B-A10B 68.8（最强基线 MemRL-R 66.2，+2.6）、Qwen3.6-35B-A3B 66.7（+2.9）、Qwen3.6-27B 69.8（MemRL-GT 68.1，+1.7）、Qwen3.5-9B 63.5（MemP 60.7，+2.8）。以 27B 为例相对无记忆基线：RoboSpatial 54.1→68.5、Omni3D 41.6→47.6、EmbSpatial 85.7→87.9，宏平均 +6.5。附录扩展的 SITE-image 与 ViewSpatial 上 SMA 多数领先，但 ViewSpatial 被 MemRL-GT 反超（27B：63.2 vs 64.3；122B：59.7 vs 62.8）。消融（RoboSpatial，27B）：去掉摘要 −3.2、去掉可迁移教训 −3.5、去掉语义过滤 −5.8、把原始模型输出塞进记忆 −4.4、仅用奖励反思 −5.5；Omni3D 上语义过滤的代价更大（−7.2）。与训练类 SpatialEvo-7B（同为 9B 级）比：宏平均 47.1→63.5（+16.4），五个基准全面领先，SAT 差距最大（+23.6）。迁移分析：用 122B 写的记忆给 27B 用，RoboSpatial +9.4、SAT +5.7、ERQA +3.5；跨基准迁移 ERQA→RoboSpatial +7.6、EmbSpatial→RoboSpatial +7.3，全部探针为正。TRS 诊断：检索记忆平均 TRS 从 $[0.2,0.3)$ 桶到 $[0.9,1.0]$ 桶，准确率 19.3%→97.3% 单调上升；成功来源记忆组（TRS 0.522）比失败来源组（0.452）下游准确率高 24.3 个百分点；三张检索卡全成功的检索（N=13,226）准确率 93.0%，全失败（N=603）仅 39.0%。写入协议：十遍后 One-Pass 记忆量只有 Continual 的 1/10、冗余少 21%、TRS 更新覆盖约 2 倍。原子能力层面：十项空间能力平均全部正增长，Correspondence +11.2pp、Attribute +8.0pp、Object motion +7.6pp、Distance/depth +2.6pp、Affordance +2.9pp；而 MemP 在 Tracking（−3.0pp）和 Affordance（−1.9pp）为负，说明无过滤的程序记忆可能帮倒忙。

Main results in accuracy (%, Acc.) on five spatial benchmark slices. For the main table, SMA reports the best checkpoint from the 10-pass One-Pass Memory Writing run. Avg. is the macro average over the reported benchmark columns.
Table 1: Main results in accuracy (%, Acc.) on five spatial benchmark slices. For the main table, SMA reports the best checkpoint from the 10-pass One-Pass Memory Writing run. Avg. is the macro average over the reported benchmark columns.
Ablations and reflection-setting comparison on RoboSpatial with Qwen3.6-27B. Results denote accuracy (%, Acc.); ∆ is the accuracy difference relative to SMA.
Table 2: Ablations and reflection-setting comparison on RoboSpatial with Qwen3.6-27B. Results denote accuracy (%, Acc.); ∆ is the accuracy difference relative to SMA.
Comparison with the training-based SpatialEvo-7B baseline on five spatial benchmark slices, measured by accuracy (%, Acc.). Avg. is the macro average over the reported columns; the ∆ row reports SMA minus SpatialEvo-7B.
Table 3: Comparison with the training-based SpatialEvo-7B baseline on five spatial benchmark slices, measured by accuracy (%, Acc.). Avg. is the macro average over the reported columns; the ∆ row reports SMA minus SpatialEvo-7B.
Representative memory-transfer results in accuracy (%, Acc.). No mem is target inference without memory, Transfer uses the source memory bank, and ∆ is the gain over no mem.
Table 4: Representative memory-transfer results in accuracy (%, Acc.). No mem is target inference without memory, Transfer uses the source memory bank, and ∆ is the gain over no mem.
Source outcomes of memories written from successful and failed environment questions. TRS is the mean transfer reliability score, and Acc. is downstream deployment accuracy.
Table 5: Source outcomes of memories written from successful and failed environment questions. TRS is the mean transfer reliability score, and Acc. is downstream deployment accuracy.
Retrieval composition by the outcomes of the three retrieved memories. Acc. is deployment accuracy, and TRS is the mean transfer reliability score for each composition.
Table 6: Retrieval composition by the outcomes of the three retrieved memories. Acc. is deployment accuracy, and TRS is the mean transfer reliability score for each composition.
Extended main results on SITE-image and ViewSpatial in accuracy (%). Avg. is the macro average over the two benchmark columns, with all compared baselines reported for every base model.
Table 7: Extended main results on SITE-image and ViewSpatial in accuracy (%). Avg. is the macro average over the two benchmark columns, with all compared baselines reported for every base model.
Ablations and reflection-setting comparison on Omni3D with Qwen3.6-27B. Results denote accuracy (%, Acc.); ∆ is the accuracy difference relative to SMA.
Table 8: Ablations and reflection-setting comparison on Omni3D with Qwen3.6-27B. Results denote accuracy (%, Acc.); ∆ is the accuracy difference relative to SMA.
Dataset split construction. Original pool reports the available source rows before our filtering or SAT's official-test expansion; Used pool reports the rows retained for our environment/deployment split. Environment is used for memory writing, and Deployment is the held-out split used for read-only evaluation.
Table 27: Dataset split construction. Original pool reports the available source rows before our filtering or SAT's official-test expansion; Used pool reports the rows retained for our environment/deployment split. Environment is used for memory writing, and Deployment is the held-out split used for read-only evaluation.
Selected SMA hyperparameters for Qwen3.5-122B-A10B.
Table 28: Selected SMA hyperparameters for Qwen3.5-122B-A10B.
Performance comparison of SMA and evaluated memory baselines across seven spatial benchmarks (RoboSpatial, ERQA, Omni3D, SAT, SITE-image, ViewSpatial, and EmbSpatial) plus their macro average. Each of the four radial panels corresponds to one frozen base model, and each benchmark sector reports the accuracy of all evaluated memory methods for that model panel.
Figure 1: Performance comparison of SMA and evaluated memory baselines across seven spatial benchmarks (RoboSpatial, ERQA, Omni3D, SAT, SITE-image, ViewSpatial, and EmbSpatial) plus their macro average. Each of the four radial panels corresponds to one frozen base model, and each benchmark sector reports the accuracy of all evaluated memory methods for that model panel.
Hyperparameter sensitivity and transfer-reliability diagnostics for Qwen3.6-27B. (a) RoboSpatial sensitivity to reliability weight η and retrieved size k. (b) Accuracy by mean TRS of retrieved memories across five benchmarks.
Figure 4: Hyperparameter sensitivity and transfer-reliability diagnostics for Qwen3.6-27B. (a) RoboSpatial sensitivity to reliability weight η and retrieved size k. (b) Accuracy by mean TRS of retrieved memories across five benchmarks.
Transfer diagnostics: similarity reduction and atomic spatial ability gains across the evaluated benchmarks and base models. (a) Similarity reduction versus accuracy gain over MemP. (b) Mean atomic-ability gains over No memory.
Figure 5: Transfer diagnostics: similarity reduction and atomic spatial ability gains across the evaluated benchmarks and base models. (a) Similarity reduction versus accuracy gain over MemP. (b) Mean atomic-ability gains over No memory.
Omni3D hyperparameter sensitivity.
Figure 7: Omni3D hyperparameter sensitivity.
Qualitative case study of retrieved spatial memories and model outputs, illustrating how high-TRS procedures guide frozen-model spatial reasoning across representative tasks.
Figure 8: Qualitative case study of retrieved spatial memories and model outputs, illustrating how high-TRS procedures guide frozen-model spatial reasoning across representative tasks.
Omni3D: successful transfer for 3D spatial reasoning.
Figure 9: Omni3D: successful transfer for 3D spatial reasoning.
查看结构化数据
任务指标本文基线提升
五基准宏平均（Qwen3.6-27B） Accuracy (%) 69.8 No memory 63.3；最强基线 MemRL-GT 68.1 +6.5 / +1.7
RoboSpatial（Qwen3.6-27B） Accuracy (%) 68.5 No memory 54.1 +14.4
Omni3D（Qwen3.6-27B） Accuracy (%) 47.6 No memory 41.6 +6.0
五基准宏平均（Qwen3.5-122B-A10B） Accuracy (%) 68.8 最强基线 MemRL-R 66.2 +2.6
五基准宏平均（Qwen3.5-9B） Accuracy (%) 63.5 最强基线 MemP 60.7 +2.8
对比训练类自进化（Qwen3.5-9B 基座） 五基准宏平均 Accuracy (%) SMA 63.5 SpatialEvo-7B 47.1 +16.4（SAT 上 +23.6 最大）
跨模型记忆迁移（122B 写记忆 → 27B 部署）RoboSpatial Accuracy (%) 63.5 No memory 54.1 +9.4
ViewSpatial（Qwen3.6-27B，附录扩展） Accuracy (%) 63.2 MemRL-GT 64.3 −1.1（此基准未取得最优，是少数失利点）

局限与改进

作者在附录 D 明确承认两点局限。一是信用分配缺口：当最终答案变好或变坏时，框架无法精确区分功劳/责任该归给记忆写入、反思、检索、语义过滤还是模型对检索内容的最终使用，而空间推理中一个正确答案往往依赖识别目标物体、估计尺度、变换视角、套用放置规则等多个耦合操作，整卡级别的更新粒度太粗。二是缺乏长期记忆维护生命周期：随着记忆库增长，旧教训可能冗余、冲突、过度拟合早期环境样本或相对部署分布过时，当前只能靠 TRS 降权和语义过滤间接抑制，没有显式的删除、合并、压缩、过期与重写机制。我自己的观察还有六点：（1）主表报告的是 10 遍 One-Pass 运行中的「最佳检查点」，这实际上是在部署集上做了检查点选择，存在轻微的乐观偏差，真实部署没有测试反馈时难以复现这种选择；（2）语义阈值 $\delta$ 需按基准在 0.488–0.618 间分别调优，跨到新域时如何设定没有给出方案；（3）方法依赖环境划分上有标准答案的可验证奖励，纯无标注的真实部署场景既写不了记忆也校准不了 TRS；（4）检索只用任务文本嵌入、完全不看图像内容，视觉相似但文本表述不同的场景可能漏检，文本相似但视觉迥异的场景可能误检；（5）ViewSpatial 上败给监督更强的 MemRL-GT，暗示多视角类任务中访问证据校准未必是最优信号；（6）失败案例分析显示当基准本身有歧义（RGB 证据不足以唯一确定答案）或基座视觉 grounding 出错（误读运动方向、物体计数、空间连通性）时，即便检索到 TRS≥0.6 的相关记忆也无济于事——记忆能引导推理但替代不了准确的视觉感知。

独立分析的弱点

独立分析六个弱点及改进方向。（1）检查点选择依赖部署集：主表取 10 遍中最佳检查点，隐式使用了测试分布的反馈，严格意义上高估了性能；改进方向是引入无泄漏早停准则，例如用 TRS 分布的稳定性、验证集代理指标或相邻遍准确率的一致性来选检查点。（2）信用分配粒度太粗：奖励只记在整张卡上，无法知道教训里哪句话起效；改进方向是借鉴作者引用的 AttriMem 做过程级归因，或对教训做原子化拆分、按成分分别累计战绩。（3）检索通道是纯文本的：空间任务高度依赖图像，任务文本相似不等于视觉场景相似（两张都是「物体在哪里」的题，一张室内一张航拍，教训可能完全不通 用）；改进方向是把图像嵌入或视觉-文本联合嵌入纳入第一阶段过滤，或对候选集做视觉重排序。（4）强依赖验证器与标注：环境划分需要 $y^\star$ 才能反思和校准，开放式真实任务不可用；改进方向是用自一致性投票、工具校验或训练一个奖励模型来近似验证器，并量化近似噪声对 TRS 的污染。（5）没有记忆生命周期：记忆库单调增长，长期运行会积累冲突与过时教训；改进方向是接入存储预算下的删除-合并-压缩策略与基于年龄/使用率的过期机制。（6）超参跨域不友好：$\delta$、$k$、遍数逐基准调优（$\delta$ 从 0.488 到 0.618），新领域需重新搜索；改进方向是自适应阈值（按候选相似度分布分位数动态定）或用少量元任务学习检索超参。

未来方向

作者提出的方向：（1）细粒度信用分配——把 AttriMem 的归因引导过程反馈、Memory-R2 的局部重 rollout 与全局目标、MemQ 的来源 DAG 信用传播引入免训练空间自进化，让记忆构建本身获得更局部的奖励信号；（2）长期记忆生命周期管理——借鉴 MemRefine 的存储预算决策、TRUSTMEM 的可信合并（防止写/改/删操作引入幻觉持久状态）、memorywire 的 remember/recall/forget/merge/expire 接口化标准。基于本文成果可以延伸的方向：（3）与工具调用正交结合——用记忆决定何时调用深度估计/3D 重建工具，并把工具产出也沉淀为教训，形成「记忆指导工具、工具反哺记忆」的闭环；（4）视觉感知检索与多模态记忆卡——在卡片中存关键帧、区域坐标或草图，使检索能对齐视觉内容；（5）把框架推向视频、3D 场景与真机在线部署，在持续运行的机器人上做在线 TRS 校准；（6）无验证器场景的奖励近似——用自一致性或评分模型替代 ground-truth，把方法扩展到开放式空间问答；（7）跨模型记忆复用经济——论文已证明 122B 写的记忆能让 27B 在 RoboSpatial 上 +9.4，可进一步探索「大模型为小模型代写经验库」的蒸馏式记忆服务，以及记忆库的跨任务市场化和隐私审计。

复现评估

复现评估：论文给出项目页（aim-uofa.github.io/SMA/），附录质量很高——算法 1 提供完整伪代码，Tables 28–31 逐基座×基准列出全部超参（$\lambda=2.0$、$v_0=0.5$、$k=3$、$\eta=0.5$、temperature=0、repetition penalty 1.5，$\delta$ 逐基准给出），数据划分规则明确（seed 42 按类别 50/50，SAT 用官方测试集扩展为 300 行、验证集采样 300 行匹配题型分布），五个基线的实现差异也逐一说明。数据全部来自公开基准，规模从 RoboSpatial 的 350 条到 SITE-image 的 4449 条，无需自建标注。算力门槛较高：4 张 NVIDIA H200（每张约 143GB 显存）、vLLM 0.20.0 服务 Qwen3.5/3.6 系列，另需 OpenAI text-embedding-3-large API 做任务嵌入——这是一个外部依赖，换成开源嵌入模型虽可行但检索分布可能漂移。整体难度中等偏上：方法核心（余弦过滤 + 计数更新）本身很简单，但完整复现主表需要 6 种方法 × 4 基座 × 7 基准 × 多遍环境遍历的推理量，非常昂贵；此外反思与检索的提示模板若未随代码发布则需自行还原，可能引入数个点的偏差；主表的「10 遍最佳检查点」协议也要求完整跑完 10 遍才能对齐。代码开源情况：正文未明确声明，仅给出项目页，实际代码与记忆库是否可下载需以项目页为准。

论文图表

Model-limitation failure case on SAT.
Figure 28: Model-limitation failure case on SAT.

基座模型视觉感知局限失败案例（Figures 28–30）之一：即便检索到语义相关且 TRS≥0.6 的高质量记忆，基座模型仍因误读运动方向、物体计数或空间连通性而答错，说明记忆可以引导推理过程但无法替代准确的视觉 grounding。

与基准歧义类失败（Figures 23–27）共同划定了方法的能力边界，是理解「记忆不是万能药」的关键证据。