MemOCR：基于布局感知视觉记忆的高效长程推理方法 MemOCR: Layout-Aware Visual Memory for Efficient Long-Horizon Reasoning
将文本记忆渲染为视觉图像，通过自适应信息密度突破上下文预算瓶颈
前置知识
长程智能体推理（Long-Horizon Agentic Reasoning）
指AI智能体在持续运行过程中需要处理大量累积的交互历史，做出基于过去经验的决策。随着交互轮次增加，历史信息长度线性增长，最终会超过LLM的有效注意力窗口。这类任务要求智能体具备有效的记忆管理机制——既要决定存储哪些历史信息，又要决定在有限上下文窗口中检索哪些内容来支持当前决策，本质上是一个在有限token预算下的信息分配问题。
这是本文要解决的核心问题场景。理解长程推理中的上下文预算约束是理解MemOCR动机的关键前提。
上下文预算（Context Budget）
指在推理时可用的工作上下文大小，以token数量B来约束。在长程推理中，随着交互历史不断累积，完整历史$C$的长度会超过预算限制$|M_T| \leqslant B$。如何在有限预算内最大化任务相关信息的密度，是记忆管理的核心挑战。预算可以是文本token数量，也可以是视觉token数量。
本文的核心贡献就是通过视觉记忆实现更高效的预算利用，理解预算概念是理解本文价值主张的基础。
均匀信息密度（Uniform Information Density）
指文本记忆中每个token占据相同预算单位的特性，无论其语义重要性如何。这意味着辅助细节（如背景说明）和关键证据（如答案实体）消耗相同的token空间。例如，要保留100个token的关键信息，系统可能被迫保留约900个token的辅助细节，缺乏选择性降采样低重要性上下文的灵活性。这种特性使得文本记忆在预算受限时效率低下。
这是文本记忆范式的根本性缺陷，也是本文提出视觉记忆范式的直接动机。
视觉记忆（Visual Memory）
本文提出的新范式，将历史信息从一维文本流转换为二维视觉图像表示。核心优势在于自适应信息密度：智能体可以通过控制视觉显著性（如字体大小、粗体、标题层级）来非均匀地分配有限预算。关键证据用大字体、粗体等高可见性布局渲染，辅助细节则压缩为较小的视觉区域。这样可以在更少的视觉token内打包更多内容，同时保持关键信息在压缩下的可读性。
这是本文的核心创新，代表了从1D文本记忆到2D视觉记忆的范式转变。
GRPO（Group Relative Policy Optimization）
一种强化学习算法，通过组归一化来改进优化稳定性。与传统PPO不同，GRPO对同一输入采样一组输出，计算每个输出的奖励，然后使用组内相对优势来更新策略。这种方法避免了学习价值函数的需要，通过组内比较来估计基线。在本文中，GRPO被用于联合优化记忆草稿（文本域）和记忆阅读（视觉域）两个能力。
理解GRPO的工作原理有助于理解本文的训练方法和预算感知目标的设计。
富文本记忆（Rich-Text Memory）
使用Markdown等富文本格式维护的持久化记忆，与纯文本摘要不同，富文本通过结构和格式编码视觉优先级——如标题（#、##）、粗体（**text**）、缩进、项目符号等。这些显式的显著性线索决定了不同记忆组件如何在画布上竞争有限空间，实现非均匀的预算分配。记忆草稿阶段是预算无关的，智能体生成单一富文本记忆，其内部的显著性结构在渲染后才实现预算分配。
富文本记忆是连接文本域草稿和视觉域阅读的关键桥梁，理解其结构对理解整个方法至关重要。
研究动机
长程智能体推理面临一个根本性瓶颈：随着交互历史累积，数据量不可避免地超过上下文窗口的硬约束。现有记忆系统存在两种主要范式，但都有严重缺陷。第一种是原始历史记忆（Raw History Memory），直接检索和注入历史片段作为未压缩记忆，但这会导致冗余和噪声，稀释信息密度并耗尽上下文预算。第二种是文本摘要记忆（Textual Summary Memory），将过去交互压缩为紧凑文本并通过增量更新维护，但存在均匀信息密度的内在限制。具体而言，文本序列化记忆中每个token无论语义重要性如何都占据相同的预算单位。以HotpotQA数据集为例，在10K上下文长度下，当记忆预算从1024 token压缩到16 token时，最强的文本基线MemAgent的准确率从67.8%暴跌至31.6%，相对下降53.3%。这说明文本记忆在极端预算下会灾难性地丢失关键信息。
本文的目标是本文提出一个根本性的范式转变：从一维文本记忆转向二维视觉记忆，将历史信息表示为图像而非token流。核心目标是实现自适应信息密度——智能体可以通过控制视觉显著性明确地非均匀分配有限预算。关键证据用突出的排版和高可见性布局渲染（如标题、粗体、大字体），而辅助细节则压缩为视觉上较小的文本。这样可以在远少于文本token的情况下打包更多内容，同时保持关键证据在激进压缩下的可读性。预算可通过分辨率操控灵活控制，提供无需改变记忆内容的预算-保真度权衡。
与已有工作不同的是，现有视觉-文本压缩方法虽然探索了将文本渲染为图像以减少token开销，但缺乏学习的内容选择或空间分配机制。本文的独特切入角度在于：（1）通过富文本格式（Markdown的标题、粗体等）显式编码信息优先级；（2）通过强化学习训练智能体学习最优的布局策略，使关键证据在极端压缩下仍可读；（3）设计预算感知训练目标，迫使智能体在各种压缩级别下学习放置关键信息。这种将视觉显著性与语义重要性对齐的方法，首次实现了记忆预算的自适应非均匀分配。
核心方法
MemOCR的核心思路是将记忆管理从文本域扩展到视觉域，通过两阶段生命周期实现自适应信息密度。直觉上，就像人类用不同大小的标题和粗体来组织笔记——最重要的信息用大标题突出，次要信息用小字记录。当页面空间不足时，大标题仍然可读，而小字可能模糊但不影响核心理解。技术路线如下：首先，智能体作为记忆草稿者（Memory Drafter），在文本域中增量维护持久化的富文本记忆（Markdown格式），通过标题、粗体等格式编码信息优先级。然后，确定性渲染器将富文本记忆编译为2D记忆图像。最后，智能体作为记忆阅读者（Memory Reader），在视觉域中阅读记忆图像来回答问题。预算控制通过图像分辨率调整实现。训练采用GRPO强化学习，配合三种预算感知目标函数。
本文的核心创新在于自适应信息密度（Adaptive Information Density）。与文本记忆中每个token均匀占用预算不同，视觉记忆通过布局和排版控制信息密度：对于长度为$L$的文本段，在字体大小$s$下渲染时，占据的面积（即近似视觉token成本）按$O(L \cdot s^2)$缩放。因此，用较大字体渲染关键证据并放置在高可见性区域，同时用较小字体渲染辅助细节，可以将语义内容与上下文成本解耦。这实现了自适应信息密度：关键证据在压缩下保持可读，而辅助细节被紧凑地放置在低优先级区域。与已有方法的本质区别是：文本摘要虽然能压缩信息，但无法选择性地对不同重要性的信息施加不同的压缩率；而视觉记忆通过排版层级实现了信息重要性的显式编码和差异化压缩。
方法步骤详情
MemOCR方法包含三个主要步骤：（1）记忆草稿（文本域）：智能体接收新信息块$C_t$和前一记忆状态$M_{RT}^{t-1}$，生成更新后的富文本记忆$M_{RT}^t$。草稿过程是预算无关的——智能体不会在生成时考虑运行时记忆预算，而是生成单一富文本记忆，其内部显著性结构在渲染后实现非均匀预算分配。（2）记忆渲染：轻量级渲染器$R$将富文本记忆转换为视觉记忆$V_T = R(M_{RT}^T)$。渲染器使用确定性的Markdown到图像转换（FastAPI + Playwright），预算$B$通过图像下采样控制，使得视觉patch token数不超过$B$。根据Qwen2.5-VL的28×28 patch大小，预算1024对应802,816像素，16对应12,544像素。（3）记忆阅读（视觉域）：渲染后的图像$V_T$作为智能体的唯一工作上下文，生成答案$A \sim \pi_\theta(\cdot | V_T, Q)$。
技术新颖性
MemOCR的技术新颖性体现在多个层面。首先，这是首个将记忆管理从1D文本流转向2D视觉画布的方法，实现了记忆预算的自适应分配。其次，通过富文本格式（Markdown）显式编码信息优先级，将文本域的语义结构映射到视觉域的布局层级。第三，设计了三种互补的预算感知训练目标：标准QA（$T_{std}$，确保全局正确性）、增强记忆QA（$T_{augM}$，4倍下采样迫使关键信息保持可见）、增强问题QA（$T_{augQ}$，细粒度问题确保辅助细节可恢复）。第四，采用聚合优势更新策略——阅读行为用独立的任务特定优势更新，而草稿行为用加权聚合优势更新，学习单一布局策略服务所有预算场景。第五，实验发现视觉显著性在功能上很重要：移除布局控制会导致低预算鲁棒性显著下降，证明自适应信息密度是MemOCR成功的关键因素。
实验结果
实验结果全面验证了MemOCR的有效性。在四个基准数据集（HotpotQA、2Wiki、NQ、TriviaQA）和三种上下文长度（10K/30K/100K token）下，MemOCR在不同记忆预算下均展现出卓越性能。核心发现如下：（1）整体性能最优——在10K上下文、1024 token预算下，MemOCR达到74.6%的平均准确率，超越最强基线67.8%（MemAgent）达6.8个百分点。（2）低预算鲁棒性显著——随着预算收紧，MemOCR性能下降最平缓。在10K上下文中，当预算从1024降至16 token时，MemOCR仅从74.6%降至62.2%（相对下降16.6%），而MemAgent从67.8%暴跌至31.6%（相对下降53.3%）。（3）极端预算下的token效率——MemOCR在8 token下达到的准确率与基线在64 token下相当，实现了约8倍的token效率提升。（4）超越RAG基线——即使与拥有无限外部存储的RAG方法（SimpleMem、LightMem、HyMem）相比，MemOCR在有限预算下仍表现更优。在10K上下文中，MemOCR的256 token预算（72.6%）超越HyMem的无限预算（56.4%）16.2个百分点。（5）单跳任务的稀疏证据特性——在NQ和TriviaQA上，降低预算不一定降低准确率，MemOCR在16 token下甚至达到80.8%，高于1024 token的79.6%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HotpotQA（多跳问答，10K上下文） | Subword Exact Match (%) | 84.8（1024 tokens）、82.2（256 tokens）、77.6（64 tokens）、67.2（16 tokens） | MemAgent: 82.3（1024）、82.3（256）、50.8（64）、24.0（16） | 在16 token预算下提升43.2个百分点（+180%） |
| 2WikiMultiHopQA（多跳问答，10K上下文） | Subword Exact Match (%) | 72.2（1024 tokens）、71.2（256 tokens）、62.9（64 tokens）、57.9（16 tokens） | MemAgent: 65.4（1024）、66.1（256）、38.5（64）、28.4（16） | 在16 token预算下提升29.5个百分点（+104%） |
| Natural Questions（单跳问答，10K上下文） | Subword Exact Match (%) | 61.8（1024 tokens）、57.3（256 tokens）、51.0（64 tokens）、42.8（16 tokens） | MemAgent: 53.4（1024）、51.3（256）、48.7（64）、24.5（16） | 在16 token预算下提升18.3个百分点（+75%） |
| TriviaQA（单跳问答，10K上下文） | Subword Exact Match (%) | 79.6（1024 tokens）、79.7（256 tokens）、77.6（64 tokens）、80.8（16 tokens） | MemAgent: 70.1（1024）、69.5（256）、64.6（64）、49.7（16） | 在16 token预算下提升31.1个百分点（+63%） |
| LOCOMO（零样本对话记忆） | 准确率 (%) | 33.14（1024 tokens）、31.71（256 tokens）、17.52（64 tokens）、15.63（16 tokens） | Mem-α: 23.83（1024）、23.05（256）、8.59（64）、3.12（16） | 在16 token预算下提升12.51个百分点（+401%） |
局限与改进
本文在附录B中明确承认了三个主要局限性。首先，MemOCR依赖视觉/OCR鲁棒性——它依赖骨干视觉语言模型准确读取严重下采样的文本和布局线索。视觉感知失败（如模糊、小字体、渲染缺陷）会直接导致证据丢失或幻觉，特别是在极端预算下。实验中的失败案例分析也证实了这一点：比较推理场景中，虽然布局成功突出了实体标题，但包含关键属性的正文文本在下采样后被压缩为不可读的噪声。其次，布局策略可能是任务特定的——学到的显著性分配针对长程QA式监督和训练分布优化，可能无法最优迁移到其他智能体工作负载（如规划、工具使用日志、对话个性化），其中关键证据的定义可能不同或随时间演变。第三，虽然渲染相比模型推理是轻量级的，但视觉语言建模在实际部署中引入了额外的延迟和复杂性，特别是在相对较小的上下文长度下。此外，本文作者还观察到一个现象：在HotpotQA的30K和100K上下文长度下性能较差，通过坏案例分析发现这与数据特性有关。
独立分析的弱点
基于独立分析，MemOCR存在以下可改进的弱点。第一，记忆长度溢出问题：当富文本记忆过长时（如超过2000字符），渲染引擎被迫将字体大小压缩到视觉编码器的分辨率阈值以下，导致关键证据完全不可辨识。改进方向包括引入记忆长度约束机制，或实现自适应的记忆分块和多图像渲染策略。第二，比较推理的细粒度信息丢失：在需要比较多实体属性的场景中，当前布局策略倾向于用大标题突出实体名称，但将比较所需的详细属性渲染为正文文本。在低预算下，标题保持可读但正文文本崩塌。改进方向是设计针对比较推理的特殊布局模板，或训练智能体识别比较任务并调整布局策略。第三，缺乏跨任务迁移能力：当前训练仅使用HotpotQA（多跳QA），可能导致布局策略对其他任务类型的泛化不足。改进方向是引入多样化的训练数据，包括对话、规划、工具使用等场景。第四，渲染器的确定性限制：当前使用固定样式表的确定性渲染器，无法根据不同内容自适应调整布局参数。改进方向是学习一个可微分的渲染器，允许端到端优化。
未来方向
作者在结论中提出了几个明确的未来研究方向。首先，将视觉记忆推广到更广泛的长程智能体场景，如规划和工具增强推理，以及研究终身更新下的长期稳定性。其次，通过引入更灵活的富文本格式（如HTML）来改进预算分配策略。基于实验结果，还可以延伸以下方向：（1）多模态记忆融合——将视觉记忆与图结构记忆结合，利用图的拓扑结构编码信息重要性层级；（2）自适应分辨率分配——对图像的不同区域施加不同的分辨率，而非全局下采样；（3）记忆压缩的课程学习——从高预算逐步过渡到低预算的训练策略，可能改善收敛速度和最终性能；（4）跨模型迁移——实验显示GPT-4o可以读取MemOCR生成的记忆图像并获得87.7%的准确率（超越原生Qwen2.5-VL的84.8%），表明视觉记忆具有跨模型迁移的潜力，值得进一步探索。此外，将MemOCR应用于真实世界的长程对话系统和企业知识管理场景也是重要方向。
复现评估
本文的复现条件较为完备。代码已开源在https://github.com/meituan/MemOCR。训练数据基于公开的HotpotQA数据集，通过添加干扰文档构造长上下文实例。模型基于开源的Qwen2.5-VL-7B-Instruct，使用全参数更新在BFloat16精度下训练。训练硬件为32张NVIDIA H800 GPU，训练约7天（约1000步，21 GPU小时）。渲染器使用开源的FastAPI和Playwright实现。预算到分辨率的映射有明确的公式和表格。训练超参数在附录中有详细记录：chunk大小5000 token，组大小G=16，KL系数β=1×10⁻³，clip ratio ϵ=0.20，学习率1×10⁻⁶，全局batch大小64。评估协议也有详细说明：使用subword exact match作为准确率指标，报告三次独立运行的平均值，随机下采样基准到128个样本。总体而言，复现难度中等——需要大量GPU资源（32张H800），但所有技术细节、超参数和开源代码都已公开。
论文图表
该图展示了MemOCR在16-token预算下的两种失败模式：(上)比较推理中的细粒度细节丢失——智能体正确识别了实体名称并将其渲染为H1标题，但比较所需的详细属性被渲染为正文文本，在下采样后崩塌为不可读噪声；(下)记忆容量溢出导致的信息丢失——当富文本记忆过长时，渲染引擎被迫将字体大小压缩到视觉编码器的分辨率阈值以下，关键证据（如发布日期February 14, 2015）变得不可辨识。
这张图坦诚地展示了MemOCR的局限性，帮助读者理解方法的适用边界和潜在改进方向。