冥想盆范式：掌握自身上下文的状态化语言模型 The Pensieve Paradigm: Stateful Language Models Mastering Their Own Context
让模型自主管理上下文，从被动预测器转变为状态感知智能体
前置知识
上下文工程（Context Engineering）
上下文工程是指由人类开发者精心设计和编排提示中应该包含哪些信息的过程。Andrej Karpathy 将其定义为'在上下文窗口中填入恰好正确的信息'。在当前的 RAG、Agent 框架中，模型本身并不决定保留或丢弃哪些信息，而是由人类编写的脚本来完成检索、拼接、截断等操作。本文的核心论点是：这种'人当巫师'的范式限制了模型的能力。
理解当前上下文工程的局限性是理解本文动机的关键。StateLM 的目标正是将这种能力从外部脚本转移到模型内部。
状态化语言模型（Stateful LM）
传统语言模型是无状态的自回归模型——每次推理时从零开始处理完整的上下文，无法主动修改自己的交互历史。状态化语言模型则具备主动管理自身上下文的能力，可以删除冗余信息、维护外部笔记、动态调整上下文窗口的使用方式，从而实现'锯齿形'的上下文使用模式而非线性增长。
StateLM 是本文提出的核心新概念，理解状态化与无状态的区别是读懂整篇论文的基础。
冥想盆（Pensieve）类比
在哈利·波特世界中，邓布利多使用冥想盆来提取、存储和回顾记忆。本文借用这个类比：现有的数据库和检索系统就是'冥想盆'，但模型缺少'魔杖'来自主操作它。StateLM 通过赋予模型 deleteContext、readChunk、updateNote 等工具，相当于把魔杖交到了模型手中。
这个类比贯穿全文，帮助直觉理解为什么自管理上下文是必要的。
GRPO（Group Relative Policy Optimization）
GRPO 是一种强化学习算法，通过从多个 rollout 轨迹中形成组基线来计算相对优势，从而指导策略更新。本文在 GRPO 基础上做了针对 StateLM 的适配，包括轨迹快照机制（在上下文编辑操作发生时收集状态快照）和受控批处理（统一采样固定数量的快照以控制方差）。
理解 RL 训练阶段的技术细节，特别是奖励设计和优势估计方法，对评估方法的可复现性很重要。
BM25 关键词检索
StateLM 使用 buildIndex 工具构建可搜索索引，然后通过 searchEngine 工具基于关键词进行检索。这种基于 BM25 的关键词检索方法在处理隐式查询或改写查询时存在语义覆盖不足的问题，是论文承认的主要局限之一。
理解 StateLM 的信息获取机制及其局限性，有助于评估未来改进方向。
研究动机
当前大语言模型的根本限制在于其无状态的自回归特性。模型本质上是被动预测器，只能在外部提供的上下文中完成序列补全。这导致了'上下文工程'范式的兴起——人类开发者充当'巫师'角色，通过精心编排的脚本来管理模型的有限记忆。例如在标准 RAG 流程中，人类设计检索管线，将相关文本块'塞入'模型提示中，模型完全被动地接受给定的上下文。随着上下文长度线性增长，早期的推理步骤和原始工具输出持续消耗固定的上下文预算，最终导致上下文耗尽和性能退化。即使是 MemGPT、Context-Folding、ReSum 等更先进的方法，其上下文管理逻辑仍然硬编码在训练目标或工具定义中——模型学会了执行人类预设的固定流程，而非自主决定如何管理自己的状态。
本文的目标是本文的目标是彻底改变'人当巫师'的范式——将魔杖交到模型手中。具体而言，作者希望开发一种新的基础模型类别（StateLM），使其具备通过学习获得的自我上下文工程能力：能够主动判断哪些信息至关重要、哪些是噪声，以及如何结构化自己的内部状态。作者通过赋予模型一套通用的记忆操作工具包（deleteContext、readChunk、updateNote 等），并训练模型战略性地使用这些工具，从而让模型不再是预定义工作流的被动执行者，而是自主架构自己的推理循环。
与已有工作不同的是，本文的独特切入角度在于'模型即自身上下文工程师'这一范式转换。与已有工作的本质区别是：Context-Folding 训练模型适应人类设计的'分支-折叠'例程，ReSum 训练模型在固定摘要调度内推理，而 StateLM 训练模型成为自己的上下文工程师。StateLM 被装备了通用记忆操作工具包，并被训练战略性地使用它们。模型不再是预定义工作流的被动观察者，而是学习构建自己的推理循环，动态决定哪些信息至关重要、哪些是噪声、如何结构化自己的内部状态。这体现在数学形式上的变化：传统 Agent 的交互状态是 $s_{t+1} = s_t \parallel (a_t, o_t)$（单调增长），而 StateLM 的状态更新变为 $s_{t+1} = F(s_t, a_t, o_t)$，其中 $F$ 是可以修改可见上下文的函数。
核心方法
StateLM 的整体思路可以分为两个层次。直觉层面：既然人类开发者会通过脚本来管理模型上下文（删除过时信息、维护笔记、检索相关内容），那么能否直接训练模型自己学会这些操作？技术层面：StateLM 在标准的工具增强推理循环基础上，增加了上下文管理工具（如 deleteContext 删除上下文中的消息、readChunk 加载文本块、updateNote 更新外部笔记等），并通过监督学习和强化学习两阶段训练，让模型学会'读取-笔记-删除'的循环策略，从而维持紧凑的、无噪声的状态。模型的上下文使用模式呈现'锯齿形'而非线性增长——每次读取新内容后立即提取关键信息到笔记中并删除原始文本。
核心创新点在于将上下文管理从外部硬编码的流程转变为模型的内在学习能力。与已有工作的本质区别是：Context-Folding 训练模型适应人类设计的'分支-折叠'例程，ReSum 训练模型在固定摘要调度内推理，而 StateLM 训练模型成为自己的上下文工程师。StateLM 被装备了通用记忆操作工具包，并被训练战略性地使用它们。模型不再是预定义工作流的被动观察者，而是学习构建自己的推理循环，动态决定哪些信息至关重要、哪些是噪声、如何结构化自己的内部状态。这体现在数学形式上的变化：传统 Agent 的交互状态是 $s_{t+1} = s_t \parallel (a_t, o_t)$（单调增长），而 StateLM 的状态更新变为 $s_{t+1} = F(s_t, a_t, o_t)$，其中 $F$ 是可以修改可见上下文的函数。
方法步骤详情
StateLM 的推理流程包含以下完整步骤：首先，使用 analyzeText 评估输入规模，判断是否需要构建索引。如果输入超出可管理的上下文大小，通过 buildIndex 构建可搜索索引（基于关键词），从而实现有针对性的访问而无需加载完整内容。对于特定信息需求，模型使用 searchEngine 搜索候选段落，然后通过 readChunk 选择性加载相关文本块。读取相关信息后，模型使用 note 或 updateNote 将关键事实摘要到外部笔记本中。关键步骤是：随后调用 deleteContext 删除原始文本块内容和相关笔记构建消息。这个'搜索-读取-笔记-删除'循环在推理轮次中反复执行，确保交互状态保持紧凑。整个过程中，checkBudget 提供剩余上下文容量的显式反馈。当模型判断积累的笔记足够时，发出 finish 动作结束推理。论文中的工具包共包含 8 个工具：analyzeText、checkBudget、buildIndex、searchEngine、readChunk、note/updateNote、readNote、deleteContext。
技术新颖性
StateLM 的技术新颖性体现在多个层面。第一，范式创新：首次将上下文管理定义为模型的内在学习能力而非外部脚本，这在概念上突破了'上下文工程'的边界。第二，训练方法创新：采用两阶段训练——先通过教师模型（Claude Opus 4.1）生成专家轨迹，经过结果拒绝采样和过程拒绝采样筛选高质量样本，构建 35.7K 个训练样本进行 SFT；再通过 GRPO 风格的强化学习进一步提升。RL 阶段引入了轨迹快照机制——每当上下文编辑操作发生时收集状态快照，而非使用轨迹中的所有快照，通过均匀采样固定数量的快照来控制方差和计算成本。第三，奖励设计的创新：设计了三值奖励（+1 正确且格式合规、-0.5 错误但格式合规、-1 格式错误或未完成），并通过预定义上下文窗口大小和交互轮次限制来强制完成。第四，删除策略的创新：在 SFT 的 token 级掩码中，仅对最终助手轮次的 token 计算交叉熵损失，之前的轮次被掩码，因为它们可能在后续生成中被修改或删除。
实验结果
StateLM 在多个维度上展现了显著优势。在合成记忆检索任务（Needle-in-a-Haystack）中，Qwen3-14B 基线在 128K 上下文长度时准确率为 88.33%，到 1M 时骤降至 3.33%；而 StateLM-14B 在 128K 时达 99.44%，1M 时仍保持 95.00%，2M 时仍有 83.89%——在移除搜索工具的条件下（迫使模型使用扫描式读取），仍展现出极强的超长上下文处理能力。在长文档问答（NovelQA）上，StateLM-8B 使用仅 32K 上下文即达到 83.84% 准确率，相比 Qwen3-8B 使用 128K 上下文的 65.87% 提升了近 18 个百分点；StateLM-14B 达到 84.15%，而 Qwen3-14B 为 77.94%。在聊天记忆任务（LongMemEval-S）上，StateLM-4B 相比 Qwen3-4B 从 39.53% 提升到 59.33%（近 20 个百分点），StateLM-8B 从 45.40% 提升到 58.93%（近 14 个百分点）。在深度研究任务（BrowseComp-Plus）上差距最为悬殊：StateLM-14B-RL 达到 52.67%，而 Qwen3-14B 仅为 5.46%——提升了约 47 个百分点，相对提升接近 10 倍。RL 训练进一步带来提升，如 StateLM-8B-RL 在 InfiniteBench 上比 StateLM-8B 再提升约 3 个百分点。工具使用模式分析显示，StateLM 在不同任务上自适应分配操作：在 BrowseComp+ 上平均 22.8 轮推理，搜索操作达 6.6 次（最多），而在 NovelQA 上为 18.6 轮、搜索 1.8 次。消融实验证明，仅通过系统提示让 Qwen3 instruct 模型使用相同的工具集（'Agentic'模式）效果远不如训练后的 StateLM，说明专门训练是必要的。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 长文档问答 - NovelQA | Accuracy (%) | StateLM-8B: 83.84% (32K context); StateLM-14B: 84.15% (32K context) | Qwen3-8B: 65.87% (128K); Qwen3-14B: 77.94% (128K); ReadAgent-14B: 23.12% | 相比 Qwen3-8B +17.97pp; 相比 Qwen3-14B +6.21pp; 仅用 1/4 上下文 |
| 长文档问答 - InfiniteBench | Accuracy (%) | StateLM-8B: 70.16% (32K context); StateLM-14B: 77.44% (32K context) | Qwen3-8B: 66.81% (128K); Qwen3-14B: 74.96% (128K); ReadAgent-14B: 34.06% | 相比 Qwen3-8B +3.35pp; 相比 Qwen3-14B +2.48pp; 仅用 1/4 上下文 |
| 聊天记忆 - LongMemEval-S | Accuracy (%) | StateLM-8B: 58.93% (32K); StateLM-14B: 64.40% (32K) | Qwen3-8B: 45.40% (128K); Qwen3-14B: 54.07% (128K) | 相比 Qwen3-8B +13.53pp; 相比 Qwen3-14B +10.33pp |
| 深度研究 - BrowseComp-Plus | Accuracy (%) | StateLM-14B-RL: 52.67% (128K) | Qwen3-14B: 5.46% (128K); Qwen3-8B: 5.56% (128K) | 相比 Qwen3-14B +47.21pp，相对提升约 10 倍 |
| 合成记忆检索 - NIAH (1M tokens) | Accuracy (%) | StateLM-14B: 95.00% | Qwen3-14B: 3.33% | +91.67pp，相对提升约 28 倍 |
| 合成记忆检索 - NIAH (2M tokens) | Accuracy (%) | StateLM-14B: 83.89% | Qwen3-14B: 1.67% | +82.22pp，相对提升约 50 倍 |
局限与改进
论文和实验揭示了多个层面的局限性。首先，搜索约束是最突出的问题——当前基于 BM25 的关键词检索在处理隐式查询或改写查询时经常遗漏证据，因为其语义覆盖有限。例如，当问题涉及对文本的推理而非直接引用时，搜索工具可能无法找到相关段落。其次，格式错误是次要但不容忽视的问题——在长轨迹和较小模型中，一小部分失败源于格式不正确的工具调用。第三，上下文窗口的管理仍有改进空间——已删除内容被替换为轻量级存根，这些存根在长轨迹中仍会累积并逐渐消耗上下文预算。此外，不及时或过度保守的删除可能导致在修剪生效前的瞬态上下文溢出。第四，在证据位置靠前的文档上（0-32K 范围），StateLM 相比基线的优势不如证据位置靠后时明显——这说明 StateLM 的最大价值在于处理长上下文中后期位置的信息。第五，论文承认训练依赖教师模型（Claude Opus 4.1）生成专家轨迹，这可能引入教师模型的偏差。第六，论文仅在 Qwen3 系列上验证，尚未在其他架构（如 LLaMA、GPT 等）上测试泛化性。
独立分析的弱点
论文存在几个值得深入分析的弱点。第一，搜索算法的语义能力不足：基于 BM25 的关键词检索在面对'文中某角色的性格特征'这类隐式查询时表现不佳，因为关键词与目标文本之间缺乏直接匹配。改进方向包括集成稠密检索器（dense retriever）或语义搜索，让搜索工具能够理解查询意图。第二，存根累积问题：deleteContext 用轻量级存根替换已删除内容，但在超长推理中（如 BrowseComp-Plus 平均 22.8 轮），存根本身也会消耗大量上下文。改进方向包括设计更紧凑的存根格式或允许完全删除消息。第三，上下文预算分配缺乏自适应：当前 checkBudget 仅报告剩余容量，模型需要自主学习如何分配预算。改进方向包括引入预算分配指导机制或在训练中加入预算感知的奖励信号。第四，多步推理能力的评估不够充分：虽然论文展示了 Multi-Hop 上的优势，但与 GPT-4 等闭源模型的比较缺失，难以判断 StateLM 在复杂推理上的真实水平。
未来方向
论文和其结果暗示了多个有前景的研究方向。第一，更大的管理窗口和更先进的搜索算法——论文明确提到了这一方向，包括将 BM25 升级为混合检索或学习型检索器。第二，更高质量的长轨迹训练数据——当前 3.3K 条轨迹经过筛选后仅得 35.7K 样本，扩大数据规模和多样性可以提升模型能力。第三，跨架构泛化——在更多模型族（如 LLaMA、GPT、Gemini）上验证 StateLM 范式的有效性。第四，更复杂的记忆工具——如层次化笔记系统、长期记忆存储与检索、跨会话记忆持久化等。第五，与传统 RAG 的深度结合——StateLM 的自管理能力可以与外部检索系统协作，形成'模型驱动的自适应 RAG'。第六，多模态扩展——将自管理上下文能力应用于视觉-语言模型，处理超长视频或多文档理解。第七，安全性与可控性——当模型拥有自主删除上下文的能力时，如何确保不误删关键信息、不规避安全指令。
复现评估
论文的可复现性处于中等偏高水平。代码已开源（论文标注了 Code 链接），模型权重也已发布（论文标注了 Models 链接），这为社区复现提供了基础。训练数据部分可复现——SFT 阶段使用公开数据集 NovelQA 和 NarrativeQA 的训练集，但专家轨迹的生成依赖 Claude Opus 4.1（闭源模型），这意味着精确复现专家轨迹可能有困难。RL 阶段使用 LongBench v2 的训练集（488 个问题），数据集是公开的。训练配置分布在论文附录中，需要仔细查阅。计算资源方面，训练涉及 4B/8B/14B 三个规模的模型，加上多轨迹 rollout 和状态快照收集，RL 阶段的计算成本可能较高。推理时的工具包实现（8 个工具的具体逻辑）也需要复现者自行实现环境。总体而言，有经验的研究团队在充足算力下应该能够复现，但精确匹配论文数字可能存在偏差。
论文图表
