超越记忆：以显式信念状态驾驭长程智能体

PoS为LLM智能体维护显式信念状态，检测并恢复信念陷阱，四个基准全面领先。

前置知识

POMDP 与信念状态

部分可观测马尔可夫决策过程（POMDP）假设智能体无法直接观察环境的真实状态，只能通过观测部分地感知世界。信念状态定义为 $b_t(s) = P(s_t = s \mid h_t)$，即在给定交互历史 $h_t$ 下对当前潜在世界状态的概率估计，它是决策的充分统计量，可在每步执行动作和收到观察后递归更新。

论文将 LLM 智能体与环境的交互形式化为 POMDP，其方法 PoS 正是把传统 POMDP 中的信念状态以自然语言加结构化图的方式显式表示并持续维护。理解这一定义，才能明白'用信念而非记忆作为决策上下文'这一设计选择的理论依据。

LLM 智能体与 ReAct 循环

LLM 智能体以大语言模型为核心，通过'思考—行动—观察'循环与环境多步交互完成任务。ReAct 是最基础的框架：模型先输出推理再输出动作，把环境返回的观察追加进上下文后继续迭代，直至任务完成或预算耗尽。上下文管理方法通常在这个循环中替换或改写供模型决策的历史内容。

本文所有基线（Raw Trajectory、ACON、PACE、HiAgent 等）都运行在统一的 ReAct 风格循环上，PoS 也是在该循环中插入信念建模、验证与恢复模块。理解这个循环才能看清各方法的差异本质上是'给模型看什么上下文'。

上下文压缩与记忆管理

LLM 的上下文窗口有限且推理成本随长度增长，记忆类方法因此把累积的交互历史进行选择、压缩或重组：ReadAgent 构建可检索的要点记忆，ACON 优化历史压缩指南，PACE 按预测相关性调整保留粒度，HiAgent 按子目标组织分层工作记忆，MemGPT 则用操作系统式的分层管理内外存。

论文的核心论点是'记忆只是历史证据的变换，无法保证对当前世界的一致理解'。熟悉这类方法的思路与局限，是理解本文为何转向'信念作为上下文'、以及实验中基线表现不稳定现象的关键背景。

Jaccard 距离

衡量两个集合差异的指标，定义为 $d_J(A, B) = 1 - \frac{|A \cap B|}{|A \cup B|}$，取值 0 表示两集合完全相同，取值 1 表示完全不相交。它常被用于比较两组离散结构（如实体、状态、关系集合）之间的相似程度，计算简单且不需要嵌入模型。

论文用相邻信念间实体—状态—关系集合的平均 Jaccard 距离 $d_W$ 来度量世界状态的变化量，进而检测'信念循环'（状态周期性重复）和'漂移'（状态在变但未推进活跃缺口）等困陷模式，是读懂困陷检测公式 (5b)、(6) 的前提。

研究动机

随着交互步数增长，LLM 智能体的动作会改变环境，新观察可能推翻早期推断，累积的上下文里混杂着关于过去状态的证据和中间判断，越来越难分辨哪些事实仍成立、哪些推断仍被支持、什么仍未解决。原始轨迹只是按时间保留证据，记忆机制则对历史做选择、压缩或重组，但两者都只是'历史证据的变换'，无法保证对当前世界形成显式且连贯的估计——当任务状态隐含在不断膨胀的上下文中时，过时或不一致的信息会在后续决策中持续存在。此外，LLM 自己生成的信念更新可能引入内部冲突（如把微波炉同时记为'开着'和'关着'，导致不知道放杯子前该不该开门）或与观察证据矛盾的外部错误。更隐蔽的失败模式是论文提出的'信念陷阱'（Belief Trapping）：智能体看似在持续行动，却重复无效动作、循环经过已访问状态或收集与目标无关的信息，在达成目标前耗尽预算。现有工作要么只做历史管理，要么如 T3 只在强化学习中截断无信息轨迹、CGDP 用耗尽门直接终止上下文收集，都无法在推理回合内在线诊断并恢复。

本文的目标是论文的目标是让长程智能体的决策上下文不再是'变换后的历史'，而是对当前世界的一个显式、可检验、可持续维护的信念状态。具体而言，作者提出推理时框架 PoS（Progression of States），要求同时做到三件事：其一，以任务为条件构造显式信念，用结构化世界状态加上'认知缺口/达成缺口'明确表达智能体已知什么、还缺什么信息、还需完成什么动作；其二，持续验证每次信念更新的内部一致性（自身无冲突）与外部一致性（有证据支持），防止 LLM 的错误假设、推理错误和幻觉污染后续决策；其三，在线检测信念陷阱，沿困陷动力学模式和受阻缺口类型两个维度做因子化诊断，并组合相应的恢复约束把智能体拉回有意义的进展轨道，而不是简单地截断轨迹或终止任务。

与已有工作不同的是，已有研究分为两条线：'记忆作为上下文'（ReAct、ReadAgent、ACON、PACE、HiAgent、MemGPT、CaT、AgentFold、Sculptor 等）把压缩和重组后的历史喂给模型，本质仍是历史记录，并未回答'世界现在是什么样'；'信念作为上下文'（QuBE、StateAct、ReflAct、假设树+贝叶斯过滤、LongHorizon-Harness 等）虽然开始显式表示信念，但普遍停留在'构造'层面——既不持续验证信念更新的一致性，也不监控任务是否仍在推进。涉及停滞检测的 T3 与 CGDP 分别只能截断训练轨迹或终止收集，不在推理中恢复；LongHorizon-Harness 的 Manage-Execute-Audit 循环依赖可独立验证的中间产物，难以适用于诊断类这类进展体现为不确定推断而非可观测产物的任务。PoS 的独特切入在于把'构造—验证—健康监测—因子化恢复'整合成闭环，是首个同时提供持续一致性验证与在线困陷诊断恢复的统一框架。

核心方法

直觉上，长程任务失败多源于智能体'不知道世界现在什么样、还缺什么、是否在原地打转'。PoS 把交互形式化为 POMDP，用显式信念 $B_t = (W_t, G, \Delta E_t, \Delta A_t)$ 作为每一步的决策上下文：$W_t$ 是任务相关的世界状态估计，$G$ 是任务目标，$\Delta E_t$ 与 $\Delta A_t$ 分别是尚未解决的认知缺口（还不知道什么）与达成缺口（还需做到什么）。整个框架由三个模块组成：信念建模负责构造并增量更新该信念；信念引导交互从当前信念和选定的活跃缺口出发选择动作，并由'信念哨兵'（Belief Sentinel）验证更新的一致性；困陷感知恢复在滑动窗口内估计信念健康度 $H_t$，检测停滞、按两个维度诊断原因并施加恢复约束。全部流程在推理时完成，不训练任何参数，因此可以即插即用地搭配不同骨干 LLM，实验中换用 Qwen3.7-Plus、Kimi-K3、GLM-5.3 三个骨干均有效。

核心创新是'信念即上下文，且必须被持续维护'。与记忆类方法的本质区别在于：记忆回答'过去发生了什么'，信念回答'世界现在是什么样、我还缺什么'——前者无法被检验一致性，后者可以。与既有显式信念方法相比，PoS 的两个增量创新是：(1) 一致性验证——候选信念 $\tilde{B}_{t+1} = U(B_t, a_t, o_{t+1})$ 由任务智能体自己生成，必须经过 Belief Sentinel 的内部一致性检查（同一实体是否被赋予互斥状态）和外部一致性检查（是否与最新观察或其他证据矛盾），任务智能体根据反馈修订后才提交为 $B_{t+1}$，从而阻断幻觉进入决策链，防止把错误的信念更新误认为真实的环境变化；(2) 因子化困陷恢复——用窗口内的缺口持续性、进展停滞率与信念循环率合成健康分 $H_t$，当 $H_t \le \theta_H$ 判定困陷时，沿'动力学模式（Static/Cycle/Drift）×受阻缺口类型（认知/达成）'两维诊断，再组合模式约束与缺口约束定制恢复，而非笼统地提示模型'换个方式努力'。

方法步骤详情

第一步，信念建模：从交互证据维护 $W_t$ 的实体—状态—关系结构，实体为任务对象或智能体，状态用自然语言描述其当前状况，关系以有向边连接，每条记录带来源与置信度，只保留影响动作可行性、结果评估或目标满足的内容；对比目标 $G$ 导出认知缺口 $\Delta E_t$（信息未知）与达成缺口 $\Delta A_t$（与期望状态有差距）。第二步，信念引导交互：选出最有价值的活跃缺口 $\Delta_t$，按 $a_t \sim \pi(\cdot \mid B_t, \Delta_t, C_t)$ 选择动作，执行后得到观察 $o_{t+1}$；生成候选信念 $\tilde{B}_{t+1}$，Sentinel 审计新增或修改的实体、状态、关系与缺口并返回问题清单，智能体结合证据修订后提交为 $B_{t+1}$。第三步，困陷感知恢复：为每次验证过的转移打进展标签 $u_t \in \{0,1\}$（诊断任务按置信度变化是否超过 $\epsilon$，执行任务由 Sentinel 判断缺口是否缩小）；在最近 $K$ 次转移内计算缺口持续性 $P_X$、停滞率 $S_t$、循环率 $R_t$，合成健康分 $H_t$；$H_t \le \theta_H$ 时判困陷，依次判为 Static/Cycle/Drift，比较 $P_E$ 与 $P_A$ 确定受阻缺口类型，组合约束 $C_t$：Static 抑制无效转移、Cycle 打破主导循环 $k_t^*$、Drift 重新锚定活跃缺口，认知型要求判别性证据、达成型要求任务相关状态变化；恢复后重算 $H_t$，超阈值即解除约束。

技术新颖性

技术新颖性体现在四个层面。表示层面：用自然语言填充的实体—状态—关系结构表示世界状态，兼顾跨领域通用性与领域语义表达力，且每条记录带来源与置信度，为后续验证提供抓手，这与纯文本摘要式信念或专用因果图均有不同。验证层面：首次把 LLM 自生成信念的内部一致性与外部一致性区分开来并作为持续审计对象，Sentinel 只审增量改动以控制开销，且验证结果由任务智能体结合证据自行修订，形成生成—审计—修订的闭环。监测层面：健康分数把'持久未解缺口+停滞/循环'组合为可计算的困陷信号，其中循环率对不同时间滞后取最大值以捕捉周期性行为，主导滞后 $k_t^*$ 还被直接用于打破循环，这是对'任务进展'的一种可操作化定义。恢复层面：因子化诊断（3 种动力学模式 × 2 种缺口类型）使恢复约束与失败原因精确匹配，实验证明显著优于通用恢复提示；与 T3 只能在训练时截断轨迹、CGDP 只能终止收集相比，PoS 在推理回合内在线恢复，且不依赖可独立验证的中间产物，这点也比 LongHorizon-Harness 更适合诊断类任务。

**Figure 2**: Overview of PoS. Belief Modeling constructs and incrementally updates a task-conditioned Belief from interaction evidence. Belief-Guided Interaction conditions each action on the current Belief and an Active Gap, while the Belief Sentinel validates consistency and records task-relevant progress. Trapping-Aware Recovery estimates Belief health, diagnoses heterogeneous trapping conditions, and composes recovery constraints to restore progress.

实验结果

论文在 ALFWorld、LOCA-Bench（执行类）与 RCA-100、ClinDiag（诊断类）四个基准、三个骨干（Qwen3.7-Plus、Kimi-K3、GLM-5.3）共 12 组设置上评估，PoS 全部居首。其一，基线并不可靠：PACE 在 LOCA-Bench 比原始轨迹低 24.57–28.19 分，GLM-5.3 的 ClinDiag 上没有任何基线超过 Raw Trajectory 的 46.85，说明压缩的信息损失可能抵消冗余减少的收益。其二，PoS 相对最强基线的相对提升最高达 22.68%（ALFWorld）、7.53%（LOCA）、37.89%（RCA-100 联合准确率）、11.31%（ClinDiag），如 Qwen 上 ALFWorld 88.81 对 72.39、RCA-100 38.83 对 28.16。其三，消融证明两大组件缺一不可：去一致性验证在 ALFWorld 最多损失 14.93 分；去困陷诊断在 RCA-100 损失 4.85–6.79 分。其四，困陷普遍且模式因任务而异：发生率从 ALFWorld/Qwen 的 38% 到 RCA-100/Qwen 的 94%，ClinDiag 以静态为主（78.25%）、RCA-100 以漂移为主（55.93%）；PoS 恢复全面优于通用提示，如 ALFWorld 88.81 对 76.87。其五，代价：RCA-100 联合准确率 24.27%→38.83%，任务智能体 token 省 20.9%，但总消耗达 5.06 倍（1800.13K）。其六，上下文 8K→256K 时 PoS 在 96K–256K 稳定，256K 领先基线 10.67–16.00 分。

**Table 1**: Main results across four benchmarks. We report overall task success for ALFWorld and LOCA-Bench, joint accuracy for RCA-100, and overall diagnosis accuracy for ClinDiag, all in %.

**Table 2**: Cost–performance tradeoff on RCA-100. We report joint accuracy (%) and mean token consumption per episode in thousands (K), averaged over all 103 cases.

**Figure 3**: Belief Trapping and recovery across benchmarks. Left: Percentage of episodes with detected trapping under each backbone. Middle: Distribution of trapping patterns by benchmark. Right: Final task performance over all evaluated cases with Qwen3.7-Plus, comparing PoS's factorized recovery with a generic recovery prompt.

**Figure 4**: Success rates on LOCA-Bench as context grows from 8K to 256K across backbones.

查看结构化数据

任务	指标	本文	基线	提升
ALFWorld 具身任务执行（Qwen3.7-Plus）	任务成功率 (%)	88.81	最强基线 LongHorizon-Harness 72.39	+16.42 分，相对提升 22.68%
RCA-100 系统故障根因诊断（Qwen3.7-Plus）	联合准确率 (%)	38.83	最强基线 PACE / HiAgent 28.16（Raw Trajectory 24.27）	+10.67 分，相对提升 37.89%
LOCA-Bench 长上下文任务执行（GLM-5.3）	任务成功率 (%)	70.86	最强基线 ACON 65.90	+4.96 分，相对提升 7.53%
ClinDiag 临床诊断（GLM-5.3）	总体诊断准确率 (%)	52.15	最强基线 Raw Trajectory 46.85	+5.30 分，相对提升 11.31%
LOCA-Bench 上下文长度扩展至 256K	任务成功率 (%)	PoS 在 96K–256K 区间基本稳定	最强基线（ACON / LongHorizon-Harness 等）	256K 处领先 10.67–16.00 分

局限与改进

作者坦承的主要局限是计算开销：RCA-100 上每回合总 token 达 1800.13K，是 Raw Trajectory（355.70K）的 5.06 倍，其中 Belief 占 696.69K、Sentinel 占 822.24K，作者把'在保持收益的同时降低开销'列为未来工作。我的补充观察：(1) 去掉一致性验证可省 35.6% token 但掉 7.76 分，开销与收益强耦合，缺乏按任务风险自适应调节验证强度的机制；(2) 执行类任务的进展标签 $u_t$ 依赖 Sentinel 的 LLM 主观判断，论文未报告其与人工标注的一致性，存在评估者偏差；(3) 引入 $K, \epsilon, \theta_H, L, \theta_R$ 等超参数，附录 D 给出设置但无敏感性分析，迁移到新任务的调参成本未知；(4) 四个基准均为模拟环境，未在软件工程、网页操作等真实长程任务上验证；(5) 三个骨干均为 API 模型且温度固定为 0，对开源小模型的适用性待检验；(6) 恢复约束是提示层干预，Drift 的'重新锚定'是否总能奏效缺乏理论保证。

独立分析的弱点

第一，token 开销过高且验证结构固化：Sentinel 每回合消耗 822.24K，超过任务智能体本身（281.20K），且每个候选信念都全量审计；可改为风险分级审计——只对高影响更新（改变关键实体状态、关闭缺口）触发完整 Sentinel，低风险抽样检查，或用蒸馏小模型粗筛。第二，进展信号分任务类型使用专用公式：诊断用置信度变化、执行靠 Sentinel 主观判断，在'有效但置信度暂不变'的场景可能误判（如累积多条弱证据）；可融合证据覆盖率、假设熵、动作多样性等多信号并校准阈值。第三，困陷检测基于固定窗口 $K$，对几步内形成的快速循环响应滞后，对缓慢漂移可能漏检；可用自适应窗口或在线变点检测替代。第四，世界状态剪枝由 LLM 自行执行，存在误删关键信息的风险，诊断任务中弱证据可能被提前丢弃；可改为'软删除'（降低置信度而非移除）并支持事后回溯。第五，缺少与微调类长程方法的对比，PoS 是纯推理时方案，与训练时干预（如强化学习）的互补性未被探索；且全部实验使用闭源 API 模型，在轻量开源模型上是否仍划算存疑，可先在 7B 级开源模型上复测成本收益比。

未来方向

作者明确提出的方向是降低信念维护的开销同时保留性能收益。在此基础上可延伸：其一，训练轻量化信念组件——用大模型蒸馏专用的 Sentinel 与进展标注器，把验证成本降低一个数量级，同时保留审计质量；其二，与训练闭环结合——把 PoS 的困陷信号作为强化学习的奖励塑形或回合早期终止依据（呼应 T3），把因子化诊断从推理搬到训练；其三，混合记忆与信念——长期记忆存放跨任务可复用的证据与经验，信念只维护当前任务状态，分工有望降低每回合信念重建成本；其四，扩展到多智能体场景——每个智能体维护对其他智能体的信念（一阶与高阶理论 of mind），困陷诊断可加入'信念分歧'维度；其五，在 SWE-bench、网页导航、科研助手等真实长程任务上验证，并研究信念结构在代码、表格等非自然语言状态上的表示；其六，自适应验证预算——按缺口关键性与动作不可逆性动态分配验证强度，直接回应 5.06 倍 token 开销这一最大短板。

复现评估

复现条件较友好但需要预算。论文提供项目主页（luoyu100.github.io/projects/progression-of-states/project/）与开源代码仓库（github.com/luoyu100/PoS）；ALFWorld 是公开老牌基准，LOCA-Bench、RCA-100、ClinDiag 均为 2026 年提出的较新基准，需从各自来源获取。主要成本在 LLM 调用：依赖三个闭源 API 骨干（Qwen3.7-Plus、Kimi-K3、GLM-5.3），RCA-100 单回合平均消耗约 1.8M token，103 个案例跑一组配置约需 1.85 亿 token，完整复现三骨干×六方法×四基准的开销可观；不过所有调用为温度 0 确定性解码，结果可复现性好。方法无需训练、纯推理时运行，工程门槛不高，但需按附录 D 配置窗口 $K$、置信度阈值 $\epsilon$、健康阈值 $\theta_H$、最大滞后 $L$、循环阈值 $\theta_R$ 等超参数，建议先在 ALFWorld 小规模验证管道再扩展。总体难度中等，瓶颈在 API 预算而非算法实现。

超越记忆：以显式信念状态驾驭长程智能体 Beyond Memory: Harnessing Long-Horizon Agents with Explicit Belief States