模型应该何时改变想法？大语言模型中的上下文信念管理 When Should Models Change Their Minds? Contextual Belief Management in Large Language Models
研究长程交互中LLM的信念管理问题，提出CBM框架和BeliefTrack基准，发现RL可显著改善模型信念追踪能力
前置知识
信念状态
信念状态是模型在多轮交互中维护的候选假设子集，代表所有与已积累的形式化证据一致的可能任务结果。例如在规则发现任务中，信念状态可能是{sum_greater_than_10, mountain_or_valley}，表示这些规则仍然符合所有观察到的证据。形式化定义为预测信念状态等于模型函数作用于观测历史，是环境有限信念空间的子集。
本文核心问题就是研究模型如何在长程交互中正确维护、更新和隔离信念状态，理解这个概念是读懂整篇论文的基础。
形式化证据
形式化证据是指任务中可以直接用于判断候选假设成立与否的结构化信息，与任务无关的噪声相对。在Rule Discovery中，形式化证据是三元组及其对应的YES/NO标签；在Circuit Diagnosis中，形式化证据是仪器读数如Current大于0或Voltage等于0。这些证据由符号验证器精确处理，用于计算oracle信念状态。
CBM的核心挑战就是区分形式化证据和任务无关噪声，理解两者的区别是理解论文实验设计的关键。
GRPO (Group Relative Policy Optimization)
GRPO是一种无需critic模型的强化学习算法，通过采样一组输出来计算组内归一化的奖励优势，使用截断目标优化。本文中用于优化信念状态对齐，奖励函数为Jaccard相似度，等于预测信念状态与oracle信念状态的交集大小除以并集大小。这个奖励给予部分匹配的预测部分分数，比完全匹配奖励更平滑。
本文使用GRPO作为主要的优化方法来改善CBM能力，理解其奖励设计对于理解论文的技术贡献至关重要。
表示层操控
表示层操控是一种干预方法，在推理时向模型的隐藏状态添加一个从RL训练模型派生的方向向量。具体公式是将原始隐藏状态加上缩放系数乘以方向向量，其中方向向量是RL模型与vanilla模型在隐藏状态上的平均差异。模型参数和解码过程保持不变，只修改特定层的隐藏状态。这种方法用于测试RL训练引起的表示偏移是否可以直接改善vanilla模型。
这是论文的关键机制分析工具，用于证明CBM失败不仅可测量，而且在表示层面可操作，为理解失败模式提供了重要洞见。
研究动机
现有大语言模型在长程交互中存在严重的信念管理问题。当信息积累时，模型需要决定哪些信息应该修改当前信念状态，哪些应该保持不变，哪些应该被忽略。实验显示，前沿模型如Qwen2.5-7B-Instruct和Qwen3.5-9B在CBM任务上的失败率高达97-99%，即使在形式化证据明确指定的情况下也会出现大量信念管理错误。这些失败表现为三种形式：无法保持稳定的信念状态（证据未改变但模型信念漂移）、无法在证据改变时更新信念（收到修正信号但未能修正）、无法隔离任务无关噪声（被非证据性上下文干扰而偏离正确信念）。这些问题使得模型在需要长期记忆和一致性推理的应用场景中不可靠。
本文的目标是本文的目标是将长程交互中的信念管理问题形式化为一个可精确评估的研究问题，建立可控的测试环境来诊断和分析模型在信念追踪方面的具体失败模式，并提出有效的方法来改善这些能力。具体而言，作者希望回答三个核心问题：如何形式化和评估CBM问题？当前LLM在CBM任务上表现如何？是否可以通过训练或推理时干预来改善CBM能力？通过精确的turn-level评估和符号验证，作者希望将LLM在多轮对话中的不稳定现象转化为可诊断、可改进的技术问题。
与已有工作不同的是，本文的独特切入角度在于将信念管理问题放在封闭世界的可控环境中进行研究，而不是像以往工作那样关注开放域的矛盾解决或Theory of Mind任务。与CL-Bench等关注模型能否吸收规则和知识的工作不同，CBM不引入直接的信息冲突，而是测试模型是否只从形式化证据更新信念。与Theory of Mind研究推断他人心理状态不同，CBM研究模型自己应该相信什么。这种封闭世界设定允许精确的符号验证和turn-level评估，能够区分信念校准失败和信念隔离失败，将之前模糊的多轮对话不稳定现象转化为可精确测量和改进的技术指标。
核心方法
作者提出的CBM框架将信念管理问题形式化为在多轮交互中保持证据对齐的信念状态。在每轮t，模型接收观测，其中包含形式化证据和可选的任务无关噪声。目标是使预测信念状态在所有turn上与oracle信念状态对齐。为了使CBM可测量，作者引入了BeliefTrack基准，包含两个封闭世界环境：Rule Discovery和Circuit Diagnosis，两者都定义了有限信念空间并使用符号验证器进行精确的turn-level评估。这种方法抽象了开放域的歧义性，允许精确评估不同的信念管理操作。
核心创新点在于将信念管理分解为三种可精确诊断的失败模式：Failed Stay（oracle信念状态未改变但模型未能保持这个稳定状态）、Failed Update（oracle信念状态改变但模型未能转换到修订后的状态）、Failed Isolation（模型在干净形式化证据历史下正确预测oracle信念状态，但加入任务无关噪声后预测改变）。这种分解允许精确的诊断和针对性改进，与以往将多轮对话不稳定视为整体问题的方法有本质区别。
方法步骤详情
BeliefTrack框架包含三个主要步骤：(1) 环境定义：为每个任务定义有限信念空间和符号验证逻辑。在Rule Discovery中，每个候选假设是一个可能规则（如ascending_order或sum_greater_than_10），形式化证据是三元组及其YES/NO标签；在Circuit Diagnosis中，每个候选假设是一个可能的电路故障（如Battery_no_output或R1_open），形式化证据是仪器读数。(2) 轨迹生成：从符号验证器生成三个诊断数据集，用于测试保持稳定信念、测试信念修订、测试噪声隔离。每个数据集包含固定的用户端多轮诊断模板和符号验证器，自动计算每轮的oracle信念状态。(3) 评估：对每种失败模式使用严格的k次重复评估协议，样本失败定义为任何重复轨迹exhibiting目标失败模式。三个主要指标为FSR（Failed Stay Rate）、FUR（Failed Update Rate）、FIR（Failed Isolation Rate）。
技术新颖性
本文的技术新颖性体现在三个方面：(1) 问题形式化：首次将长程交互中的信念管理分解为三种精确可测量的失败模式，建立了封闭世界基准BeliefTrack，允许turn-level精确评估。(2) 评估方法：设计了严格的k次重复评估协议，区分信念校准失败和信念隔离失败，避免了传统单轮评估的局限性。(3) 机制分析：通过prompt-based probing揭示信念状态漂移、backtracking failure、contextual hijacking和latent-output gap等潜在失败模式，并通过representation-level steering证明这些失败对应于可修改的表示层面模式。这些贡献将CBM从一个模糊的现象描述转化为可诊断、可改进的技术问题。
实验结果
实验发现当前LLM在CBM任务上存在严重缺陷。Qwen2.5-7B-Instruct在两个环境上的失败率都在97-99%之间，几乎完全失败。Qwen3.5-9B虽然更强，但仍表现出显著的CBM失败，特别是在Circuit Diagnosis的Failed Isolation上，FIR高达95.4%。BT-Prompt（一种无参数的test-time基线）提供有限的增益，其效果在模型和环境间不一致，在某些情况下甚至降低性能（如将Qwen3.5-9B在RD的FUR提高15.0%）。相比之下，带有信念状态奖励的RL持续改善CBM。对于Qwen2.5-7B，RD训练将in-domain FSR和FUR降至0.0%和2.0%，CD训练将CD FSR和FUR降至0.0%和0.0%。对于Qwen3.5-9B，RL将in-domain FSR和FUR降至6.0%和8.0% on RD和12.1%和15.9% on CD。RL还跨环境泛化：RD-trained Qwen2.5-7B将未见过的CD FSR和FUR分别降低93.9%和71.1%。RD-trained Qwen3.5-9B将CD FSR和FUR降低53.7%和65.9%，而CD-trained RL将RD FSR和FUR降低34.0%和43.3%。更重要的是，RL改善了信念隔离，即使Diso被排除在训练之外。RD-trained Qwen2.5-7B在in-domain将FIR降低79.4%，out-of-domain降低63.9%。表示层操控实验进一步显示，信念状态奖励训练引入了可重用的表示层面变化，帮助vanilla模型与oracle信念状态对齐。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Rule Discovery | Failed Stay Rate | 0.0% (RL-RD) | 99.0% (Vanilla) | 100.0% |
| Rule Discovery | Failed Update Rate | 2.0% (RL-RD) | 98.0% (Vanilla) | 98.0% |
| Rule Discovery | Failed Isolation Rate | 20.0% (RL-RD) | 97.0% (Vanilla) | 79.4% |
| Circuit Diagnosis | Failed Stay Rate | 0.0% (RL-CD) | 99.0% (Vanilla) | 100.0% |
| Circuit Diagnosis | Failed Update Rate | 0.0% (RL-CD) | 98.0% (Vanilla) | 100.0% |
| Circuit Diagnosis | Failed Isolation Rate | 20.0% (RL-CD) | 97.0% (Vanilla) | 79.4% |
局限与改进
作者承认的局限性包括BeliefTrack只使用两个合成环境，虽然对隔离信念状态追踪有用，但未覆盖更开放形式的信念修订。现实世界交互往往混合用户修正、偏好、不确定性表达、情感线索和社会语境，相关证据和无关噪声的边界在BeliefTrack中明确定义，但在现实交互中更加模糊。此外，模型如果过度过滤可能变得对合法反馈或变化的用户意图不敏感。作者还注意到，本工作不涉及人类受试者、个人数据、敏感属性或真实世界决策制定，所有实验都在合成封闭世界环境中进行，没有识别特定于本研究伦理担忧的情况。独立观察的局限性包括实验规模相对较小，只测试了两个开源模型，没有在更大模型或闭源API模型上验证发现的泛化性。此外，机制分析虽然揭示了潜在失败模式，但未提供因果关系的严格证明，相关性不等于因果性。
独立分析的弱点
论文存在的具体弱点包括：(1) 合成环境的局限性：Rule Discovery和Circuit Diagnosis都是高度结构化的合成任务，与真实世界对话的复杂性和开放性差距较大。真实对话中信念修订往往涉及不完全信息、模糊约束、上下文依赖的多义性等因素，这些在当前框架中未充分探索。(2) 只测试两个模型：实验只在Qwen系列两个模型上验证，没有在GPT系列、Claude、LLaMA等主流模型上测试，发现的失败模式和改进方法可能在其他模型上表现不同。(3) 泛化性未充分验证：虽然展示了跨环境泛化（RD训练在CD测试，反之亦然），但未测试在其他类型任务（如编程调试、医疗诊断、法律推理）上的泛化性。(4) 长期稳定性未测试：实验轨迹相对较短，没有测试在超长对话（数百轮）中的信念状态稳定性，这对于实际应用场景很重要。改进方向包括：扩展到更多样化的环境（编程调试、科学推理、医疗诊断等）；在更多模型上验证；设计超长轨迹测试长期稳定性；研究如何平衡鲁棒性和灵活性。
未来方向
作者提出的未来工作方向包括：(1) 研究校准的上下文敏感性：平衡对干扰的鲁棒性与对相关上下文输入的灵活性，防止模型过度过滤合法的用户反馈和变化的意图。(2) 扩展到更开放形式的信念修订：当前设定未覆盖更复杂的信念修订场景，未来应该研究需要整合多个信息源、处理不确定性、进行概率推理的任务。(3) 研究CBM在真实世界应用中的部署：将本文发现的方法应用到实际的长程对话系统、编程助手、医疗诊断助手等场景中，测试在真实环境下的有效性。基于论文成果可延伸的方向包括：(4) 探索其他改善CBM的方法，如 curriculum learning、meta-learning、memory-augmented architectures等；(5) 研究CBM与其他能力（如 Theory of Mind、知识冲突解决、多智能体协调）的相互关系；(6) 开发更细粒度的诊断工具，如per-layer的失败模式分析、per-turn的信念状态可视化等；(7) 研究CBM失败与模型规模、训练数据质量、预训练目标函数等因素的关系。
复现评估
复现性评估：论文表明代码即将在https://github.com/zjunlp/CBM开源，但目前尚未提供。数据生成过程有详细描述，使用了符号验证器自动生成轨迹，理论上可以重现。实验使用了vLLM框架和Swift训练框架，在5 A800-SMX-80G GPU服务器上运行，对于学术实验室而言算力需求较高但不是不可及。训练细节比较详细（learning rate 1e-4, batch size 8/4, KL coefficient 0.04, LoRA rank 16, 500-520 training steps），但没有提供完整的配置文件。评估协议定义严格（k=3重复，所有三次必须正确才算正确），但论文没有报告标准差或置信区间。机制分析部分（steering实验）的实现细节在Appendix C中提供，但相对复杂。总体而言，论文的可复现性中等，主要优势是使用了合成数据和自动化评估，但需要完整的代码和配置文件才能完全复现。
论文图表
该图展示了CBM的总体框架，包括三个主要组成部分：左边是Pilot Study显示Rule Discovery任务中Qwen3.5-plus、Deepseek-v3.2、GPT-5.2206三个前沿模型的错误率分别为46.7%、31.9%、20.0%；右边列出了CBM的两个核心要求：Tracking Formal Evidence（追踪形式化证据）和Filtering Task-irrelevant Noise（过滤任务无关噪声）。图中还显示了Model-Correct Belief、Model-Aligned Belief和Formal Evidence之间的关系，以及模型在多轮交互中需要正确判断何时更新信念、何时保持信念、何时忽略噪声。
这张图对理解论文极其重要，因为它直观地展示了CBM问题的核心挑战和论文的主要发现：即使是最前沿的模型在CBM任务上也有很高的错误率；CBM同时需要追踪形式化证据和过滤无关噪声这两个相互关联的能力；模型需要正确判断何时更新、何时保持、何时忽略，这是三个不同的决策。这张图在第1页就给出了问题的全景，帮助读者快速理解整篇论文要解决的问题。
该图展示了一个Belief-State Drift和Backtracking Failure的具体案例研究。案例是一个Rule Discovery任务的四轮交互，模型开始时正确维护信念状态，但随着对话深度增加或显式修正引入后，模型开始挣扎维护活跃的候选假设集。失败表现为：误记之前的正式证据，如将过去的NO标签当作YES；放弃仍受累积正式证据支持的候选假设，从头重新计算，这导致预测信念状态偏离oracle信念状态。案例中，模型在第2轮和第3轮的推理中仍然保留正确的信念，但在第3轮开始犯错误，最终输出空集，而oracle信念状态应该是包含ascending_order的集合。
这个案例对理解Failed Stay和Failed Update的具体表现很重要，因为它展示了真实对话中信念管理失败的微观过程：模型不是一开始就失败，而是在几轮正确后开始漂移；失败可能源于误记证据或过度从头计算；即使在中间推理中显示出正确的推理，最终输出仍可能错误。这个案例说明CBM失败不是简单的推理错误，而是一个动态的维护过程问题。
该图展示了一个Contextual Hijacking的具体案例研究。案例是一个Rule Discovery任务的五轮交互，当任务无关上下文或噪声被注入时，模型频繁放弃正式验证。例如，一个建议性评论会导致模型过早终止逻辑追踪并采用干扰者的前提，而不对正式证据进行验证。在案例中，用户在第0轮、第1轮、第2轮、第3轮都加入了评论如If I had to guess now, I'd pick sum_even_xnor_product_negative、I'm pretty sure product_positive is still likely、Right now, ascending_order appears comparatively unlikely、From what we've seen so far, ascending_order is probably not the answer。尽管这些评论是噪声，模型仍然受到影响，最终输出空集，而oracle信念状态应该是包含ascending_order的集合。
这个案例对理解Failed Isolation的具体表现很重要，因为它展示了任务无关噪声如何劫持模型的信念状态：噪声可以是有倾向性的暗示、奉承性评论或压力性提示；即使正式证据明确，噪声仍可能导致模型放弃正式验证；模型可能过度依赖社会信号而非形式化证据。这个案例说明CBM中的隔离挑战不是简单的过滤问题，而是一个复杂的信号整合问题。
该图展示了一个Latent-Output Gap的具体案例研究。这是一个Circuit Diagnosis任务的三轮交互，展示了Vanilla模型的一个常见失败模式：在中间推理中将oracle支持的候选假设排名很高，但仍然输出不正确或矛盾的最终预测信念状态。这表明模型可能具备必要的演绎能力，但未能将潜在信念状态路由到最终生成。在案例中，模型在第2轮收到修正信息：测量结果从Turn1的Voltage大于0被替换为Current等于0和Voltage大于0。模型在中间推理中仍然可以做出正确判断（识别出H和J是可能的），但最终输出H，而oracle信念状态应该是J。模型没有完全采用修正，导致矛盾。
这个案例对理解CBM失败的深层机制很重要，因为它揭示了推理能力和最终输出之间的鸿沟：模型可能在表示层面有正确的信念状态，但未能正确输出；这种latent-output gap不是推理能力不足，而是routing或generation过程的问题；即使模型知道正确答案，仍可能因为其他因素（如上下文压力、注意力分散）而输出错误。这个案例说明改善CBM不仅需要提高推理能力，还需要改进表示到输出的映射过程。