将未来行为预测作为学习任务 Forecasting Future Behavior as a Learning Task
训练行为预测器从单次推理轨迹预测大推理模型的未来行为
前置知识
推理模型（LRMs）
推理模型是指那些在生成最终答案之前会输出长序列推理标记的大型语言模型，如 O1、R1 等。这些模型通过链式思考逐步解决复杂问题，输出的推理轨迹包含模型内部计算的隐式信息，但其自然语言表面往往不能忠实地反映实际的计算过程。LRMs 在数学推理、逻辑推理等任务上表现出色，但其行为理解和可解释性成为重要挑战。
本文的核心研究对象，理解 LRMs 的行为预测问题是理解整篇论文的基础。如果不理解推理模型的特点和挑战，就无法理解为什么传统的解释方法会失效，以及为什么需要提出行为预测器这一新方法。
朴素阅读
朴素阅读是指将推理轨迹作为自然语言文本，通过通用的英语语义来解释模型计算过程的方法。这包括人类阅读和其他大语言模型阅读，它们都缺乏对目标 LRM 在推理标记中使用的特定模式的学习。朴素阅读假设推理轨迹的自然语言表面忠实地追踪了 LRM 的计算，但研究表明这种假设往往不成立。
本文提出的行为预测器是与朴素阅读对比的主要基线，理解其局限性是理解本文动机的关键。如果不理解为什么朴素阅读不可靠，就无法理解为什么需要一个专门训练的预测器来从轨迹中提取行为信息。
重新运行一致性
重新运行一致性是指在相同输入上多次运行 LRM 时，模型重复产生相同答案的概率。由于 LRMs 是随机模型，温度采样会导致输出变化，重新运行一致性衡量了模型对某个答案的信心程度。高重新运行一致性意味着模型对这个答案很确定，低一致性则意味着模型处于不确定状态。本文通过 10 次重新运行来估计这个概率值，作为监督信号训练行为预测器。
本文研究的两个核心任务之一，用于评估预测器能否从单次轨迹预测模型的未来行为。理解这个任务的定义和计算方式对于理解实验结果和评估指标非常重要，因为这是验证行为预测器有效性的关键指标之一。
反事实敏感性
反事实敏感性是指衡量移除输入的特定部分会如何影响模型输出的指标。对于提示词的每个可移除段落 s，计算移除 s 后模型产生原始答案 A 的概率下降程度，归一化到 [0, 1] 区间，值为 1 表示移除 s 总是会改变答案。这个指标帮助我们理解模型的决策依赖哪些输入信息，类似于特征重要性分析。
本文研究的另一个核心任务，与重新运行一致性共同构成行为预测的完整框架。理解这个任务的定义和计算方式对于理解 prompt-echo 架构的设计原理非常重要，因为这个任务需要对每个提示词段落进行预测，需要特殊的输入排列。
研究动机
现有方法在预测大型推理模型（LRMs）未来行为时面临根本性挑战。传统方法依赖于对模型计算过程的解释，然后基于这些解释进行预测。但对于 LRMs 来说，这种传统路径特别难以遵循：为单个标记生成设计的解释方法无法自然推广到长推理轨迹，而轨迹本身在作为自然语言阅读时往往不可信。具体来说，LRMs 会从自然语言推理中省略影响最终答案的因素，如偏置答案位置、用户提示和刻板印象信号等，这些因素会改变预测但不会出现在自然语言推理中。同时，自然语言推理中出现的步骤可能与 LRM 产生答案所执行的计算存在语义不匹配。这使得基于解释的行为预测方法在 LRMs 上变得不可靠。此外，标准的行为预测方法如重采样需要多次运行 LRM，成本极高，而单一位置探测无法捕捉轨迹内部的计算过程。
本文的目标是本文的目标是将行为预测作为一个可学习任务，训练行为预测器来直接从单次观察到的推理轨迹预测 LRM 的未来行为属性，而不需要通过解释步骤。具体而言，给定目标 LRM 在感兴趣的输入上产生的一次推理轨迹（包含提示词、推理标记和最终答案），训练的行为预测器要在一次前向传播中预测 LRM 未来行为的统计特性。作者在两个任务上实例化这个方法：LRM 重新运行时重复其答案的可能性，以及移除输入部分如何改变其答案。这些预测器通过查询 LRM 获得训练数据，无需人工标注，其推理在单次前向传播中完成。
与已有工作不同的是，本文的独特切入角度是跳过解释步骤，直接将行为预测形式化为监督学习问题。与传统的解释方法不同，作者不要求推理轨迹的自然语言表面忠实反映 LRM 的计算，而是假设推理标记携带了关于底层计算的信息，尽管这些信息不一定能作为自然语言文本被读取。这种方法充分利用了数据和计算的优势，将昂贵的重采样成本转移到数据生成阶段，在部署时只需一次前向传播就能进行预测。此外，本文创新性地从目标 LRM 初始化预测器并端到端训练，这与传统方法中冻结主干或随机初始化有本质区别。
核心方法
行为预测器的整体思路是将 LRM 的行为预测问题转化为监督学习问题。核心直觉是推理轨迹虽然其自然语言表面不一定忠实反映计算过程，但推理标记本身携带了关于底层计算的信息，这些信息可以通过学习被提取出来。技术路线包括三个关键步骤：首先，通过多次查询 LRM 生成带有行为标签的训练数据；其次，构建与目标 LRM 共享架构的行为预测器，并从目标 LRM 的权重初始化；最后，端到端训练预测器使其能够从单次观察到的推理轨迹预测目标行为统计量。这种方法将昂贵的重采样成本转移到数据生成阶段，在部署时只需一次前向传播就能进行预测，大幅降低了部署成本。
核心创新点是训练一个与目标 LRM 共享架构的外部模型，该模型能够从单次观察到的推理轨迹预测 LRM 的未来行为，而不需要理解轨迹的自然语言含义。与朴素阅读的关键区别在于，行为预测器通过训练学习了目标 LRM 在推理标记中使用的特定模式，而不是依赖通用的英语语义。另一个关键创新是从目标 LRM 初始化预测器并端到端训练，这使预测器能够利用预训练的表示并针对特定任务进行调整。此外，针对不同任务使用不同的输入排列（如反事实敏感性使用 P-R-A-P 排列，重新运行一致性使用 P-R-A 排列），体现了对任务特定需求的深入理解。
方法步骤详情
方法步骤包括数据生成、模型构建和训练三个阶段。数据生成阶段，对于每个提示词 P，首先获得一次观察到的轨迹 τ ∼ M(P) 及其答案 A，然后运行 LRM 在相关执行上（对于重新运行一致性是重新运行，对于反事实敏感性是移除段的扰动版本），使用这些执行估计目标统计量 b(M, P, A)。作者对每个提示词运行 LRM 10 次，温度设置为 0.6，top-p 为 0.95。对于反事实敏感性，还对每个扰动版本的 P 运行 10 次。只有当至少 5 次运行产生可提取的答案时，样本才会被标记。模型构建阶段，行为预测器的主干与目标 LRM 共享架构并从 LRM 的权重初始化。对于反事实敏感性，使用 prompt-echo 排列（P-R-A-P），在回显的提示词位置使用每标记 MLP 头产生预测；对于重新运行一致性，使用交叉注意力池化，将主干隐藏状态池化为固定大小表示，然后通过简单 MLP 头映射到标量。训练阶段，使用 AdamW 优化器，权重衰减 0.01，线性衰减学习率调度，100 步预热，最小学习率为 1×10⁻⁶。反事实敏感性使用学习率 1×10⁻⁵，重新运行一致性使用学习率 5×10⁻⁵，有效批大小为 32，训练 2 个 epoch。
技术新颖性
技术新颖性体现在多个方面。首先，本文首次将行为预测形式化为独立的监督学习任务，开辟了新的研究方向。其次，提出的 prompt-echo 排列（P-R-A-P）巧妙地解决了自回归解码器在提示词位置的注意力只能看到较早标记的限制，使预测头能够访问推理和答案信息。第三，交叉注意力池化机制能够处理变长轨迹并从整个轨迹中聚合信息，这比简单的平均池化更灵活。第四，从目标 LRM 初始化并端到端训练的设计决策得到了消融实验的支持，证明了这一选择的重要性。最后，本文展示了训练的数据集间迁移能力，包括同族变体的零泛化和跨数据集的微调迁移，甚至跨行为目标（从反事实敏感性迁移到提示敏感性）的迁移，这些都表明学习到的模式具有通用性。
实验结果
核心发现表明行为预测是一个可学习的任务，训练的行为预测器在两个任务上都超越了强基线。在 OLMo-3-7B-Think 目标上，行为预测器在反事实敏感性任务上达到 Spearman 相关性 0.723，Pearson 相关性 0.925；在重新运行一致性任务上达到 Spearman 0.568，Pearson 0.649。作为对比，GPT-5.4 朴素阅读在反事实敏感性上仅达到 Spearman 0.322，重新运行一致性上仅 0.223；Claude Opus 4.6 分别达到 0.463 和 0.173。行为预测器的推理成本不到前沿朴素阅读模型的万分之一。在第二个目标 LRM Qwen3.5-2B 上，行为预测器在反事实敏感性上达到 Spearman 0.653，重新运行一致性上达到 0.740，同样超越了 GPT-5.4（0.417 和 0.224）和 Claude Opus 4.6（0.522 和 0.267）。消融实验表明初始化从目标 LRM 和端到端训练都是强性能的必要条件，任务特定的输入排列也很重要。对于同族迁移，在 FEVEROUS 数值子集上的零泛化测试中，行为预测器在反事实敏感性上达到 Spearman 0.565，重新运行一致性上达到 0.311，仍超越两个朴素阅读基线。跨数据集迁移实验显示，在两个数据集上训练并在第三个上微调（最多 600 步）能显著提升性能。跨行为目标迁移实验中，从反事实敏感性预测器初始化的提示敏感性预测器达到 Spearman 0.800，超越了直接训练的预测器（0.732）和朴素阅读基线（GPT-5.4 为 0.668，Claude Opus 4.6 为 0.768）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 反事实敏感性（OLMo-3-7B-Think） | Spearman 相关性 | 0.723 | GPT-5.4 (0.322), Claude Opus 4.6 (0.463) | 相比 GPT-5.4 提升 125%，相比 Claude Opus 4.6 提升 56% |
| 重新运行一致性（OLMo-3-7B-Think） | Spearman 相关性 | 0.568 | GPT-5.4 (0.223), Claude Opus 4.6 (0.173) | 相比 GPT-5.4 提升 155%，相比 Claude Opus 4.6 提升 228% |
| 反事实敏感性（Qwen3.5-2B） | Spearman 相关性 | 0.653 | GPT-5.4 (0.417), Claude Opus 4.6 (0.522) | 相比 GPT-5.4 提升 57%，相比 Claude Opus 4.6 提升 25% |
| FEVEROUS 同族零泛化（反事实敏感性） | Spearman 相关性 | 0.565 | GPT-5.4 (0.322), Claude Opus 4.6 (0.463) | 相比 GPT-5.4 提升 75%，相比 Claude Opus 4.6 提升 22% |
局限与改进
作者承认的主要局限性是缺乏对分布外任务泛化能力的全面测试。本文测试了同一行为任务跨数据集的迁移，但没有建立行为预测器在与训练任务差异显著的 OOD 任务上的泛化能力。更强的测试需要在更广泛的任务池上训练，但由于每个标记示例都需要许多额外的目标 LRM 生成，而这些生成可能很长且计算密集，因此成本很高。另一个潜在的局限性是更忠实的未来 LRM 可能缩小训练预测器与朴素阅读之间的差距，因为如果目标 LRM 产生的思维链更忠实，更多的相关计算将在表面可见。此外，本文的实验主要集中在三个推理数据集（TreeCut 数学问题、FEVEROUS 事实核查、RuleTaker 逻辑推理）上，这些任务都属于推理领域，在其他领域（如代码生成、创意写作等）上的性能尚不清楚。最后，训练成本虽然部署时低，但数据生成阶段需要大量的 LRM 运行，这可能限制其实际应用的可行性。
独立分析的弱点
第一个主要弱点是数据生成的计算成本。每个样本需要 10 次原始运行，对于反事实敏感性还需要每个扰动版本 10 次运行，这使得大规模数据集的标注成本极高。改进方向可以是开发更高效的标签估计方法，如基于重要性采样的估计或使用更少的运行次数结合方差减少技术。第二个弱点是任务特异性强，针对不同的行为目标需要训练不同的预测器，这在实际部署中可能不够灵活。改进方向可以是研究多任务学习框架，使单个预测器能够预测多种行为属性。第三个弱点是对目标 LRM 的依赖性，预测器必须从目标 LRM 初始化，这意味着每个新 LRM 都需要重新训练预测器。改进方向可以是研究跨模型迁移，或开发不依赖特定目标 LRM 初始化的预测器架构。第四个弱点是缺乏对预测器内部工作原理的理解，我们知道它有效但不完全知道它学到了什么模式。改进方向可以是开发解释技术来揭示预测器依赖轨迹中的哪些特征。
未来方向
作者提出的未来研究方向包括研究更广泛的任务池以测试 OOD 泛化能力，以及探索行为预测是否可以扩展到其他行为属性。基于本文成果可以延伸的方向包括：研究跨模型预测器迁移，使在一个 LRM 上训练的预测器能够预测另一个 LRM 的行为；探索多任务学习框架，使单个预测器能够预测多种行为属性；开发在线学习机制，使预测器能够在部署时持续更新以适应 LRM 的变化；研究行为预测在实际部署中的应用，如基于预测结果的查询路由、人类审查标记等；探索将行为预测与模型改进结合，如利用预测器反馈来训练更忠实或更一致的 LRM；研究行为预测与其他可解释性方法的结合，如将预测器输出与基于梯度的归因方法结合以提供更全面的解释。
复现评估
本文的复现情况较好，代码和数据已在 GitHub 上开源（https://github.com/Mosh0110/behavior-forecasters）。作者使用的目标 LRM OLMo-3-7B-Think 的训练数据和训练流程完全公开，这使得后续研究可以建立在确信 LRM 未在评估数据上训练的基础上。所有实验都使用了标准设置：温度 0.6，top-p 0.95，每个提示词 10 次运行。训练资源方面，所有行为预测器都在 4 个 NVIDIA H200 GPU 上在 24 小时内完成训练。数据集构建的详细信息、分割方案和每个数据集的样本计数都在附录 A 中提供。架构超参数和迁移微调预算在附录 B.2 中提供。提示词和选择的变体在附录 C.1 中提供。这些详细的信息使得复现成为可能。然而，数据生成阶段需要大量的 LRM 运行，这可能限制了计算资源有限的研究者的复现能力。此外，Qwen3.5-2B 上的部分实验由于轨迹过长而被省略，这也可能限制完整复现。总体而言，本文的开源情况和文档质量属于较好水平，但计算需求较高。
论文图表
