← 返回 2026-02-03

RE-TRAC：面向深度搜索智能体的递归轨迹压缩框架 RE-TRAC: REcursive TRAjectory Compression for Deep Search Agents

Jialiang Zhu, Gongrui Zhang, Xiaolong Ma, Lin Xu, Miaosen Zhang, Ruiqi Yang, Song Wang, Kai Qiu, Zhirong Wu, Qi Dai, Ruichun Ma, Bei Liu, Yifan Yang, Chong Luo, Zhengyuan Yang, Linjie Li, Lijuan Wang, Weizhu Chen, Xin Geng, Baining Guo 📅 2026-02-02 👍 20 2026-07-13 08:35
ReAct框架 大语言模型 测试时扩展 深度搜索智能体 轨迹压缩
arXiv HuggingFace PDF

通过递归压缩轨迹为结构化状态表示，实现跨轮次经验复用，突破ReAct线性框架的探索瓶颈

前置知识

ReAct框架

ReAct（Reasoning + Acting）是由Yao等人在2022年提出的智能体范式，其核心思想是将大语言模型的推理步骤与工具调用交织进行，形成线性的思维-行动序列。在深度研究任务中，智能体交替执行「思考下一步该做什么」和「调用搜索/浏览工具获取信息」两个步骤，所有推理和观察结果以线性顺序追加到模型上下文中。这种设计简单直观，但在长上下文（128K-256K tokens）场景下，模型难以回溯早期状态、分支到替代搜索方向或维持全局感知。

ReAct是当前几乎所有深度研究智能体的基础框架，理解其线性设计的局限性是理解本文动机的关键前提。

测试时扩展（Test-Time Scaling）

测试时扩展是一种在推理阶段通过增加计算量来提升模型性能的范式。常见方法包括：扩展思维链（Chain-of-Thought）让模型进行更长的推理；多次采样后通过多数投票（Majority Voting）或加权投票（Weighted Voting）选择最佳答案；以及Best-of-N策略选择置信度最高的答案。这些方法的核心思想是在推理时投入更多计算资源来弥补模型能力的不足。

本文提出的Re-TRAC本质上是一种新型测试时扩展方法，与传统并行投票方法不同，它通过递归经验传递实现顺序维度的扩展。

Pass@K指标

Pass@K衡量的是模型在K次独立尝试中至少有一次给出正确答案的概率。它反映了模型探索多样性的上限——即使单次尝试（Pass@1）成功率不高，多次尝试可能显著提升整体成功率。论文中观察到Pass@1和Pass@8之间存在巨大差距，表明模型单次探索能力远未触及上限。

Pass@K差距揭示了现有深度研究智能体的核心瓶颈不是推理能力不足，而是单次探索中的路径选择和分支覆盖不够充分。

不完整分支探索（Incomplete Branch Exploration）

这是论文通过实证分析发现的一个关键现象：在失败的搜索轨迹中，智能体往往在推理过程中规划了多个候选搜索方向（如「我应该检查X」、「我还需要搜索Y」），但在最终输出答案时并未实际执行这些计划中的分支。论文统计显示，这一现象在GLM-4.7中高达93%，在DeepSeek-V3.2中为92.7%，在Tongyi-DeepResearch中为83.4%。其根本原因是ReAct的线性结构与深度研究任务对分支回溯的需求之间存在结构性不匹配。

这是论文提出Re-TRAC的核心动机——智能体不是「想不到」，而是「做不完」，需要一种机制来保留和传递未完成的探索分支。

结构化状态表示（Structured State Representation）

这是Re-TRAC的核心数据结构，在每轮轨迹结束后通过压缩机制生成。它包含三个基本层面：(1) 答案与分析结论——记录当前最佳的部分答案和关键推断；(2) 证据库与来源验证——记录已发现的事实、来源出处和验证状态；(3) 不确定性与探索轨迹——记录未解决的问题、开放假设、失败尝试和候选分支。对于前沿大模型，还扩展了三个审计层面：失败尝试、未完成提案和被丢弃的可能性。这个结构化表示作为下一轮搜索的初始上下文，使智能体能够基于历史经验进行更有针对性的探索。

结构化状态表示是Re-TRAC区别于独立多次尝试的核心机制，它实现了跨轨迹的知识传递和经验复用。

监督微调（Supervised Fine-Tuning, SFT）

SFT是将预训练模型在特定任务数据上进一步训练的技术。在本文中，作者使用GLM-4.7在合成问题上运行Re-TRAC框架（4轮），收集132K条原始轨迹样本，经过过滤（去除无效工具调用、轮次少于15、无有效最终答案的样本）后得到104K条高质量训练数据。然后用这些数据对Qwen3-4B-Instruct和Tongyi-DeepResearch-30B-A3B进行微调，使小模型学会基于结构化状态表示进行推理和规划。

SFT使Re-TRAC的优势从仅适用于推理时提示策略扩展到可训练的小模型，使4B参数模型也能获得强大的深度搜索能力。

研究动机

当前深度研究智能体普遍基于ReAct框架构建，这种线性设计存在三个严重问题。首先，不完整分支探索现象极其普遍：论文对多个主流模型（GLM-4.7、DeepSeek-V3.2、Tongyi-DeepResearch）在BrowseComp基准上的失败轨迹进行分析，发现GLM-4.7有93%的失败轨迹存在规划了但未执行的搜索分支，DeepSeek-V3.2为92.7%，Tongyi-DeepResearch为83.4%。这意味着绝大多数失败并非源于推理能力不足，而是源于探索覆盖不充分。其次，长上下文下的灾难性遗忘：深度研究任务通常涉及数十万tokens的轨迹，包含大量相互依赖的工具调用，模型在早期制定的关键任务目标往往被后续积累的中间观察所淹没。第三，独立多次尝试的低效性：虽然简单的Pass@K可以提升成功率（如o3从Pass@1的54.9%提升到Pass@8的81.7%），但独立轨迹之间缺乏经验共享，导致重复探索和资源浪费。

本文的目标是本文的目标是设计一种递归轨迹压缩框架Re-TRAC，使深度研究智能体能够：(1) 在每轮搜索结束后将轨迹压缩为结构化的状态表示，保留已验证的证据、未解决的不确定性和未完成的探索分支；(2) 将该状态表示传递给后续轮次，实现跨轨迹的经验复用和知识整合；(3) 通过这种递归机制逐步扩展搜索空间覆盖、减少冗余探索，最终提升搜索效率和准确率。同时，作者希望将这一框架推广到小模型，通过SFT使4B和30B参数的模型也能获得与更大模型竞争的能力。

与已有工作不同的是，现有工作主要从两个角度解决深度研究智能体的上下文管理问题：一是内在上下文优化（如DeepSeek-V3.2和GLM-4.7集成的上下文裁剪），聚焦于压缩观察空间和修剪冗余轨迹历史；二是外部记忆机制（如IterResearch的动态记忆结构、MemAgent的多轮记忆代理、ReSum的「摘要-重置」范式）。然而，这些方法要么只关注压缩而缺乏跨轮次的经验传递，要么只关注记忆维护而缺乏对自身轨迹的批判性反思。Re-TRAC的独特切入角度在于：(1) 将轨迹压缩设计为结构化的多层面状态表示，不仅记录「发现了什么」，还记录「还有什么没探索」和「哪些尝试失败了」；(2) 通过递归机制使每轮搜索都建立在前几轮的经验之上，将探索从「一系列独立尝试」转变为「渐进式的信息积累过程」；(3) 在续接提示中明确要求模型批判性地评估前轮摘要，避免过度依赖历史路径而陷入逻辑循环。

核心方法

Re-TRAC的整体思路可以用一个直觉来概括：与其让智能体每次都从零开始搜索（如ReAct），不如让它像一个有经验的研究者一样，每完成一轮搜索后写下详细的研究笔记（结构化状态表示），然后在下一轮搜索时先阅读笔记、评估前轮的成果和不足，再有针对性地继续探索。技术路线如下：首先定义一个深度研究问题和最大轮次限制N（默认为8）。第1轮使用标准ReAct框架执行完整轨迹。然后通过压缩提示将轨迹压缩为结构化状态表示，包含当前答案、证据库、分析结论、来源验证状态和不确定性。该状态表示作为第2轮的初始输入，模型在此基础上执行新的ReAct周期。这一过程递归重复直到达到轮次限制N，最终轮次的答案作为输出。对于前沿大模型，压缩规范还扩展了三个审计层面（失败尝试、未完成提案、被丢弃的可能性），提供更丰富的探索指导。

Re-TRAC的核心创新在于「递归轨迹压缩」这一机制，它与已有方法有本质区别。传统的Pass@K方法（多数投票、加权投票、Best-of-N）虽然也使用多次尝试，但每次尝试完全独立，轨迹之间零通信——这意味着第2次尝试不知道第1次尝试发现了什么、失败在哪里。Re-TRAC的关键区别在于：每轮轨迹结束后，不是简单地保留原始轨迹（会占用大量上下文），也不是简单地丢弃（丢失历史信息），而是将其压缩为结构化的状态表示。这个状态表示精心设计为多个互补层面，既保留了已验证的事实和证据（避免重复工具调用），又保留了未解决的不确定性和失败尝试（引导后续探索方向），还保留了候选分支和未完成的线索（确保探索多样性）。这种设计使得每一轮搜索都是「有记忆的探索」——模型知道自己已经验证了什么、还有什么没探索、以及之前的尝试在哪里失败了。

方法步骤详情

Re-TRAC的执行分为以下步骤：(1) 初始化：定义深度研究查询Q和最大轮次N（默认8），初始轮次t=1。(2) 第一轮执行：使用标准ReAct框架，模型交替进行推理和工具调用（搜索search和浏览visit），生成完整轨迹τ₁，直至模型给出最终答案或达到上下文限制。(3) 轨迹压缩：使用压缩提示（包含固定压缩规范C）将轨迹τt压缩为结构化状态表示St。压缩过程遵循公式 St ← Compress(τt, St−1; C)。状态表示包含五个基本层面：当前答案、事实与证据收集（带来源标注和验证状态）、分析与结论（与证据ID关联）、来源清单与验证状态、不确定性与差距。对于前沿模型，额外包含三个审计层面：失败尝试、未完成提案、被丢弃的可能性。(4) 递归执行：将状态表示St作为续接提示（Continuation Prompt）的初始用户消息，插入到系统提示之后。续接提示明确要求模型：批判性评估摘要的可靠性（可能包含幻觉或未验证假设）；如果任务未解决，利用不确定性部分作为跳板探索全新方向；自主重新规划，不要被前轮摘要的逻辑循环所困。(5) 后续轮次：模型在状态表示的指导下执行新的ReAct周期，t递增。由于已知事实已被记录，模型可避免重复工具调用；由于未完成分支被显式保留，模型可有针对性地探索。(6) 终止：当t达到N时，最终轮次的答案作为Re-TRAC的最终输出。

技术新颖性

Re-TRAC的技术新颖性体现在以下几个方面：第一，它提出了一种全新的测试时扩展维度——顺序递归扩展，区别于传统的并行投票方法。传统方法（多数投票、Best-of-N）通过增加独立样本来扩展，资源消耗线性增长；Re-TRAC通过递归经验传递实现扩展，由于后续轮次继承了前轮状态，搜索空间逐步收敛，资源消耗反而随轮次递减——论文显示Re-TRAC仅需50%的资源即可达到其他方法的性能。第二，压缩规范的设计具有独创性：它不是简单的文本摘要，而是结构化的多层面表示，每个层面服务于不同的探索功能（证据层面避免冗余、不确定性层面引导方向、失败层面避免重蹈覆辙）。第三，续接提示中的「批判性评估」机制要求模型自主判断前轮摘要的可信度，这与简单的「继续搜索」不同，赋予了模型「质疑历史」的能力。第四，论文发现了「不完整分支探索」这一普遍现象并量化了其严重程度（Table 1），这一分析本身为深度研究智能体的设计提供了重要洞见。

ReAct versus RE-TRAC framework
Figure 3: ReAct versus RE-TRAC framework
A comparative overview of the independent ReAct Pass@N and our proposed RE-TRAC framework
Figure 4: A comparative overview of the independent ReAct Pass@N and our proposed RE-TRAC framework
Prompt for classifying trajectory failure modes in incomplete branch exploration analysis
Figure 6: Prompt for classifying trajectory failure modes in incomplete branch exploration analysis
Prompt for the visit tool to extract and summarize goal-relevant information from webpage content
Figure 7: Prompt for the visit tool to extract and summarize goal-relevant information from webpage content
Prompt for answer verification using o4-mini
Figure 8: Prompt for answer verification using o4-mini
Re-TRAC State Representation Prompt (base version)
Figure 9: Re-TRAC State Representation Prompt (base version)
Re-TRAC State Representation Prompt (full version with audit facets)
Figure 10: Re-TRAC State Representation Prompt (full version with audit facets)

实验结果

论文在五个深度研究基准上进行了全面评估，核心发现如下：(1) 同规模SOTA：RE-TRAC-30B-A3B在BrowseComp上达到53.0%准确率，比同规模最强基线Tongyi-DeepResearch-30B-A3B（43.4%）高出9.6个百分点；在GAIA上达到78.2%，比Tongyi-DeepResearch（70.9%）高出7.3个百分点；在XBench上达到83.0%，比Tongyi-DeepResearch（75.0%）高出8个百分点。RE-TRAC-4B在BrowseComp上达到30.0%，在所有15B以下模型中排名第一（AgentCPM-Explore-4B为25.0%，NestBrowse-4B为22.4%，WebExplorer-8B为15.7%）。(2) 超越更大模型：RE-TRAC-30B-A3B在GAIA上超越了所有闭源模型（GPT-5为76.7%，o3为70.5%），在BrowseComp上超越了GLM-4.7-358B（52%）和MiniMax-M2-229B（44.0%）。(3) 前沿模型增益：Re-TRAC作为无训练提示策略，在o3上从Pass@1的54.9%提升到RT@8的69.8%（+14.9%），在GLM-4.7上从37.7%提升到60.7%（+23.0%），在o4-mini上从25.7%提升到46.8%（+21.1%），在DeepSeek-V3.2上从45.3%提升到60.8%（+15.5%）。(4) 资源效率：Re-TRAC的token使用量和工具调用次数随轮次增加而单调递减，表明后续轮次的探索越来越精准。与其他TTS方法相比，Re-TRAC仅需约50%的资源即可达到更优性能。(5) SFT效果显著：未经SFT的Qwen3-4B-Instruct在BrowseComp上仅2.7%，经过Re-TRAC SFT后提升到30.0%（+27.3%），展示了训练数据中结构化状态表示的重要性。

Ratio of trajectories containing incomplete branches among all failed trajectories
Table 1: Ratio of trajectories containing incomplete branches among all failed trajectories
Evaluation on deep research benchmarks
Table 2: Evaluation on deep research benchmarks
Performance of different test-time scaling methods on BrowseComp300
Table 3: Performance of different test-time scaling methods on BrowseComp300
Performance of our model before and after SFT
Table 4: Performance of our model before and after SFT
Performance of o3 on BrowseComp300 with and without the prompt instructing the model to freely use the summary
Table 5: Performance of o3 on BrowseComp300 with and without the prompt instructing the model to freely use the summary
Effect of Summarizer on the final performance
Table 6: Effect of Summarizer on the final performance
Hyper-parameters for Supervised Fine-Tuning
Table 7: Hyper-parameters for Supervised Fine-Tuning
Model-specific inference hyper-parameters for evaluation
Table 8: Model-specific inference hyper-parameters for evaluation
Comparison of RE-TRAC with state-of-the-art agentic models
Figure 1: Comparison of RE-TRAC with state-of-the-art agentic models
Relationship between model accuracy and used tokens/tools with different TTS methods
Figure 5: Relationship between model accuracy and used tokens/tools with different TTS methods
查看结构化数据
任务指标本文基线提升
BrowseComp（英文深度搜索） Accuracy(%) RE-TRAC-30B-A3B: 53.0; RE-TRAC-4B: 30.0 Tongyi-DeepResearch-30B: 43.4; AgentCPM-Explore-4B: 25.0 30B: +9.6%; 4B: +5.0%
BrowseComp-ZH（中文深度搜索） Accuracy(%) RE-TRAC-30B-A3B: 57.3; RE-TRAC-4B: 36.1 Tongyi-DeepResearch-30B: 46.7; AgentCPM-Explore-4B: 29.0 30B: +10.6%; 4B: +7.1%
GAIA（通用AI助手） Accuracy(%) RE-TRAC-30B-A3B: 78.2; RE-TRAC-4B: 70.4 Tongyi-DeepResearch-30B: 70.9; NestBrowse-4B: 68.9 30B: +7.3%; 4B: +1.5%
XBench（专业对齐评估） Accuracy(%) RE-TRAC-30B-A3B: 83.0; RE-TRAC-4B: 76.6 Tongyi-DeepResearch-30B: 75.0; NestBrowse-4B: 74.0 30B: +8.0%; 4B: +2.6%
BrowseComp300（o3, TTS对比） RT@8 Accuracy(%) o3 Re-TRAC: 69.8 o3 Majority Voting: 64.3; o3 Weighted Voting: 69.0; o3 Best-of-N: 68.0 vs MV: +5.5%; vs WV: +0.8%; vs Best: +1.8%
BrowseComp300（GLM-4.7, TTS对比） RT@8 Accuracy(%) GLM-4.7 Re-TRAC: 60.7 GLM-4.7 Majority Voting: 41.7; GLM-4.7 Weighted Voting: 48.0; GLM-4.7 Best-of-N: 42.3 vs MV: +19.0%; vs WV: +12.7%; vs Best: +18.4%

局限与改进

论文存在以下局限性：(1) 压缩质量依赖模型能力：Table 6显示，使用更强的GLM-4.7作为压缩器时，RE-TRAC-4B从30.0%提升到38.5%（+8.5%），但RE-TRAC-30B-A3B反而从53.0%微降到52.4%，表明4B模型的压缩能力是瓶颈，而30B模型的压缩质量已经饱和或压缩器引入了不一致。论文承认小模型的总结能力较弱，但未提供解决方案。(2) 固定轮次限制：Re-TRAC使用固定的轮次上限N=8，没有自适应终止机制——模型可能在第3轮就已经找到答案但仍需继续执行，也可能在第8轮时仍未收敛。缺乏「何时停止」的判断策略。(3) 压缩过程的信息损失：将数十万tokens的轨迹压缩为结构化状态表示不可避免地会丢失细节信息，论文未分析压缩比和信息保留率之间的权衡。(4) 评估基准的局限：虽然使用了5个基准，但主要集中在信息检索类任务（BrowseComp要求从网页中找到特定信息），对于需要复杂推理或多步规划的任务（如代码生成、数学证明）的效果未被验证。(5) 训练数据的来源单一：SFT数据完全来自GLM-4.7的轨迹，这可能引入教师模型的偏见，且论文未探讨从多个教师模型收集轨迹的效果。(6) 缺乏与IterResearch、ReSum等外部记忆方法的直接对比，难以量化Re-TRAC相对这些方法的具体优势。

独立分析的弱点

论文存在几个值得改进的弱点：(1) 压缩器与执行器的耦合问题：当前设计中，模型既负责执行搜索又负责压缩自己的轨迹，这存在「自己评价自己」的局限。Table 6的实验部分验证了这一点——小模型作为自己的压缩器时能力不足，但论文没有深入探讨分离压缩器的设计空间。改进方向可以是训练专门的压缩模型，或者使用更强的外部模型作为固定压缩器。(2) 缺乏动态轮次分配：当前所有轮次使用相同的计算预算，但实际上不同问题的难度差异巨大——简单问题可能1-2轮即可解决，复杂问题可能需要更多轮次。改进方向可以是引入基于不确定性收敛度的自适应停止策略，当状态表示中的不确定性列表不再显著变化时终止。(3) 续接提示中的「批判性评估」依赖模型的自我判断能力：论文发现GLM-4.7在多数投票和Best-of-N上的增益远小于其他模型（Table 3），暗示其自我判断能力较弱，这可能也影响其对前轮摘要的批判性评估质量。(4) SFT数据的多样性不足：所有训练数据来自同一教师模型GLM-4.7的合成问题，问题类型（基于实体树的多跳推理）相对单一。改进方向可以是引入更多样化的问题生成方法和多个教师模型的轨迹。(5) 论文未探讨Re-TRAC与其他TTS方法的组合效果，例如Re-TRAC+多数投票是否能进一步提升性能。

未来方向

论文在结论中提出了两个未来方向：(1) 将Re-TRAC与强化学习结合，优化经验生成过程——当前的压缩过程是启发式的（通过提示工程），可以通过RL训练模型学会更好的压缩策略，使其自动识别哪些信息对未来探索最有价值。(2) 探索Re-TRAC在更广泛智能体任务上的可扩展性——当前评估集中在深度搜索任务，但递归轨迹压缩的思想可以推广到代码调试（记录已尝试的修复和失败原因）、交互式规划（记录已探索的计划分支）等场景。基于论文成果还可以延伸以下方向：(3) 自适应轮次分配：设计基于不确定性收敛度的停止策略，避免在已收敛问题上浪费计算。(4) 多压缩器架构：探索使用不同能力的模型分别负责执行和压缩，优化资源分配。(5) 压缩规范的自动学习：将压缩规范C从固定的提示模板改为可学习的参数，通过元学习或RL自动优化压缩格式。(6) 分层状态表示：对于极长的多轮搜索，可以引入分层压缩机制，将多轮状态表示进一步压缩为高层摘要，实现更长时间跨度的记忆。

复现评估

论文的复现性较好。作者承诺在GitHub上开源代码和模型。训练方面，SFT使用104K样本，训练超参数在Table 7中详细列出（学习率2e-5，batch size 512，最大长度65536，warmup ratio 0.05，Adam优化器β₁=0.9/β₂=0.95，权重衰减0.1）。推理超参数在Table 8中列出，包括各模型的上下文窗口、温度、Top-P和推理设置。评估遵循BrowseComp标准协议，使用o4-mini作为答案验证器（prompt见Figure 8）。数据方面，训练数据通过实体树方法从Wikipedia收集33K QA对，然后用GLM-4.7运行Re-TRAC（4轮）收集轨迹。工具实现（搜索和浏览）的接口适配了各模型的函数调用规范。主要复现障碍包括：(1) 需要GLM-4.7作为教师模型生成SFT数据，该模型本身需要大量算力；(2) 评估使用的搜索API（Google Search Web API）需要API密钥；(3) 部分基线模型（如Tongyi-DeepResearch）的训练细节未完全公开。总体而言，对于有足够算力和API资源的研究者，复现Re-TRAC框架和评估流程是可行的。

论文图表

Performance of Pass@8 serves as the theoretical upper bound of the models
Figure 2: Performance of Pass@8 serves as the theoretical upper bound of the models

折线图展示o3、DeepSeek-V3.2、GPT-5-medium和o4-mini四个模型在BrowseComp上Pass@1到Pass@8的准确率变化。所有模型的Pass@8都显著高于Pass@1：o3从56.7%提升到81.7%，DeepSeek-V3.2从44.3%提升到72.0%，GPT-5-medium从47.0%提升到77.3%，o4-mini从26.7%提升到57.3%。差距最大的是o4-mini（+30.6%），表明小模型的单次探索能力远未触及上限。

这张图量化了单次探索与多次探索之间的巨大差距，为Re-TRAC的设计提供了理论依据——问题不在推理能力，而在探索覆盖。

Figure 11: Re-TRAC Continuation Prompt

续接提示模板，在后续轮次开始时附加在状态表示之前。包含三个关键指令：(1) 批判性评估——摘要可能包含幻觉、未验证假设或过早结论，模型应识别并忽略不可靠部分；(2) 扩展搜索空间——如果任务未解决，利用不确定性列表作为跳板，转向全新的关键词簇或工具调用策略；(3) 自主重新规划——摘要提供记忆，但模型提供推理，应基于自身判断决定下一步。

展示了Re-TRAC如何避免模型过度依赖前轮摘要而陷入逻辑循环的关键设计。