AREX：面向深度研究的递归自我改进智能体 AREX: Towards a Recursively Self-Improving Agent for Deep Research

完整流程可拆为研究、训练两大块。研究侧：在第 $k$ 个递归轮，内层循环把有效上下文 $\bar h^{(k)}_t$ 定义为最近一次update_context的输出 $z^{(k)}_\tau$ 拼上其后步骤（若无更新则等于全轨迹），策略据此生成 $m^{(k)}_{t+1},a^{(k)}_{t+1}=\pi_\theta(x,q^{(k)},\bar h^{(k)}_t)$；模型在解决子问题、淘汰候选、调和冲突证据或改变计划后自主调用update_context，最终调用finish得到 $r^{(k)}$。外层循环按决策规则 $d^{(k)}$ 处理：Refine时用 $h^{(k+1)}_0=\text{Refresh}(\bar h^{(k)}_{T_k},\mathcal{P}^{(k)},\mathcal{I}^{(k)})$ 初始化下一轮，Restart时 $h^{(k+1)}_0=\text{Init}(x)$。训练侧：先做训练数据构造——递归研究任务合成（从网页/文献/知识库抽取潜在答案 $y$ 与约束集 $C(y)=\{c_1,\dots,c_n\}$，经多跳抽象与自动验证保证答案唯一、证据可查、难度足够），再做强教师模型在同环境下的轨迹采集 $\tau_i\sim\pi_{\text{teacher}}(\tau|x)$ 并经有效性、工具可靠性、证据接地、置信度 $s_{\text{conf}}<\tau_{\text{conf}}$ 过滤得到 $\mathcal{D}_{\text{traj}}=\{(x,\tau)|V(x,\tau)=1\}$。然后是渐进式中训练（先浏览密集多轮轨迹，再推理密集数据，再做关键步聚焦的混合能力巩固）与step-aware强化学习（分层步级策略比 $\rho_{i,j}$、步级塑形优势 $A_{i,j}=A^{out}_i+\lambda_{key}\tilde B_{i,j}$）。关键步监督的目标为 $\mathcal{L}_{\text{key}}=-\mathbb{E}_{s_j\sim\mathcal{K}}\frac{1}{|s_j|}\sum\log\pi_\theta(a_{j,k}|c_{j,k})$，只对关键步施损失、前缀上下文被mask但保留以维持正确状态。推理时每个episode最多300个内层轮次、5次外层循环操作。

技术新颖性体现在四方面。第一，双循环把验证作为转移算子，使"部分验证的研究状态"在轮次间显式保留与重用，区别于把验证仅用于排序或单轨迹内精修的既有工作。第二，update_context是模型自主调用的工具而非外部摘要，按研究目标组织状态——Table 2显示80.3%的BrowseComp案例会调用，且仅在平均25,721/中位25,386 token处触发（远低于128K上限），仅0.01%触顶，说明它是"主动研究操作"而非"被动预算控制"。第三，关键步标注基于高精度规则检测器、锚定在可验证任务结构上（首次引入答案相关证据的工具调用、首次否定错误假设并重定向、关键上下文更新步），且仅在最终答案通过验证的轨迹上保留，避免了自我报告式伪标注。第四，step-aware RL用几何均值做长度归一化的步级策略比 $\rho_{i,j}=\exp(\frac{1}{L_{i,j}}\sum\log r_{i,j,k})$ 与轨迹内-组内分层平均，防止长轨迹因步数多而主导目标，更贴合长程研究的异构结构；关键步塑形 $\tilde B_{i,j}=\mathbb{I}[R_i>0]\cdot B_{i,j}$ 仅在轨迹成功时给奖励，避免奖励伪相关中间行为。

第一，关键步检测器是基于规则的、任务相关的，依赖可验证结构（如"首次引入答案相关实体的工具调用"），难以推广到无明确参考答案的开放式或主观任务，改进方向是学习一个端到端的"步效用估计器"在线标注。第二，外层Restart/Refine的决策高度依赖模型自评置信度 $s^{(k)}$，而Figure 3显示即便有ACU仍有约33.0%的错误分布在90-100区间（误判为高置信），且阈值 $\tau$ 是手工预设，改进方向是用校准损失或多评审投票替代单一自评。第三，训练数据全部来自合成的可验证任务，存在"合成分布与真实研究分布偏移"风险，且教师轨迹采集与122B-A10B MoE训练的算力门槛极高，改进方向是用真实查询+在线RL闭环减少对合成数据与教师模型的依赖。第四，成本-性能权衡未被量化：递归多轮+自主ACU虽提升精度，但单题消耗的轮次与token大幅增加，论文未给出与同精度单轮基线的成本对比，改进方向是引入预算感知的提前终止或自适应轮数。第五，外层循环上限固定为5、内层为300，对极难任务可能不足，对简单任务又浪费，可改为动态预算。

作者明确提出的方向是"研究更通用、更自主的机制来估计步效用并分配细粒度训练信号"，即把离线、基于规则的关键步标注升级为在线、可学习的步级信用分配。基于本文成果可延伸的方向包括：（1）将ACU的双循环框架迁移到多模态（图像/视频/代码）深度研究，让update_context管理跨模态证据与来源；（2）用真实查询驱动在线RL闭环（self-play或对抗验证器）替代教师轨迹采集，缓解对合成可验证任务的依赖并扩展到开放式研究；（3）把置信度校准与Restart/Refine决策联合优化，甚至引入多个独立验证视角做投票式置信度；（4）探索预算感知的递归——让外层循环根据剩余预算与边际置信增益动态决定何时停止，以改善成本-精度权衡；（5）把关键步损失分析与step-aware RL推广到通用长程Agent（编码、数学证明、科学发现），验证其普适性。

复现难度总体偏高但部分资源开放。模型方面作者提供了HuggingFace模型集合（BAAI/arex）、项目主页与在线App，AREX-Turbo（4B dense）相对可在单卡/少量卡上跑推理，但AREX-Base为122B-A10B MoE，训练与部署都需大量GPU。骨干依赖Qwen3.5-4B与Qwen3.5-122B-A10B（论文称已发布）。训练数据构造的关键细节——合成任务模板、约束变换 $x=f(y,C')$、教师模型选择、质量过滤阈值 $\tau_{\text{conf}}$——虽给了流程框架但具体超参与模板不全，复现难度大；关键步检测器的规则虽描述了三类（证据发现、路径否决重定向、关键上下文更新），但实现代码与检测精度未完全公开。step-aware RL的损失形式 $\mathcal{L}_{\text{step}}$、分层归一化、$\lambda_{\text{key}}$、KL系数 $\beta$ 等都以公式给出但数值超参未列全。评测协议较清晰（统一search/visit/update_context/finish/python工具、最多300内层轮+5外层操作），便于复现推理部分。综合看，推理与消融结论较易复现，训练侧（尤其122B MoE的完整训练）复现门槛很高。