用于多模态智能体推理的智能体探索策略优化 Agent Explorative Policy Optimization for Multimodal Agentic Reasoning

AXPO方法包含三个主要步骤。第一步是工具调用重采样：给定一个标准GRPO组的工具使用rollout $\tau_{\text{src}}$及其前缀$t_{\text{src},1}$（包含开头的标签），从$\pi_\theta(\cdot | x, t_{\text{src},1})$采样K个续传$\{y_{\text{res}}^k\}_{k=1}^K$，执行每个重采样轨迹中的工具调用，并向前滚动直到标签或轮次限制，形成重采样轨迹$\tau_{\text{res}}^k = (t_{\text{src},1}, y_{\text{res}}^k)$，每个重采样轨迹接收与标准rollout相同的二元结果奖励$r_{\text{res}}^k \in \{0, 1\}$。第二步是重采样候选选择：AXPO只在工具使用子组非空且完全错误的组中触发重采样，这些组是工具调用token在GRPO下接收非正优势的组；AXPO将最高$r \cdot BN$的额外预算分配给触发的组，按广度优先分配每个触发的质量问题在收到第二个之前接收其排名最高的前缀；AXPO通过$\tau_{\text{src}}$中工具调用token上的平均策略概率（一个易于处理的不确定性代理）对候选进行排名，并且首先重采样最低置信度的前缀。第三步是优势计算：对于每个选定的前缀$t_{\text{src},1}$，K个重采样续传形成一个独立优势组，计算per-prefix GRPO优势$\hat{A}_{\text{res}}^k(t_{\text{src},1}) = (r_{\text{res}}^k - \text{mean}(\{r_{\text{res}}^j\}_{j=1}^K)) / \text{std}(\{r_{ ext{res}}^j\}_{j=1}^K)$，这只应用于续传token$y_{ ext{res}}^k$，前缀思考token被mask；源轨迹的前缀token通过$\tau_{ ext{src}}$用二元恢复奖励$r_{ ext{prefix}}(t_{ ext{src},1}) = \mathbb{1}[\exists k \in \{1, ..., K\}: r_{ ext{res}}^k = 1]$更新，这个恢复奖励替换源组GRPO归一化中的原始（零）源rollout奖励，计算应用于源前缀token的per-prefix优势$\hat{A}_{ ext{prefix}}(t_{ ext{src},1})$。

AXPO的技术新颖性体现在三个方面。首先，AXPO是第一个专门针对智能体推理中工具调用边界进行有针对性探索的RL算法，它利用Thinking-Acting Gap的结构性不对称性，将探索集中在rollout分布上的工具调用位置，而不是通过奖励塑形或rollout扩展。其次，AXPO的优势计算分解避免了对共享前缀token的矛盾信号：失败的源rollout惩罚前缀，而成功的重采样奖励前缀，AXPO通过恢复指示器$r_{ ext{prefix}}$避免这种冲突，确保每个token只从一个源更新。第三，AXPO的理论分析证明，工具调用重采样在恢复工具使用成功rollouts的覆盖率上严格优于原始采样，这对于理解为什么AXPO能够在有限的额外预算内取得比扩展rollout预算更大的增益提供了理论基础。

AXPO的第一个潜在弱点是在某些场景下可能过度专注于工具调用，而忽视思考阶段的优化。对于某些问题，思考阶段本身可能是瓶颈，工具调用重采样无法帮助。改进方向可以是在工具调用重采样的基础上，增加对思考前缀的自我反思和优化，或者在重采样时同时探索工具调用和思考前缀的微小变化。第二个弱点是AXPO的重采样预算分配策略虽然优先级明确，但可能在某些问题类型上不最优。改进方向可以是学习式地分配重采样预算，根据问题类型、工具类型或历史表现动态调整重采样策略。第三个弱点是AXPO的不确定性代理（平均策略概率）可能不是最优的不确定性度量。改进方向可以是探索其他不确定性度量，如预测熵、信息增益或ensemble disagreement，或者结合多个度量形成更鲁棒的排名机制。第四个弱点是AXPO的优势计算分解避免了梯度冲突，但也可能损失某些信息。改进方向可以是更灵活的优势分配机制，在避免冲突的同时保留更多信息，或者允许一定程度的权衡。

作者提出的未来方向包括：扩展到更大规模的模型（如32B或更大），验证AXPO的可扩展性；探索更复杂的工具集和工具组合，测试AXPO在更丰富智能体环境中的效果；研究AXPO与其它技术（如self-play、curriculum learning）的结合；开放源代码和模型，促进社区的进一步研究。基于论文成果的可延伸方向包括：将AXPO应用到其他模态（如音频、视频）的智能体推理中；探索AXPO在多智能体协作场景中的应用；研究AXPO在在线学习或持续学习场景中的适应性；开发更高效的AXPO实现，减少计算开销；研究AXPO与其它RL算法（如off-policy RL）的结合；探索AXPO在奖励稀疏或延迟的环境中的表现。

论文提到项目页面可用，但未在正文中明确说明是否开源代码、数据和模型。实验使用的训练数据包括64K SFT轨迹（来自ViRL、fvqa和PyVision-RL，由Qwen3-VL-32B-Thinking生成）和38K RL问题（16K过滤子集+22K来自MMFineReason-hard）。基准测试包括九个多模态数据集，涵盖Reasoning（MathVision、DynaMath、Math-VR）、Perception（V⋆、VisualProbe、HR-Bench-4K、HR-Bench-8K）和Search（HR-MMSearch、MMSearch）三个类别。实验在Qwen3-VL-Thinking的三个规模（2B、4B、8B）上进行。论文未详细说明训练所需的计算资源，但提到了SFT + AXPO在8B规模上达到或超过32B Base的性能，暗示训练成本可控。复现难度评估：虽然论文详细描述了方法和实验设置，但如果代码不开源，精确复现仍有挑战，尤其是工具调用重采样和优势计算的具体实现细节。数据方面，公开数据集（如MathVision、V⋆等）可以获取，但训练轨迹数据可能需要重新生成。总体而言，如果作者开源代码和数据，复现难度中等；否则，复现难度较高。