SPARK：基于动态分支的策略感知探索用于长时域智能体学习 Spark: Strategic Policy-Aware Exploration via Dynamic Branching for Long-Horizon Agentic Learning
通过关键状态动态分支实现精准资源分配，提升长时域智能体探索效率
前置知识
部分可观测马尔可夫决策过程（POMDP）
POMDP是一种在经典MDP基础上引入部分可观测性的决策框架。与MDP不同，智能体无法直接观测到环境的真实状态 $s_t \in S$，只能通过观测 $o_t \in O$（如文本反馈）来间接推断环境状态。智能体维护一个交互历史 $h_t = (o_0, z_0, a_0, \ldots, o_t)$ 作为信念状态的代理。在长时域智能体任务中，这种部分可观测性尤为重要，因为智能体需要从大量文本反馈中识别关键信息并做出决策。
本文将长时域智能体任务建模为POMDP，理解这一框架是理解论文方法设计的前提，特别是为什么需要在某些状态节点进行额外探索。
GRPO（Group Relative Policy Optimization）
GRPO是一种无评论器（critic-free）的策略优化框架，核心思想是通过组内相对奖励来估计优势函数。它将同一任务的多个采样轨迹组成一个组，用二值终端奖励（成功为10，失败为0）进行归一化，避免了训练独立价值网络的开销。GRPO使用标准的裁剪优化目标，配合KL散度正则项，与reference policy保持距离，从而在维持计算效率的同时保证推理密集型任务的性能。
SPARK在GRPO框架基础上构建，利用其组内相对优势估计机制来实现树形轨迹的策略优化，理解GRPO是理解SPARK优化流程的关键。
探索-利用权衡（Exploration-Exploitation Trade-off）
在强化学习中，智能体面临的核心困境是：应该探索新的、未知的状态-动作对（探索），还是选择已知能带来高回报的动作（利用）。在长时域任务中，由于状态空间庞大且成功轨迹稀疏，盲目均匀探索会浪费大量计算在无意义的步骤上（如开门），而错过真正需要深入探索的关键决策点（如选择替代物品）。探索效率直接影响训练的样本效率和最终性能。
本文的核心论点是现有方法在探索-利用权衡上存在缺陷，采用均匀分配资源的策略导致效率低下，而SPARK通过智能分支解决了这一问题。
认知不确定性（Epistemic Uncertainty）
认知不确定性是指由于数据或知识不足而导致的不确定性，与环境的随机性（偶然不确定性）不同。在本文中，认知不确定性体现在智能体对当前状态下最优动作缺乏信心，表现为推理过程中的语义模糊性或决策困难。例如，当智能体在冰箱中找不到鸡蛋时，它面临多个可能的替代位置（灶台、抽屉、水槽），这种不确定性的高低决定了是否需要额外探索。智能体通过 标签显式表达这种不确定性。
SPARK利用智能体内在的认知不确定性信号来决定在哪些状态触发分支探索，这是整个框架的核心机制。
树形结构探索（Tree-Structured Exploration）
传统链式RL中，每个轨迹是独立的线性序列。树形结构探索则是在关键节点处创建多个分支，使得从同一前缀状态可以探索不同的后续动作。这类似于国际象棋中的变招分析：在关键局面下同时研究多个可能的走法。树形探索的核心优势是共享前缀步骤（如前几步的导航动作），将计算集中在关键决策点，从而在相同预算下获得更高质量的轨迹。
SPARK构建的正是这种树形探索结构，但与均匀分支方法不同，它只在关键状态触发分支，这是其区别于已有树形方法的本质特征。
研究动机
在长时域智能体任务中，现有强化学习方法面临一个根本性的瓶颈：在有限资源约束下高质量轨迹的稀缺性。与数学问题中解法自包含且可直接验证不同，智能体任务需要在庞大的状态空间中导航，一个微小的错误就可能使整个长序列偏离目标。例如，在ALFWorld的早餐准备任务中，现有方法（如GRPO）采用均匀探索策略，将计算资源无差别地分配给每一个步骤。这意味着'打开冰箱门'这样的简单动作消耗了与'在缺少目标物品时选择替代方案'同样多的探索资源。这种资源分配方式导致两个严重后果：一方面，大量计算浪费在无意义的简单步骤上；另一方面，真正关键的决策点缺乏足够的探索深度。结果是智能体陷入机械性循环——GRPO训练的智能体在鸡蛋检索任务中被困在冰箱、餐桌和微波炉之间的三角循环长达30步，却始终无法跳出这个模式去检查水槽或橱柜等合理位置。
本文的目标是本文的具体目标是提出一种能够在有限计算预算下显著提升长时域智能体任务成功率的框架。量化目标包括：在ALFWorld、ScienceWorld和WebShop三个基准测试上超越现有RL方法（GRPO、GiGPO、RLVMR）的性能；在仅使用20%训练数据的情况下达到甚至超过GRPO使用全部数据时的性能；在域外（OOD）任务上保持稳健的泛化能力，将性能衰减控制在30%以内。SPARK希望通过精准的资源分配，让较小的模型（如1.5B参数）能够匹敌甚至超越大型闭源模型（如GPT-5、Gemini-2.5-Pro）在长时域任务上的表现。
与已有工作不同的是，本文抓住了一个被现有工作忽视的关键观察：在长时域任务中，并非所有决策步骤都具有相同的重要性。任务成功通常依赖于少数几个关键决策点（pivotal steps）上的正确选择，而大多数步骤属于常规操作。现有方法（包括树形搜索方法如TreeRL）要么均匀分配资源，要么在每个步骤都进行分支，没有区分关键状态和常规状态。SPARK的独特视角是：让智能体自身来识别哪些决策点需要额外探索。具体来说，智能体通过推理过程中的 标签显式表达认知不确定性，框架根据这一内在信号决定是否触发分支。这种'从被动接受外部监督到主动参与探索策略'的范式转变，使得方法无需人类先验知识或外部奖励模型，就能实现精准的资源分配。
核心方法
SPARK的核心直觉可以用一个类比来理解：想象你在迷宫中寻找出口，传统方法是派出N个人各自独立探索，每个人从头走到尾；而SPARK的做法是先派出少数几个人走到第一个岔路口，然后在不确定的岔路口处让每个人尝试不同的方向，在确定的路径上则继续前进。这样，相同的资源被集中在真正需要决策的地方。技术路线上，SPARK将长时域智能体任务建模为POMDP，然后通过四个阶段实现动态分支探索：首先在初始状态创建多个并行的轨迹根节点；然后在每一步，智能体通过推理过程判断当前状态是否需要额外探索，如果推理中出现 标签则触发分支生成B个并行延续；接着通过预算约束确保不超过总预算N；最后使用树形轨迹进行GRPO风格的策略优化。
SPARK与已有方法最本质的区别在于：它不是通过外部信号（如过程奖励模型、token级熵值或MCTS的UCT分数）来判断探索价值，而是利用智能体自身的推理过程来生成探索信号。具体而言，当智能体在推理过程中识别到认知不确定性或语义歧义性时，它会生成一个 标签，框架据此决定是否触发分支。这种机制有三个关键优势：第一，它消除了对人类先验知识的依赖，无需人为设计何时探索的规则；第二，探索策略能够自然适应新场景，因为智能体学到的是识别不确定性模式而非固定规则；第三，它实现了'主动的自我感知参与者'而非'被动的外部测量对象'的角色转变。理论分析表明，在关键状态数 $K_c \ll K$（总步数）的典型场景下，SPARK在每个关键状态的有效动作样本数可达到 $O(N/(M \cdot K_c))$，远高于独立采样的 $O(1)$，从而实现 $\Omega(K/K_c)$ 的优势。
方法步骤详情
SPARK的完整流程分为四个阶段。Stage 1：根节点初始化——在初始状态 $s_0$，通过采样 $M$ 个不同的推理-动作对创建 $M$ 个并行轨迹根节点，即 $\{(z_0^{(i)}, a_0^{(i)})\}_{i=1}^M \sim \pi_\theta(\cdot | h_0)$，其中 $M < N$（典型值M=4）。Stage 2：自主分支——对每个活跃轨迹在步骤t，智能体生成推理轨迹 $z_t^{(i)}$ 和动作 $a_t^{(i)}$，通过分支准则 $B(z_t^{(i)})$ 判断是否触发分支：如果推理中包含 标签则 $b_t^{(i)} = B$（默认B=2），否则 $b_t^{(i)} = 1$。触发分支时，从当前状态采样 $B$ 个并行延续 $\{(z_{t+1}^{(i,j)}, a_{t+1}^{(i,j)})\}_{j=1}^{b_t^{(i)}}$。Stage 3：预算约束——通过动态调整实际分支因子 $b_{t,eff}^{(i)} = \min(b_t^{(i)}, N - N_{current} + 1)$ 确保不超过总预算N。Stage 4：树形策略优化——将完成的轨迹树分组，同一任务的轨迹组成组G，用二值终端奖励进行组归一化优势估计，然后用GRPO风格的裁剪优化目标更新策略，共享前缀诱导的可比替代方案实现了精细的信用分配。
技术新颖性
SPARK的技术新颖性体现在三个层面。首先，在探索信号来源上，已有方法依赖外部统计信号（如ARPO的tool call后分布偏移、FR3E的token级熵值）或算法启发式（如DeepSearch的UCT分数），而SPARK首次利用智能体内在的语义推理能力来生成探索信号，这种 标签是通过冷启动SFT（300条轨迹）学习的格式对齐能力，而非特定策略的蒸馏。其次，在分支策略上，已有树形方法（如TreeRL、TreePO）在每一步都进行均匀分支，导致计算开销随步数指数增长（如30步任务会产生 $2^{30}$ 条轨迹），而SPARK仅在关键状态触发选择性分支，将分支因子从指数级压缩到线性级。第三，在自我调节能力上，SPARK的 触发频率会在训练过程中自动调节——ALFWorld上从训练初期的增长逐渐收敛到0.29，WebShop上快速收敛到0.17，表明智能体学会了根据任务复杂度和自身能力动态调整探索策略。
实验结果
SPARK在三个长时域智能体基准上展现了压倒性的性能优势。在ALFWorld任务上，1.5B模型的SPARK达到L0成功率96.9%，显著超过GRPO的76.6%（+20.3%）和RLVMR的89.1%（+7.8%）；在最困难的L2域外任务上，SPARK达到80.5%，是GRPO（29.7%）的2.7倍。在ScienceWorld上，SPARK-1.5B的L2成功率达到49.2%，超越GPT-5（33.6%）和Gemini-2.5-Pro（30.5%），这一结果表明策略探索能让小模型匹敌甚至超越大型闭源系统。在WebShop上，SPARK-1.5B达到88.8%的分数和75.8%的成功率，均优于所有基线。7B模型的结果进一步验证了方法的有效性：SPARK-7B在ALFWorld Look上达到100%，在ScienceWorld L2上达到57.8%，相比GRPO提升31.2%。在样本效率方面，SPARK仅用20%的训练数据就在ALFWorld L0上达到84.4%的成功率，超过GRPO用100%数据的76.6%；用40%数据达到89.1%，匹配RLVMR的峰值性能。在token效率方面，SPARK通过共享前缀分别在ALFWorld、ScienceWorld和WebShop上节省了6.9%、47.0%和11.2%的token消耗。在泛化能力方面，SPARK将域外性能衰减控制在ALFWorld 16.9%和ScienceWorld 29.2%，远优于GRPO的61.2%和48.3%。消融实验表明，固定概率分支（不考虑状态关键性）将ScienceWorld性能从69.5%降至45.3%，验证了选择性分支的重要性；初始根节点数M=4在总预算N=8下达到最优平衡。统计显著性检验（Wilcoxon符号秩检验）给出p值9.7e-4，在α=0.05水平下确认SPARK相对于GRPO的显著优势。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld L0（域内） | 成功率 (%) | 96.9（1.5B）/ 96.1（7B） | GRPO 76.6（1.5B）/ 79.3（7B） | +20.3%（1.5B）/ +16.8%（7B） |
| ALFWorld L2（域外） | 成功率 (%) | 80.5（1.5B）/ 88.3（7B） | GRPO 29.7（1.5B）/ 52.3（7B） | +50.8%（1.5B）/ +36.0%（7B） |
| ScienceWorld L0 | 成功率 (%) | 69.5（1.5B）/ 75.0（7B） | GRPO 21.1（1.5B）/ 49.1（7B） | +48.4%（1.5B）/ +25.9%（7B） |
| ScienceWorld L2（域外） | 成功率 (%) | 49.2（1.5B）/ 57.8（7B） | GRPO 10.9（1.5B）/ 26.6（7B） | +38.3%（1.5B）/ +31.2%（7B） |
| WebShop | 分数 / 成功率 | 88.8 / 75.8（1.5B） | GRPO 75.8 / 56.8（1.5B） | +13.0% / +19.0% |
| Sokoban（多模态） | 成功率 (%) | 84.4 | GRPO 67.1 | +17.3% |
| 推理扩展（Pass@16） | 成功率 (%) | 94.9（ScienceWorld） | RLVMR 64.8 | +30.1% |
局限与改进
作者在论文中承认了若干局限性。首先，SPARK依赖智能体自身的认知不确定性信号来识别关键决策点，当基础模型能力较弱时，智能体的自我意识有限，可能无法可靠地在真正关键的状态触发 标签，导致探索机会的遗漏或在常规步骤上的虚假分支。其次，在关键决策密集分布的任务中（即关键状态数 $K_c$ 接近总步数 $K$），选择性分支的优势会减弱，SPARK可能无法显著超越均匀探索策略。此外，从我的独立观察来看，SPARK的评估仅限于文本和简单的多模态任务（Sokoban、EZPoints），尚未在更复杂的现实世界交互场景中验证；冷启动SFT阶段虽然对教师模型不敏感，但仍需要300条成功轨迹，这在某些新领域可能是瓶颈；树形结构的构建引入了额外的上下文管理复杂度（限制对话历史长度为5步），可能影响长依赖任务的性能。
独立分析的弱点
从独立分析的角度看，SPARK存在几个值得关注的弱点。第一， 标签的触发完全依赖智能体的自我判断，缺乏外部验证机制——当智能体错误地认为某一步是常规操作而实际需要探索时，这种'自信的错误'无法被纠正。改进方向是引入轻量级的外部不确定性估计器（如基于历史轨迹的熵估计）作为辅助信号，与内在 信号进行融合。第二，分支因子B和初始根节点数M等超参数虽然有敏感性分析，但仍需手动设定。在不同任务特性（关键状态密度、轨迹长度）下最优值不同，改进方向是开发自适应的超参数调整策略，根据任务特征动态调整B和M。第三，树形结构的共享前缀优势在轨迹较长时会递减——当M个根节点在早期就各不相同时，后续分支无法共享前缀，token节省效果有限。改进方向是引入前缀合并策略，在相似轨迹间识别并共享公共前缀。第四，当前方法在WebShop上的提升相对有限（+13%分数），这类搜索-点击型任务中关键决策密集分布，选择性分支的优势不明显，可能需要针对不同任务类型设计差异化的探索策略。
未来方向
作者提出未来将探索基于学习的校准机制，将内部信号与外部反馈结合以增强状态感知能力，从而提升战略分支在不同模型能力下的鲁棒性和适用性。基于论文成果，我认为还有几个值得延伸的方向：第一，将SPARK的动态分支机制扩展到多智能体协作场景，多个智能体可以在关键决策点进行协调分支，避免重复探索；第二，结合课程学习（Curriculum Learning），在训练初期允许更频繁的分支以充分探索，随着策略成熟逐步收紧分支触发条件；第三，探索 信号在推理时缩放（Test-Time Scaling）中的应用——论文已初步验证了spark-inference策略的有效性，进一步可以设计更复杂的推理时搜索策略，如基于 信号的蒙特卡洛树搜索；第四，将方法扩展到连续控制任务和视觉语言模型的复杂交互场景，验证其在更广泛模态和任务类型上的泛化能力。
复现评估
SPARK的代码和检查点已在GitHub开源（https://github.com/jinyangwu/SPARK），这为复现提供了良好基础。实验使用Qwen2.5-1.5B/7B-instruct作为基础模型，这些模型公开可用。SFT阶段需要300条成功轨迹，其中90%来自RLVMR公开数据集的回溯标注（使用Kimi-K2教师模型），10%来自真实环境交互。算力方面，所有实验在4块NVIDIA A100-80GB GPU上完成，对于1.5B模型来说算力需求适中。关键超参数设置清晰：总预算N=8，初始根节点M=4，分支因子B=2，学习率1×10⁻⁶，batch size 16，训练120步。评估使用三个公开基准（ALFWorld、ScienceWorld、WebShop），数据划分和评估指标与先前工作一致。复现的主要难点在于：需要搭建三个不同的交互环境；SFT数据的回溯标注依赖外部教师模型（虽然消融实验显示对教师模型不敏感）；树形轨迹的实现需要仔细管理上下文窗口和活跃轨迹掩码。总体而言，中等难度的复现，主要门槛是计算资源和环境搭建。
论文图表
