分层实验主义智能体：通过主动实验实现 LLM 智能体的 in-context 自我改进 Hierarchical Experimentalist Agents
HExA 让 LLM 智能体通过主动实验学习可迁移技能，无需参数更新即可显著提升性能
前置知识
In-Context Learning
In-Context Learning（上下文学习）是指通过在推理时向模型提供相关示例或指令，让模型在不更新参数的情况下适应新任务的能力。HExA 将这一概念扩展到强化学习场景，不是从静态示例学习，而是从动态的交互轨迹中学习。模型通过检索和使用之前学到的技能作为上下文，在新任务中表现更好。技能检索基于奖励标签 $r_k$ 计算，使用公式 $G = \text{RETRIEVER}(K, \ell, M, N)$ 获取 top-M 技能和 top-N 错误记录。
HExA 的核心创新就是在不更新模型权重的情况下实现自我改进，理解 in-context learning 的基本原理是理解 HExA 工作机制的基础。
工具调用（Tool Calling）
工具调用是指 LLM 通过调用外部工具或 API 来扩展其能力的技术。在 HExA 中，智能体通过工具接口与环境交互，例如场景检查、部分模拟、接触日志等。工具调用返回的结果（观察）成为智能体下一步决策的输入，形成一个 Thought-Action-Observation 的循环。在 catapult 关卡中，智能体可以调用 describe_scene_geometry、predict_first_contact(x,y,r)、simulate_with_trace 等工具来收集实验数据。
HExA 依赖于智能体能够通过工具与环境进行结构化交互来收集实验数据，这是主动实验的基础机制。
层次化技能（Hierarchical Skills）
层次化技能是指将低级技能组合成更抽象、更通用的高级技能的过程。在 HExA 中，早期的技能（如特定的坐标放置）可以作为后续更抽象技能（如通用的物理原理）的构建块。例如，多个具体的放置策略可以抽象成接触几何控制冲量方向这样的物理原理。技能奖励标签通过 $r_k = \text{clamp}(\frac{\bar{r}_{src} + 1}{2}, 0.1, 1.0)$ 计算，其中 $\bar{r}_{src}$ 是调用该技能的轨迹的平均奖励。
HExA 的核心优势之一就是能够学习层次化的可迁移技能，理解这个概念有助于理解为什么 HExA 的技能可以跨任务迁移。
研究动机
当前 LLM 智能体的主要范式假设预训练的参数化知识足以解决任何查询。这在训练语料库中密集表示的领域表现良好，但在面对新环境时会完全失效。即使模型掌握了通用知识，应用到具体实例时也远超回忆和推理的要求。例如，知道物理定律本身并不能解决实验物理问题。论文数据显示，在最难的 Interphyre catapult 级别上，即使是强大的 Claude Sonnet 4.6，基线 DIRECT 方法仅达到 2% 的成功率，ReAct 方法也只有 8%，说明纯粹依靠参数知识在需要精确实验的任务上严重不足。这一问题的根本原因在于 LLM 缺乏通过主动交互来收集任务特定证据的能力。
本文的目标是本文的核心目标是让 LLM 智能体能够像科学家一样通过主动实验来学习。具体来说，智能体应该能够探索环境、收集查询相关的数据或通用原则、通过从多样化的交互和经验中学习来获得新的可重用技能，并将这些技能整合以有效地采取行动或回答查询。目标是在不更新模型参数、不依赖外部监督、不需要离线数据的情况下，实现智能体的自我改进。特别重要的是，智能体应该能够学习到可迁移的技能，这些技能不仅适用于当前任务，还能够迁移到相关的未见任务上。
与已有工作不同的是，与以往工作不同，HExA 聚焦于需要主动实验来收集查询相关证据的任务设置，而非仅仅回忆和推理。现有的技能学习方法（如 AutoSkill、AutoRefine、CoEvoSkills、EvoSkill）通常依赖外部反馈信号（如执行反馈、真实标签比较或任务完成奖励），这在没有自动反馈的上下文学习场景中不可用。另一类方法（如 SKILL0、SkillRL）通过参数更新内部化技能，限制了对闭源模型的使用。HExA 的独特切入角度是通过 in-context 主动实验来发现和进化技能，完全不依赖参数更新或外部监督，只需要环境自身的交互反馈。
核心方法
HExA 是一个训练自由的 in-context 强化学习框架，采用 Actor-Evolver-Retriever 三层循环架构。直觉上，智能体像一个科学家：设计假设并实验（Actor），从成功和失败中提炼经验教训形成可重用的技能（Evolver），在新实验开始时检索最相关的技能来指导行动（Retriever）。技术路线上，HExA 将交互轨迹蒸馏成持久的外部技能库，一组自然语言策略和错误记录，并在每个新回合开始时重新注入到智能体的上下文中。这使得 HExA 与任何工具增强的 LLM（包括闭源模型）兼容，只需要环境自身的交互反馈。
HExA 的核心创新在于将 in-context 学习沿三个方向扩展：智能体主动与模拟器交互作为工具，提出和测试假设，通过精心设计的实验而非被动观察来收集查询相关信息；智能体反思批量成功和失败的实验观察，将可重用技能（带奖励标签的策略，包含何时使用、帮助什么、何时避免的反馈）蒸馏成持久的外部技能库；从技能库中检索技能并在每个新回合开始时注入到智能体的上下文中，以提高实验效率、测试新假设并指导进一步探索。这种循环摊销了跨问题实例的探索成本，使 HExA 能够构建分层和可组合的技能。
方法步骤详情
HExA 的完整工作流程如下：输入包括 Actor 策略 $\pi_{act}$、Evolver 策略 $\pi_{ev}$、关卡 $\ell$、该关卡的种子集合 $S_\ell$、轮数 $R$、每轮回合数 $x$。第一步是可选的预热启动（仅在第一轮）：$K_0 \leftarrow \pi_{ev}(\emptyset, T_0)$ 或 $K_0 \leftarrow \emptyset$。然后进入主循环，对于 $n = 1$ 到 $R$ 轮：Retriever 从上一轮的技能库 $K_{n-1}$ 中检索 top-M 技能和 top-N 错误记录得到 $G_n$；Actor 在技能上下文 $G_n$ 下运行 $x$ 个回合生成轨迹 $\tau_i \sim \pi_{act}(\cdot | \ell, s_i, G_n)$；计算每个轨迹的奖励 $r(\tau_i)$ 反映结果和效率；Evolver 接收当前技能库 $K_{n-1}$、新轨迹批次 $T(n)$ 和奖励标签，输出更新后的技能库 $K_n = \pi_{ev}(K_{n-1}, T(n))$。
技术新颖性
HExA 的技术新颖性体现在多个方面。首先，它是完全训练自由的，不需要任何参数更新，与闭源模型兼容。其次，技能库是分层和可组合的：后期的技能建立在早期技能之上，例如后期的技能可以细化、限定边界、与佐证证据合并或在被后续经验推翻时替换。第三，支持跨任务技能迁移：给定多个源关卡进化出的技能库和未见目标关卡的文本描述，Evolver 可以在没有观察任何目标关卡轨迹的情况下合成目标技能库。这个过程迁移抽象而非记忆的解决方案，Evolver 被禁止发明目标特定坐标。第四，通过奖励标签引导技能进化，技能奖励 $r_k = \text{clamp}(\frac{\bar{r}_{src} + 1}{2}, 0.1, 1.0)$ 帮助分配有效技能获取的信用。
实验结果
在 Interphyre benchmark 上，HExA 显著超越了基线方法。在最难的 catapult 级别上，Claude Sonnet 4.6 的基线成功率仅为 2% (DIRECT) 和 8% (ReAct)，Reflexion 达到 21.3%，而 HExA 提升到 67.3%。HExA 使用更少的迭代次数（平均 14.4 vs ReAct 的 22.9），效率提升约 37%。在 pass_the_parcel 级别上，HExA 达到 60% vs ReAct 的 16%。跨级别迁移实验显示，仅使用从三个简单关卡合成的技能，Claude Sonnet 在 catapult 上达到 44% 成功率，相比 2% 的基线提升 42 个百分点。开源模型上也观察到类似提升：GPT-OSS-120B 在 catapult 上从 0% 提升到 54%，Qwen-2.5-7B 在 down_to_earth 上从 62% 提升到 72%，在 two_body_problem 上从 18% 提升到 34%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Catapult (Claude Sonnet 4.6, 50 seeds) | 成功率 (%) | 67.3 ± 9.3 | 2.0 (DIRECT) / 8.0 (ReAct) / 21.3 (Reflexion) | +65.3 个百分点 vs DIRECT，+59.3 vs ReAct |
| Catapult (GPT-OSS-120B, 50 seeds) | 成功率 (%) | 54.0 | 0.0 (ReAct) | +54 个百分点 |
| Down to Earth (Qwen-2.5-7B, 50 seeds) | 成功率 (%) | 72.0 | 62.0 (ReAct) | +10 个百分点 |
| Two Body Problem (Qwen-2.5-7B, 50 seeds) | 成功率 (%) | 34.0 | 18.0 (ReAct) | +16 个百分点 |
| Catapult (跨级别迁移, Claude Sonnet) | 成功率 (%) | 44.0 | 2.0 (DIRECT) / 8.0 (ReAct) | +42 个百分点 vs DIRECT |
局限与改进
作者承认的局限性包括：目前评估仅限于 2D 物理领域，在科学数据分析或交互式编码等其他以实验为中心的领域中的表现尚未验证。HExA 依赖于基于 LLM 的 evolver 进行对比性技能整合，技能质量在一定程度上受限于 evolver 的推理能力。当前带有效率项的二值成功指标可能无法直接扩展到没有简洁成功标准的领域。HExA 除了 actor 调用外，每轮还有 evolver 调用的开销，虽然在低数据 regime 下产生很强的样本效率，但在大得多的交互预算下其渐近准确率上限是否匹配基于梯度的 RL 方法（如 GRPO）仍是一个开放问题。另一个观察到的局限性是技能库可能过度拟合，积累越来越窄的策略，而过早丢弃适用于新实例的一般原则。
独立分析的弱点
HExA 的第一个弱点是技能库容量限制（$M_{max}$ 技能和 $N_{max}$ 错误记录），在非常多样化的任务中可能会丢弃有价值的信息。改进方向可以是实现更智能的技能聚类或分层检索机制，而不是简单的 top-M 检索。第二个弱点是奖励函数设计论文使用离散奖励箱而非连续函数，因为这更适合 LLM 理解，但可能损失信息粒度。改进方向可以是将奖励信号转换为 LLM 更容易理解的自然语言描述，而不是粗粒度的类别。第三个弱点是技能过拟合风险，当技能库在特定实例集上进化时，可能会积累过度针对性的策略。改进方向可以是在技能库更新时引入正则化机制，鼓励保留更抽象的原则，或者定期用更一般的技能替换过窄的技能。
未来方向
作者提出的未来工作包括：将 HExA 扩展到其他以实验为中心的领域，如科学数据分析或交互式编程。研究跨级别和跨域技能迁移，以及框架在分布外域中元学习的能力。改进技能库的结构和可扩展复用性。探索混合方法，使用 HExA 和学到的技能在通过参数化 RL 更新精炼策略之前，在新颖复杂领域中引导探索。基于成果可延伸的方向包括：实现更复杂的技能合成算法，可能使用更专门的模型作为 evolver；探索技能的增量式版本控制，类似于 AutoSkill 的终身版本化工件；研究技能库的压缩和蒸馏技术，以便在不丢失抽象原则的情况下减少上下文开销。
复现评估
论文声明 HExA 代码和 Interphyre benchmark 将会开源（提供了 HExA Website 和 Interphyre Website 链接），但目前论文未提供具体的开源仓库链接。实验使用五个 LLM（Claude Sonnet 4.6、Qwen-2.5-7B/14B Instruct、GPT-OSS-20B/120B），每个方法在相同种子集上评估以确保公平比较。交互预算限制为每轨迹最多 25 轮，每个级别 50-100 个种子。实验需要与模拟器交互，这意味着需要实现或获取 Interphyre 环境。复现难度中等到偏高，主要是因为需要设置模拟器环境和调用 LLM API，但论文提供了足够的细节包括完整的算法伪代码、提示模板（在附录中）和奖励函数定义。
论文图表
