学习配置智能体AI系统 Learning to Configure Agentic AI Systems
用分层强化学习动态选择LLM智能体的工作流、工具和预算配置
前置知识
半马尔可夫决策过程（SMDP）
SMDP是标准马尔可夫决策过程的扩展，其核心区别在于允许动作具有可变的持续时间。在标准MDP中，每个动作消耗一个时间步；而在SMDP中，一个动作可能跨越多个时间步才能完成，且这个步数可以是随机的。形式上，SMDP的状态转移包含一个联合转移-时长核 $P(s', k | s, o)$，表示从状态 $s$ 执行动作 $o$ 后，经过 $k$ 步转移到状态 $s'$ 的概率。在本文中，每个智能体配置（如直接推理、评估-优化循环等）被建模为一个"选项"（option），不同的工作流消耗不同数量的LLM调用——直接推理仅需1次调用，而评估-优化循环可能需要多达7次调用。
本文的核心技术贡献就是将智能体配置问题形式化为SMDP。理解SMDP是理解为什么作者选择层次化策略而非扁平策略的关键——不同工作流具有根本不同的计算承诺，标准MDP无法表达这种变长时间动作的特性。
选项框架（Options Framework）
选项框架由Sutton等人在1999年提出，是层次强化学习的经典框架。一个选项 $o = (I_o, \pi_{arc}, \beta_o)$ 由三个组件定义：(1) 初始化集 $I_o \subseteq S$，定义选项可以被启动的状态集合；(2) 内部策略 $\pi_{arc}$，定义选项执行期间的行为选择方式；(3) 终止条件 $\beta_o$，定义选项何时结束。在本文中，每个选项对应一个完整的智能体配置——包括工作流选择、工具分配、预算设定和提示组合。例如，"直接推理"选项在1次LLM调用后确定性终止，而"评估-优化"选项在收敛或达到最大迭代次数 $K_{max}$ 时随机终止。
选项框架是本文SMDP形式化的理论基础。作者将每种智能体配置视为一个选项，使得控制器能够同时推理"部署什么"和"会消耗多少计算资源"，从而在准确性和效率之间实现原则性的权衡。
层次强化学习（HRL）
层次强化学习将复杂的决策问题分解为多个层次，通常包括高层策略（负责目标选择或粗粒度决策）和低层策略（负责具体动作执行）。在本文中，策略 $\pi_{arc}$ 被分解为两个层次：结构策略 $\pi_{struct}$（高层）选择工作流、工具和预算；提示策略 $\pi_{prompt}$（低层）根据结构选择组合提示指令。这种分解将一个具有 $|O| = 62,208$ 种配置的联合决策问题转化为两个顺序决策问题，大幅降低了学习难度。形式上，$\pi_{arc}(c | s_q) = \pi_{struct}(\omega, t, b | s_q) \cdot \pi_{prompt}(p | s_q, \omega, t, b)$。
HRL是本文方法的核心架构设计。作者通过层次化分解，将一个组合爆炸的配置空间转化为可学习的决策问题，这是替代暴力搜索和手工调优的关键创新。
近端策略优化（PPO）
PPO是由Schulman等人在2017年提出的策略梯度强化学习算法。其核心思想是通过裁剪目标函数来限制策略更新幅度，避免灾难性的大步更新。PPO的目标函数为：$\mathcal{L}_{PPO}(\theta) = \mathbb{E} \left[ \min\left( \frac{\pi(a_t|s_t)}{\pi_{old}(a_t|s_t)} \hat{A}_t, \; \text{clip}\left(\frac{\pi(a_t|s_t)}{\pi_{old}(a_t|s_t)}, 1-\epsilon, 1+\epsilon\right) \hat{A}_t \right) \right]$，其中 $\hat{A}_t$ 是优势函数估计，$\epsilon$ 是裁剪参数。在本文中，两个策略网络（结构策略和提示策略）各自维护独立的价值网络用于优势估计，并采用逐批次优势归一化来稳定学习。
PPO是本文训练方法的核心优化算法。作者选择PPO而非GRPO等其他算法，是因为PPO配合精心设计的奖励塑形能够在稀疏奖励信号下实现更稳定的训练。实验表明PPO优于GRPO（平均准确率46.3% vs 42.6%）。
动作掩码（Action Masking）
动作掩码是一种在策略采样时排除无效动作的技术。在本文的配置空间中，原始选项空间 $|O| = 9 \times 16^2 \times 3^3 = 62,208$ 包含许多结构上无效的配置——例如，"直接推理"工作流只使用单个智能体，但原始选项空间允许为第二个智能体分配工具和预算。动作掩码通过在softmax之前将无效动作的logits设为 $-\infty$ 来排除这些组合。形式上，对于动作维度 $i$ 的logits $z_i$，应用条件掩码 $m_i(\omega) \in \{0, 1\}^{|A_i|}$，产生掩码后的logits $\tilde{z}_i = z_i + \log m_i(\omega)$。这将有效选项减少到41,904个（减少32.6%）。
动作掩码是保证训练效率和配置有效性的重要技术。没有动作掩码，智能体可能浪费大量探索时间在无效配置上，而且可能学习到永远不应被选择的无效策略。
监督微调精炼（SFT Refinement）
SFT精炼是本文提出的后训练优化阶段。在强化学习训练收敛后，从经验回放缓冲区 $B$ 中筛选精英轨迹——即同时满足正确性条件和高奖励阈值的轨迹：$D_{elite} = \{(s_i, o_i^*) \in B : \text{correct}_i \land R(s_i, o_i^*) \geq \tau\}$，其中 $\tau$ 保留奖励前30%的episode。然后通过最大似然估计对两个策略进行监督微调：$\max_\theta \mathbb{E}_{(s, o^*) \sim D_{elite}}[\log \pi_{struct}(o^*|s)]$。这个过程仅微调轻量级策略网络（而非LLM本身），计算成本很低。
SFT精炼是本文区别于纯RL方法的重要创新。它通过知识蒸馏将RL探索中发现的成功策略集中化，减少最终策略的残余随机性。实验表明SFT带来1-3%的准确率提升和5-35%的平均episode奖励提升。
研究动机
当前基于LLM的智能体系统配置主要依赖固定模板或手工调优的启发式方法，这些方法对所有查询应用相同的配置，无论查询难度如何。这导致两个核心问题。首先，长上下文性能退化问题——由于"中间遗失"（lost-in-the-middle）现象，模型在长上下文中难以关注相关信息。其次，静态系统效率低下——它们无法根据任务难度调整计算资源。例如，一个为多跳推理设计的智能体系统可能会为简单的算术查询触发昂贵的网页搜索工具和迭代验证循环。这种"一刀切"方法导致计算资源浪费和不必要的延迟。论文指出，即使是简单的3智能体系统，配合5种工作流模式、每个智能体3个独立可选工具和3个预算级别，就能产生 $5 \times (2^3)^2 \times 3^3 = 8,640$ 种结构配置，加上20种提示选择后扩展到超过 $10^5$ 种可能配置，使得暴力搜索不可行，手动调优也不切实际。
本文的目标是本文的具体目标是学习一个查询自适应的策略 $\pi_{arc}$，能够为每个输入查询动态选择最优的智能体配置，在保证正确性的同时优化计算成本。形式上，给定查询数据集 $D = \{(q_i, a_i)\}_{i=1}^N$，策略 $\pi_{arc}$ 为每个查询 $q$ 选择配置 $c_q = (\omega, t, b, p)$，其中 $\omega$ 表示工作流结构，$t$ 编码可用工具，$b$ 表示token预算层级，$p$ 指定每个智能体的提示指令。执行配置后的系统产生响应 $\hat{a}$、正确性信号 $\mathbb{I}[\hat{a} = a]$ 和成本统计，定义每轮效用为 $U(q, c) = \mathbb{I}[\hat{a} = a] - \lambda C_{cost}(c)$，其中 $\lambda \geq 0$ 控制准确率-效率权衡。
与已有工作不同的是，本文的独特切入角度在于将智能体配置问题形式化为半马尔可夫决策过程（SMDP），而非标准MDP。关键洞察是：智能体工作流不是原子动作，而是具有不同计算足迹的结构化过程。直接推理策略仅消耗1次LLM调用，而评估-优化循环可能需要多达7次顺序调用。标准MDP假设动作具有固定的离散持续时间，这是"根本上错误的抽象"。相比之下，SMDP自然地处理具有可变持续时间和成本的动作，使得轻量级控制器能够在冻结的智能体系统之上联合推理"部署什么"和"将消耗多少计算"，以原则性的方式平衡任务准确性和效率。此外，作者采用层次化分解（高层选择工作流/工具/预算，低层组合提示指令）来处理组合爆炸的配置空间，这是现有扁平RL方法无法高效导航的。
核心方法
ARC（Agentic Resource & Configuration learner）的整体思路可以分为三个层次理解。直觉上，面对一个查询，智能体系统应该根据查询难度动态调整其配置——简单查询用轻量级策略（如直接推理），复杂查询用重量级策略（如多智能体验证或迭代优化）。技术路线上，作者首先将配置空间建模为SMDP，其中每种配置（工作流+工具+预算+提示）构成一个"选项"，具有可变的执行时长和计算成本。然后，作者设计了一个层次化策略网络：高层结构策略 $\pi_{struct}$ 负责选择工作流、工具和预算；低层提示策略 $\pi_{prompt}$ 负责根据结构选择组合提示指令。训练采用PPO算法配合精心设计的奖励函数，奖励同时考虑正确性、调用次数和token消耗。最后，通过SFT精炼阶段从RL缓冲区中筛选精英轨迹进行知识蒸馏，提升策略的稳定性和一致性。
本文的核心创新点有三个方面。第一，将智能体配置形式化为SMDP而非标准MDP，这是与已有方法的本质区别——现有方法（如DSPy、GEPA）将配置优化视为静态优化问题或简单的多臂老虎机问题，忽略了不同工作流具有根本不同的计算承诺。ARC通过SMDP自然地建模这种变时长动作，使得控制器能够联合推理配置选择和计算成本。第二，层次化策略分解——将单个联合决策（$|O| = 62,208$ 种配置）分解为两个顺序决策（结构选择和提示组合），大幅降低学习复杂度。第三，混合训练管道——结合掩码RL（通过动作掩码排除无效配置）和SFT精炼（从精英轨迹中蒸馏成功策略），在稀疏奖励下实现稳定学习。此外，作者还设计了非对称奖励塑形来解决工具分配与使用之间的不对齐问题。
方法步骤详情
ARC的方法分为以下几个步骤。第一步，状态编码：对于查询 $q$，状态 $s_q = [\phi(q); f_q]$ 拼接语义嵌入 $\phi(q)$（使用MetaCLIP-H/14模型）和手工特征 $f_q$（编码查询长度、数值密度、多步推理和工具使用的二元指标）。第二步，结构选择：$\pi_{struct}$ 根据状态 $s_q$ 选择工作流 $\omega$（从9种已建立的智能体模式中选择）、工具 $t$（计算器、网页搜索、代码执行等可独立启用/禁用）和预算 $b$（每个智能体的token分配层级）。第三步，动作掩码：根据选定的工作流应用条件掩码，排除无效配置组合，将有效选项从62,208减少到41,904。第四步，提示组合：$\pi_{prompt}$ 根据结构选择，从提示库 $\mathcal{P}$ 中顺序选择语义片段（使用折扣因子 $\gamma_{prompt} = 0.5$ 确保信用集中在前几个片段选择上），组合成完整的提示指令 $p$。第五步，执行与奖励计算：执行配置 $c = (\omega, t, b, p)$ 对查询 $q$ 进行推理，消耗 $k_o$ 次LLM调用和 $n_{tokens}$ 个token，计算奖励 $R(s, o) = \alpha \cdot \mathbb{I}[\text{correct}] - \beta_s \cdot k_o + \beta_t \cdot n_{tokens}/T_{max} + \eta \cdot R_{tool}$。第六步，PPO训练：使用PPO算法分别更新两个策略网络，每个网络维护独立的价值网络用于优势估计。第七步，SFT精炼：RL训练收敛后，筛选精英轨迹 $D_{elite} = \{(s_i, o_i^*) \in B : \text{correct}_i \land R(s_i, o_i^*) \geq \tau\}$（$\tau$ 保留前30%），通过最大似然估计微调策略网络。
技术新颖性
ARC的技术新颖性体现在多个层面。首先，SMDP形式化是全新的——虽然选项框架和HRL已有成熟理论，但将其应用于LLM智能体配置优化是首创。这使得控制器能够"同时推理部署什么和会消耗多少时间"，这是扁平RL方法无法实现的。其次，层次化策略分解的数学形式化——$\pi_{arc}(c | s_q) = \pi_{struct}(\omega, t, b | s_q) \cdot \pi_{prompt}(p | s_q, \omega, t, b)$——将组合爆炸问题转化为可学习的顺序决策问题。第三，混合训练管道（掩码RL + SFT精炼）的设计：动作掩码解决配置空间的结构性约束，SFT精炼通过知识蒸馏解决RL训练的高方差问题。第四，非对称奖励塑形设计——特别是工具塑形项 $R_{tool}$，解决了"工具被分配但从未使用"的不对齐问题。第五，理论保证——作者证明了SMDP Bellman最优算子是 $\gamma$-压缩映射（定理3.1），SFT精炼将策略集中到精英配置上并建立奖励下界（定理3.2）。
实验结果
ARC在推理、工具使用和智能体基准测试上均实现了显著且一致的性能提升。在推理任务上，ARC（Qwen 2.5 7B）在GSM8K上达到88.6%准确率，超过GEPA（83.6%）和RL Episodes（85.2%）；在DROP上达到63.9%，在MedQA上达到64.6%。相比基础模型（37.8%、36.4%、49.1%），ARC的平均推理准确率提升了31.3个百分点。在工具使用任务上，ARC在HotpotQA上达到34.1%，匹配AutoGen并超过最强RL基线6.3个百分点；在GAIA上达到6.0%。相比基础模型，平均工具使用准确率提升了13.95个百分点。在智能体任务τ-Bench（Airline）上，ARC将Pass^1成功率从9.0%翻倍至18.0%，而DSPy反而降低了性能（3.0%）。效率方面，ARC占据Pareto最优区域，在实现高准确率的同时保持较低的推理成本。工作流多样性方面，ARC探索了所有9种工作流，熵值远高于搜索基线（如GSM8K上ARC为1.90 vs Grid Search为0.98）。缩放趋势方面，ARC在7B模型上训练的策略可以直接零样本迁移到32B和72B模型，性能随模型容量持续提升（Kendall's $\tau = 1.0$, Pearson's $r = 0.94$）。SFT精炼带来1-3%的准确率提升和5-35%的平均episode奖励提升。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| GSM8K（数学推理） | 准确率（%） | ARC: 88.6%（Qwen）, 88.5%（Gemini） | GEPA: 83.6%, RL Episodes: 85.2%, Base Model: 37.8% | 比最强基线GEPA提升5.0个百分点，比基础模型提升50.8个百分点 |
| DROP（阅读理解） | 准确率（%） | ARC: 63.9%（Qwen）, 65.6%（Gemini） | RL Episodes: 54.3%, Base Model: 36.4% | 比基础模型提升27.5个百分点（Qwen）和29.2个百分点（Gemini） |
| MedQA（医学问答） | 准确率（%） | ARC: 64.6%（Qwen）, 64.7%（Gemini） | GEPA: 87.1%, Base Model: 49.1% | 比基础模型提升15.5个百分点（注：GEPA因使用领域专用提示而更高） |
| HotpotQA（多跳问答） | 准确率（%） | ARC: 34.1%（Qwen）, 35.7%（Gemini） | AutoGen: 34.1%, RL Episodes: 27.8%, Base Model: 10.1% | 比最强RL基线提升6.3个百分点，比基础模型提升24.0个百分点 |
| GAIA（通用智能体） | 准确率（%） | ARC: 6.0%（Qwen）, 4.0%（Gemini） | RL Episodes: 2.0%, Base Model: 2.0% | 比基础模型提升4.0个百分点（Qwen）和2.0个百分点（Gemini） |
| τ-Bench Airline（交互式智能体） | Pass^1成功率（%） | ARC: 18.0%, ARC w/o SFT: 16.0% | Base Model: 9.0%, DSPy: 3.0% | 比基础模型翻倍（从9.0%到18.0%），比DSPy提升15.0个百分点 |
局限与改进
本文存在几个值得讨论的局限性。首先，在知识密集型领域（如MedQA），ARC的表现（64.6%）显著低于GEPA（87.1%），作者将此归因于提示内容差异——GEPA使用约1,100 token的领域专用系统提示，而ARC的提示库使用通用片段（平均约50 token/片段）。这表明在知识密集型任务中，提示语义可能主导结构选择，单纯优化工作流和工具配置不足以弥补领域知识的缺失。其次，GAIA和τ-Bench上的绝对性能仍然较低（6.0%和18.0%），说明在复杂的真实世界智能体任务中，配置优化的提升空间有限，可能需要更根本的架构创新。第三，工具使用任务的跨任务迁移较弱——HotpotQA到GAIA的迁移准确率仅为2.0%（原6.0%），因为GAIA需要根本不同的多模态工具。第四，作者仅评估了Qwen 2.5 7B和Gemini 2.5 Flash Lite两个模型，对更大规模模型（如70B+）的效果尚未充分验证。第五，提示库依赖GPT-5.2生成的元提示，引入了对外部模型的依赖。
独立分析的弱点
本文有几个独立分析的弱点值得关注。第一，提示策略的表达能力受限——提示库 $\mathcal{P}$ 由通用语义片段组成，每个片段平均仅50 token，这在知识密集型任务中成为瓶颈。改进方向是引入领域自适应的提示生成机制，或允许提示策略动态生成而非仅从固定库中选择。第二，奖励函数中的超参数（$\alpha, \beta_s, \beta_t, \eta$）需要手动调优，且论文未报告具体数值。改进方向是开发自适应超参数调整方法，或使用多目标优化框架自动平衡准确率和效率。第三，SFT精炼阶段仅保留前30%的精英轨迹，这可能丢失有价值的失败经验。改进方向是结合对比学习或失败案例分析来丰富训练信号。第四，跨任务迁移能力有限，特别是工具使用任务。改进方向是学习与任务无关的元配置策略，或引入工具嵌入来提升迁移性。第五，训练需要大量episode（RL训练+精英筛选+SFT），计算成本较高。改进方向是引入更高效的探索策略或课程学习方法。
未来方向
本文的成果为多个有前景的研究方向奠定了基础。作者提出的方向包括：结合结构优化与领域专用提示（在知识密集型任务中将ARC的结构选择与GEPA风格的领域知识结合）、更多样的工作流探索（扩展工作流模式库，引入更复杂的智能体协作模式）。基于本文成果可延伸的方向包括：(1) 元配置学习——学习跨任务和跨模型的通用配置先验，使得新任务可以快速适应，无需从头训练；(2) 多模态智能体配置——将ARC扩展到支持视觉、音频等多模态工具的配置选择，特别是解决GAIA等任务中的多模态工具需求；(3) 在线自适应——在推理过程中根据中间结果动态调整配置，而非在查询开始时一次性选择；(4) 可解释配置——开发能够解释"为什么选择此配置"的机制，帮助用户理解和信任智能体系统的决策；(5) 分布式多智能体配置——将ARC扩展到多个协作智能体的联合配置优化，每个智能体可能有不同的角色和能力。
复现评估
本文的复现条件较为有利。代码已开源（论文提供了Github链接），框架设计为模块化，支持任意工具注册表、自定义工作流和n智能体拓扑。数据方面，所有使用的基准测试（GSM8K、DROP、MedQA、HotPotQA、GAIA、τ-Bench）均为公开数据集，训练/测试划分清晰。算力方面，ARC的核心优势是仅训练轻量级策略网络（而非LLM本身），使用Qwen 2.5 7B作为骨干模型，计算需求相对可控。但复现时需注意：(1) 提示库 $\mathcal{P}$ 依赖GPT-5.2生成的元提示，需要访问GPT-5.2 API；(2) 训练超参数（学习率、批次大小、训练轮数等）在主文中未详细报告，需查阅附录F；(3) 完整的RL训练+SFT精炼流程需要较多episode，虽然每个episode的计算成本不高，但总训练时间可能较长。总体而言，对于具备中等算力资源的研究团队，复现本文结果是可行的。
论文图表
