← 返回 2026-05-14

从动作引导中学习智能体策略 Learning Agentic Policy from Action Guidance

Yuxiang Ji, Zengbin Wang, Yong Wang, Shidong Yang, Ziyu Ma, Guanhua Chen, Zonghua Sun, Liaoni Wu, Xiangxiang Chu 📅 2026-05-12 👍 12 2026-07-13 08:36

LLM Agent 免SFT冷启动动作引导可达性壁垒搜索Agent 智能体强化学习

arXiv HuggingFace PDF

用纯动作数据（无推理链）作参考引导，突破智能体RL的可达性壁垒，无需SFT冷启动即可比肩SFT+RL流程。

前置知识

智能体强化学习 (Agentic RL)

将LLM作为策略 π_θ 放进部分可观察马尔可夫决策过程 (POMDP) 中，智能体通过与环境反复交互产生轨迹 τ，奖励 Y(τ)∈{0,1} 表示任务是否完成。典型算法（如 GRPO）会为每个任务采样 N 条 rollout，根据组内成功/失败对比计算 advantage 并做 PPO 风格的策略更新。

本文整篇都在讨论 agentic RL 的探索瓶颈和训练信号来源，不熟悉 POMDP 形式化和 group-based advantage 机制就无法理解'可达性壁垒'为什么会让训练停滞。

可达性壁垒 (Reachability Barrier)

作者定义有效状态访问质量 M_t^π = E_π[Ψ(s_t)]，其中 Ψ(s) 是从状态 s 出发任何策略能达到的成功概率上界。若一段关键区间 [b,b+m−1] 的累积保留率 ¯κ_t 急剧下降到接近 0，则称这里出现了 mass collapse，所有越过这一步的 rollout 都会得到 Y=0，group advantage 坍缩为 0。

这是本文用来刻画'为什么RL在out-region任务上训练不出来'的核心形式化概念，文章所有动机和算法设计都围绕如何'跨越'这一壁垒展开。

SFT冷启动 (Supervised Fine-Tuning Cold Start)

工业界标准的 agent 训练管线：先用专家轨迹（含完整思维链 + 工具调用 + 响应）做监督微调，让模型具备基本能力后再做 RL 微调。代价是需要大量带推理的高质量演示数据。

本文明确把 ACTGUIDE-RL 与 SFT+RL 对标，目标是用更易获得的纯动作数据替代昂贵的 CoT 演示数据，从而'减轻对 SFT 的依赖'。

Off-policy 重要性比率与重要性采样

在 off-policy RL 中，用旧策略 π_old 采样得到的轨迹训练新策略 π 时，需要乘以 token 级别的重要性比率 r_t(θ)=π(z_t|z_<t)/π_old(z_t|z_<t)，并用 clip(·,1−ϵ,1+ϵ) 截断防止过大偏差；guided rollout 来自条件分布 π_old(·|x,g)，相对于目标 π(·|x) 是 off-policy 的。

ACTGUIDE-RL 的混合策略优化目标 J_mix (Eq.11) 直接修改了重要性比率的分母，使其在 guided/unguided 之间切换，是把 guided 收益'内化'回推理时无引导策略的关键。

GRPO与Group-based Advantage

GRPO (Group Relative Policy Optimization) 对每个 prompt 采 N 条 rollout τ^1,...,τ^N，把每条的成功/失败归一化得到 advantage Â(τ^i)= (r^i − mean(r))/std(r)，无需 critic 网络。本文所有 RL 基线都用标准 token-level GRPO。

本文多处指出当 N 条 rollout 全失败时 Â≡0、梯度消失——这是 out-region 训练停滞的直接原因。

研究动机

Agentic RL 近年成为 LLM 后训练的核心范式，但所有基于 GRPO 等 group-based advantage 的方法都有一个根本性瓶颈：训练信号只能由策略自身探索出来。对于超出基础模型能力边界的'out-region'任务，整个 rollout 组全部失败、advantage 全为 0、梯度坍缩为零，无论把 group size N 加到多大都没用——这是结构性的失败而非采样不足。具体数据上，Table 1 中 Qwen3-4B-Instruct 在 WebWalkerQA Hard 子集上原始策略 pass rate 仅 0.83%、XBench 上只有 14.00%，zero RL 跑下来在 WebWalkerQA 上甚至从 3.82% 退步到 12.06%（绝对值仍很低），表明难度与模型能力严重错配。工业界标准应对方案是先用带 CoT 的专家轨迹做 SFT 冷启动，再做 RL。但这条路有两个明显问题：其一，高质量的推理+动作示范数据极其昂贵且难以大规模获取；其二，'先模仿再 RL'的 pipeline 复杂、难以扩展到新环境，且 SFT 的 mode-covering 性质往往会伤害 out-of-domain 能力——Table 2 中 SFT 初始化让 GPQA-CoT 从 35.45 跌到 29.15、TruthQA 从 62.17 跌到 56.95、IFEval 从 81.33 跌到 77.82。

本文的目标是本文的具体目标是设计一套无需 SFT 冷启动就能让 agentic RL 处理 out-region 任务的训练框架，使 LLM 智能体可以：(1) 在不同难度任务上自适应地获取有效训练信号；(2) 把 guided 状态下学到的探索能力内化回推理时的 unguided 策略；(3) 在跨多种 base model（Qwen2.5-3B/7B、Qwen3-4B/8B）和跨任务难度上都稳定提升。

与已有工作不同的是，已有的相关工作大致分两类：一类是用合成的 chain-of-thought 补全动作数据再 SFT，但合成推理会面临事后合理化 (post-hoc rationalization) 风险；另一类是直接做行为克隆拟合表面动作模式，无法真正诱发策略的推理能力。RL from demonstration (RLfD) 系列方法如 LUFFY、Guide 用 off-policy 专家轨迹做混合优化，但要求轨迹包含完整推理。本文的关键切入角度是把'纯动作轨迹 g=(ã_1,...,ã_L)'作为 plan-style 参考注入 prompt——这种数据在 GUI/CLI 操作记录、API 调用日志、游戏交互乃至任务反向构造流程中'天然丰富且规模大'，不需要任何 CoT，把它们当作 future-action hint 喂给策略即可。

核心方法

ACTGUIDE-RL 把 agentic RL 的可达性壁垒问题拆成三个子问题：怎么用动作数据、该用多少、以及怎么把 guided rollout 学到的东西内化回推理时的无引导策略。整体直觉是：把专家产生的纯动作轨迹当成'路线提示'，在策略自己跑不通的地方以最小代价'扶一把'，让它能跨过 critical interval 看到 reward，然后通过混合策略优化把这次跨过的探索能力固化到无引导策略里。技术路线上，首先建立 reachability dynamics 的形式化（定义 M_t^π、¯κ_t、mass collapse），然后用 token 级引导影响 |ΔLogit| 和 prefix-level Pass@K 做诊断实验（Finding 1、Finding 2），最后设计 Algorithm 1 的 adaptive minimal-intervention 训练循环，配合 J_mix 的 token 级混合重要性比率做端到端 PPO 更新。

本文与已有方法的本质区别在于三点：(1) 不依赖带 CoT 的演示，仅用动作序列 (tool-call 名+参数) 作为'plan-style 参考'注入 prompt，相比 Assistant Prefix 和 User-Assistant Messages 两种注入方式在 Reward@1 上分别高出 11.20 和 5.60 个百分点（Table 7: 85.70 vs 74.50 vs 80.10）；(2) 提出'最小干预原则'——只在无引导 rollout 组全部失败时才 fallback 调用引导，并通过二分搜索找到满足恢复阈值 δ 的最小引导长度 k⋆，把 off-policy 风险降到最低（Figure 4 显示平均 log-ratio shift 与方差都随引导比例单调上升）；(3) 在混合策略目标里直接修改重要性比率的分母——对 guided rollout 用 π_old(·|x,g) 作分母，把信用传递给无引导目标 π(·|x)，使推理时无需引导也能保留探索能力。

方法步骤详情

Algorithm 1 的完整步骤是：(1) 从 D 中采样一个 minibatch B={(x_b, ḡ_b)} 共 M 条样本；(2) 对每条 (x_b, ḡ_b) 先采样 N 条无引导 rollout τ_{b,i}∼π_old(·|x_b) 并记录奖励 r_{b,i}=Y(τ_{b,i})；(3) 若 max_i r_{b,i}<δ（即整组都没成功），进入引导 fallback：对引导长度 k 在 {1,...,K} 上做预算为 B 的二分搜索，采样 N 条 guided rollout τ^+_{b,i}∼π_old(·|x_b, g_{b,k}) 并求其最大奖励，找满足 max_j r^{(k)}_{b,j}≥δ 的最小 k⋆_b；(4) 将该任务的 guided 组 G^+_b 并入 G_b；(5) 在合并后的 G 上计算 group-based advantage；(6) 用 J_mix(θ) (Eq.11) 更新 π_θ(·|x)，其中 token 级重要性比率 r^{mix}_{i,t} 对 unguided rollout 取标准 π/π_old，对 guided rollout 取 π/π_old(·|x,g_adap)——分母是带引导的条件分布但分子仍是去引导的目标分布，由此把 guided 行为内化回无引导策略。Eq.12 的关键设计是不引入额外的 ratio shaping 或辅助模仿损失，仅靠最小干预把分布偏移控制在可接受范围内。

技术新颖性

技术新颖性体现在三个层次。理论层：首次将 agentic RL 训练停滞的形式化从'稀疏奖励'提升到'reachability dynamics'——通过 Ψ(s) 和 ¯κ_t 给出 mass collapse 的乘性递归 M_v^π=M_u^π·∏_{t=u}^{v−1} ¯κ_t^π (Eq.3)，并由此严格证明 critical interval [b,b+m−1] 的累计保留率 ≪1 时后续 rollout 将被锁死在低可达区域、group advantage 必为 0；并给出'最小干预是风险最优'的命题（Proposition C.1）和基于 Hoeffding 不等式的样本复杂度界 m≥(1/(2Δ²))·log(2(K+1)/ξ)。算法层：把引导长度离散化为有序族 g_0≺g_1≺...≺g_K (Eq.6)，并用 B_k=log(M_{b+m}^{π(·|s,g_k)}/M_{b+m}^{π(·|s)}) 衡量'障碍修复收益'、用 R_k=Var_τ(L_k(τ)) 衡量 off-policy 风险，通过 J_k≈B_k−λR_k 的隐式效用峰值把'二分搜索最小成功引导长度 k⋆'变成实际可执行的代理。工程层：把 plan-style 引导做成 prompt 后缀（'Reference action trajectory hint:'+动作列表），模型仍需自己生成 thought 后再调用工具，对比 Assistant Prefix、User-Assistant Messages、Reference Plan 三种注入方式，reference plan 显著胜出。

**Figure 2**: Overview of ACTGUIDE-RL framework. Conventional agentic RL can only obtain training signals within the base model in-capability region. ACTGUIDE-RL follows the principle of minimal intervention, dynamically introducing action data to guide the model toward out-region exploration. Such mixed rollouts are trained through mixed-policy optimization.

**Figure 3**: Action guidance repairs reachability barriers along guided rollouts. Blue bars show |ΔLogit|, and red curves show prefix-level Pass@K (K=32). Barriers emerge where unguided Pass@K collapses and the guidance-induced logit shift spikes.

**Figure 4**: Guidance-induced distribution shift under different guidance proportions. The blue curve shows the mean log-ratio shift, while the red curve shows its variance, i.e., the off-policy risk R_k.

实验结果

实验在 4 个 in-domain 搜索智能体基准（GAIA、WebWalkerQA、XBench、BC-ZH）和 3 个 out-of-domain 基准（GPQA-CoT、TruthfulQA、IFEval）上进行，覆盖 Qwen2.5-3B/7B 和 Qwen3-4B/8B 四种 base model。Table 1 的核心发现是：(1) ACTGUIDE-RL 在所有四种 base model 上都比 vanilla RL 取得稳定提升，最显著的 Qwen3-4B-Instruct 在 GAIA 上 +10.68pp（25.24→35.92）、WebWalkerQA 上 +27.79pp（12.06→39.85）、XBench 上 +19.00pp（18.00→37.00）、BC-ZH 上 +5.15pp（15.26→20.41）；(2) vanilla RL 在某些 base model 上甚至出现能力回归——Qwen2.5-7B 在 GAIA 上从 22.32 跌到 11.65、Qwen3-8B 在 BC-ZH 上从 23.52 跌到 21.79——而 ACTGUIDE-RL 不存在这种现象；(3) 即便和 GPT-5 High (76.4) 等超大模型比，Qwen3-8B+ACTGUIDE-RL 的 GAIA Avg. 41.74 已经超过 ARPO-8B (38.8) 和 WebSailor-7B (37.9)。Table 2 显示 ZeroRL+ACTGUIDE 已达 35.92/39.85/37.00/20.41，与需要 4k 条 CoT 轨迹做 SFT 冷启动的 SFT+RL 流水线的 36.89/32.20/17.00/26.30 总体相当甚至更优，同时在 GPQA-CoT (36.93 vs 29.85)、TruthQA (62.30 vs 57.02)、IFEval (82.99 vs 76.34) 上显著优于 SFT 路线。Table 4 的消融显示去掉 adaptive 引导 GAIA 从 35.92 跌到 27.18、去掉 minimal-intervention 跌到 24.27、去掉 mixed-policy optimization 跌到 22.32，三者缺一不可。Table 5 显示 10% 动作噪声下 GAIA 反而从 35.92 升到 39.81，20% 噪声才开始掉到 29.12，说明对数据噪声有一定鲁棒性。Figure 6 显示训练过程中平均交互轮数和生成长度都随训练单调上升，Table 3 进一步验证这些长交互确实有效——把 turn budget 从 4 提到 32 时 GAIA 从 18.44 升到 35.92、WebWalker 从 33.97 升到 39.85。

**Table 1**: Main results of ACTGUIDE-RL on search-agent benchmarks comparing foundation models, search-agent trained models, and RL baseline. The best results are indicated in bold.

**Table 2**: Comparison of ACTGUIDE-RL and SFT + RL on in-domain and out-of-domain benchmarks.

**Table 3**: Agent performance under different interaction turn budgets.

**Table 6**: Hyperparameters for search-agent RL training.

**Table 7**: Injection method comparison.

**Table 8**: Comparison between ACTGUIDE-RL and OPSD.

**Figure 6**: Training dynamics on number of interaction turns and response length.

**Figure 7**: Performance of different guidance strength.

查看结构化数据

任务	指标	本文	基线	提升
GAIA（通用AI助理，103题）	Average Accuracy	Qwen3-4B+ACTGUIDE-RL: 35.92; Qwen3-8B+ACTGUIDE-RL: 41.74	ZeroRL on Qwen3-4B: 25.24; ZeroRL on Qwen3-8B: 36.89; GPT-5 High: 76.4; WebSailor-7B: 37.9; ARPO-8B: 38.8	+10.68pp (Qwen3-4B), +4.85pp (Qwen3-8B) over ZeroRL
WebWalkerQA（680题，Easy/Med/Hard）	Average Accuracy	Qwen3-4B+ACTGUIDE-RL: 39.85 (Easy 43.75/Med 41.78/Hard 35.00)	ZeroRL on Qwen3-4B: 12.06 (Easy 13.12/Med 13.92/Hard 9.17)	+27.79pp，平均 +27.7pp，其中 Hard +25.83pp
XBench（100题，深度搜索）	Average Accuracy	Qwen3-4B+ACTGUIDE-RL: 37.00; Qwen3-8B+ACTGUIDE-RL: 44.00	ZeroRL on Qwen3-4B: 18.00; ZeroRL on Qwen3-8B: 33.00	+19.00pp (Qwen3-4B), +11.00pp (Qwen3-8B)
BrowseComp-ZH (BC-ZH，中文搜索)	Average Accuracy	Qwen3-4B+ACTGUIDE-RL: 20.41; Qwen3-8B+ACTGUIDE-RL: 26.64	ZeroRL on Qwen3-4B: 15.26; ZeroRL on Qwen3-8B: 21.79	+5.15pp (Qwen3-4B), +4.85pp (Qwen3-8B)
GPQA-CoT (Zero-Shot, out-of-domain)	Accuracy	ZeroRL+ACTGUIDE: 36.93	ZeroRL: 35.45; SFT+RL: 29.85	+1.48pp over ZeroRL，+7.08pp over SFT+RL（避免 SFT 对 OOD 的损伤）
TruthfulQA (out-of-domain)	Accuracy	ZeroRL+ACTGUIDE: 62.30	ZeroRL: 62.17; SFT+RL: 57.02	+0.13pp over ZeroRL，+5.28pp over SFT+RL
IFEval (out-of-domain 指令遵循)	Accuracy	ZeroRL+ACTGUIDE: 82.99	ZeroRL: 81.33; SFT+RL: 76.34	+1.66pp over ZeroRL，+6.65pp over SFT+RL
Reward@1 (引导注入方式对比，Qwen3-4B)	Reward@1 (%)	Reference Plan in Query Prompt: 85.70	Unguidance: 57.90; Assistant Prefix: 74.50; User-Assistant Messages: 80.10	+27.80pp over unguided，+11.20pp over Assistant Prefix

局限与改进

作者在附录 E 中坦诚承认的局限性有三条：(1) 实验主要在搜索智能体场景，因为这里查询难度容易分层、动作数据天然可得，'控制变量更干净'，但 CLI、GUI、API 化、具身环境等其他 agentic 场景尚未验证；(2) 引导粒度较粗，整段动作轨迹以 plan-style hint 一次性注入 prompt，没有尝试更细粒度的 step-level guidance；(3) 不讨论动作数据本身如何系统采集和清洗——实际生产中后端日志、用户操作记录需要专门的清洗和过滤流程。此外我自己的观察包括：(a) 所有实验的 base model 是 Qwen 系列，没有覆盖 Llama、Mistral、DeepSeek 等其他家族，泛化性未完全证实；(b) 训练规模较小（Table 6：仅 2000 条训练样本、64 个 step、batch 32、group size 8），和工业级千万 token 训练是否同样有效未知；(c) 阈值 δ 和搜索预算 B 是超参数，文中只给定设定未做敏感性扫描；(d) 把动作数据当 plan-style 提示注入 prompt 会让 prompt 长度显著增长，与表 6 中 max response length 40960、max observation length 8000 的限制存在张力。

独立分析的弱点

独立分析可以指出几个值得改进的弱点。其一，'最小干预'的判定依赖 binary search 找到最小成功引导长度 k⋆，但当任务难度跨越多个量级时 K 的设置和搜索预算 B 会直接影响成败——文中未给出自适应 K 的方案，建议根据历史 rollout 的平均 barrier 长度动态调整 K，并配合 multi-armed bandit 选择不同 task 上最优的 K。其二，Algorithm 1 每次 fallback 时都要重做 N 条 guided rollout，这在大 batch 训练下会显著增加 wall-clock；可以引入 guided rollout 缓存与优先级重放，把同一样本不同训练步的 guided 轨迹合并复用。其三，重要性比率在 guided rollout 上用 π_old(·|x,g) 作分母，但 PPO 的 clip 范围 ϵ_low=ϵ_high=0.2 没有针对 guided/unguided 区分设置；理论上 guided 的分布偏移更大、应当用更紧的 clip（如 0.1）以进一步控制 off-policy 风险。其四，动作数据完全来自 Tongyi-DeepResearch-30B-A3B 的 rejection sampling，没有处理'专家也会失败'的样本；当专家在某些任务上自身正确率就低时，g_k 可能把策略引向错误方向，建议加入 expert-success filter 或对失败专家轨迹做反向 negative guidance。其五，Table 1 显示 vanilla RL 在 Qwen2.5-7B GAIA 上从 22.32 跌到 11.65，这种能力回归机制在论文中只做现象描述没给出解释，猜测是 KL drift 或 mode collapse，但需要更细的 reward/KL/entropy 监控才能定位。

未来方向

作者在结论和附录中提出三个未来方向：把 ACTGUIDE-RL 推广到 CLI、GUI、具身等非搜索智能体场景；探索更细粒度的 step-level action guidance 而非整段 plan-style hint；研究如何系统化采集与清洗动作数据（后端日志、用户交互记录）。基于本文成果还可以延伸出几条值得探索的方向：(a) 把动作数据 + 思考草稿联合作为引导，研究'推理子结构'和'动作序列'分别对 barrier 修复的贡献——本文已经把动作序列定位为 plan-style 引导，但更细粒度的语义动作（如 query intent、检索词类别）可能比原始 search query 更鲁棒；(b) 在多任务/多环境中验证 ACTGUIDE-RL 是否同样适用，特别是 GUI Agent、Computer Use 等需要长视野规划的领域；(c) 进一步验证本文的 reachability dynamics 框架是否同样适用于非 POMDP 形式的 agentic RL（如基于 verifier 的代码生成 RL）；(d) 把二进制搜索换成 adaptive 课程学习，根据策略当前能力动态调整任务难度和引导长度，形成更系统的 curriculum；(e) 与在线数据采集结合——让策略自己 rollout 出成功率较高的轨迹作为下一次训练的'自生成'动作数据，减少对专家模型的依赖。

复现评估

代码已开源（GitHub: github.com/AMAP-ML/ActGuide-RL），实现基于 VeRL 框架，论文 Appendix B 给出了完整超参数表（Table 6）：optimizer=AdamW、lr=1e-6、KL 系数 0.001、训练数据 2000 条、total steps=64、batch size=32、PPO mini batch=16、group size=8、max response length=40960、max observation=8000、max turns=30、clip 范围 0.2/0.2。训练数据来自 ASearcher 的 2k 采样，动作数据来自 Tongyi-DeepResearch-30B-A3B 的 rejection sampling，仅保留 tool-call 名+参数；SFT 数据是另一组 4k 完整轨迹（含 CoT、显式工具调用、工具响应）。奖励与评测都使用 few-shot reference-based 二值 LLM judge 模板（附录 B 完整给出）。计算资源是 2 个节点各 8 张 NVIDIA H20，一个用于 rollout+训练，另一个用于 LLM judge 推理服务。复现难度评估为中等——管线本身已搭好，但完整跑一遍 Qwen3-4B 的 main+ablation+noise sensitivity 实验估计需要数百 H20-hour；prompt 模板、阈值 δ、二分搜索预算 B、引导长度 K 这些关键超参数的具体取值在 Table 6/Algorithm 1 中未完整披露，需要查 GitHub 源码确认。

论文图表

**Figure 1**: Agentic RL is typically confined to the in-capability region of the base policy, and stalls on out-region tasks beyond this exploration frontier. ACTGUIDE-RL leverages diverse and scalable action data as plan-style reference to guide effective state visitation in out-region tasks.
上半部分示意基础策略的可达区域（trainable on In-Region Tasks）与无训练信号区域（Stall on Out-Region Tasks），下半部分罗列了'动作数据'的多种来源（GUI Usage、CLI Usage、Internet Events、Web&App Usage、Game Interaction、Data Construct）。

这张图直观呈现了本文核心问题——agentic RL 受限于 in-region 训练信号——以及动作数据作为'plan-style 参考'的丰富来源，是理解 motivation 的关键入口。

Table 4: Ablation study of ACTGUIDE-RL.

行：ACTGUIDE-RL (Adaptive) / −Minimal-Intervention (Fallback) / −Minimal-Intervention / −Mixed-Policy Optimization；列：GAIA / WebWalker / XBench。完整 ACTGUIDE-RL 是 35.92 / 39.85 / 37.00，去掉 Adaptive 引导跌到 27.18 / 35.00 / 34.00，去掉 Minimal-Intervention（fallback）跌到 24.27 / 23.82 / 19.00，去掉 Mixed-Policy Optimization 跌到 22.32 / 21.76 / 21.00。

验证三个核心设计（自适应、fallback、混合策略优化）缺一不可，是方法合理性的关键支撑。

Table 5: Results of different action noise ratio.

行：Noise Ratio ∈{0%, 10%, 20%}，列：GAIA / WebWalker / XBench / BC-ZH。0% 噪声下 35.92 / 39.85 / 37.00 / 20.41；10% 噪声 GAIA 反升到 39.81、WebWalker 微降到 39.26、XBench 升到 38.00、BC-ZH 略降到 19.03；20% 噪声 GAIA 跌到 29.12，其余也明显下降。