StraTA：通过策略级轨迹抽象强化智能体强化学习 StraTA: Incentivizing Agentic Reinforcement Learning with Strategic Trajectory Abstraction
在 episode 起始采样全局策略,条件化后续所有动作,层级化 GRPO 训练。
前置知识
GRPO
Group Relative Policy Optimization,去掉 critic,在同一 prompt 下采样 $G$ 条轨迹,以组内相对奖励归一化作 advantage,数学上 $A_i=(r_i-\text{mean})/\text{std}$,适合长轨迹 LLM 智能体训练。
StraTA 以 GRPO 为基座并做层级化扩展,理解 group 内归一化是读懂策略级 advantage 计算的前提。
long-horizon agentic RL
智能体通过环境反馈试错,学习多轮长程决策。状态与动作都是自然语言,奖励通常仅在 episode 终止时给出,稀疏且延迟。
本文实验(ALFWorld、WebShop、SciWorld)皆属此类,稀疏奖励与短视探索正是论文要解决的核心痛点。
non-cumulative prompt
每步由当前状态独立构造 prompt 而非依赖完整历史,GiGPO 提出,能稳定控制上下文长度并降低分布漂移。
StraTA 沿用此设定,策略 $z$ 必须被 prepend 到每一步状态中,是 $a_t\sim\pi_\theta(\cdot|z,s_t)$ 公式的基础。
MDP 与轨迹回报
有限 horizon MDP 写作 $(S,A,P,R,H,\gamma)$,一段轨迹 $\tau=\{(s_t,a_t,r_t)\}$,StraTA 引入 $z$ 后变为 $\tau=\{z,(s_1,a_1,r_1),\dots\}$,$\gamma=1$ 时用 $R(\tau)$ 表示总回报。
理解这个改写后的轨迹形式,才能看懂为何策略层与动作层可被同时送入同一个 GRPO 优化框架。
研究动机
现有 LLM 智能体在 ALFWorld、WebShop 这类长程任务中几乎全是纯反应式的:每步只从当前 $s_t$ 预测 $a_t$,把整体规划和当前决策耦合在一起,造成三个具体问题:短视探索、频繁回溯、行为前后不一致。论文用 Qwen2.5-7B-Instruct + vanilla prompting 在 ALFWorld 上仅得 27.4% 成功率,WebShop 仅 5.3%,即便用 ReAct 也只提到 42.4%/27.3%,说明单靠 prompt 远远不够。而在 RL 训练下 GRPO 也只有 77.1%/68.2%,GiGPO 90.8%/72.8%,仍受反应式策略的天花板限制。此外稀疏终止奖励让 credit assignment 雪上加霜,模型难以分辨哪个动作真正推动了任务成功。
本文的目标是作者提出 Strategic Trajectory Abstraction (StraTA),目标是显式地把长程规划与局部执行解耦:在 episode 起始从初始状态 $s_1$ 采样一个紧凑的自然语言策略 $z$,然后每步动作都基于 $(z,s_t)$ 生成,从而把强化学习目标分解为两件事——生成好策略、在该策略下稳定执行,并通过层级化 GRPO rollout 联合训练。最终在 ALFWorld、WebShop、SciWorld 三个长程任务上一致超越 PPO/RLOO/GRPO/GiGPO 与 GPT-5.1、Claude-4-Sonnet 等闭源模型。
与已有工作不同的是，之前的方法无论 ReAct、PPO 还是 GiGPO 都还在每步独立决策的范式里打转;Plan-and-Execute 类工作虽然也有高层 plan,但 plan 往往由 LLM 一次性生成、无法在 RL 里反向传播优化,也缺乏对策略空间的显式探索。StraTA 的独特切入角度在于:把策略 $z$ 当作与动作 $a_t$ 同级别的 RL 决策单元,既参与 group 内 advantage 计算,又用 farthest-point sampling 做语义级多样性控制,再用 self-judgment 做细粒度信用分配,在 reaction-based 与 plan-based 之间架起一座端到端可训练的桥梁。
核心方法
StraTA 的整体思路可以用一句话概括:让 LLM 在每条轨迹开头先自言自语做一次高层规划,然后把这段规划当作不变量注入到后面每一步决策里。具体技术上,作者把 episode 改写成 $\tau=\{z,(s_1,a_1,r_1),\dots,(s_T,a_T,r_T)\}$,策略层与动作层共享同一个策略网络 $\pi_\theta$,但放在两个不同的 group 里用 GRPO 优化:策略层 group 比较哪条计划更好,动作层 group 比较同一计划下哪条轨迹更成功。为了让策略 group 提供有意义的对比信号,作者先用 $\sigma\times N$ 的过采样再用 farthest-point sampling 选出语义差异最大的 $N$ 条 $z$;为了让动作 credit 更细粒度,作者让 agent 在 rollout 结束后对每步自评,惩罚那些既不跟策略也不推进任务的步骤。整体训练流程与 GiGPO 兼容,只是在采样结构和 reward 组成上做扩展。
StraTA 的核心创新在于显式引入 trajectory-level 抽象变量 $z$,并把它作为 RL 的一等公民参与优化。和已有方法的本质区别有三点:第一,与 ReAct 这种边走边想不同,$z$ 在 episode 开始就固定并 prepend 到所有 prompt,提供全局一致性而非每步独立反思;第二,与 hierarchical RL 中常见的固定 high-level policy 不同,$z$ 与动作共享同一个 LLM 参数,通过 group 内 advantage 联合反向传播;第三,策略层 reward 采用 top-$\delta$ 而不是均值,公式 $R(z_i)=\text{mean top-\delta}\{R(\tau_{i,j})\}$,只信最好的一部分轨迹,降低早期动作噪声对策略估计的污染;再用 farthest-point sampling 的语义多样性与 self-judgment 的细粒度信用分配,共同缓解稀疏奖励与短视探索。
方法步骤详情
StraTA 训练分四步。1) 策略引导执行:从 $s_1$ 采 $z\sim\pi_\theta(\cdot|s_1)$ 后整段固定,每步动作改写为 $a_t\sim\pi_\theta(\cdot|z,s_t)$,$z$ 通过 prepend 到 prompt 实现。2) 层级 rollout:每 task 采 $N=4$ 策略、每策略 $M=8$ 轨迹,得策略层 group 与 $N$ 个动作层 group;动作层 reward 取终止奖励,策略层用 top-$\delta$ 聚合 $R(z)=\overline{R(\tau)}_{\text{top-0.5}}$,加长度与格式惩罚后 clip 到 $[-1,1]$。3) 多样采样:$8N$ 过采样 + 最远点贪心选 $N$ 条语义差异最大策略。4) 自评:rollout 后自评,给不跟策略也不推进的步骤加 $R_\text{judge}=-\kappa\mathbb{1}[t\in I]$,$\mathcal{J}_\text{StraTA}$ 在两层做 GRPO 优化并保留 $\beta D_\text{KL}$ 正则。
技术新颖性
StraTA 的技术新颖性体现在三个层面。第一,把高层策略显式参数化为自然语言 token 序列,并作为 RL 的 first-class object 与动作共享同一个 $\pi_\theta$,这种 joint hierarchical rollout 在 agentic RL 文献里少见,plan-and-execute 类工作通常固定高层 planner。第二,top-$\delta$ 聚合是借鉴 RLVR 中对高难度样本的关注,但被首次引入到策略层评估,能更稳定地区分好计划与坏计划,论文 ablation 中仅 diverse 与仅 judgment 都带来部分收益。第三,farthest-point sampling 把 rollout diversity 从加温度上升到语义级覆盖,配合 self-judgment 形成 exploration + credit assignment 的双重提升,且只在策略层与 judgment 阶段付出 $O(1/H)$ 的额外开销,图 3 显示 StraTA 单步仅比 GRPO 慢约 7 秒(301s→308s 量级)。
实验结果
实验在 ALFWorld、WebShop、SciWorld 上对比 prompting 与 RL 基线,参考 GPT-5.1、Claude-4-Sonnet 等闭源模型。ALFWorld 上 1.5B StraTA 达 90.7%,比 GiGPO +4.0pp;7B 达 93.1%,Heat 子任务 100% 满分,Look 92.3% 远超 GiGPO 82.7%。WebShop 上 7B 模型取得 91.2 分与 84.2% 成功率,比 GiGPO 72.8% 高 11.4pp,比 Claude 18.4% 高 66pp。SciWorld 上 7B StraTA 总体 63.5%、Lifespan 100%,超 Claude 57.4% 与 ScalingInter-7B 57.0%。Ablation 用 3B:Vanilla 仅 79.0/64.0,加 Diverse 后 ALFWorld 升至 87.9%,加 Judgment 后 WebShop 升至 66.7%,StraTA 88.6/73.4,组件正交;图 3 显示 StraTA 单步 308s,仅比 GRPO 多 7s。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ALFWorld | Overall Success Rate | 93.1% (Qwen2.5-7B); 90.7% (Qwen2.5-1.5B) | GiGPO 90.8% (7B); Claude-4-Sonnet 72.9%; GPT-5.1 55.7% | vs GiGPO +2.3pp (7B); +4.0pp (1.5B); vs Claude-4-Sonnet +20.2pp |
| WebShop | Task Score / Success Rate | 91.2 / 84.2% (7B); 91.1 / 82.5% (1.5B) | GiGPO 84.4 / 72.8%; PPO 82.2 / 68.9%; Claude-4-Sonnet 23.7 / 18.4% | vs GiGPO succ +11.4pp; vs Claude succ +65.8pp |
| SciWorld | Overall Score | 63.5% (7B), Lifespan 100% | Claude-4-Sonnet 57.4%; ScalingInter-7B 57.0%; GPT-5.1 43.0% | vs Claude +6.1pp; vs ScalingInter +6.5pp; vs GPT-5.1 +20.5pp |
| ALFWorld (Ablation, Qwen2.5-3B) | Overall Success Rate | StraTA 88.6% | Vanilla 79.0%; Diverse 87.9%; Judgment 81.9% | vs Vanilla +9.6pp; Diverse 与 Judgment 大致正交贡献 |
局限与改进
作者在结论部分坦诚指出两个主要局限。其一,StraTA 的表现强烈依赖于初始策略 $z$ 的质量,一旦生成的计划偏离最优方向,整条轨迹都会受影响,因为 $z$ 在 episode 内固定、不会被中途修订;在环境动态剧变时这种一次定终身反而会拖累性能。其二,当前 self-judgment 完全靠 agent 自身做反思,没有单独的判别模型,如果模型本身没有足够的判别能力,标注出来的 $I_{i,j}$ 集合可能含噪声,进而引入错误的 credit 信号。从我自己的观察看,SciWorld 上的 Chem-Mix 子任务 StraTA 仅 16.3%,虽然比 GRPO 的 14.7% 略好,但远落后于 ScalingInter 的 88.6%;且只在 Qwen2.5 系列 1.5B/3B/7B 三个尺度验证,缺乏对更大模型与其它基座(如 Llama)的迁移性验证。
独立分析的弱点
独立审视 StraTA,我认为它至少存在四点可改进之处。第一,固定策略带来的僵化是最大弱点:一旦 $z$ 在 $s_1$ 处采样就锁定到 episode 结束,如果前两步发现计划有误,模型只能靠 judgment 惩罚去压制坏动作,却没有机制去修订 $z$ 本身;改进方向是引入 adaptive strategy revision,例如每隔 $K$ 步重新采样 $z$ 并把 revision 也纳入策略层 group。第二,策略层 reward 采用 top-$\delta$ 聚合虽然抗噪,但当 $\delta$ 固定为 0.5 时无法区分几乎全失败和几乎全成功两组策略,建议引入 baseline-aware 聚合。第三,self-judgment 完全自评缺乏校验,如果模型对自己的计划判断力不足会形成错误反馈循环,可以考虑引入 verifier 模型或多次 judgment 取一致。第四,non-cumulative prompt 每步都要重新 prepend 策略 $z$,长程场景下 prompt 长度压力陡增,可以探索 KV-cache 复用或策略蒸馏到隐空间。
未来方向
作者在结尾明确提出三个未来方向:adaptive strategy revision、richer strategy representations、扩展到更广的 agentic domains。基于论文成果还可延伸:第一,把 StraTA 推广到 multi-agent setting,让多个 agent 各自生成策略并互相 critique;第二,把策略层 reward 与 process reward model(PRM)结合,让 $z$ 不只是事后聚合 top-$\delta$ 还能在前向 rollout 中被即时修正;第三,把 farthest-point sampling 换成更复杂的 retrieval-based diversity 机制;第四,探索 StraTA 与 test-time scaling 结合,在 inference 时多次采样 $z$ 并选最优。这些方向与 hierarchical RL、agent foundation model 的研究趋势高度对齐。
复现评估
论文给出非常完整的复现信息。代码与模型权重在 GitHub(xxyQwQ/StraTA)与 HuggingFace(xxyQwQ/strata 集合)开源,使用 AgentGym 统一接口与 ALFWorld、WebShop、SciWorld 三个标准基准。关键超参全部给出:N=4 策略、M=8 rollout、$\sigma=8$ 过采样、$\delta=0.5$、$\lambda=0.5$、$\kappa=0.1$、batch size=16、训练 150 步。基座为 Qwen2.5-1.5B/3B/7B-Instruct 公开权重。算力门槛是单节点 8 卡 H100,推算 150 步约 12.6 小时。复现难点主要在三处:non-cumulative prompt 与策略动作拼接细节需看代码;self-judgment 的 prompt $P$ 与解码策略未在正文给出;不同环境下 $\lambda$ 与 $\kappa$ 可能需要重新调优,否则在 SciWorld 这种长轨迹任务上可能复现不出 63.5%。
论文图表
图 1a 展示反应式 agent 每步只看当前状态 $s_t$ 决策;图 1b 展示 StraTA 先从 $s_1$ 采样全局策略 $z$,再在 $(z,s_t)$ 下生成动作;图 1c 是 WebShop 上的训练曲线对比,显示 StraTA 的 sample efficiency 显著优于 PPO 与 GRPO。
这是论文的问题-方案-收益对照图,一张图把 motivation 与 main result 串起来,直观说明为什么需要 trajectory-level 抽象。