Mosaic：多会话智能体强化学习 Mosaic: Multi-Session Agentic Reinforcement Learning

流程分四步。第一步，多会话 rollout：Qwen3.5-4B 以 ReAct 循环调用 search（Serper）和 visit（Jina Reader）两个工具；上下文逼近 128K 上限时触发压缩会话，或调用非嵌套子代理产生分支会话；训练集为 REDSearcher_RL_1k 的 1000 个高难深搜任务，rollout batch 16、组大小 8，训练 1 epoch。第二步，轨迹级优势：LLM 裁判（deepseek-v4-flash）打二元奖励 $R_i\in\{0,1\}$，组内标准化得 $\hat{A}^{traj}_i$；按 $R_i$ 分子组，子组内对 $N_i$ 升序中心化排名得 $u_i$，计算 $\hat{A}^{sat}_i=(1-\rho u_i)\hat{A}^{traj}_i$；子组过小或方差为 0 时置 $u_i=0$；全同组启用回退（全成功 $-\beta_1 u_i$、全失败 $\beta_0\min(u_i,0)$，后者只罚不奖）。第三步，会话级整形：对每个会话边界 $v_{i,j-1}\to v_{i,j}$，用更新前策略计算答案逐 token 对似然均值 $\Phi$，stopgrad 取差得 $r^{\Delta}_{i,j}$；组内同类型会话归一化为 $\hat{r}_{i,j}$，最后一个会话（含最终答案）置 0 以免污染分布；合成 $\hat{A}^{session}_{i,j}=\hat{A}^{sat}_i+\lambda_r\hat{r}_{i,j}$。第四步，token 级更新：会话优势广播到 token，按公式 (8) 做 token 加权的 GRPO clip 目标，各会话作为独立训练段（Megatron 风格）在轨迹层聚合更新。

新颖性可从四个坐标看。(1) 问题形式化：首次明确提出「多会话智能体 RL」设定，给出会话级轨迹表示 $\tau_i=\{s_{i,j}\}_{j=1}^{N_i}$，把上下文压缩和子代理分叉统一进一个训练框架——此前的多会话工作只是用 broadcasting 承认了多会话的存在，没有针对它设计优化信号。(2) 信号设计：与 PPO 类需要学习 critic 的方法不同，Mosaic 全程免 critic——轨迹层用组内排名调制、会话层用答案似然差分，避免了长会话下训练价值模型的开销与估计误差。(3) 与 IGPO 的区别：IGPO 在单会话内逐 turn 计算信息增益，Mosaic 把粒度粗化到会话并按类型归一化，图 3b 显示这大幅削减了计算边际增益的墙钟时间，同时性能反超（38.86 对 31.36）。(4) 有界调制思想：$\alpha^{session}$ 只在 $[-\rho,\rho]$ 内缩放优势、绝不翻转符号，是一种保守的辅助信号注入方式，理论上不破坏结果奖励诱导的排序；作者进一步证明它在同质奖励组内能扩大组内优势方差，直接转化为训练样本效率的提升。

独立分析四个弱点。第一，答案似然势函数 $\Phi$ 需要标准答案，且用被训练策略自身估计似然：任务不可验证或答案多解时（如开放式调研、报告写作）信号失真，策略还可能学会「给自己喜欢的答案打高分」——改进方向：用可验证子目标分解、或用带引用一致性的 NLI 打分替代答案似然，或用冻结的参考模型估计势函数。第二，DAG 结构下的信用分配粗糙：子代理会话的边际增益在委托点度量，但其价值可能体现在后续合并结果中，这解释了子代理场景仅 +1.02 点的温和收益——改进方向：沿 DAG 反向传播增益、对合并会话单独设类型与势函数、或用轨迹级回报对会话做滞后相关分析。第三，超参数共 4 个（$\rho=0.2,\beta_0=0.1,\beta_1=0.2,\lambda_r=0.1$），其中 $\lambda_r$ 控制的过程信号强度对不同任务的会话分布敏感，论文未做敏感性分析，跨任务迁移时调参成本高——改进方向：按归一化增益方差自适应调节 $\lambda_r$，或对 $\rho$ 做退火。第四，压缩会话的输入状态是压缩前的完整上下文，意味着计算势函数差分需要对长上下文做前向，接近窗口上限时开销可观——改进方向：利用差分可拆性分别缓存两次状态评估，或用小尺寸代理模型估计答案似然。

作者在讨论章提出四个方向：(1) 基础设施——构建公开的多会话训练数据集与配套智能体执行环境，解决多会话 agentic RL 研究的可复现性瓶颈；(2) 把跨会话状态迁移作为中心学习目标——压缩要保留工作状态、分叉要传递子任务所需信息、合并要整合结果为主代理可用的状态，三者共享「有限上下文预算下该携带什么信息」这一核心问题，CompactionRL 已联合优化执行与摘要，统一三者并系统研究信息损失与误差累积是重要方向；(3) 异步训练——多会话拉长轨迹完成时间差、加剧策略陈旧，需研究 critic-free 组相对优化下的 rollout 分组时机、陈旧样本处理与轨迹复用；(4) 走进黑盒 harness——在 Claude Code 等编排部分不透明的智能体框架内做 RL，系统研究丢 reasoning token、丢工具响应等破坏上下文连续性的机制，以及新会话边界与有损拼接的选择对优化效果的影响。基于本文成果可延伸：把会话效用（正增益占比、每会话 IG）从分析指标升级为显式优化目标；把类型化归一化推广到合并、验证、反思等更多会话类型；在更大的模型和 GAIA、HLE 等更多基准上检验规模效应。

复现难度中等偏高。论文给出项目主页（lark-ai-lab.github.io/Mosaic/），正文未见明确开源代码链接，需关注仓库是否随后放出。有利条件：超参数完整（$\rho=0.2$、$\beta_0=0.1$、$\beta_1=0.2$、$\lambda_r=0.1$、组大小 8、batch 16、1 epoch、每会话 128K），基座模型（Qwen3.5-4B）与裁判模型（deepseek-v4-flash）明确，信号计算在公式 (10)-(18) 中描述充分。不利条件：训练集 REDSearcher_RL_1k 是否公开未说明；依赖 Serper 搜索 API 和 Jina Reader，rollout 有真实费用；需要支持多会话、多训练段的 RL 基础设施（Megatron 风格分段聚合），veRL/TRL 等常用框架需改造；信息增益要在每个会话边界对完整上下文做策略前向，长任务下开销不小。粗略估计：1000 任务 × 组大小 8 × 约 60 步的深搜 rollout，API 与 GPU 成本对个人研究者偏重，适合有 4-8 卡以上资源、有 agentic RL 经验的团队；若只复用信号设计思路（有界调制 + 类型化归一化），成本低得多。