CAFE：自我改进的搜索智能体需要共同进化的反馈 CAFE: Self-Improving Search Agents Need Co-Evolving Feedback

完整流程分两阶段。阶段 I（SFT 初始化）：收集基础 agent 的失败轨迹集合 $\mathcal{F}$；对每条 $\tau$，教师 Kimi-K2.5 定位最早错误或停滞轮 $t^\star$；保留前缀 $\tau_{\leq t^\star}$ 并插入 $\langle request\_feedback \rangle$；教师生成纠正反馈及反馈条件下的续写，得到修复轨迹 $\tau^+$；仅当 $\tau^+$ 到达正确答案才加入 $D_{SFT}$。阶段 II（迭代 $k=0..4$，每轮 100 在线步 + 1 次 RDPO）：(a) 在线优化——每个 prompt 采 $n=8$ 条 rollout；按是否请求反馈分成 call/skip 两组，计算 $\hat{u}(x) = \frac{1}{|G_{x,call}|}\sum_{j} r_j - \frac{1}{|G_{x,skip}|}\sum_{k} r_k$（某一路由缺失时退回 batch 级估计）；CFE 奖励 $R_i^{CFE} = r_i + \beta C_i u_i - \gamma[n_{fb,i}-1]^+$，其中 $\beta=0.5$、$\gamma=0.05$ 只惩罚第二次及以后的请求；组内归一化得 $A_i$；对请求轨迹按首个请求切分为 $T^{pre}, T^{call}, T^{post}$ 三段，塑形为 $\tilde{A}_{i,t} = \max(A_i - \lambda g_i, 0)$ / $A_i$ / $A_i + \lambda g_i$（$\lambda=0.5$，$g_i=\text{clip}(u_i, 0, b)$，$b=0.5$），观测与反馈 token 不进策略损失；GRPO 更新（lr $10^{-6}$、KL 系数 0.001、batch 128）。(b) 离线优化——从本轮 rollout 按 prompt 分桶，配对 called-correct 与 called-incorrect 轨迹，前缀 Jaccard $\geq \tau_{sim}=0.7$ 且反馈长度可比，经 LLM 裁判二次质检得 $D_{fb}^k$；从 $\theta^{k+\frac{1}{2}}$ 做 RDPO（lr $2\times10^{-7}$、2 epochs）得 $\theta^{k+1}$，进入下一轮。

技术新颖性可从四个坐标系看。相对细粒度信用分配工作（IGPO 信息增益、TIPS 置信度势、StepSearch 步级 PPO、GiGPO 组中组），它们都在改进“评估信号”，CAFE 引入的是“指导性信号”——反馈直接改写上下文，且首次为“反馈请求”这一元动作本身设计奖励（CFE）与信用边界（塑形把请求前后当作对立角色计分）。相对自反思工作（Reflexion、Self-Refine、CRITIC、S2R），反馈从 prompt 驱动的事后行为变成训练出来的、可选的轨迹内行为，并显式建模“何时不该请求”（repeat 惩罚、路由熵保持 0.496 bits 防止坍缩）。相对共同进化工作（ECHO 轨迹后批评、ReSeek 证据判断与重规划），CAFE 的反馈在轨迹中间介入，能阻止错误复合。理论上，Theorem 1 证明当扰动范数 $\Delta_{CAFE} = B_\pi[c_{norm}\eta_R + \lambda b] < \|G_{task}\|$ 时，$\langle G_{CAFE}, G_{task}\rangle \geq \|G_{task}\|(\|G_{task}\| - \Delta_{CAFE}) > 0$，即 CFE 与塑形不会逆转原任务更新方向——为“学反馈不伤任务能力”提供形式化保证。工程上，单模型双角色省掉独立 critic 的训练与推理成本，但代价是两种能力在参数层面互相牵制，作者只能用极低 DPO 学习率管理这一张力，这既是巧妙之处也是隐患。

独立分析的弱点与改进方向。弱点一：教师依赖。错误定位与反馈生成都靠 Kimi-K2.5，换弱教师可能显著降低 $D_{SFT}$ 质量。改进方向：用自举方式（模型多次采样的自一致性投票）定位最早错误，或用结果反推的最小修复集做弱监督定位。弱点二：CFE 统计功效不足。8 条 rollout 的 call/skip 组经常缺一边，只能退回 batch 级常量，削弱 per-prompt 区分度。改进：用历史 $\hat{u}(x)$ 的指数滑动平均或贝叶斯收缩估计，或自适应地把采样预算分配到能力边界附近的 prompt（论文已用“至少一条反馈路成功 + 一条无反馈路失败”筛选训练 prompt，可以把筛选和估计进一步耦合）。弱点三：单次请求预算是硬约束。BrowseComp 级长任务可能需要多次干预，$\gamma$ 惩罚一刀切。改进：把预算做成学出来的策略（按信息增益动态开放请求），或分层请求（轻量检查 vs 深度诊断）。弱点四：评测生态封闭。固定语料库使结论对“检索器—语料”组合敏感。改进：在在线 web 环境（BrowseComp 原版）或对抗性语料上复验，并报告对检索器更换的鲁棒性。弱点五：共同进化可能放大自我偏好。cross-play 显示同代对齐，模型可能对“自己写的反馈”过拟合形成回音室。改进：周期性引入外部强模型的反馈做校准集，或在 RDPO 中混入域外 prompt 的偏好对。弱点六：无跨轨迹记忆。每次反馈从零诊断同类错误。改进：维护经验库，把高频失败模式（如实体混淆、约束丢失）沉淀为可检索的检查清单供 critic 调用。

作者提出的方向与可延伸的方向。作者层面：论文核心论点“行动与批评是耦合学习系统，每一方都在改变另一方学习的经验”暗示共同进化框架可推广到其他 agent 任务（代码生成、网页操作、具身任务），只需替换环境与动作空间；Theorem 1 的方向保持条件是通用的“辅助奖励不伤任务”判据，可用于指导过程奖励、格式奖励等混合奖励设计；反馈内容演化分析（Figure 4b）显示 critic 的关注点会自动从低级错误（误读结果、实体混淆）转向高级错误（重复查询、冗余调用、逻辑失败），这一自动课程现象值得显式建模与利用。延伸层面：第一，把“请求反馈”推广为连续的干预决策（何时、问什么、问多深），而非二元动作；第二，参数解耦的共进化——用 LoRA 分支承载 critic 角色，缓和共享参数的牵制，允许更高的 DPO 学习率与更频繁的离线更新；第三，与 self-rewarding 范式结合，让 agent 在没有外部教师时自我定位错误、自我构造修复数据；第四，跨任务的经验积累与反馈迁移（元学习式 critic），让一处学到的失败模式服务新任务；第五，scaling 研究：在 14B/72B 与更长时程任务上检验共进化收益是否随模型能力增长而变化——直觉上越强的 agent 失败越隐蔽，critic 越需要同步进化；第六，把 CFE 的 call–skip 定价思想推广到其他“可选元动作”（自检、回溯、放弃、换工具）的效用估计。

复现评估：论文正文与附录均未给出开源代码仓库链接，代码开源情况未知。有利因素：所有评测数据集公开（2WikiMultihopQA、HotpotQA、MuSiQue 用 Trivedi et al. 2023 测试划分各 500 例，Bamboogle 用 FlashRAG 全部 125 例，NQ/PopQA/TriviaQA 各随机抽 500 例，BrowseComp-Plus 公开），评测协议完全明确（E5 检索器 + 固定本地语料、每轨迹最多 30 次工具调用、沿用 R-Search 协议）；超参数完整披露（$\beta=0.5$、$\gamma=0.05$、$\lambda=0.5$、$b=0.5$、$\tau_{sim}=0.7$、在线 lr $10^{-6}$ / KL 0.001 / batch 128 / n=8 rollouts、RDPO lr $2\times10^{-7}$ × 2 epochs、100×5 调度）；agent 与 critic 的 prompt 模板全文给出（附录 B）；训练伪代码（Algorithm 1）清晰。算力需求：8×A100、在线 RL 约 2 天（7B 模型），另需 SFT 阶段的 Kimi-K2.5 教师推理——对学术实验室属于可负担但偏重。复现难度：中等偏高。最大不确定性在 SFT 数据构造：“定位最早错误轮”与“生成能修复的反馈”依赖教师能力，论文未报告 $D_{SFT}$ 的规模与教师定位准确率，这一步质量直接决定后续上限；其次是 GRPO+CFE+塑形的工程实现细节（塑形与 PPO 裁剪的相互作用、fallback 估计的实现）需要自行摸索。若作者释放代码与 SFT 数据，复现可信度将大幅提升；仅凭论文复现，预期分数会有数个点的波动。