通过世界知识探索训练 LLM 智能体实现自发、无奖励的自演化 Training LLM Agents for Spontaneous, Reward-Free Self-Evolution via World Knowledge Exploration

完整方法分三块：知识预处理、训练数据生成、两阶段训练。**知识预处理**：对每个网站首页 URL $U$，先做图建模——根据链接拓扑给网页赋重要度分数，再按 URL 前缀聚类，得到聚类图 $G(U)$ 作为 agent 的结构化入口，过滤掉噪声页和重复子页，降低探索阶段的认知负担。**训练数据生成**：以 600 道跨 20 个网站的深度搜索题为种子，让教师 Gemini-2.5-Pro 在 $G(U)$ 上自主规划-探索-总结，每个环境生成 3 个候选 $K$，用 outcome-based 奖励 $R_\text{evolve}(K_i) = \text{Success}(T_E \mid K_i) - \text{Success}(T_E \mid \emptyset)$ 在 Qwen3-30B-A3B 基础上做评测，挑出得分最高的 $K^*$ 和对应完整轨迹 $T^* = \{Q, o_1^*, a_1^*, \ldots, o_k^*, a_k^*\}$。论文报告教师生成的知识在训练任务上平均带来 10.72% 的绝对精度提升，平均轨迹长度 374.8 步、每步 3,322.4 tokens。**两阶段训练**：第一阶段 SFT 用上述 $T^*$ 对基模型 $\pi_{\theta_0}$（Qwen3-30B-A3B-Instruct-2507 或 Seed-OSS-36B-Instruct）做监督微调，得到 $\pi_{\theta_1}$，模型学会"先规划预算、再按 cluster 探索、再提炼、再压缩"的基本动作链；第二阶段 RFT 让 $\pi_{\theta_1}$ 自主在 $G(U)$ 上生成 $C$ 个候选 $K$，仍用 $R_\text{evolve}$ 筛选最高分轨迹做 SFT 增量训练，循环两轮得到 $\pi_{\theta}^*$。**推理部署**：$\pi_{\theta}^*$ 拿到新网站后，先调用自身演化策略生成 $K$（t=500, L=43,200 步/秒限制，温度 0.3/0.95），下游任务来时把 $K$ 注入 prompt 引导决策（t=100, L=3,600，温度 0/0.95）。动作空间包括 click、scroll、goto、goback、stop，观测是 Playwright 输出的当前可见组件的 accessibility tree。

技术新颖性体现在三个层面。第一是奖励机制的工程化：把"生成内容对下游任务有没有用"定义为 $R_\text{evolve}(K) = \text{Success}(T_E \mid K) - \text{Success}(T_E \mid \emptyset)$，并用 Qwen3-30B-A3B 作为评估器（人类标注者之外的廉价代理）批量计算，这种把知识质量评估"外部化"的思路让 SFT/RFT 流水线能完全离线跑。第二是训练流程对长视野的适配：标准 GRPO 在 374 步的轨迹上反向传播显存爆炸，作者改用 RFT 解耦轨迹生成与参数更新，既绕开工程瓶颈，又天然允许在 RFT 阶段重复利用 SFT 数据；第三是知识载体的设计选择：把 $K$ 实现为可塞入 prompt 的 Markdown 文档而非向量记忆或 skill 库，使 $K$ 既能被人类直接审阅、也能被不同模型无障碍消费，为跨模型迁移（Figure 3）提供物理基础。这三点单独看都不算全新，但组合在一起形成的"训时奖励-推理无奖励-上下文可迁移"三角协议是本文独有的方法学贡献。

独立分析有三个具体弱点值得改进。**弱点 1：outcome-based 奖励的循环依赖风险**。$R_\text{evolve}$ 的评估器是 Qwen3-30B-A3B，而基模型恰好也是 Qwen3-30B-A3B（或其同系列），存在"用 A 评估 A 的训练数据又喂给 A"的循环——理论上 A 的盲点也会传染到 B。改进方向是引入异源评估器集成（如 Gemini-2.5-Flash + Claude 多模型投票），或用人类标注小样本对评估器做偏差纠正。**弱点 2：Markdown 文档作为世界知识载体的表达能力上限**。Markdown 适合层级化文本，但难以表达网页间的时序关系、登录态差异、A/B 测试版本差异。Figure 5 中 16k→64k 性能饱和正是因为 Markdown 在长上下文下信息密度迅速下降。改进方向是引入结构化 Schema（如 JSON-LD 风格的图谱 + 文字摘要双表示），或在生成时让模型主动做重要性裁剪而非仅靠 token 预算硬限。**弱点 3：RFT 拒绝采样的样本效率瓶颈**。每条候选 $K$ 都需要下游任务集 $T_E$ 上跑一次完整评估，单次评估涉及 M 个任务的 agent rollout，一次 RFT 迭代可能消耗数十万次 LLM 调用。改进方向是引入 surrogate reward model（如先训练一个 $K \to \hat{R}_\text{evolve}$ 的快速预测器），把 RFT 评分从 M 次 rollout 降到一次前向；或者借鉴优先经验回放（PER）思想，只对当前模型最不确定的轨迹做完整评估。**弱点 4：泛化到非 web 环境未验证**。Figure 1 把方法扩展到 code/game 视为天然可行，但作者承认当前实现只对 web 做了 PoC，对动态游戏、需多轮交互的 IDE、机器人具身环境等，知识提炼的 pipeline 需要重写；改进方向是先在 web 上验证元演化能力，再以"环境无关的世界知识 schema"为中间层做迁移。

作者在结论中提出两个延伸方向：（1）把元演化能力推广到 web 之外的领域，如代码仓库、操作系统、游戏世界；（2）探索"知识扩展 vs 参数扩展"的 scaling law，回答"在固定算力下，是训更大模型还是训更会探索的模型更划算"的问题。基于论文成果还可以延伸出几条值得探索的方向。**方向 A：在线 RFT 与 outcome-based 奖励的结合**。当前 RFT 完全离线，可以尝试在 agent 实际服务用户时持续收集真实反馈，把人工偏好或隐式满意度作为 outcome-based 奖励的代理，让模型终身演化。**方向 B：多模态世界知识**。当前 $K$ 是纯文本 Markdown，可扩展为带图（截图、图表）、带表（HTML 表格语义抽取）、带代码（API 调用样板）的多模态知识，使 agent 能应对视觉密集型 web（如图表分析、UI 操控）。**方向 C：世界知识的版本化与冲突解决**。同一网站会随时间变化（公司改名、价格调整），$K$ 的"陈旧性"是未来部署的关键挑战，可以引入增量更新或冲突检测机制。**方向 D：与记忆/技能库协同**。Figure 1 提到与 skills 的差异，未来可把 $K$ 集成到 function-calling 框架中，让 agent 主动按需加载 $K$ 的相关子集，进一步降低 context 负担。**方向 E：评测协议升级**。当前 WebVoyager/WebWalker 的题目以 Q&A 为主，缺少对长视野任务（如"完成一次完整预订"）、多步推理（如"对比 A/B/C 三款产品的差异"）的覆盖，需要更复杂 benchmark 才能充分体现元演化优势。

复现评估整体中等偏难。**代码与模型**：论文摘要标注"Code Models Data"均已发布，且引用了 Cognitive Kernel-Pro（https://github.com/anthropics/skills/tree/main/skills）的脚手架与 Playwright 浏览器自动化框架，复现路径完整。**训练数据**：600 道跨 20 网站的深度搜索题 + 教师 Gemini-2.5-Pro 生成的轨迹 $T^*$ 是 SFT/RFT 关键资源，论文未明示完整 prompt 模板（仅在 Appendix C 提到"详细 prompt 见附录"，但仓库可能公开）。**算力门槛**：两阶段训练的算力门槛较高——SFT 需要在 374.8 步、每步 3,322.4 tokens 的长轨迹上微调 30B/36B 模型；RFT 阶段对每条候选 $K$ 还要在 M 个下游任务上跑完整 agent rollout（每任务 t=100 步, L=3,600 秒），C 候选 × 20 网站 × 2 轮 RFT 累计评估次数是 80 × M 量级，单次 RFT 迭代可能需要数百到数千 GPU 小时。**评估器成本**：评估用 Qwen-2.5-32B（WebWalker 判官）+ Gemini-2.5-Flash（WebVoyager 判官），判官本身的 API 调用费也是不可忽视开销。**复现难度**：方法本身思路清晰（两阶段 pipeline + outcome-based 奖励），但 outcome-based 奖励的实现细节（如聚类图 $G(U)$ 的构造、token 预算在 cluster 间的分配策略、3 候选中最优的判定标准）需要仔细对照附录。建议先复现 WebVoyager 4 网站子集（约 200 题）做最小验证，再考虑全量 WebWalker（1,427 题）。**隐藏风险**：教师 Gemini-2.5-Pro 的 API 行为可能与论文提交时略有差异，导致 SFT 数据的轨迹分布漂移，从而影响 RFT 阶段的初始策略。