虚假前沿:自进化搜索代理中共谋作弊的诊断与缓解 False Frontiers: Diagnosing and Mitigating Co-Cheating in Self-Evolving Search Agents

流程五步。(1) 诊断:每个调度步保存源文档、采纳伪标签与 5 个 solver 回复,审计器(gpt-6-astra/high)从源构建有证据参考后判卷,证据不足记为未决,覆盖率约 0.86,不影响训练。(2) 提案:proposer 从源文档生成问题 $q$ 与伪标签 $\tilde{y}$。(3) 准验(可选 MSV):对同一模型做 3 次带源、3 次无源采样($a^{src}_i, a^{blind}_i$),两个多数票在匹配器 $\simeq$ 下相容才采纳并替换草稿标签,每候选多 6 次生成。(4) 交叉反馈:源文档一次性指派到 fold 0/1,派生问题终身沿用;第 $r$ 轮后辅助 solver 各自在己方折的被采纳题上训练 25 步;第 $r+1$ 轮 fold $h$ 的问题由 $S_{r,1-h}$ 打分,$R_P(q)=f(\sum_j \mathbf{1}[z_j \simeq \tilde{y}])$。(5) 主训练:主 solver 在全部被采纳题上照常训练,每轮 1,600 题、共 129 步,每轮末以 1,325 题套件评测。

技术新颖性体现在三处。其一,co-cheating 的命名与量化本身是贡献:论文不是泛泛讨论标签噪声,而是证明一致率上升可以在真值停滞时由假一致驱动,并用 $F$ 与 $L$ 的反向运动(第 1 轮错误多表现为失去信用,第 3 轮转为共享错误)刻画这一动力学相变,为自进化系统提供了可复用的审计协议。其二,机制归因干净:通过固定题库重放(相同的 3,000 道题与标签,只换反馈 solver 的训练谱系)排除课程选择与准入效应,通过半预算对照($F$=0.005/0.002,与全预算几乎相同)排除额外更新量的解释,再通过同源辅助、全量辅助、随机划分三个对照,证明起作用的唯一变量是源级排除而非评估器复制本身。其三,CrossFit 与 Dr. Zero 的前沿奖励设计完全兼容——不改变 $f(k)$、不拆分主 solver,只在反馈通路上做手术,任何 proposer–solver 式自进化系统都可以低成本嫁接这一原则;相比 CAFE 等共同进化反馈工作,本文把问题收窄到“反馈策略的训练数据谱系”这一可精确控制的因素。

独立弱点与改进方向:(1) 审计与验证的单点依赖——judge 与 labeler 可能共享偏差,改进是引入异构模型委员会或人工校准集,显式量化 $F$ 的测量误差;(2) 源级划分粒度粗糙——同一事件的不同文档可能分属两折,语义泄漏仍会残留,改进是先用 embedding 聚类把连接源归入同一超 fold 再二分,正对应作者的 connected sources 问题;(3) 反馈成本偏高——默认每折 25 个辅助更新使预算增加 72–79%(4B:379→650 H200-hours),而半预算对照表明每轮 25 个总更新即可保住效果($F$=0.005/0.002),改进是把辅助 solver 做成主训练的周期性快照;(4) MSV 性价比低——每候选 6 次生成只换来 0.7–0.8 点提升与 0.4pp 的 $F$ 下降,改进是先做单次 source-blind 廉价预筛,仅对边缘提案执行完整 MSV;(5) 前沿奖励 $f(k)$ 未被重审——CrossFit 修复了谱系问题,但“越难得分越高”的塑形在两折难度不均时仍可能激励出偏题,可考虑折间难度归一化。

作者提出的(结论与附录 D):把排除原则扩展到相互连接的源,用相似度结构做连通分量级的折间隔离;测量端到端效率,证明排除原则可在成本可控下部署。基于本文可延伸的:(1) 把 source-exclusion 推广到 self-rewarding 与 LLM-as-judge 场景——评判某回答的 judge 不应在该回答的来源上训练过,与 RLAIF 的 judge 污染直接相关,可能催生“谱系审计”工具;(2) 理论化:在自适应课程下给出假一致质量的收敛界,刻画 $A$-$T_S$ 分离何时必然发生;(3) 与 co-evolving feedback(CAFE)结合,研究评估者与提议者共同进化时的最优隔离频率与折数;(4) 跨预训练谱系的异构交叉验证——用不同基座家族互为辅助 solver,削弱共享预训练错误;(5) 把固定题库重放发展成自进化系统的标准诊断套件,像 reward-model overoptimization 的 scaling law 一样给出 $F$ 随轮数的增长曲线与预警阈值。

复现评估:配置信息相当完整——Table 2 给出共享训练设置(三轮、每轮 18 个 proposer 与 25 个主 solver 更新,每轮 1,600 题、每题 5 条轨迹,温度 0.8/top-p 0.95,最多 5 次工具动作、每次 512 新 token),公式(1)(2)给出目标与聚合方式,附录 B 描述审计流程,附录 E 保留全部 129 步轨迹。数据全为公开基准(NQ、TriviaQA、PopQA、HotpotQA、2WikiMQA、MuSiQue、Bamboogle),骨干为公开 Qwen3.5-4B/9B,无需人工标注数据。主要门槛是算力:每次运行独占 8 张 H200,Dr. Zero 4B 需 47 小时(379 H200-hours),CrossFit 64–81 小时,MSV+CrossFit 9B 需 160 小时(1,281 H200-hours),个人难以完整复现,但 4B 的 CrossFit(515 H200-hours)在实验室集群可行。审计依赖商业 API 且费用未计入;论文未给出开源代码链接,严格复现需自行实现循环与折间路由,难度中等偏高。