Agon：基于隐式对手评分的竞争式跨模型强化学习 Agon: Competitive Cross-Model RL with Implicit Rival Grading of Reasoning

单步流程见Algorithm 1。输入一批题目、适配器A/B、组大小N=8、步索引t、模式（coop/adv）。第一步按t奇偶决定角色：偶数步A起草、B挑战，奇数步反之。第二步起草方对每题x采样N条rollout{a_i}，用$R(a_i)=2c(a_i)+\lambda\varphi(a_i)$做vanilla GRPO更新（独立流，训练从零解题）。第三步挑战方读入每个对手的解题摘要（答案隐去）生成N条配对rollout{b_i}，按模式用协作式$2c(b_i)+\lambda\varphi(b_i)$或对抗式$2c(b_i)+c(b_i)(1-c(a_i))+\lambda\varphi(b_i)$打分。第四步分别在{R(a_i)}与{R(b_i)}组内按$A_i=(r(x,y_i)-\mu)/\sigma$算组相对优势，零方差组丢弃；第五步两适配器各自更新。超参：LoRA rank 16、学习率$5\times10^{-5}$3000题1个epoch、$\lambda=0.5$、$\gamma=0.5$仅5.6节用。推理为两阶段cascade、两方向取优。

技术新颖性体现在四个层面。其一，把'推理质量'从不可标注的黑箱问题，重构成一场由竞争同伴隐式提供奖励的对抗博弈，无需任何过程标签或奖励模型，且不改验证器。其二，提出转换奖励的正确形式并给出严格理论解释：任何在$c(b_i)$上仿射、且组内系数为常数（如全组共享同一对手草稿使$c(a)$对所有N条相同）的奖励，在组相对标准化下都退化为与无对手项奖励等价、贡献零期望梯度，因此必须靠组内对手难度的变异才能让竞争项可训——这一结论被共享对手消融（32 vs 30）实证。其三，共享基座双适配器实例化把'两个模型'的代价压到约2%显存，并通过不同初始化（B加小高斯噪声）和角色轮换维持行为差异。其四，把训练和推理统一成同一套两阶段cascade，部署即训练形态，避免训练-推理不一致。与多智能体辩论、GAN式prover-verifier等角色固定的对抗方法相比，Agon是对称且轮换的，两个策略都不退化为纯批评者，共同作为解题者提升。

独立分析弱点之一：互补性是整个方法的根基假设，却从未被直接度量。论文只通过cascade转换率间接暗示，没有报告两个适配器的错误相关性或互补覆盖率，建议引入基于错误分布的互补性指标并做对照实验。弱点之二：单次训练run、单次采样使所有结论受run间方差威胁，confidence interval只覆盖采样而未覆盖训练方差，建议至少跑3-5个种子并报告方差。弱点之三：双向cascade事后取优是在同一留出集上选的，存在轻微过拟合留出集的风险，应改用独立的方向选择集或交叉验证。弱点之四：文本摘要信道丢失了原始思考轨迹，作者自己承认这限定了带宽，改进方向是直接在隐空间（KV-cache注入或门控latent桥）交换信息。弱点之五：竞争增益与难度加权塑形无法区分，建议设计能解耦两者的对照（如固定组内对手难度但保留可见交换）。弱点之六：算力对等不彻底，挑战方prefill未均摊，建议显式报告总FLOPs或做prefill对齐的对照。弱点之七：跨族配对、不同初始强度配对未研究，泛化性边界不清。

作者明确提出的未来方向：把交换从文本升级到隐空间，通过KV-cache注入或两个适配器之间的门控latent桥直接共享隐藏状态，绕开序列化瓶颈，传递模型无法口头化的信息；把密度杠杆扩展为完整的多目标优化，让压缩与正确性的权衡显式可调，使'信号密度'成为一阶可调目标；加入解法策略的多样性项，使配对足够互补以支持集成。基于成果可延伸的方向：其一，跨模型族配对——本文两个策略同源一个基座，最强模型彼此只差几分，是否存在行为差异足够大的跨族配对值得系统探索。其二，把'转换奖励'的博弈论解读与难度加权塑形解读做正式解耦实验。其三，把draft-and-challenge推广到三模型以上的循环赛或淘汰赛，研究对手数量与收益的scaling规律。其四，在代码之外扩展到有程序化或可验证奖励的领域（定理证明、形式化验证）。其五，研究推理时的动态级联——根据起草方置信度决定是否调用挑战方，以摊薄两阶段的延迟代价。

复现评估：作者公开了奖励公式（式2-3）、全部超参（LoRA rank 16、学习率$5\times10^{-5}$、G=N=8、1个epoch、3000题、$\lambda=0.5$、$\gamma=0.5$）、训练数据（DeepMath-103K难度8、CodeContests easy）和评估协议（温度0.6、top-p 0.95、每阶段15k token、留出300题），并在Algorithm 1给出完整伪代码，使用vLLM与TRL，方法层面原则上可复现。但障碍明显：论文未提及代码或checkpoint是否开源；最关键的批评是每个方法都是单次训练run配单次采样rollout，run间方差完全未量化，而所有headline delta都建立在单点上，复现者极可能得到不同数值。更优cascade方向是在留出集事后选取，复现者用不同种子或不同切分可能漂移。算力虽未报告具体用量，两阶段cascade加双适配器对小团队仍是不小开销。综合判断：方法层面可复现，数值鲁棒性存疑，强烈建议补充多种子结果与开源checkpoint。