V1：统一生成与自验证的并行推理框架 V_1: Unifying Generation and Self-Verification for Parallel Reasoners

V1-Infer 算法分为两个阶段。输入：问题 $x$，候选解集 $S = \{s_i\}_{i=1}^N$，验证预算 $B$（验证调用次数），最小度 $d_{\min}$，瑞士窗口大小 $h$，权重下界 $\tau$。Phase 1（拓扑覆盖）：通过随机不相交配对确保全局连通性（每个解至少被验证一次），然后迭代地将低度节点与当前均分最接近的对手配对，使用不确定性加权聚合计算质量分数 $\mu_i = \frac{\sum_{j \in N(i)} w_{ij} v_{ij}}{\sum_{j \in N(i)} w_{ij}}$，其中置信权重 $w_{ij} = \max\left(\frac{|r_i - r_j|}{9}, \tau\right)$，$v_{ij} \in \{0, 0.5, 1\}$ 表示胜/平/负。Phase 2（瑞士精炼）：在拓扑覆盖完成后，将剩余预算集中在解决排名歧义上。每轮中，解按当前分数 $\mu$ 排序，配对窗口 $h$ 内的相邻解，优先选择未见过的配对和接近平局的配对，以最大化信息增益。V1-PairRL 的训练目标为 $J(\theta) = J_{\text{Gen}}(\theta) + \lambda J_{\text{PairVerif}}(\theta)$。生成奖励使用标准二元正确性 $r_{\text{gen}} \in \{0, 1\}$；验证奖励基于评分与真实正确性的对齐程度，其中稀疏阈值机制防止奖励劫持。

本文的技术新颖性体现在多个层面。首先，将瑞士制锦标赛引入 LLM 自验证领域是首创，通过不确定性引导的配对策略实现了亚二次复杂度的高效验证（$K \ll N$）。其次，置信加权聚合方案是一个精巧的设计：通过评分差的幅度作为判断置信度的代理，让高置信度的判断主导全局排名，模糊比较的贡献最小化。第三，V1-PairRL 的协同进化训练框架解决了联合训练中的两个关键崩溃模式：安全赌注崩溃（verifier 输出中间分数以最小化风险）通过稀疏阈值机制解决；空解循环（generator 退化为产生空解以降低 verifier 难度）通过严格配对策略解决（仅在能形成包含至少一个正确解的配对时才触发验证训练）。最后，证明了成对验证能力的提升不仅改善了验证准确性，还通过 RL 训练的联合优化改善了基础生成能力，这是一个非平凡的发现。

论文存在几个值得深入分析的弱点。第一，验证效率仍有提升空间：V1-Infer 需要多次 LLM 调用来建立配对比较，每个比较本身就是一个推理任务。可以探索轻量级的验证代理模型或基于嵌入的快速预筛选来减少 LLM 调用次数。第二，瑞士制锦标赛的配对策略是基于当前分数的贪心方法，可能陷入局部最优。可以引入探索-利用权衡机制（如 Thompson 采样）来偶尔尝试非相邻配对。第三，V1-PairRL 的稀疏阈值机制虽然防止了奖励劫持，但也丢弃了部分梯度信号。可以设计更平滑的奖励函数来保留更多学习信号。第四，论文缺乏对验证失败案例的系统分析——当 V1-Infer 仍然选错时，错误的模式是什么？这有助于指导进一步改进。

未来研究可以从多个方向展开。首先，可以探索多轮成对验证与推理链的结合：在验证过程中让模型生成推理链来解释为什么一个解优于另一个，这可能提供更丰富的信号。其次，可以将 V1 框架扩展到多模态任务（如视觉推理、代码调试），验证成对比较是否在这些领域同样有效。第三，可以研究验证能力的迁移：在代码任务上训练的验证器能否泛化到数学或其他推理任务？第四，可以探索 V1 与进化算法的更深度结合：论文已经展示了 V1-Infer 与 RSA 的互补性，可以设计统一的进化-验证框架。最后，可以研究验证能力的 scaling law：随着模型规模增大，成对验证相对于逐点验证的优势是增大还是减小？这对理解验证能力的本质很重要。

论文的复现条件相对较好。V1-Infer 算法在附录中有详细的伪代码（Algorithm 1 和详细的过程规范），参数设置清晰（如瑞士窗口大小 $h$、最小度 $d_{\min}$、权重下界 $\tau$）。实验使用了公开可获得的基准测试（LiveCodeBench、CodeContests、AIME、HMMT、SWE-bench Lite）。训练数据集（DeepCoder 24K 问题）和评估协议都有明确说明。然而，完整的训练代码和模型权重是否开源尚不明确。训练成本方面，V1-PairRL 需要在每个训练步骤中进行 8 个 rollouts（4 生成 + 4 验证），加上验证调用，总成本显著高于标准 RL。使用 Qwen3-4B-Instruct-2507 的训练可能在单机多卡上可行，但更大规模的实验可能需要更多资源。总体而言，算法核心部分的复现应该是可行的，但完整复现全部实验结果可能需要相当的计算资源。