CoSPlay：测试时通过自生成代码与单元测试的协作自博弈框架 CoSPlay: Cooperative Self-Play at Test-Time with Self-Generated Code and Unit Test

完整流程分为三个阶段、六个可操作步骤。阶段 1（Exp-Atk 引导的想法生成）：(a) 对问题描述 $P$ 让 LLM 生成高级算法提示集合 $H=\{h_i\}$；(b) 在子集空间 $\Omega=\{\omega\subseteq H | |\omega|\in\{1,2\}\}$ 上扩展为详细解题方案池 $S$；(c) 对每个方案 $s\in S$ 让 LLM 分析潜在失败模式，得到"UT 攻击想法"池 $A$。阶段 2（池初始化与执行矩阵自博弈）：(d) 代码池 $C=\{c_i\}_{i=1}^{N_c}$ 通过从 $S$ 随机抽题生成；测试池 $T=\{t_j\}_{j=1}^{N_t}$ 一半来自随机合法输入、一半来自 $A$ 中的攻击输入，期望输出通过"采样 4 次至少 3 次一致"来保证先验正确；(e) 在 $M\in\{0,1\}^{N_c\times N_t}$ 上执行四步循环：step①清掉全部失败的代码（按 $\alpha^{\text{code}}_i=0$）重新采样补齐；step②挑通过率最小但非平凡的 $t_{j_{\text{worst}}}$，将原 UT 与它通过的少数代码一起喂给 LLM 生成新 UT 打破虚假耦合；step③挑通过率最大但非平凡的 $t_{j_{\text{best}}}$，用其执行反馈 refine 失败的代码；step④替换通过率为 0 或 1 的 trivial UT。每步后重算 $M$，循环直到 $M$ 全 1 或达到 $T_{\max}=5$ 轮。阶段 3（输出一致聚类）：(f) 对 BoN 并列最高的 $\mathcal{C}_{\text{high}}$ 代码，在 $R$ 个随机合法输入 $Z=\{z_r\}$ 上跑出输出，按"对所有 $z_r$ 输出一致且无 ERR"判定观察兼容 $c_i \sim_{\text{obs}} c_j$，按固定确定性顺序构造保守兼容簇 $\{G_m\}$；按 $S^{\text{cls}}(G_m)=\sum_{c_i\in G_m}\sum_{c_j\in G_m\setminus\{c_i\}}\sum_{k=1}^R \mathbb{1}\{o_i(z_k)=o_j(z_k)\neq\text{ERR}\}$ 取最大簇与簇内最高分代码作为最终答案。

技术新颖性体现在三个层面。第一是"探索-攻击"双层想法生成：与 PlanSearch 的纯探索不同，CoSPlay 显式地把每种解题方案对应的失败模式作为 UT 设计的种子（exp-atk），让初始 UT 既可信又可区分，实测把初始 UT 准确率从 12.5% 提到 37.2%、Signal 从 26.5% 提到 33.7%（附录 Table 7），pass-count 平均提升了 $\delta=2.39$。第二是"双向 pass-count 信号引导的迭代自博弈"：每步操作都有明确的可解释触发条件（all-fail / non-trivial worst / non-trivial best / zero-discrimination），并在每步后重算矩阵，这与 CodeT 等一次性评分不同。第三是"带 ERR 容错的输出一致聚类"：使用 ordered pairwise valid agreement 分数 $S^{\text{cls}}$ 而不是简单簇大小，对运行时报错情况鲁棒，并被 Proposition A.3 形式化为：当候选独立采样时最大簇在后验上收敛到真签名。Theorem A.1 还形式化了 pass-count 与真实正确性的后验单调关系：$\Pr(\text{correct}\mid p^{\text{code}}_i)$ 随 $p^{\text{code}}_i$ 单调上升（需要满足 Eq.10 的优势阈值）。整体而言，它把 GT-free TTS 从"采样+静态过滤"升级到"动态协作博弈"。

独立分析可以看到几个值得改进的弱点：（1）**前期投入大、ROI 滞后**：Figure 11 显示 Qwen2.5-7B-Instruct 上 Direct 模式（仅 628.3 token）已经达到 Pass@1 22.7%，而完整 CoSPlay 需要 $10^5$ ~ $10^6$ token 才能追上并超过，扩大百倍推理成本才换来 +10% 左右的 Pass@1 提升；对于延迟敏感的应用很难直接套用。改进方向：可以把阶段 1 的 exp-atk 想法预生成做缓存复用、或者把阶段 3 的输出一致聚类仅在 BoN 平局 ≥2 时才启用，能省掉一半 token。（2）**单一模型表达能力的天花板**：论文 Section 4.1 提到 backbone 太弱或太强时 CoSPlay 失效，Qwen2.5-7B-Coder 这种 base 模型直接 +CoSPlay 反而退化到 12.0%（Table 1）。改进方向：可以引入预训练/instruct 差分、或者与 few-shot 示例结合启动 exp-atk；针对强模型则可减小 $N_c/N_t$ 与 $T_{\max}$ 来抵消"饱和震荡"。（3）**对运行时报错的脆弱性**：阶段 3 用 observed-compatibility 来回避 ERR，但实际中如果某道题大多数候选都炸出 ERR，聚类退化为随机。改进方向：用 LLM 自身的 self-debug 修复或加入 type-check 预筛来降低 ERR 比例。（4）**缺乏对 prompt 注入/对抗性输入的鲁棒性**：测试输入来自 LLM 自身 brainstorm，理论上可能被 prompt 操纵。改进方向：引入 sanity-check 与人类风格 hard-coded 边界用例作为锚点。（5）**执行矩阵 $N_c\times N_t$ 太小时统计噪声大**：64 个执行点不足以稳健区分高质量与低质量样本，论文也承认 $k=64$ 时仍未饱和。改进方向：把 pass-count 和双向 KL 散度等更复杂的统计量结合、做分层 bootstrap 评估。

作者在 Section 5 明确提出两个方向：（1）将 CoSPlay 推广到非可执行推理任务，例如数学证明或形式化推理，把"单元测试"换成可验证的形式规约或公理检查；（2）提升 token 效率，降低迭代共进化的开销。基于成果可延伸的方向包括：（a）**与 RLVR 的深度融合**：当前只在推理时叠加 CURE，可考虑把 CoSPlay 的 pass-count 信号作为 RLVR 的在线奖励，做"test-time co-evolution + RLVR 微调"的两阶段训练；（b）**多模态扩展**：把 UT 池换成可执行的图像/视频断言，把代码扩展为多模态推理；（c）**Pipeline 与 UT 的解耦**：把 UT 设计做成独立子任务，预训练一个"attack idea 生成器"，降低主模型 token 消耗；（d）**理论保证加强**：作者已经给出 Theorem A.1（pass-count 单调性）和 Proposition A.3（最大簇收敛性）的形式化基础，未来可以把"三区段效应"（weak/medium/strong backbone）的临界条件用更紧的理论界刻画；（e）**类集成扩展**：把多个不同家族模型的执行矩阵拼接（类似 ensemble 思想），进一步降低对单一 backbone 强弱的依赖；（f）**与 NeurIPS-style Best-of-N with verifier** 结合：如 Self-Rewarding LM、Quark-RL，用 reward model 标注 pass-count 替代输出聚类。

论文在 GitHub Page 上公开了完整代码、数据集与日志（Dataset & Log 链接已在首页给出，作者团队 2026-5-13 上传）；代码、prompt 模板、随机种子都可追溯。**算力成本**：所有实验跑在两块 NVIDIA H100 80GB GPU，使用 vLLM 推理框架，temperature=0.8、top-p=0.95、top-k=40。**重要超参**：代码池 $N_c=16$、UT 池 $N_t=16$、自博弈轮数 $T_{\max}=5$、每个 UT 输入采样 4 个期望输出且至少 3 个一致、Stage 1 中 UT 一半随机一半来自 exp-atk。**复现难度**：中等偏下——所有超参都给了默认，prompt 模板要按附录 H 复用。但由于完整跑一遍 Table 1 需要对 5+ 个 backbone × 4 个基准 × 多个种子组合实验，单卡复现 7B 主实验预计需要几天，14B 需要更长时间；想要作者 Figure 10(a) 那种 $k=64$ 的 scaling 实验，则需要把 token 预算拉到接近 $10^6$。**数据**：四个 benchmark 都来自公开比赛题（LiveBench、LiveCodeBench v2、CodeContests、CodeForces），评估脚本与 CURE 论文共享，避免了私有数据泄漏问题。