FrontierSmith：大规模合成开放式编码问题 FrontierSmith: Synthesizing Open-Ended Coding Problems at Scale
用突变+多样性过滤把封闭题改造成开放式训练数据
前置知识
封闭式 vs 开放式编码问题
封闭式问题（如 Codeforces）有唯一正确答案，可用二元 pass/fail 评分；开放式问题（如启发式竞赛）没有已知最优解，需要用连续分数（makespan、得分等）评估解的质量，且存在多种有效策略。
本文的核心论点是这两类问题的训练数据存在严重不对称——前者极丰富、后者极稀缺，决定了 LLM 编码能力提升的天花板。
GRPO（Group Relative Policy Optimization）
一种基于群组相对优势的强化学习算法，对同一 prompt 采样一组回答，用组内相对分数作为优势估计，避免训练独立 critic。本文在 Qwen3.5-9B/27B 上用其训练。
GRPO 是把合成问题变成训练信号的桥梁；理解它有助于明白为什么"解法多样性"会影响梯度强度。
可验证奖励强化学习（RLVR）
依赖可程序化验证的奖励信号（如单元测试、形式化验证）训练 LLM 的范式，近年在数学和代码领域取得显著进展。其优势是奖励无歧义、可大规模生成。
FrontierSmith 的核心是把"二元可验证"扩展为"连续可验证"，让 RLVR 范式能迁移到开放式编码。
LLM-as-a-Judge
用一个大语言模型充当评判者，对其他模型的输出做打分或分类。本文用 GPT-5.4 Thinking 比较两段解法的算法策略是否相同。
这是 idea divergence 估计的第一阶段，没有测试用例时只能靠语义比较，必须理解其工作方式与局限。
Idea Divergence（思路发散度）
本文提出的指标，定义为对同一问题独立采样两个解时使用不同算法策略的概率 d(c)。通过成对比较或执行得分向量的距离来估计。
这是筛选高质量开放式问题的核心信号——只有真开放的问题才能让独立求解者走出不同路线。
研究动机
LLM 在封闭式编码任务（Codeforces、SWE-bench verified）上已经拿到金牌或 80%+ 通过率，但在开放式编码（云调度、启发式竞赛等需要连续评分的优化题）上仍远落后于人类——在 FrontierCS 上人类专家得 95.41 分，Gemini 3.0 Pro 仅 29.37 分。造成差距的根本原因是数据不对称：Codeforces 等有数十万道题和已验证答案，而 FrontierCS 只有约 240 道、ALE-bench 仅约 40 道人工策划的开放式题。手工构建每道题都需要设计优化目标、连续打分 verifier 和可靠测试集，工程和专家评审成本高得难以扩展。已有数据合成工作（AutoCode、SWE-smith、HardTests 等）全部围绕二元正确性展开，迁移不到开放式场景。
本文的目标是构建自动化系统 FrontierSmith，从大规模已有的封闭式竞赛编程题出发，规模化合成开放式编码问题，并证明用合成数据训练出的 LLM 编码器能达到甚至超过人工策划数据的训练效果。系统必须同时输出问题陈述、测试集和连续打分 verifier 三件套，可直接喂给 RL 训练流水线。最终目标是消除开放式编码训练数据对人类专家的依赖，让 RLVR 范式能像封闭式场景一样低成本扩展到开放场景，覆盖云调度、启发式竞赛、组合优化等真实场景。
与已有工作不同的是，已有方法的切入角度是"如何合成封闭式题的测试用例/验证器"或"如何 prompt 进化产生新题"，但它们都不触碰"问题表述本身"。本文的独特切入点是：把问题表述形式化为元组 (O, C_I, C_O)，通过对 O、C_I、C_O 做目标替换、输出约束、输入泛化三类突变，主动移除已知最优解，使问题从可精确求解变成需要启发式/近似算法求解；再用 idea divergence 指标筛掉被单一策略统治的伪开放式题。
核心方法
FrontierSmith 是一个四阶段流水线：突变（mutation）→ 粗筛（coarse filter）→ 思路发散度排序（idea divergence rank）→ 测试集与 verifier 构建（test+verifier agents 交叉验证）。直觉上：先从封闭式种子题批量"改写"成开放式候选，再让 LLM 裁判和真实执行结果两道关卡过滤掉那些只是"看起来开放、实则单一策略能赢"的题，最后把幸存题加进种子池让下一轮从更多样化的起点继续突变。技术路线上同时用 GPT-5.4 Thinking 做问题改写和语义判断，用 Claude Sonnet 4.6 采样解、生成测试和 verifier。
核心创新是把"开放式问题"形式化为一个可由突变算子系统性生成的类别，并用"两个独立求解者采用不同算法策略的概率"作为质量信号。已有数据合成研究衡量的是"输出多样性"（同一个模型的多次输出），本文把视角反过来——衡量"问题本身能否诱导不同求解者走出不同路线"。这是一个问题质量分类器而不是解质量分类器，因此可以无差别地筛掉伪开放式题。三类突变（goal/output/input）共同保证了合成问题在表达力上覆盖 NP-hard 化的经典路径（Min-True 2-SAT、度约束生成树、一般图最大独立集等）。
方法步骤详情
流水线 6 步：(1) 种子池 S 初始化为 HardTests 的 47136 道 CP 题，每轮采样 B=1000；(2) GPT-5.4 对每道种子的 (O, C_I, C_O) 做 1~多种突变（目标替换/输出约束/输入泛化）生成候选 C；(3) 粗筛 LLM 裁判检查"无已知最优/多策略合理/可定义连续打分"，剔除失败者；(4) 幸存候选采样 n=10 个解，LLM 裁判成对比较得 $\hat{d}_{LLM}(c)$，留 top-100；(5) test-case 与 verifier agent 并行构建并交叉验证，后者把 O 转成 [0,1] 打分程序 $V_c(s,t) = \max\{0, \sigma_O \cdot \frac{O(s,t)-O(s^*,t)}{\max\{O(s,t), O(s^*,t)\}\}$；(6) 用得分向量算 $\hat{d}_{exec}(c) = \frac{1}{\binom{n}{2}}\sum_{i<j}\frac{\|q_i-q_j\|_2}{\sqrt{m}}$，取 top-50 回流 S，4 轮共得 200 题。
技术新颖性
技术新颖性体现在三点：(a) 把问题合成的视角从"合成解/测试"挪到"合成问题表述"，并提出系统性的三类突变算子，且这三类算子在经典复杂性理论中有对应（NP-hard 化路径），使合成问题天然覆盖原本难以获得的高质量优化任务；(b) idea divergence 是首个面向"问题质量"而非"解质量"的多样性指标，结合 LLM 语义判断和执行向量距离形成两阶段漏斗，避免了单信号失效（如纯执行相似度会把"策略不同但得分相近"误判）；(c) test-case agent 与 verifier agent 的交叉验证协议让合成闭环可自我纠错——10% 的进入者最终产出有效 (T_c, V_c)，其余被自动丢弃，规模化时无需人工干预。
实验结果
(1) Qwen3.5-9B + FrontierSmith-200 在 FrontierCS 上 Avg@5=10.62（+8.82 vs Base），ALE-bench 上 Avg@5=633.58、Best@5=782.30 全配置最高；(2) Qwen3.5-27B 反超人工数据：FrontierCS 19.82 vs 13.98（+5.84），ALE-bench 661.64 vs 543.80；(3) 消融：无 filter 版本掉到 8.57/564.4，单过滤贡献 +2.05/+69.2 点；(4) Idea divergence 是干净的问题分类器：FrontierSmith=0.42、FrontierCS=0.40、ALE-bench≈0.40 几乎重合，HardTests 仅 0.14，差约 3 倍；(5) 合成题驱动 long-horizon 行为：Claude SDK 平均 113 轮、6.3×10^6 tokens，逼近 ALE-bench 区；(6) Random Reward 控制仅 3.04/376.82，排除"格式曝光"假设。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| FrontierCS (Qwen3.5-9B, 200 训练题) | Avg@5 连续分数 (0-100) | 10.62 | HardTests 5.38 / FrontierCS 人工 11.17 / Base 1.80 | +8.82 vs Base；+5.24 vs HardTests；仅落后人工数据 0.55 |
| ALE-bench (Qwen3.5-9B, 200 训练题) | Avg@5 / Best@5 Elo 分数 | 633.58 / 782.30 | HardTests 397.18/512.83；ALE-bench 训练 657.40/750.15；Base 327.22/327.22 | +306.36 Avg vs Base；Best@5 782.30 全配置最高 |
| FrontierCS (Qwen3.5-27B, 200 训练题) | Avg@5 连续分数 | 19.82 | FrontierCS 人工 13.98；HardTests 11.20；Base 7.70 | +12.12 vs Base；反超人工数据 +5.84 |
| ALE-bench (Qwen3.5-27B, 200 训练题) | Avg@5 / Best@5 | 661.64 / 938.10 | FrontierCS 人工 543.80/843.80；HardTests 529.12/922.50；Base 352.52/498.00 | +309.12 Avg vs Base；Best@5 比人工高 +94.30 |
| 随机奖励控制 (FrontierCS 172 题 + U[0,100]) | Avg@5 | 3.04 (FrontierCS) / 376.82 (ALE-bench) | Base 1.80 / 327.22 | 几乎无提升，排除"格式曝光"假设 |
局限与改进
作者明确承认两点限制：(1) 流水线只能处理自包含的算法环境（文本输入→程序输出），无法覆盖需要云资源、GPU kernel 调优或多文件工程设置的 repo 级开放式任务——这类题还需要同时合成可复现的执行环境；(2) 计算预算限制下 RL 训练只跑了 100 步单轮 GRPO，没探索多轮 agentic RL，而合成问题天然适合 long-horizon agent 训练。从读者角度还可补充：(3) idea divergence 严重依赖 LLM 裁判质量，文中仅 GPT-5.4 Thinking 一个模型，没有跨模型裁判一致性分析；(4) 200 道题就拿到大幅提升，但 4 轮迭代中 10% 通过率意味着实际消耗约 4000 个候选，单次跑 GPT-5.4 + Claude Sonnet 的 API 费用与算力门槛不可忽视；(5) 与 Human-Curated FrontierCS 训练在 9B 上还有 0.55 点差距，说明自动合成尚未完全逼近人类水平。
独立分析的弱点
独立分析可指出几个弱点：(1) idea divergence 的 LLM 估计与执行估计的相关性未量化，两阶段漏斗到底过滤掉了多少"伪开放"还是"真开放但执行向量相似"无法判别；改进方向是引入 oracle 人工标注的小规模验证集，比较两阶段信号的一致率。(2) 粗筛在 100 道 HardTests 上假阳率 9%、100 道 FrontierCS 上假阴率 19%，说明它偏向保守，可能误杀一些形式上模糊但实质开放的题；可改用更细粒度的多维度评分（目标清晰度、策略空间、可验证性分别打分）替代二元判断。(3) 训练只用 GRPO 单轮 100 步，合成问题的潜力可能被低估——多轮 RFT（rejection fine-tuning）或 agentic RL 也许能把 Best@5 的 782 推到接近专家水平。(4) test-case agent 仅按均匀/偏度等粗粒度结构生成输入，未覆盖对抗性边界（如动态规划问题的最坏情况输入族），可以借鉴 HardTests 的对抗式生成进一步拉开与基线差距。
未来方向
作者提出未来方向是扩展到 repo 级和 agentic RL。基于成果还可延伸：(1) 把 idea divergence 推广到多模态问题（视觉编程、机器人策略合成），因为核心信号"独立求解者走不同路线"在任何开放式领域都成立；(2) 用合成题作为 agentic RL 的环境，与多轮工具调用、反思结合，端到端训练 long-horizon coding agent；(3) 把突变算子参数化，让用户指定"想要哪种 NP-hard 化路径"（调度、图划分、约束满足），定向生成特定难度/领域的训练集；(4) 探索闭环自演化：训练后的模型反过来当解采样器，让 idea divergence 信号更强，形成"训-合成"飞轮；(5) 跨语言扩展：当前合成基于英文 CP 题，迁移到中文/数学题需要重新设计 (O, C_I, C_O) 抽取 prompt。
复现评估
可复现性中等：作者开源了示例问题和训练脚本（github.com/FrontierCS/FrontierSmith2026），模型权重公开在 HuggingFace（huggingface.co/runyuanhe/qwen35-9b-frontiersmith）。但有三个隐性门槛：(1) 主合成依赖 GPT-5.4 Thinking 和 Claude Sonnet 4.6 两个闭源 API，论文未公开 prompt 模板与精调超参，第三方难完全对齐；(2) RL 训练算力高：9B 用 8×A100×1.5 天、27B 用 32×H200×1.5 天，普通实验室难负担完整 ablation；(3) 评估依赖 FrontierCS 私有 sandbox（172 道算法题）和 ALE-bench-lite（10 道），前者需申请。综合看，完整流水线复现难度中等偏高。
论文图表