金鹅：从不可验证的互联网文本中合成无限 RLVR 任务的简单技巧 Golden Goose: A Simple Trick to Synthesize Unlimited RLVR Tasks from Unverifiable Internet Text

Golden Goose 的数据合成流水线包含以下步骤：第一步，源文本预处理——对于推理密集型的结构化数据（如 AoPS-Instruct 的数学题解、rStar-Coder 的编程题解、MegaScience 的教科书 QA），直接使用原始文本 S；对于噪声较大的数据源（如 FineWeb 的网页抓取），首先用 LLM 提取或总结 S 为一个连贯的、约 100-600 字的、具有教育价值的段落 S'，如果文本中没有合适的段落则返回空字符串。第二步，关键推理步骤识别——用 LLM（实验中使用 GPT-5）在源文本（S 或 S'）中识别一个包含多个重要推理步骤的连续文本片段 t。第三步，构造遮蔽上下文——将识别出的文本片段 t 用 [MASK] 标记替换，得到遮蔽上下文 S_mask，被移除的内容 t 作为正确答案。第四步，生成干扰项——让 LLM 生成至少 10 个多样化的干扰项 D = {d1, d2, ..., dk}，这些干扰项需要在风格和长度上与被遮蔽内容 t 相似，但在上下文 S_mask 中是不正确的。第五步，难度过滤——对于噪声较大的数据源（如 FineWeb），使用学生模型（ProRL-1.5B-v2）进行 16 次 rollout，移除那些在所有 rollout 中都成功的简单问题（即被遮蔽内容可以从上下文中轻松推断出来，无需真正的推理）。第六步，构造最终问题——将遮蔽上下文 S_mask 与正确选项 t 和干扰项 D 组合成多选题 Q = (S_mask, {t} U D)，选项顺序随机化。RL 训练时，学生模型接收 S_mask 并从候选集中选择最佳选项，验证过程只需检查预测是否匹配正确选项 t。

Golden Goose 在技术上的新颖性体现在多个层面。首先，将 FIM 任务重新定义为 RLVR 数据合成工具是一个全新的视角——传统 FIM 主要用于代码预训练（如 SantaCoder、StarCoder 等），而本文展示了它在构造可验证训练数据中的潜力，这个跨领域的迁移本身就很有启发性。其次，从不可验证文本中提取可验证任务这一范式突破了现有 RLVR 数据构造的思维定式：现有方法要么要求数据本身是可验证的（如数学题有标准答案），要么要求人工构建可验证环境（如编写程序生成器），而 Golden Goose 通过格式转换绕过了这一要求，开辟了一个规模远超现有数据集的训练数据来源。第三，多选题格式的设计经过了严格的消融实验验证：干扰项数量的选择（从3到6到9）平衡了任务难度和学习信号的有效性——3 选项时模型主要使用排除法（识别干扰项的错误而非推理出正确答案），9 选项时超过 70% 的问题处于中等难度区间，提供最丰富的 RL 信号。第四，难度过滤机制确保了从噪声数据源（如网页抓取）生成的数据质量——对于推理密集型的结构化数据（教科书、竞赛题解），GPT-5 生成的问题已经足够难，无需额外过滤；但对于噪声数据，一些被遮蔽的内容可以从上下文中轻松推断，需要通过学生模型的 rollout 统计来过滤掉。最后，整个流水线的设计极其简洁——只需一个 LLM 调用（对于结构化数据）或两个 LLM 调用（对于噪声数据），无需复杂的验证环境或领域专业知识。

基于独立分析，Golden Goose 存在以下弱点：第一，干扰项生成策略过于简单——当前的干扰项生成完全依赖 LLM 的采样多样性，没有引入对抗性生成机制来确保干扰项真正具有区分度。实验表明，3 选项时模型主要使用排除法而非真正的推理，虽然 9 选项缓解了这个问题，但如果能生成更具对抗性的干扰项（例如专门设计来迷惑常见推理错误的选项），可能在更少选项数下就能达到同等甚至更好的训练效果。改进方向可以包括：使用强化学习来优化干扰项生成器，使其专门生成学生模型最容易犯错的选项。第二，遮蔽策略单一——论文只采用了连续文本片段遮蔽，未探索非连续遮蔽（如同时遮蔽关键公式和最终结论的组合，迫使模型同时进行多步推理）或多段遮蔽（遮蔽推理链中的多个不连续片段）的效果。对于复杂的长链推理，连续遮蔽可能跳过了最重要的推理跳跃点。第三，缺乏课程学习——所有样本在训练中被平等对待，没有根据难度或领域进行采样权重调整。一个自然的改进是根据学生模型在不同样本上的准确率动态调整采样权重，优先训练模型处于能力边界上的样本。第四，验证信号仅限于正确选项匹配——多选题格式的 RL 奖励是二元的（选对=1，选错=0），但一个几乎正确的选择（如选中了一个非常接近正确答案的干扰项）和一个完全错误的选择获得相同的零奖励，这可能损失了有价值的梯度信号。改进方向包括：为不同干扰项设计不同难度的奖励，或结合 LLM-as-judge 对模型的推理过程进行部分评分。第五，对源文本质量敏感——对于噪声较大的网页数据，LLM 提取的教育性段落质量可能不稳定，特别是在专业领域（如网络安全），文本可能包含过时信息或错误知识，这些可能被引入训练数据。

作者提出的未来方向包括：将 Golden Goose 范式扩展到更多高价值领域，如法律和医学——这些领域虽然缺乏可验证数据但有丰富的专业文献，且推理模式（如法律案例分析、医学诊断推理）高度复杂，如果能通过多选题格式捕获这些推理模式，将具有巨大的实际应用价值。基于本文成果可延伸的研究方向包括：第一，开发自适应的干扰项生成机制——根据学生模型的能力动态调整干扰项的难度和类型，实现对抗性数据合成，最大化每个样本的学习信号。第二，将多选题格式与其他 RLVR 格式（如数学验证器、代码测试、LLM-as-judge）结合，形成混合训练策略——多选题格式擅长处理知识密集型任务，而数学验证器擅长处理形式推理任务，两者互补可能带来更大收益。第三，探索非连续遮蔽和多段遮蔽策略——对于复杂的长链推理，同时遮蔽推理链中的多个关键节点可能迫使模型进行更深层的推理，提升训练效果。第四，研究多选题训练对模型开放式推理能力的影响——论文初步展示了逻辑推理的泛化能力，但需要更系统的评估来确认格式迁移效应的范围和强度。第五，实现基于难度的课程学习——根据训练过程中模型在不同样本上的表现动态调整采样分布，优先训练模型处于能力边界上的样本，提升训练效率。第六，探索 Golden Goose 在更大规模模型（如 7B、14B、70B）上的效果——论文的结果暗示更强模型更早饱和，那么 Golden Goose 对超大模型的价值可能更大，但需要实验验证。

从复现角度来看，Golden Goose 的方法本身具有较好的可复现性，但完全复现论文的所有结果面临一些实际挑战。在开源情况方面：论文详细提供了数据合成的 prompt 模板（附录 A 包含网络安全、数学/STEM、代码三个领域的完整 prompt），这对复现合成过程非常有帮助；但论文未直接发布 GooseReason-0.7M 和 GooseReason-Cyber 数据集，也未提及未来是否计划发布，复现者需要自行运行合成流水线。在数据方面：论文使用的源数据都是公开可用的——AoPS-Instruct（60万数学竞赛 QA 对）、rStar-Coder（37.7K 专家编写问题）、MegaScience（65万教科书 QA 对）、FineWeb（公开网页抓取），获取这些数据不存在障碍。在算力方面：完全复现论文的所有实验需要大量计算资源——ProRL-1.5B-v2 的原始训练使用了 20K+ H100 GPU 小时，论文的继续训练实验额外使用了 1,100 H100 GPU 小时；不过论文也展示了 200 步的计算高效设置，复现核心结论不需要完整复现。在难度方面：主要的复现瓶颈在于数据合成——使用 GPT-5 API 进行 70 万样本的合成需要相当的费用和时间，且 GPT-5 的可用性和定价可能变化。一个可能的替代方案是使用其他强 LLM（如 Claude、Gemini）进行合成，但论文未报告不同 LLM 的效果对比，复现者需要自行进行消融实验。总体而言，方法的设计简洁透明，核心创新点（MCQ 格式转换、干扰项生成、难度过滤）都可复现，但完全复现论文的所有数值结果需要显著的计算投入和 API 成本。