学会构建环境：通过可验证环境合成实现自演化推理强化学习 Learning to Build the Environment: Self-Evolving Reasoning RL via Verifiable Environment Synthesis
单策略生成器-求解器合成Python训练环境，让模型自己构造零数据RL的世界
前置知识
可验证奖励强化学习 (RLVR)
通过执行确定性检查器（单元测试、答案等价规则）而非偏好模型给出奖励的强化学习方法，是当前数学与代码推理微调的主流范式。
EvoEnv是RLVR的延伸，论文判定现有RLVR失败模式（饱和化、奖励坍缩）必须先理解RLVR本身的稳定奖励特性。
GRPO (Group Relative Policy Optimization)
一种无需critic的RL算法，对同一prompt采样一组响应，按组内相对优势归一化更新策略；EvoEnv使用单策略双角色GRPO同时训练生成器和求解器。
论文的联合优化目标在GRPO之上同时跑生成器与求解器。
求解-验证不对称 (Solve-Verify Asymmetry)
作者提出的结构性概念：在一大类推理任务中，编写或验证可执行过程比在自然语言中执行相应推理更容易；算法题靠代码、验证题靠答案比对。
这是EvoEnv成立的理论基础——只要'构造'始终比'求解'容易，奖励信号就能在策略变强时仍保持信息量，避免被策略操控。
嵌入空间新颖性 (Embedding-based Novelty)
用冻结的小型句子嵌入模型（如all-MiniLM-L6-v2）将环境和代码映射成向量，用余弦相似度衡量与已收池的差异，防止生成器重复同一模板。
EvoEnv的双视图（prompt + code embedding）新颖性门控直接决定生成器能否摆脱'种子坍缩'。
研究动机
现有自训练方案要么依赖固定的RLVR数据集，要么靠模型自一致性投票打标。前者一旦模型变强，大部分提示几乎被全部解出或全部解不出，组相对奖励失去变化，训练反而走向饱和化与灾难性遗忘；论文在Qwen3-4B-Thinking上观察到DAPO把平均分从72.4拉到64.8、RLVE拉到69.2，都是固定分布的反噬证据。后者虽然自适应但奖源与策略耦合——同一族模型既要学习也要裁决对错，存在被策略性'投票操控'的风险；绝对零推理器等可执行流派为单次实例写一次性验证器，复用单元丢失，依然不是持久奖励源。
本文的目标是作者要在零数据推理RL设定下，把'自合成'的单元从单个问题提升到一个可复用、可验证、可校准、可退役的Python环境对象。具体而言，他们希望构造EvoEnv这一单策略生成器-求解器算法，让同一策略既能通过少样本prompt写出继承VerifiableEnvironment的Python子类，又能继续用冻结的scorer自我训练；通过五层验证、语义自审、相对通过率塑形和嵌入空间新颖性门控，让生成的合成奖励分布始终贴着策略自身的前沿难度滚动，从根本上解决RLVR池子固定后被学习者'消耗'掉的问题。
与已有工作不同的是，切入点是作者称之为求解-验证不对称的稳定结构性差距：算法类任务（动态规划、图遍历、模块化递推）一旦写成Python源代码，便可以编译一次产出无穷多校准实例；验证类任务（子集和、可满足性判定）天然难解易验，检查答案总比在自然语言中显式构造答案更简单。两类结构同时出现，就保证了构造与求解之间存在一条被冻结代码锁住的鸿沟，策略无法靠讨好验证者来'刷分'。EvoEnv由此不信任模型采样的答案，只信任通过五层机械验证、三次any-reject语义自审、求解器相对通过率门槛（$0<\hat{a}_m<1$）、双视图余弦相似度新颖性过滤的可执行产物——并把'构造单元'而不仅是'数据单元'作为合成目标，使奖励源与策略解耦。
核心方法
EvoEnv把单条策略 $\pi_\theta$ 同时当成生成器和求解器：生成器从由10个种子环境构成的少样本prompt中采样Python子类（继承VerifiableEnvironment），每个候选必须实现 $G_e$（采样+参考答案）、$\Pi_e$（渲染prompt）、$S_e$（评分）三件套。候选先经过L1-L5机械验证、3次独立any-reject语义自审，再依据当前策略在 $m=8$ 实例上的通过率 $\hat{a}_m$ 是否落在 $(0,1)$ 区间决定是否入池；入池后还要通过基于MiniLM的双视图余弦相似度新颖性门控与池轮换机制。求解器从活跃池采样环境，用冻结的 $S_e$ 给出0/1反馈；两个角色的GRPO优势在各自组内归一化，共享策略更新。
与已有自博弈或可执行流派最大差异在于合成粒度从'一个问题'升级为'一个可重用环境'：一旦环境通过准入，奖励完全来自冻结的 $S_e(y, z, a) = S_e(y, G_e(\sigma,\delta))$，与当前策略无关，规避了策略耦合伪标签。通过 $Q_{\text{unc}}(\hat{a}) = \exp\left(-\frac{(\hat{a}-a_\star)^2}{2\sigma_a^2}\right)$（其中 $a_\star = 0.3$）把生成器推向'当前策略有一定把握但不至于饱和'的难度，从根本上解决RLVR的奖励坍缩。
方法步骤详情
单次自演化迭代的算法流程（Algorithm 1）：第一步初始化空数据 $D_g^t, D_s^t$ 与候选集 $A_t$；第二步用少样本generator prompt $S_t$ 让策略采样 $M$ 个候选环境；第三步对每个候选调用 EvalEnv 计算五项信号——机械验证层 $\ell(e)$、语义自审 $\text{review}(e)$、相对通过率 $\hat{a}_m(e;\pi_\theta)$、相似度 $\text{sim}_t(e)$ 与适应权重 $\gamma_t$，得到标量奖励 $R_{\text{gen}}$ 与准入决定 $A_t$；第四步在求解器侧从 $P_t \cup A_t$ 采样环境、采样实例与多回答，用 $S_e$ 给出奖励并入 $D_s^t$；第五步在 $D_g^t, D_s^t$ 上做角色条件GRPO更新；第六步 UpdatePool 按固定epoch上限退役活跃池成员，并把退役环境回灌入 $S_t$ 作为后续生成的种子，同时维护原创种子比例下限 $\rho_{\min}=0.2$。
技术新颖性
三项技术新颖性结合在一起：(a) 五层递进式验证 L1-L5（解析、实例化、确定性、非平凡性、评分契约），把可执行验证转化为离散的最高通过层指标 $\ell(e)$；(b) 语义自审与生成器奖励解耦——自审只决定能否入池，绝不进入 $R_{\text{gen}}$，避免生成器学会讨好评审者自然语言偏好；(c) 适应权重 $\gamma_t = \gamma_{\min} + (\gamma_{\max}-\gamma_{\min})\,\text{clip}\left(\frac{\bar{s}_t-\tau_{\text{low}}}{\tau_{\text{high}}-\tau_{\text{low}}}, 0, 1\right)$ 让探索压力随池内冗余度自适应。这套机制把'构造难度受控于自身前沿'从口号变成可度量的工程。
实验结果
Table 1 在三种基座、8个benchmark上展示三点模式：第一，EvoEnv是唯一全面提升三种模型平均分的方法，Qwen3-4B-Instruct-2507从49.2升到53.1（+7.9%）、Qwen3-4B-Thinking-2507从72.4升到74.8（+3.3%）、Nemotron-Cascade-8B-IFRL从71.0升到73.2（+3.1%）。第二，已强模型被静态RLVR反噬是关键证据：DAPO与RLVE在Qwen3-4B-Thinking-2507上把平均打到64.8与69.2，EvoEnv仍正向提升。第三，训练未接触的GPQA Diamond（65.2升到70.2）与LiveCodeBench（59.0升到63.2）也涨，说明学到的是可迁移推理。Figure 3揭示EvoEnv训练分从0.88降到0.61，但50个未见RLVE环境held-out从72.4%升到80.4%。Figure 4显示100步累计840个新环境、45个标签原型，L4通过率从42.4%升到63.0%。Table 2消融证明两奖励均不可缺，去掉任一项平均提升由+2.4降至约+0.5。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| AIME 2024 | pass@1 (%) | 86.2 | 86.7 (Untrained) | 基本持平(-0.5) |
| AIME 2025 | pass@1 (%) | 83.0 | 78.8 (Untrained) | +4.2相对+5.3% |
| AMC 2023 | pass@1 (%) | 100.0 | 97.5 (Untrained) | +2.5近饱和 |
| HMMT Feb 2025 | pass@1 (%) | 60.0 | 56.9 (Untrained) | +3.1 |
| Beyond-AIME | pass@1 (%) | 53.6 | 53.1 (Untrained) | +0.5近持平 |
| Brumo 2025 | pass@1 (%) | 81.9 | 81.9 (Untrained) | +0.0持平 |
| GPQA Diamond | pass@1 (%) | 70.2 | 65.2 (Untrained) | +5.0OOD提升 |
| LiveCodeBench v6 | pass@1 (%) | 63.2 | 59.0 (Untrained) | +4.2OOD代码提升 |
| Qwen3-4B-Instruct-2507 平均 | 8 benchmark pass@1 均值 (%) | 53.1 | 49.2 (Untrained) / 45.8 (DAPO) / 50.3 (RLVE) | +3.9 vs Untrained，唯一全面提升 |
| Nemotron-Cascade-8B 平均 | 8 benchmark pass@1 均值 (%) | 73.2 | 71.0 (Untrained) / 63.8 (DAPO) | +2.2 vs Untrained，跨族泛化 |
局限与改进
作者披露的局限是单一规模与单一RL算法（仅GRPO、未尝试PPO/RLOO），且评估偏数学代码类、未涵盖写作与工具调用。读者应当注意：(a) 绝对提升在已强模型上只有3个点左右，统计显著但工程边际不夸张；(b) 训练只用10个种子环境做few-shot，种子选择可能极大影响所能合成的任务谱；(c) 语义自审由同一策略本体做，附录E虽报告与更强外部评审一致，但意味着对中等模型审查能力的依赖；(d) Figure 3的训练分下降虽然被解读为正向信号，但若生成器策略失控把 $\hat{a}_m$ 压成0，奖励同样会消失，难度目标 $a_\star=0.3$ 的鲁棒边界并未充分刻画。
独立分析的弱点
第一，'求解-验证不对称'在文中以直觉和举例论证，作者并未给出形式化可证的不对称条件；非算法或非验证任务（图灵奖级数学猜想、物理建模）能否照搬此框架存疑。第二，语义自审与生成器使用同一策略，$K_{\text{rev}}=3$ 的any-reject实质上把审查能力下放给4B模型，若种子任务超出该模型范围，种子环境都无法通过自审，论文也未提供不通过率随任务难度的曲线。第三，难度目标 $a_\star=0.3$ 是手工先验，文章没有把它与策略能力曲线一起自适应调参；当策略快速变强时，$0.3$ 仍可能太高导致过早饱和。第四，池轮换中'退役环境再入种子'的延迟反馈周期没有被监控，理论上可能让早期坏环境反复回流。改进方向：把审查换成强外部模型或独立工具；让 $a_\star$ 用运行EMA自行调节；记录退役-复用的相干性图。
未来方向
作者明确提到可向更复杂的非算法类任务扩展，例如物理、博弈、化学场景，以及从'同策略双角色'拓展到'异构生成器和求解器'的多智能体版本。基于结果可延伸的方向包括：(a) 把合成环境作为reward model的构造数据集，让可验证的环境分布监督更难任务的LLM-as-judge；(b) 与执行反馈式agent训练结合，使EvoEnv生成的Python环境直接对接工具使用轨迹；(c) 在RLHF后期用EvoEnv作为红队探测，构造难度始终卡在模型前沿的反事实题；(d) 跨语言迁移：把MiniLM换成代码专用嵌入以更好建模code-view差异。
复现评估
论文在Appendix F公开了10个种子环境的完整代码、Appendix I列出了所有超参（$w_{\text{gen}}=0.3$、$\sigma_a$、$\gamma_{\min}$ 与 $\gamma_{\max}$、$\tau_{\text{low}}$ 与 $\tau_{\text{high}}$、$\rho_{\min}=0.2$、$K_{\text{rev}}=3$、$m=8$、100步），评测使用开源的Nemo-Skills工具链，温度0.6、top-p 0.95、128k上下文，并附Appendix E给出更强的外部评审审计作为参考。但训练侧模型权重、EvoEnv完整生成器prompt模板、所用的GRPO实现版本（是verl或TRL或内部栈？）未在正文明示；实验涉及3个4B到8B模型×100步×多组基线的RL训练，对GPU资源需求较高（论文隐含至少数十至上百张H800量级），个人复现门槛很高。
论文图表
