可验证隐藏动力学博弈：从已求解机制生成智能体强化学习环境 Verifiable Hidden Dynamics Play: Generating Agentic RL Environments from Solved Mechanisms
先采样求解数学模型再渲染成有状态工具环境，让动力学与可验证奖励同源，3美分造一个训练场
前置知识
智能体强化学习（Agentic RL）
训练语言模型在可交互环境中通过多轮工具调用完成任务的强化学习范式。与一次性问答不同，环境状态随动作演化，观察取决于当前状态，后果沿整条轨迹展开，奖励通常在 episode 结束后才给出。
本文的全部目标是为此范式批量生产训练环境；理解『有状态交互』与『书面答题』的本质区别是读懂其贡献的前提。
可验证奖励（RLVR）
用程序化、可精确复算的规则（答案比对、单元测试、求解器输出）而非学习式打分模型给轨迹定奖励。信号无偏且可复现，但传统上只覆盖有标准答案的书面任务，难以扩展到交互式工作流。
VHD-Play 的核心卖点是把可验证奖励从『答案』扩展到『轨迹』：评分完全来自预计算参考的算术，评分路径上没有 LLM 判官。
数学规划与求解器
运筹学把决策问题抽象为带目标函数与约束的数学模型：线性规划、二次规划、背包、库存补货、车辆路由等，可用动态规划精确求解或由 HiGHS、SLSQP 等数值求解器在秒级算出最优值。
论文中的『机制』就是这些模型：成熟求解器免费提供最优参考 $z_\theta$，参数重采样提供无限新环境，这是低边际成本的根源。
GRPO（组相对策略优化）
DeepSeek 提出的 RL 算法：对同一 prompt 采样一组 rollout，用『组内回报减去组均值』作为优势，无需价值网络；本文设置下也没有 KL 惩罚和优势标准化，训练成本低于 PPO。
本文用它消费 Eq. 4 的终端标量奖励来训练玩家模型，复现实验时需要理解其组采样与优势计算的配置。
部分可观测与信息不对称
环境的关键参数对策略隐藏（POMDP 式潜状态），策略只能通过 probe 类动作花费交互预算换取信息视图，而环境构建者（setter）掌握完整参数。信息获取与承诺执行共享同一轮次预算 $T$。
F/I/A 三种呈现的对照实验设计、以及『智能体差距主要来自交互而非解题』的核心结论都建立在信息不对称这一概念上。
研究动机
现有 agentic RL 环境构造普遍遵循『环境优先』顺序：先把可交互环境造出来，再事后定义结果规则或标注轨迹，动力学与评估的对齐被留到生成之后。各条现有路线各覆盖一角：写明数学题的 QA 任务（DeepSeek-R1 式）有廉价精确的答案信号，但相关信息全在 prompt 里，模型无需在变化的状态中边探索边决策；手工/程序化模拟器能恢复交互并暴露精确结果，但每族任务都要专家单独实现动力学和评估器；人类反馈和 RLHF 能覆盖非结构化工作流，代价是反复的专家标注；学习式判官与生成 rubric 降低了标注负担，却引入了自身有效性有待验证的评估器。问题的紧迫性有数据支撑：论文 Fig. 1(a) 显示同一个优化问题写成完整题目时 Qwen3.6-35B-A3B 得 0.962，嵌入有状态智能体环境后掉到 0.204，shortfall 高达 0.758；即便强如 Qwen3.7-Max 也从 0.999 跌到 0.429。扩展智能体训练需要多样环境、可靠结果信号、低扩展成本三者同时成立，而此前没有管线能一并给出。
本文的目标是本文的目标是在不重复人工开发的前提下，规模化产出『可执行环境 + 可靠结果信号』天然成对的智能体训练场。具体拆成四个子目标：(1) 让环境动力学与评估规则从同一个源头派生，交互开始前就固定评分标尺，彻底免去生成动力学与评估之间的事后对齐与验证负担；(2) 把每族机制的开发摊薄为一次性的注册成本，新实例只需重采样参数，边际成本压到每个环境约 0.01–0.03 美元；(3) 提供可控的信息边界——玩家看不见参数和参考值，必须在交互中自己获取信息再做出后果持久的承诺，从而训练信息获取、跨期规划、探索止损等长程能力；(4) 实证检验：用这些环境训练 Qwen3.6-35B-A3B，验证增益能否迁移到留出实例、8 个未见机制族、三个外部基准（BFCL V4、TravelBench、365 天电商模拟）以及随规模增长的更大时域。
与已有工作不同的是，本文的独特切入是对构造顺序的根本逆转：『机制优先』。先从机制族分布 $P_f$ 采样参数 $\theta$ 并求解数学模型 $M(\theta)$，用解出的参考 $z_\theta=(u^*(\theta),u_0(\theta))$ 在环境存在之前就固定结果规则 $R_\theta$，然后才让一个冻结的 LLM setter 把这个已解机制渲染成语料背景下的有状态工具环境。与最接近的公开基线 EnvScaler（先生成程序骨架、数据库和任务，再生成 checklist 验证器）相比，VHD-Play 的动力学与评估继承同一个已解模型，评分是『实际效用对预计算参考』的纯算术，没有任何学习式评估器进入评分路径。选运筹学作为机制来源也很聪明：背包、LP/QP、路由、库存等模型族自带成熟求解器与参数化分布，重采样即得新环境；而真实语料段落提供 28 个主题域的场景、实体和语言多样性。论文还把方法拆成『构造来源/结果出处/反馈定位/优化器』四个独立轴，指出自己只改变了构造轴，可与任意优化器自由组合。
核心方法
直觉是把每个智能体环境看作由一个底层『机制』（数学模型）驱动的可观测过程：状态演化、约束耦合、延迟后果都由采样参数 $\theta$ 决定；若提前解出模型，最优值 $u^*(\theta)$ 与默认策略值 $u_0(\theta)$ 就构成一副天然的、可在交互前固定的评分标尺。技术路线四步走。第一步采样求解：$\theta\sim P_f$，族求解器用闭式解、枚举、动态规划或数值优化（LP 用 HiGHS、可分 QP 用 SLSQP）算出 $z_\theta=(u^*(\theta),u_0(\theta))$，全程无 LLM 参与。第二步语料落地实现：冻结 setter 拿到完整参数字典加一段独立采样的真实语料，生成场景叙事、关系数据库、至少 10 个工具的 schema 与实现、玩家指令和可执行默认策略。第三步准入：检查可执行性、默认区域有效性、最优处奖励一致性（用 oracle/默认/空置三种参考策略重放验证生成代码能重现预计算参考）。第四步策略优化：每条轨迹按 $r(\pi;\theta)=\mathrm{clip}_{[0,1]}\left(\frac{u(\pi;\theta)-u_0(\theta)}{u^*(\theta)-u_0(\theta)}\right)$ 归一化为终端标量奖励，配 GRPO 训练玩家。
核心创新是 Eq. 1 所刻画的构造顺序逆转。环境优先：$E\xrightarrow{\text{define}} R_E$ 或 $(E,\pi)\xrightarrow{\text{interact}}\tau_\pi\xrightarrow{\text{annotate}}y_\pi$，监督在环境之后出现；机制优先：$M(\theta)\xrightarrow{\text{solve}}z_\theta\xrightarrow{\text{fix}}R_\theta(\cdot\,;z_\theta)$，然后 $M(\theta)\xrightarrow{\text{realize}}D(\theta)\xrightarrow{\text{wrap}}E(\theta)$。与已有方法的本质区别有二。其一，动力学与评估不再事后对齐而是同源继承：同一个已解模型既规定状态转移 $s_{t+1}=\Lambda_\theta(s_t,a_t)$ 又提供评分锚点（默认值映射到 $r=0$，全信息最优映射到 $r=1$），且两个锚点都在开场观测之前由求解器而非语言模型算出。其二，信息不对称接口成为显式控制点：builder $G:(\theta,c)\mapsto(D(\theta),E(\theta))$ 看到完整参数，玩家 $\pi:o_{\le t}\mapsto a_t$ 只能通过观测映射 $\Omega_\theta$ 发布的视图行动；probe 与 decision 共享 $T$ 轮预算，把『获取信息』与『付出承诺』耦合进环境结构。同一 $\theta$ 因此可呈现为书面题 F、参数公开智能体 I、参数隐藏智能体 A 三种形式而问题与评估不变，使『解题能力』与『有状态交互能力』可以被干净地分离测量。
方法步骤详情
第一步，采样与求解：11 个族各有参考程序——inventory DP 用联合库存状态的 backward Bellman 递归；routing 用 Held-Karp 精确巡回加积压 DP；facility location 枚举开放子集；tardiness 调度对任务子集做指数递归精确 DP；LP/QP 调 HiGHS/SLSQP；negotiation 用逆向归纳；sequential stopping/search 用事后 ceiling。参考对 $(u^*(\theta),u_0(\theta))$ 在动力学代码存在前算好。第二步，语料落地：setter 输入参数字典、语料段落和主题标签，输出实体关系模型、数据库、≥10 个工具、玩家指令、默认策略与输出格式。以硬件库存为例：3 种元器件、6 天补货期、共享卡车容量 6、任意下单付联合启动成本 37.69、每产品日收货与存储上限 5，可见 forecast 可能误导，probe 一次 SKU 即揭示其 6 天完整隐藏需求轨迹。第三步，准入：C1 可执行（初始化无异常、参考策略到达数值终点）；C2 默认值落在族定义的可接受区域；C3 参考驱动在数值容差内重现任预计算最优。对 8 个支持重放的族各抽 10 个留出环境审计：480 次执行零异常、240 次重复终点全部一致、无一超过 $u^*(\theta)$。第四步，训练：GRPO 每步 64 个 prompt、每 prompt 保留 16 条 rollout（超采到 18），学习率 $2\times10^{-6}$、clip 比率 $4\times10^{-3}$、无 KL 惩罚、无优势标准化，第 34 步的 checkpoint 消耗 2,176 个环境、产出 34,816 条评分 rollout。
技术新颖性
技术新颖性可从五个层面分析。(1) 构造来源层面：把运筹学『将决策问题抽象为数学模型』的传统反向用作环境生成源——成熟模型族自带求解器和参数化分布，重采样即新环境，把每族开发成本摊薄为一次性注册 sampler + realization/replay adapter，这是与所有手工模拟器（如 gym 类程序化生成）的代差。(2) 结果出处层面：验证不再依赖学习式判官或 LLM 生成 checklist（EnvScaler 路线），评分是『实际效用对预计算参考』的算术，且预计算严格先于环境实现，从构造上杜绝了动力学-评估对齐问题；Tab. 7 给出了与 EnvScaler 逐维度的系统对比。(3) 接口层面：信息边界成为一等公民——$\Omega_\theta$ 和动作集属于 wrapper，可以精确控制哪些参数初始可见、哪些需要交互揭示、哪些永远隐匿，这让 F/I/A 消融实验成为可能。(4) setter/player 能力不对称但可控：35B 初始 checkpoint 已能胜任 setter（70% 有效准入），更强 setter 主要提升产率与接口质量，暗示环境基座可以随策略能力共同进化。(5) 概念层面：把智能体训练方法沿『环境来源/结果出处/反馈定位/优化器』四轴解耦（Tab. 6），机制优先只占据一条新的上游分支，与 GRPO/PPO/过程奖励/verifier 全部正交，这为后续研究提供了清晰的分类坐标系。
实验结果
逐一分析五组实验。(1) 三呈现对照（Tab. 2）：Base 的书面 F/参数公开 I/参数隐藏 A 三分为 0.962/0.231/0.204，训练后变为 0.992/0.875/0.815，即 $(+0.030,+0.644,+0.611)$，关闭了 84% 的参数公开状态化差距和 77% 的书面到智能体全部差距；训练后 agentic 0.815 远超 Qwen3.7-Max 的 0.429，shortfall 从 0.758 降到 0.177（Max 仍有 0.571）。(2) 迁移（Fig. 1b）：域内留出 +0.56，近 OOD（未见优化族）+0.63，远 OOD 的不同决策结构族 +0.24、probe 受限族 +0.16，11 个评估族无一退化，knapsack +0.726 与 routing +0.718 最大。(3) 外部迁移（Fig. 4）：BFCL V4 十个交互格从 61.25 升至 64.08；TravelBench 0.700→0.794（Max 0.891）；365 天店铺模拟平均期末余额 54,294→182,844（3.4 倍），5/5 全程完成零破产（Base 4/5 且破产一次），运行 1,147–1,825 轮远超训练时的 59.7 轮均值，余额超过 Max 的 165,224。(4) 归因控制：$D_{\mathrm{KL}}(\pi_{\mathrm{trained}}\|\pi_{\mathrm{Base}})$ 仅 0.089 nats/token；Oaxaca–Blinder 分解显示 +0.443 的 agentic 增益中只有 +0.030 来自代码工具采用率上升（50.4%→79.2%），93% 来自固定采用层内的策略改进——增益是能力激发而非工具调用习惯。(5) 共扩展（Fig. 5）：knapsack 从 6×5 扩到 11×11，Base 从 0.432 跌到 0.085，而各规模匹配训练的 checkpoint 保持 0.843→0.946，增益 +0.412 扩大到 +0.861；冻结 setter 全程可用。附加的 EnvScaler 匹配对照（Tab. 8）中，同预算训练的环境优先管线 BFCL 反而降到 58.56、店铺余额 52,661 几乎无提升，VHD-Play 三项外部聚合全部领先。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 生成机制族智能体诊断（5 个优化族） | 归一化 agentic score（Eq. 4） | 0.815（训练后，Qwen3.6-35B-A3B） | Base 0.204；Qwen3.7-Max 0.429 | +0.611（约 4 倍），超 Qwen3.7-Max 0.386 |
| 留出与未见机制族迁移（8 个新族） | agentic score 变化 | 近-OOD +0.63；远-OOD +0.24 / +0.16 | Base 同族得分 | 11 个评估族全部提升，无一退化 |
| BFCL V4 交互子集（10 格） | 未加权平均准确率 | 64.08 | Base 61.25；EnvScaler 匹配对照 58.56 | +2.84 分（8 格提升、2 格持平） |
| TravelBench 多日旅行规划 | 计划质量分 | 0.794 | Base 0.700；Qwen3.7-Max 0.891 | +0.094，仍低于 Max 参照 |
| E-Commerce Bench 365 天自主店铺 | 平均期末余额 / 完成率 | 182,844；5/5 完成零破产 | Base 54,294、4/5 完成且 1 次破产；Qwen3.7-Max 165,224 | 3.4 倍，并超过 Qwen3.7-Max |
| 环境-策略共扩展（11×11 knapsack） | agentic score | 0.946 | Base 0.085 | +0.861，且增益随规模从 +0.412 递增 |
局限与改进
作者承认的局限（App. K）：所有族都必须有可计算参考，其中 sequential stopping/search 用的是事后 ceiling——在线策略原则上达不到，这两行的分数只用于比较两个模型臂而非度量到最优的距离；训练只用终端标量奖励，无任何中间监督；训练只覆盖 3 族、评估 11 族，且都是数学/运筹学中 formulation 独立于管线存在的成熟模型；生成族结果只有一次训练 run 和一个评估种子；F/I/A 消融只分离了信息暴露维度，未分别归因结果规则与接口各自的贡献。我自己的观察：第一，任务谱系被锁死在『有良构数学解』的决策问题上，开放式软件工程、真实网页操作、多方对话等缺乏精确求解器的领域未被触及；第二，$u^*(\theta)$ 是全信息最优，部分信息下在线策略未必可达，当 probe 成本高时 $r=1$ 的上限语义会系统性低估好策略；第三，各族共享『库存/预算/时域』骨架，跨族泛化可能部分源于同构性——远 OOD 增益（+0.16~0.24）明显小于近 OOD（+0.63）恰好暗示这一点；第四，评测规模偏小（每族 100 环境、TravelBench 仅 20 个英文任务、店铺每臂 5 次运行），3.4 倍余额提升未报告方差与显著性；第五，外部增益幅度普遍不大（BFCL +2.84、TravelBench +0.094），且 TravelBench 与 Max 的差距（0.794 vs 0.891）说明对非优化类规划任务迁移有限。
独立分析的弱点
(1) 机制覆盖依赖『存在成熟求解器』这一前提，可扩展性被锁死在运筹学范畴内；改进方向是纳入可模拟但只有近似解的机制（排队论、博弈均衡、经济动力学），用『近似求解器+误差带』替代精确参考，准入检查相应放宽为区间一致。(2) 终端标量奖励极度稀疏，1,000 轮上限的 episode 里信用分配完全依赖 GRPO 组内相对优势，对 negotiation 这类族 Base 起点近 0、训练后也只到 0.470/0.555，暗示稀疏信号下学习效率有限；可引入从机制派生的 potential-based shaping，保持『参考先于环境固定』原则的同时提供过程信号。(3) probe 的信息价值未被显式定价，sequential search 的对照轨迹显示策略须自行学会止损（Base 付 134 检查费得 −40.71，训练后 27 得 66.29）；可以把 Weitzman 式最优停时解作为辅助监督。(4) 准入审计只重放 oracle/默认/空置三条路径，无法覆盖 setter 引入的计划外语义歧义（如误导性 forecast 属设计特性，但 setter 可能引入非预期的误导）；建议增加对抗性重放与独立 LLM 审查的双通道。(5) 单 run 单 seed 使远 OOD 的 +0.16~0.24 没有误差线，应至少 3 seeds 加 bootstrap 区间。(6) 每次准入需约 6,300 输出 token，35B setter 因平均 2.50 次尝试在成本上并无优势，setter 效率是管线瓶颈，可蒸馏专门的 setter 模型或引入拒绝采样级联。
未来方向
作者提出的方向：其一，机制规模与时域增长下训练持续有益（共扩展前沿 +0.412→+0.861），暗示可以构建『进化训练基座』——策略变强后 setter 持续生成更难的环境，形成自监督式的课程学习闭环；其二，构造视角可推广到任何满足『参数化变化、可执行实现、可控信息不对称、交互前固定的结果标准』四性质的形式机制，运筹学只是最顺手的第一选择。基于成果可延伸的方向：把 mechanism-first 与过程奖励模型结合，在参考固定的前提下加 turn-level 信号以改善长时域信用分配；将机制族扩展到多智能体与机制设计（拍卖、议价、匹配市场），均衡概念天然提供参考解；用 frontier 级 setter 研究环境难度上限与策略能力增长的协同演化曲线；为 $u^*(\theta)$ 不可达的场景设计替代标尺（如最优在线策略的上界）；把真实 API 文档视为『机制说明书』，用参数化后端模拟真实工具生态，弥合合成环境与真实部署的差距；以及研究此类训练对策略安全性、探索惯性和对机制先验过拟合的长期影响。
复现评估
论文未在正文和附录中给出开源仓库、数据或权重链接，官方代码开源情况不明。可复现性材料在文档层面相当充分：11 个机制族的完整形式化、决策结构与参考程序（Tab. 10 与 App. G）；训练配置全公开（GRPO、64 prompt/步、16 保留 rollout、LR $2\times10^{-6}$、clip $4\times10^{-3}$、34 步、2,176 环境、34,816 rollouts，Tab. 9）；评估预算（每集 1,000 轮、每轮 16,384 token、累计 120,000、上下文 65,536）；准入标准 C1–C3 与审计统计（480 次执行零异常）；成本重建（每次准入约 900 输入 + 6,300 输出 token，公开费率下 $0.01–0.03）；28 域语料分布（熵 0.997）。复现难点：真实语料库的具体来源未指明，需自行准备多样化文档；依赖 Qwen3.6-35B-A3B 开源权重和 Qwen3.7-Max API（定价随促销波动）；EnvScaler 对照需要其公开的 2,200 条 RL 场景（可得）；训练 35B 级 MoE 的 GRPO 需要多卡集群数天量级；参数分布的具体取值范围等实现细节需自行补齐。总体判断：文档级可复现性高、工程复现成本中高，无官方代码时 setter prompt 与各族 realization 适配器需要完全重写。
论文图表
左图(a)对比同一批优化问题的两种呈现：书面 QA 形式下 Base 与 Qwen3.7-Max 都接近天花板（0.962–0.999），嵌入有状态智能体环境后 Base 跌到 0.204、Max 跌到 0.429，shortfall 分别为 0.758 和 0.571，而 VHD-Play 训练后 shortfall 仅 0.177。右图(b)按迁移距离分组给出训练增益：域内留出（inventory DP、routing、negotiation）+0.56，近 OOD（knapsack、LP、QP）+0.63，远 OOD 的不同决策结构（sequential stopping/search）+0.24、probe 受限（facility location、两类 scheduling）+0.16。
一张图同时完成立论（书面能力不自动转化为智能体能力）和主结果全景（增益随迁移距离衰减但全面为正），是论文叙事的起点与浓缩。