面向科学发现的评估驱动规模化方法 Evaluation-driven Scaling for Scientific Discovery

完整方法可分解为五步。第一步，初始化：对每个问题 $x_0$，用基线解 $y_0$ 启动（可以是人写的高质量解如 LightSABRE、glmnet、MAGIC），调用评估器得到初始节点 $(y_0, r_0, m_0)$ 写入轨迹历史 $S_0$。第二步，并行启动 C 条独立轨迹：$S_1, \dots, S_C \leftarrow \mathrm{TRAJECTORY}(S_0)$，每条轨迹共享同一个起点但独立维护自己的历史集。第三步，每条轨迹的 refinement（Algorithm 1 中 3-9 行）：对 $\ell = 1, \dots, L$，先用 Φ 从当前历史 $S$ 选出多个高价值节点（用 RPUCG 公式 $\mathrm{RPUCG}(i) = U_i + \lambda \rho_i \sqrt{\frac{1+|S|}{1+n_i}}$ 同时考虑开发与探索），拼成 prompt $x$；调用生成器 G 采样 K 个候选 $\{y_k\}_{k=1}^K \sim G(x)$；评估器对 K 个候选逐个打分，取 $k^* = \arg\max_k r_k$；将 $(y_{k^*}, r_{k^*}, m_{k^*})$ 加入 $S$。第四步，异步执行：生成与评估通过两个 worker pool + bounded queue 流水线化，每条轨迹在批内同步、轨迹间异步；为防止漂移，对每个 active 轨迹设反向压力（默认 1 个未完成批）。第五步，后训练（Algorithm 2）：对训练任务集 $\mathcal{P}$ 跑 6 轮迭代，每轮用当前模型 $G$ 采样 $\hat{C}=32$ 条轨迹存入 replay buffer $D$；按 IRFT 方式分配信用（top R% 节点 $w=1$，其余 $w=0$，前 4 轮 $R=10$、后 2 轮 $R=5$）；按 $\mathcal{L} = -\mathbb{E}_{D} w \cdot \sum_i \log \pi_\theta(\hat{y}_i \mid x, \hat{y}_{<i})$ 做 100 步监督微调（batch=256，lr=2e-5，cosine 衰减）。RPUCG 中的折扣因子 $\gamma$ 默认 0.8，探索系数 $\lambda$ 默认 1.0，灵感节点数 $\mathrm{insp} \in \{3,5\}$。

技术新颖性体现在三个层面。算法层面，把现有进化搜索统一抽象为 $(C, L, K, \Phi)$ 紧致设计空间，让不同搜索系统在同一坐标系下可比；RPUCG 把 PUCT 从单链扩展到图结构支持的多灵感节点选择。系统层面，引入 strict trajectory synchronization + backpressure + 独立评分验证（外层 secure process 重算分数）来抑制 reward hacking；GPU kernel 任务用 split compile / eval worker 来应对 Triton JIT 编译开销。学习层面，丢弃中间瞬时奖励、按轨迹最终最佳分回传，避免模型在局部最优附近变得过度保守；该设计在 4 个 ID + 4 个 OOD 任务上同时显示 top-10% 至 top-75% 分数提升，且在完全没训过的 Sum-Difference 任务上把 SOTA 从 1.143975 推到 1.144887，验证了 TES 历史的'可迁移性'。

独立分析几个具体弱点及改进方向。第一，RPUCG 的贪心选择未做前瞻规划。当 L=100 时，最后一个节点可能受前 99 步启发选择影响极大，但 RPUCG 完全忽略节点的'未来使用价值'，只考虑当前 propagated value。改进方向是引入 LLM-rollout 式的 lookahead，或借鉴 Lin/Liu 等人 2025 年的前瞻选择机制做混合策略。第二，Φ 默认 insp=3~5 是经验值，表 18 显示 insp=1 退化严重、insp=10 也下降，说明 context window 容量与灵感密度之间存在硬约束。可以尝试基于 LLM 的'认知负荷估计'动态调整 insp。第三，轨迹级后训练只用 4 个数学任务训 6 轮，样本多样性受限；而且 IRFT 把整条轨迹都标记为 w=1 会让'达到最高分之前'的'失败探索'也获得奖励，这与'丢弃中间奖励'的设计哲学自相矛盾。改进方向是引入 trajectory-level advantage（类似 GRPO）而非二值 IRFT，并在训练集中加入更多领域（GPU kernel、组合构造等）。第四，best-solution restart 在第 2、3 轮几乎总饱和，但作者未给出该现象的形式化解释（猜测是 local search 在固定初始化的基础上很快耗尽），可以加 bandit 控制器在'restart'和'fresh'之间选择。第五，GPU kernel 任务在表 5 跨硬件对比时直接用 H100/H200 训出的 kernel 在 MI300 上跑，没有平台特定调优，但 AMD GPU 的内存模型与 NVIDIA 差异很大，改进方向是引入平台描述符让模型能感知硬件差异。第六，评测单一指标（如 LASSO 的 1/geomean 时间）会把所有电路同等加权，但 TCGA BRCA（500×20238）样本量为 500 时 SIMPLETES 1.34× vs 1.36×（Gisette 5100×5000）的提升差距远大于表 8 的几何平均暗示的差距，应该报告 per-dataset 提升直方图。

作者提出的方向包括：(1) 自适应预算分配，根据 trajectory-level 反馈动态调整 (C, L, K)；(2) 与实验室机器人/湿实验平台对接，把评估循环延伸到物理科学；(3) 把语义信号从稀疏/二元奖励中提取出来（特别是形式化定理证明场景）。基于成果可延伸的方向还包括：(4) 把 RPUCG 推广到 non-stationary 评估器（评估器本身会随时间漂移，比如编译器版本更新）；(5) 用多模态 LLM 让生成器同时读图（损失曲线、kernel 性能 profile）而非仅读文本错误；(6) 在 21 个任务上做 cross-task 迁移学习，验证轨迹级后训练是否能在量子任务上学到的'局部搜索习惯'迁移到 GPU kernel；(7) 与 AlphaProof、AlphaGeometry 这类形式化系统结合，让 TES 既能做数值/代码搜索也能做符号推理；(8) 把 C, L, K 当作连续变量（通过 model-free RL 学习），而非离散网格搜索。

代码方面，作者声明使用 vLLM 作为推理后端，gpt-oss-120b/20b 作为生成器，所有 21 个任务的评估器、初始程序、超参均在论文 3.x 节详尽给出。算力方面，TriMul 在 H200、SLDBench 评测在 sandbox 终端、AtCoder 评测在 ALE-Bench C++20 容器内、scRNA-seq 评测 300s 时间限制，整体算力门槛中等。GPU 任务需要 H100/H200/A100/MI300 中至少一种；后训练用 32 张 H200 训 15 小时 + 256 张 H200 采样 82 小时，是论文最重的算力需求。复现难度方面，最大的不确定性是：(a) gpt-oss 模型权重的访问门槛；(b) TriMul 的 Triton 版本敏感性（表 4 显示 3.4.0 vs 3.6.0 跑同一 kernel 性能差异可达 10%+）；(c) 评估器安全沙箱（作者用 Docker + 关闭网络 + 独立评分验证来实现，普通复现者可能用 E2B/Daytona 等替代，效果可能不同）；(d) 论文只公开'最高分'，不公开 10 次独立 run 的方差分布（除 AHC 外），复现者可能因为无法严格对齐 RPUCG 的 γ、λ、insp 而得到不同结果。整体判断：算法和超参完全可复现，但端到端数字对环境敏感，预期复现 SOTA 数字的难度为'中高'。