LLM 改进 LLM：用于测试时缩放的智能体自动发现 LLMs Improving LLMs: Agentic Discovery for Test-Time Scaling

方法分为四步。Step 1（数据预采集）：对每个模型-问题对在温度 $T=0.7$ 下采样 $N=128$ 条完整推理轨迹，按 $\Delta=500$ tokens 分片记录前缀 $z_{i,k}$ 与中间答案 $\omega_{i,k}$，离线存储为可查询表。Step 2（环境构造）：定义状态 $s_t=(q, m_t, I_t, \ell_t, Z_t, \Omega_t)$，动作集合 $\mathcal{A}(s)=\{\text{BRANCH}, \text{CONTINUE}(i), \text{PROBE}(i), \text{PRUNE}(i), \text{ANSWER}\}$，成本 $\text{Cost}(s_t)=\sum_{i=1}^{m_t}\ell_{t,i}+\kappa_\text{probe}|\Omega_t|$，聚合规则 Agg 由控制器自带。Step 3（β 参数化）：智能体编写的控制器只能暴露一个标量 β，并实现单调函数 $\text{map}(\beta)\to$ 所有内部超参，使推理时只需扫一遍 β 即可获得 Pareto 曲线。Step 4（5 轮发现循环）：每轮 Claude Code 读取 $\mathcal{H}$，诊断上次控制器在执行轨迹上的失败模式（例如过早剪枝或分支从未深度展开），改写控制器代码；评估时在 $\mathcal{Q}_{\text{search}}$ 上对每个候选沿 β 扫描 64 次采样平均，写回准确率-成本对与完整轨迹。发现完成后选在 $\mathcal{Q}_{\text{search}}$ 上准确率最高的 (π, β) 用于后续迁移评测。

技术新颖性体现在四个层面。第一，把 TTS 显式建模为离线重放 MDP，状态空间含激活分支集合 $I_t$、深度 $\ell_t$、已揭示探测 $\Omega_t$ 和剩余预算，动作包含分支/继续/探测/剪枝/回答五类——这是对 Parallel-Probe 等已有算法的统一超集。第二，β 参数化与单调 map 函数约束同时存在，把"控制器发现"从组合爆炸的超参搜索降维成预算-精度曲线扫描，工程上等价于把"算法设计"和"预算控制"解耦。第三，执行轨迹反馈比纯标量准确率信息密度高得多，智能体可定位"哪一步决策导致精度塌方"，这是从 Meta-Harness 借鉴但首次用于 TTS 资源分配的设计。第四，所发现控制器呈现四个非平凡机制——基于 EMA 动量的趋势停止、共享证据信号耦合宽度-深度、对齐感知的深度分配、保守分支放弃——这种协同复杂度手工难以设计，但通过环境+智能体组合自动涌现。

独立分析存在三点可改进的弱点。(1) 离线重放的可移植性差：每换一个模型或基准都要重新采样 $128 \times |Q|$ 条轨迹，对小实验室极不友好；改进方向是构造可跨模型迁移的代理 replay，或用重要性采样在已有轨迹上估计新模型行为。(2) β 参数化虽避免过拟合但牺牲了灵活性，例如 Parallel-Probe 的多阈值结构无法表达；改进方向是引入"复合 β"或分段 map，在保持单调约束的同时允许局部精细调节。(3) 5 轮发现迭代的方差未量化：Table 3 显示不同 ablations 搜索成本差异显著（$30.9 vs $46.4），但没报告多次独立 5 轮运行的方差，结论的统计显著性存疑；改进方向是报告 ≥3 次独立运行的均值±标准差并配显著性检验。

作者提出的未来方向是把"环境驱动发现"范式扩展到更广的 TTS 算法族，例如结合树搜索、MCTS、verifier-guided refinement 的更丰富控制空间。基于成果可以延伸的研究包括：(a) 把 replay 矩阵跨模型做迁移学习，避免每个新模型都重采 128 条；(b) 把 β 参数化扩展为多维预算向量（如同时控制宽度预算与深度预算），并约束其联合单调性；(c) 把控制器发现用于非数学推理任务（代码生成、Agent 决策），验证环境范式的通用性；(d) 把发现过程本身做成在线学习，让控制器在使用中持续演化；(e) 与 RL 微调结合，让 TTS 策略与模型权重协同优化；(f) 探索执行轨迹的自动摘要技术，降低智能体的上下文开销以把发现成本进一步压到 100 美元以下。

复现评估整体良好：作者承诺代码与数据开源（论文末尾声明 "Our data, and code will be open-source at https://github.com/zhengkid/AutoTTS"，但截止到本文写作时需自行核对实际仓库状态）；关键技术细节如采样温度 0.7、128 条轨迹、间隔 500 tokens、64 次采样平均、4 个 Qwen3 模型、AIME24/25/HMMT25/GPQA-Diamond 评测集、Claude Code 作为探索 LLM 都在 §4 中明确给出；发现总成本 $39.9、160 分钟意味着复现门槛极低。但风险点在于：(a) Claude Code 的具体 prompt 模板只在 Appendix C 给出摘要，全文依赖该提示的设计；(b) 智能体迭代的随机性意味着同样 5 轮可能发现不同控制器，需要多次运行取最优；(c) replay matrix 体积大（每模型 30 题 × 128 条 × 全部 token），存储与 IO 是工程难点；(d) 不同版本 Claude Code 行为差异可能导致结果波动。综合而言，复现难度中等，主要门槛在 Claude Code 访问与 replay 数据准备。