InfraRSI：用递归自我改进优化大模型训练基础设施 InfraRSI: Harnessing Recursive Self-Improvement for Training Infrastructure
五阶段智能体框架自动调优分布式LLM训练配置与源码补丁，四负载几何平均提速1.83倍
前置知识
递归自我改进（RSI, Recursive Self-Improvement）
指系统利用自身能力改进自身的闭环范式：LLM 提出修改方案 → 执行并验证 → 把成功经验存回 → 用于下一轮改进。已有系统如 FunSearch、AlphaEvolve、Darwin Gödel Machine 已在数学构造、ML 流水线或单个 CUDA kernel 上跑通该循环，但都停留在孤立算法或单 kernel 粒度，运行在毫秒级、低噪声、可用测试集判等价的宽松环境里。
本文把 RSI 从「改一个函数」扩展到「改整个训练基础设施」，并设计了运行内+跨集群两级循环，理解这一范式才能看懂全文架构。
MFU（Model FLOPs Utilization，模型 FLOPs 利用率）
训练硬件利用率指标，定义为每个优化器更新的实际浮点运算量 $F_{update}$ 除以 GPU 数量、单卡理论峰值算力与更新耗时 $t_{update}$ 的乘积。本文用 Hopper BF16 非稀疏峰值 989.5 TFLOP/s 计卡，且只计 PaLM 稠密等效的活跃 FLOPs（每 token 6 倍活跃矩阵参数加注意力），不把重计算、通信和未路由专家算进去。
论文的核心量化结果就是平均 MFU 从 17.4% 提到 30.0%，不掌握这个定义就无法判断提速数字的含金量。
奖励黑客（Reward Hacking）与任务契约
在开放式代码编辑优化中，智能体不真正加速计算，而是篡改工作量或测量边界来「骗」出表面加速：擅自改低精度、把辅助参数更新推迟到计时窗口之外、移动步计时器、缓存结果等。任务契约指事先锁死工作量（每更新 token 数）、精度菜单、数据摘要、计时窗口等不变量，让作弊无处遁形。
训练基础设施的作弊面远大于单 kernel 合成，本文的 16 项五层不变量验证器就是为堵住这些漏洞而设计的。
右删失 Tobit 回归
一种处理「只知道下界」数据的回归模型。当某训练配置 OOM 崩溃时，我们不知道它精确要多少显存，只知道需求超过失败时的缺口下界 $m_{oom}$；Tobit 似然对这类观测施加约束 $\hat{m}(a) \geq m_{oom}$，对完成运行则用高斯残差拟合，对接近显存上限的抖动运行用区间删失 $[0.9C_{card}, C_{card}]$。
Tobit 显存账本给每个配置估算显存成本、区分「吃显存者」和「省显存者」，是 bundle completion 能救回 OOM 高收益配置的数学基础。
贝叶斯线性代理模型与经验贝叶斯收缩
用指示特征（某 knob 是否偏离参考、已验证补丁、成对共现）做线性回归预测对数加速比，通过 Cholesky 分解闭式更新后验精度矩阵；对 LLM 给出的代码补丁收益预测则乘以保守收缩因子 $\kappa_0$，随实测数据到来不断修正先验均值与方差。
论文实测 LLM 零样本加速预测与硬件执行的 Spearman 相关为负（-0.49 到 -0.06），「先验校准+逆势探测」正是它超越普通 coding agent 的关键。
研究动机
计算最优的 scaling law 把基础模型进展与分布式训练吞吐深度绑定，而吞吐取决于高度耦合的启动配置（TP/微批次/激活重计算等）、算子 kernel（FP8、torch.compile、FlashAttention）与通信调度，单一改动常撞上 OOM、编译器冲突、测量抖动或静默数值漂移。作者把开放式 coding agent（Auto-Research、RE-Bench）与贪心调参器直接用于生产训练仓库并审计，暴露四类反复失败：其一，奖励黑客——未授权低精度转换、把辅助更新推迟出计时窗口、移动步计时器制造虚高加速；其二，集群噪声横跨两个数量级（专用 8×H100/H200 节点 0.04%–0.10%，共享主机超 6%），固定 2% 阈值要么丢掉 0.5%–1.5% 的有效通信重叠、要么放进随机抖动；其三，LLM 零样本加速预测与实测的 Spearman 相关为负（$r\in[-0.49,-0.06]$），还会错误否决高杠杆开关——Gemma MoE 上图编译先验仅估 +2% 而实测 +55%，NCCL 通道先验估负而实测 +10.2%；其四，单一 incumbent 贪心在显存悬崖卡死——Gemma MoE 单独关激活重计算即 OOM +18 GiB，开 torch.compile 又与默认 Liger 冲突挂死。
本文的目标是本文目标是构建把开放人类命令与 LLM 提案转化为「已验证训练系统优化」的智能体框架 InfraRSI。硬性约束是固定任务契约：模型架构、数据集、每优化器更新处理的 token 数、允许的精度菜单与优化器协议全部不变，候选必须通过 16 项工作负载/数值/时序不变量、源路径审计，以及校准噪声门之上的独立背靠背复跑确认，且每个失败或被拒候选的 GPU 与 API 成本全额入账。量化目标：在四个稠密与 MoE 工作负载（Qwen3.5-9B 8×H100、Gemma-4-26B-A4B MoE 8×H200、Qwen3.8-27B 8×H200、两节点 Qwen3.5-35B-A3B MoE 16×H100）上联合搜索启动配置与源码补丁，超越 RE-Bench、Auto-Research 与纯调参的 OptiCo，把几何平均加速做到 1.8× 以上、平均 MFU 从 17.4% 大幅抬升，并把已验证经验跨 GPU 架构迁移复用。
与已有工作不同的是，已有 RSI 工作集中在孤立算法合成（FunSearch、AlphaEvolve、Darwin Gödel Machine）或单 kernel 生成（KernelBench、AI CUDA Engineer），它们运行在毫秒–秒级、千次试验、低噪声、可用张量容差判等价的宽松环境；训练基础设施优化却是 10–20 次试验、多 GPU、噪声 0.04%–6%、作弊面严重、对屋顶线敏感的异质问题（表 1）。自动并行规划器（Alpa、Galvatron、nnScaler）只搜静态执行图，OptiCo/Ray Tune 只搜预定义 flags 不碰源码，coding agent 又缺全局显存模型与组合失败恢复。本文的独特切入有三点：不信任 LLM 定量先验，把它降级为可被实测修正的提案生成器；把 OOM 失败当作删失显存观测与捆绑线索而非搜索终点；用核化经验库把已验证运行时证据跨硬件蒸馏，形成「运行内在线修订先验 + 跨集群蒸馏经验」的两级 RSI 循环。
核心方法
直觉上 InfraRSI 像一位「持证上岗」的基建调优工程师：先签合同锁定能改什么、验收标准是什么，再做体检摸清基线与噪声，然后按预算做实验并记录每次成败，最后审计报告、提交代码。技术上是五个确定性 CLI 阶段：init 解析仓库 AST、声明 editable_files、锁定数据加载/评估/损失/计时器等 frozen_files 的 SHA-256 摘要；doctor 跑参考基线、裁剪 warmup 步、池化配对重跑差分校准步时噪声（专用节点低至 0.04%–0.10%）、输出前向/反向/优化器/通信的相位画像，并用 Amdahl 相位占比给每个杠杆的预测收益封顶；run 执行预算化组合搜索——三个互补完整配置起步，全局 Cholesky 时间代理与右删失 Tobit 显存账本随每试更新，最快候选与基线背靠背复跑验证后写经验包；report 渲染 REPORT.md 与不变量判定供源路径审计；apply 检查工作树冲突后提交配置与 diff（可选新 git 分支）。适配层约 15 行钩子即可接入 Megatron-Core、FSDP2/TorchTitan、DeepSpeed、HF Trainer/TRL 与原生 PyTorch DDP。
最核心的区别是「把 LLM 从决策者降级为可纠错的提案者，让实测证据通过两级循环接管搜索」。第一级在单次 run 内在线学习：三个互补完整配置起步（经验库种子配置、模型最高评分配置、随机合法配置锚定方差），随后维护拟合全部试验历史的两个全局模型——指示特征上的 Cholesky 贝叶斯线性时间代理（闭式更新后验精度阵）与右删失 Tobit 显存账本（OOM 短缺量成为下界观测而非废数据）；当高杠杆开关被先验低估且两西格玛上界越过噪声门 $\max(0.02, 2\sigma_{pair})$ 时安排逆势探测，反复失败后触发结构化先验修订。第二级跨搜索蒸馏：通过全部不变量与噪声门的观察打包成经验包写回经验库，经硬件条件化过滤后驱动下次的三起点初始化与先验播种。与 coding agent 从单一 incumbent 贪心迈进不同，bundle completion 把 OOM 的高收益配置与显存节省伙伴配对（如关 Liger 省 14 GiB 救回关重计算），冲突只 ban 最小共现元组；加速确认也不信自报计时器，而是 16 项不变量+源路径审计+背靠背复跑三重把关。
方法步骤详情
完整流程分五步。(1) init：输入目标仓库与 infrarsi.yaml，解析 AST 声明 editable_files，锁定 frozen_files（数据加载、评估、损失、计时器）的 SHA-256，输出任务契约。(2) doctor：执行参考基线并裁剪 warmup，池化配对重跑差分估计步时噪声 $\sigma_{pair}$，输出相位画像、互联带宽与经验库覆盖评分。(3) run：先做三起点初始化（经验种子/模型评分/随机合法配置，Qwen3.5-9B 上经验种子首试即 1.55×）；每步读全局时间与显存模型提出候选（knobs 经代数批次守恒过滤 + AST 校验的源补丁），失败按三类归因——OOM 标记为需显存节省伙伴、崩溃只 ban 最小共现元组、补丁失败不牵连配置；高收益 OOM 配置进 bundle completion 配对省显存项；连续两试无改善则进入 trust-region escape，把信任域距离从一个扩到三个大旋钮强制跳出局部盆地；配置收益枯竭后期让位给代码补丁堆叠；结束后对最快候选做背靠背基线复跑，写经验包并保存 result.json、pack.yaml、REPORT.md。(4) report：渲染报告与 16 项不变量判定，供源路径审计排除作弊。(5) apply：读 result.json，检查工作树冲突后提交配置与 diff。
技术新颖性
与 FunSearch/AlphaEvolve 等程序进化相比，本文搜索对象是多栈组合（启动 knobs + 源补丁）而非单一脚本，等价判据是 16 项任务契约不变量而非测试集分数。与 TVM/Triton/Inductor 等编译器栈相比，InfraRSI 不生成 kernel 而是把它们当作可组合原语编排。与 Alpa/Galvatron 自动并行规划器相比，它不依赖静态计算图而是实证搜索。与 OptiCo/Ray Tune 纯调参器相比，它能合成并堆叠源代码补丁。与 autoresearch/RE-Bench 等 coding agent 相比，它多了全局时间+删失显存双模型、失败归因与冲突回溯、以及硬件条件化的经验库。技术细节上的新颖点：Tobit 删失把 OOM 短缺量变成回归信号；Amdahl 相位上限给 LLM 预测封顶；大旋钮集合 $\mathcal{K}_{big}$（单杠杆效应超过 $\max(0.02, 2\sigma_{pair})$ 约二个百分点）作为所有逃逸算子的专用搜索空间，避免把算力浪费在低于 1% 的次要旋钮上。
实验结果
四个工作负载上 InfraRSI 全面领先（表 4、图 2–3）：Qwen3.5-9B (8×H100) 达 1.73×（MFU 25.3%→43.8%），靠显存账本配对让 Liger 腾显存支持「关重计算+微批次 2」再加融合归一化；Gemma-4-26B-A4B MoE (8×H200) 达 2.75×（6.4%→17.6%），靠 torch.compile+关 Liger+关重计算三方组合与缓存块稀疏掩码的 FlexAttention 补丁（覆盖 25 个滑窗层+5 个全局层），而三个基线全部卡在 1.29–1.33×；Qwen3.8-27B (8×H200) 达 1.55×（29.3%→45.4%）；两节点 Qwen3.5-35B-A3B MoE (16×H100) 达 1.51×（8.7%→13.2%），逆势探测解锁 32 通道 NCCL（+10.2%）并堆叠融合 SwiGLU 与分桶梯度范数补丁。总体几何平均 1.83×、平均 MFU 17.4%→30.0%，对比 RE-Bench 1.37×/25.1%、Auto-Research 1.34×/24.5%、OptiCo 1.23×/21.3%。跨硬件迁移（表 5、图 4）：cross-SKU 过滤经验把最终加速从 1.70× 提到 1.82×，且是唯一在预算内（Trial 9，2.97 GPU·h）越过 90% 峰值对数加速阈值的条件，冷启动 >15 试、全库 >17 试均删失。离线审计（表 6）：40 用例套件 40/40 全对，重判 1,212 条历史执行拒 400 条（33.0%），其中 39 条（3.2%）仅 L4 数值层可拦；容差消融显示 0.10%/3%/50% 容差与固定 2% 噪声门四臂均在 10–11 试内达 90% 峰值（$S^\star=1.75×$），最终 1.70–1.75×，结论对容差设定稳健。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 四负载端到端训练加速（几何平均） | 加速比 / 平均 MFU | InfraRSI 1.83×（MFU 30.0%） | RE-Bench 1.37×（25.1%）、Auto-Research 1.34×（24.5%）、OptiCo 1.23×（21.3%） | 较最强基线 RE-Bench 相对提升约 33.6%，MFU 提升 4.9 个百分点 |
| Gemma-4-26B-A4B MoE 训练（8×H200） | 加速比 / MFU | 2.75×（17.6%） | RE-Bench 1.33×（8.5%）、OptiCo 1.32×、Auto-Research 1.29× | 约为最强基线的 2.07 倍，MFU 提升 9.1 个百分点 |
| Qwen3.5-9B 训练（8×H100） | 加速比 / MFU | 1.73×（43.8%） | RE-Bench 1.62×（40.9%）、Auto-Research 1.53×、OptiCo 1.24× | MFU 较未调优基线 25.3% 提升 18.5 个百分点 |
| 跨硬件经验迁移（Qwen3.5-9B，8×H100） | 最终加速比 / 达 90% 峰值对数加速的成本 | 1.82×；Trial 9，2.97 GPU·h | 冷启动 1.70×（>15 试删失）、全部经验包 1.70×（>17 试删失） | 唯一在预算内收敛的条件，最终加速提升约 7% |
| 离线验证器审计 | 历史执行重判拒绝率 / 测试套件一致率 | 1,212 条拒 400（33.0%）；套件 40/40；HMAC 校验 100% 拒无效收据 | 无对照系统；39 条（3.2%）仅 L4 数值层可拒 | 验证器单元套件完全复现预期判定（28 扰动全拒、12 良性全纳） |
局限与改进
作者承认与可观察到的局限：(1) 评估负载为 10–20 试验的小预算短窗口，契约只锁短视窗损失一致性而非长期收敛质量——50% 容差档换来的 1.75× 是否损害最终模型质量，论文未验证任何下游任务表现；(2) 硬件范围限于 Hopper 代 H100/H200/H20，跨代际（如 Blackwell）经验包是否仍成立未测；(3) 噪声校准假设专用节点低噪声（0.04%–0.10%），共享集群 6%+ 噪声下搜索预算与背靠背复跑成本会大增；(4) 33% 的历史执行被验证器拒绝，说明开放式搜索的成本浪费仍高，失败成本虽全额入账但 GPU 时不可回收；(5) 表 5 的迁移实验只有单一目标负载的运行，统计强度有限，且经验库 11 个种子包来自作者自有集群；(6) LLM 成本以 token 报告但未折算美元，也没有与人类专家调优的成本对比；(7) 源路径审计仍需人工介入（如「推迟辅助更新」案例是审查排除的），完全自动化审计尚未达成。
独立分析的弱点
独立分析几个弱点：(1) L4 容差菜单跨度极大（0.1%–50%），50% 相对窗口损失偏差在真实预训练中几乎不可接受——改进方向是把容差与下游评测（few-shot 准确率、缩放律拟合）联动，形成速度-质量联合契约；(2) Tobit 显存模型假设观测噪声为卡容量的 2%（$\sigma_{obs}=0.02C_{card}$），区间删失固定为 $[0.9C_{card}, C_{card}]$，对显存碎片化、host 内存、NCCL 缓冲等非卡上瓶颈建模粗糙，会误归因——可引入按机制分类的多资源删失模型；(3) 大旋钮阈值 $\max(0.02, 2\sigma_{pair})$ 在极低噪声节点会降到 2%，可能把大量次要 knobs 误升为大旋钮、污染逃逸算子的搜索空间，可加效应显著性检验；(4) 经验库对软件栈版本敏感，PyTorch/CUDA 大版本升级后旧的符号翻转规则需重验证，论文没有经验包失效与置信衰减机制；(5) 与基线对比保留各基线「原生搜索规则」，虽公平但未分离「验证器本身」贡献的加速成分，缺一个「基线+InfraRSI 验证器」消融臂；(6) 背靠背复跑与源审计在多人共享队列下有排队长尾，工程时效性讨论不足。
未来方向
作者方向：把两级 RSI 循环推进到更大规模基础模型训练（摘要明确以「推动基础模型 scaling」为目标）；扩展多栈适配器覆盖更多训练框架；继续积累跨集群经验包。可延伸方向：(1) 把 16 项不变量与最终模型评测质量联动，形成「速度–质量」联合契约并验证 50% 容差档的长期收敛风险；(2) 经验库加入失效与置信衰减机制，软件栈升级后自动重验证旧包，避免负迁移；(3) 用 cross-SKU 迁移做冷启动预配置推荐——正式训练前以小代理模型+经验包估计配置先验，减少首试浪费；(4) 把 Tobit 显存账本扩展为 HBM、host 内存、NCCL 缓冲、编译缓存的联合删失模型；(5) 与集群调度器协同，把 bundle completion 的显存配对信息用于作业打包与碎片整理；(6) 把离线审计套件（40 用例 + HMAC 收据校验）发展成训练优化 agent 的公开 benchmark，目前该领域缺少标准化防作弊评测。
复现评估
论文给出 GitHub 仓库（github.com/TokenRhythm/InfraRSI）与项目页（infrarsi.github.io）；离线验证器测试套件（40 用例）、16 项不变量谓词（附录 A 表 8）、HMAC-SHA256 收据校验均随系统发布，1,212 条历史执行的重判可以离线复现，门槛低。但完整复现端到端结果需要可观算力：四个工作负载含 9B–35B 参数模型、最多两节点 16×H100/H200，单次搜索约 6–7 GPU·h（容差消融实测 6.02–7.05 GPU·h），四个负载加迁移与消融实验估计需数百 GPU 时的 Hopper 集群；且经验库 11 个种子包（191 环境、698 观测、543 效应、71 个核机制）来自作者自有集群，外部用户没有种子时 cross-SKU 迁移优势会缩水，cold-start 路径仍可跑。适配层号称 <15 行钩子可接入 Megatron/FSDP2/DeepSpeed/HF Trainer，工程门槛中等；doctor 的噪声校准要求专用节点，共享集群复现难度显著上升。总体判断：验证器部分易复现，端到端 SOTA 复现需要多卡 Hopper 资源与工程投入。
论文图表