SoL-Pi：递归扩展自动研究循环，打造高效智能体线束 SoL-Pi: Recursively Scaling Auto-Research Loops for Efficient Agent Harness

流程分八步。(1) Oracle Analysis：在开发轨迹中量化可避免的工作，例如发现 12.3% 的直接相邻动作（编辑后立即 build/run）值得合并，由此催生 Action Fusion 谱系。(2) 方向分配：152 个方向按六个提案家族组织，每个方向必须指认具体开销来源并提出对应 harness 改动。(3) 独立谱系运行：每个谱系是共享 skill 模板的一次性实例，按 Ralph Loop 式实现—评审循环推进，独立评审未通过则打回修订。(4) Map-Reduce 轨迹分析：多个分析器分别检查重复动作、上下文增长、超大观察与稀疏诊断信号，reducer 汇总为候选级结论指导下一轮提案。(5) 双门筛选：能力容差门加效率改进门，保留非支配解。(6) 集成四个机制并调超参。(7) 冻结源码、配置、指标、容差与验收规则。(8) 留出评估：EdgeBench 11 个任务做一次性准入，40 个做最终评估。四个机制的工作方式：Action Fusion 给文件修改工具加可选 then_run 命令，一次请求返回两次结果，API 调用从 3 降到 2；Online Context Compact 在 update_plan 的计划步完成边界估计剩余请求数，当投影节省 $\text{Savings} > \text{Cost}$（缓存重写开销按上下文规模与 cache 写/读价格比估算）或接近窗口上限时触发原生压缩；ObservationPack 对超过 10 KiB 的工具输出先原样发送 2 次请求，之后替换为稳定句柄加大小加约 1 KB 首尾摘录，可按需取回原文；Evidence-Preserving Reducer 把预设命令产生的 $\ge$4 KiB 构建日志交给低成本的 GPT-5.6 Luna 提炼成 receipt，确定性验证器检查 schema、源哈希、退出码、精确引文与大小，失败即回退原日志。

技术新颖性有四点。第一，优化目标与层次新：把 token 效率当作 harness 层的一等验收目标，而现有自动化智能体设计（GEPA 反思改提示、ADAS/AFlow/AgentSquare 搜工作流与组件、DGM/Hyperagents 自改 agent 代码）很少以成本为筛选标准。第二，验收协议新：双门筛选加非支配保留加全程隔离的留出评估，直接回应了进化 harness 过拟合搜索任务的已知问题，是同类工作中少见的严格泛化设计。第三，规模化方式新：以可丢弃的 skill 模板谱系并行扩展搜索，单个谱系失败不影响其他实验；作者类比预训练提出 harness pretraining 的设想——让 harness 像模型一样见过足够多的任务与轨迹。第四，产物新：保留下来的不是提示模板而是可集成的工程机制，且论文展示自动研究能自发发明中间验收指标（Action Fusion 谱系自己引入 trigger rate 与任务分一起验收，最终达到 100% 触发率与 87.0 任务分），说明这类循环具备一定的元认知式自我改进能力。

独立分析的弱点与改进方向：(1) 效率栈的分数损失（42.0 vs 44.8）源于静态四机制组合的一刀切策略，可引入按任务/阶段自适应的机制门控（bandit 或轻量路由器），让高风险任务回退基线行为；(2) 跨后端触发率骤降说明机制参数与后端行为强耦合，改进方向是作者提出的多后端训练，或为每个后端学习一组条件化超参；(3) ObservationPack 与 Reducer 职责重叠导致全栈下触发变保守，可学习机制间的组合策略，或按输出类型做确定性分工；(4) Reducer 依赖另一个 LLM（GPT-5.6 Luna），引入额外延迟、费用与失败面，虽有确定性验证与回退，但可探索纯规则的证据抽取先行、LLM 只做兜底；(5) 评测只覆盖 EdgeBench 51 个公开任务且未报告方差，建议多种子重复实验并给出置信区间，同时把 134 个任务全集纳入评估；(6) 搜索成本高到无法做广度/深度消融，可先在小环境集上建立廉价的代理指标（如触发率乘以预估节省）来预测候选价值，从而降低搜索成本、支撑 scaling law 研究。

作者提出的方向：(1) Pre-training the Harness——类比 LLM 预训练，让 harness 在海量任务与轨迹上持续更新，假设可执行环境数量与研究想法多样性的扩展能带来持续收益；(2) Multi-Backend Training——从多个 LLM 后端的轨迹中学习 harness，提升机制触发的稳定性与鲁棒性；(3) Recursive Efficient Improvement——用 SoL-Pi 作为下一轮自动研究的起始 harness，更低的单次运行成本让固定预算覆盖更多环境、轨迹与想法，效率既是研究产物也是扩大搜索的资源；(4) 系统研究搜索广度与深度在固定预算下的 scaling law。基于本文成果可延伸的方向：把四个机制抽象为上下文经济的通用原语，迁移到多模态与计算机操作类 agent；用强化学习或离线策略优化训练机制门控器；开放想法池与谱系模板，形成社区共建的自动 harness 生态；把成本感知纳入 agent 的行动规划器，在每次工具调用前预估 token 预算。

复现评估：论文首页提供 Code 与 Blog Post 链接，四个机制实现为 Pi（开源编码 harness）的扩展，工程可读性较高；评测资产基本可得——EdgeBench 公开 51/134 任务、Terminal-Bench 4 公开、IMO 2026 使用 AxiomMath/IMO2026 的形式化陈述与 Humanfia 验证设置。复现四个机制本身难度中等：核心是 Pi 工具 schema 扩展（then_run）、计划步边界钩子、大输出归档与句柄检索、以及带确定性验证器的日志压缩（辅助模型为 GPT-5.6 Luna high）。但复现完整搜索非常昂贵：535 个环境需从 GitHub issue-PR 对构建前置仓库并验证 fail-pass 测试，共 3,000+ 次运行、6 万+ 次交互；仅一次 Pi 在 EdgeBench 的评测就花费 $1,339（GPT-5.6 Sol），全流程估计 $10^4 量级以上，且依赖 GPT-5.6 Sol、Opus 5 等闭源旗舰模型。结论：机制与评测可复现，端到端搜索建议只复现单条谱系——Action Fusion 案例的 27 次迭代、四阶段完整轨迹是很好的施工蓝图。