面向超长周期智能体科学的认知积累：机器学习工程的自主探索 Toward Ultra-Long-Horizon Agentic Science: Cognitive Accumulation for Machine Learning Engineering
提出层级认知缓存架构，实现超长时间跨度自主机器学习工程
前置知识
大型语言模型（LLM）上下文窗口
LLM 在单次推理中能处理的最大 token 数量（如 128K 或 1M tokens）。当对话历史超过这个窗口时，模型会丢失早期信息。上下文窗口限制了 Agent 在长时间任务中的记忆能力，是长周期自主性的核心瓶颈。常见的应对策略包括滑动窗口截断、摘要压缩、以及本文提出的多层级缓存等。
本文的核心问题就是如何在有限上下文窗口内管理长达数十小时的交互历史，理解上下文窗口的限制是理解本文动机的前提。
MLE-Bench
OpenAI 发布的机器学习工程基准测试，包含 75 个真实的 Kaggle 竞赛任务，涵盖图像分类、NLP、表格数据等多种场景。每个任务要求 Agent 在固定时间预算内自主完成数据处理、模型设计、训练调优、提交结果的全流程。评估指标为 medal rate，即 Agent 的提交成绩达到人类参赛者铜牌、银牌或金牌水平的任务比例。任务按复杂度分为 Low、Medium、High 三个等级。
MLE-Bench 是本文唯一的实验评测平台，所有核心结果（56.44% medal rate）均在此上获得，理解该基准的设计和评估方式对理解本文贡献至关重要。
层级认知缓存（Hierarchical Cognitive Caching, HCC）
本文提出的核心架构，灵感来自计算机系统的多级缓存层次（L1/L2/L3 Cache）。HCC 将 Agent 的认知状态分为三层：L1 缓存存储当前阶段的原始执行轨迹（如代码补丁、终端输出），用于即时调试；L2 缓存存储已完成探索阶段的精炼知识（如关键判断、实验洞察），用于中期战略连贯；L3 缓存存储跨任务可迁移的先验智慧（如模型模板、预处理流程），用于新任务的热启动。信息通过上下文提升（promotion）机制从低层向高层迁移。
HCC 是本文的唯一方法论贡献，理解三层缓存的设计理念和运作机制是理解整篇论文的关键。
上下文迁移（Context Migration）
HCC 的动态管理协议，包含三个操作：上下文预取（Prefetching）在任务开始时从 L3 检索相关先验智慧；上下文命中（Hit）决定查询历史时优先从 L1 获取原始事件还是从 L2 获取摘要；上下文提升（Promotion）在阶段完成时将原始轨迹压缩为知识存入 L2，在任务完成时将知识进一步蒸馏为智慧存入 L3。这确保信息在正确的时间以正确的粒度被访问。
上下文迁移是 HCC 能否真正实现认知积累的关键机制，它决定了信息如何在三层之间流动和转化。
超长周期自主性（Ultra-Long-Horizon Autonomy）
指 Agent 在数天甚至数周的时间尺度上维持战略连贯性和迭代纠错能力。与短周期推理（如单次问答）不同，超长周期任务面临高维探索空间、延迟反馈、信息爆炸等挑战。Agent 需要在累积大量执行细节的同时，保持对整体研究方向的清晰认知，而不是被瞬时的错误信息淹没。这一概念是本文对 Agentic Science 范式的核心定义。
本文的根本论点是超长周期自主性是 Agentic Science 的关键瓶颈，理解这一概念才能理解为什么需要认知积累范式。
研究动机
当前 LLM-based Agent 在超长时间跨度的机器学习工程任务上表现不佳，根本原因是上下文管理的失效。以 MLE-Bench 为例，Agent 需要在 24 小时内对 75 个 Kaggle 竞赛进行自主探索，涉及反复的代码编写、调试、训练和评估循环。现有方法如 MemGPT、HiAgent 等主要关注资源分配层面（信息存储在哪里、如何检索），但缺乏对执行经验如何随时间演化的显式建模。另一类方法如 Reflexion、Memento 则将经验转换为可重用反馈，但通常使用扁平或松散结构的记忆存储，缺乏调控记忆增长和生命周期的机制。具体而言，当 Agent 进行长时间探索时，交互历史 $E_t$ 会因反复试错、工具日志和迭代调试而迅速膨胀，简单的上下文拼接会导致上下文饱和（context saturation），破坏战略连贯性并阻止跨任务知识的积累。例如，现有最优方法 ML-Master（29.3% medal rate）和 Leeroo（50.7%）在高复杂度任务上的表现分别仅为 24.4% 和 40.0%，说明现有上下文管理策略在长周期场景下存在显著不足。
本文的目标是本文的目标是实现一种全新的上下文管理范式——认知积累（Cognitive Accumulation），使 Agent 能够在数十小时的自主探索中维持战略连贯性。具体而言，作者希望将瞬态的执行轨迹逐步蒸馏为稳定的可重用知识和跨任务智慧，从而克服静态上下文窗口的缩放限制。在评测层面，目标是在 MLE-Bench 的 75 个任务上以 24 小时预算获得显著优于现有方法的 medal rate，特别是在高复杂度任务上实现实质性提升。作者希望通过这一工作为 Agentic Science 提供一个可扩展的蓝图，使 AI 能够在超越人类先例的复杂性下进行自主探索。
与已有工作不同的是，本文的独特切入角度是将上下文管理类比为计算机系统的多级缓存层次结构。现有工作要么从资源分配角度（分层存储和检索）要么从经验驱动角度（轨迹抽象和重用）处理上下文管理，但很少有框架能够同时调节短期工作上下文、累积执行经验和抽象记忆之间的交互。作者认为，真正有效的上下文管理不是线性地保留更多信息，而是让信息经历结构化分化：瞬态经验支持即时决策，相对稳定的知识在长时间探索中保持战略一致性，进一步抽象的智慧实现跨任务迁移和重用。这种认知积累的视角——从瞬态经验到验证知识再到抽象智慧的演化过程——是本文与所有现有方法的本质区别。此外，作者选择在 AI4AI（AI for AI）范式下工作，利用机器学习工程任务作为 Agentic Science 的微观缩影，既提供了即时反馈的计算基底，又保留了真实科学发现的核心挑战。
核心方法
ML-Master 2.0 的核心直觉是：有效的长时间自主性不是保留更多历史信息，而是让信息经历结构化分化和演化。就像计算机系统的多级缓存将频繁访问的数据放在快速但小的 L1 缓存，将不常用但重要的数据放在慢速但大的 L3 缓存一样，Agent 也需要将即时执行细节保留在工作记忆中，将验证过的知识存储在中期记忆中，将跨任务智慧存储在长期记忆中。技术路线上，Agent 首先从 L3 缓存中预取与当前任务相关的先验智慧构建初始上下文，然后通过与环境交互生成初始代码。接着，Agent 提出分层研究计划，其中包含多个探索方向，每个方向包含多个具体实现建议。Agent 并行执行这些建议，在每个阶段完成后将原始轨迹压缩为精炼知识存入 L2，最终在任务完成时将知识蒸馏为可迁移智慧存入 L3。这个过程不断循环直到任务完成或时间预算耗尽。
本文的核心创新是层级认知缓存（HCC）架构，它与现有方法的本质区别在于三个层面。第一，HCC 不是单一的记忆机制，而是由层级缓存（HC）和上下文迁移（CM）两个互补组件协调设计的整体架构。HC 提供按时间稳定性和重用价值组织上下文的结构架构，CM 决定信息如何在层级之间动态提升、整合或丢弃的治理协议。第二，HCC 显式建模了执行经验随时间演化的生命周期：原始轨迹到精炼知识再到先验智慧，而现有方法通常只在单一粒度上处理历史信息。第三，HCC 通过上下文提升操作符 $P = (P_1, P_2)$ 实现了两级压缩：$P_1$ 在阶段级别将并行探索轨迹压缩为知识单元，$P_2$ 在任务级别将结构化历史蒸馏为可迁移智慧。这种设计使得快速变化的高价值信号保持在活跃推理环路附近，同时将更稳定和可重用的知识逐步迁移到更持久的表示中。
方法步骤详情
ML-Master 2.0 的执行流程分为以下步骤。步骤一：上下文预取（Context Prefetching）。给定当前任务描述 $d_\tau$，计算其嵌入 $q = E(d_\tau)$，通过阈值从 L3 缓存中检索相关先验智慧集合，构建初始事件。步骤二：初始代码生成。Agent 与环境交互，尝试生成无 bug 的初始代码。步骤三：分层研究计划。Agent 提出包含 $m$ 个探索方向的研究计划，每个方向包含 $q$ 个具体实现建议。步骤四：并行探索执行。每个建议产生一条交互轨迹，Agent 生成代码、与环境交互、根据反馈调整策略。步骤五：阶段级提升。阶段完成后，操作符 $P_1$ 将所有轨迹压缩为精炼知识，写入 L2 缓存并从 L1 移除原始轨迹。步骤六：上下文命中与重建。在任意时间步，构造函数使用命中策略：L1 中有原始事件则用原始事件，否则用 L2 中的摘要，构建上下文。步骤七：任务级提升。任务完成后，操作符 $P_2$ 生产任务级智慧，嵌入后存入 L3。步骤三至七循环直到时间预算耗尽。
技术新颖性
本文的技术新颖性体现在多个方面。首先，认知积累这一概念框架本身就是新颖的——它将上下文管理从线性保留重新定义为演化过程，建模从瞬态经验到验证知识再到抽象智慧的转换，这在 Agent 研究中是全新的理论视角。其次，HCC 架构将计算机系统的缓存层次思想创造性地应用于认知状态管理，三层缓存（L1 Evolving Experience、L2 Refined Knowledge、L3 Prior Wisdom）的设计既借鉴了经典系统设计，又适应了 LLM Agent 的特殊需求。第三，上下文提升操作符 $P = (P_1, P_2)$ 实现了两级结构化压缩，这不同于简单的摘要或截断，而是通过 LLM 驱动的回顾性抽象来保留决策理由和实验洞察。第四，上下文命中策略实现了缓存层次的核心优势——让高频率、高价值的信息保持在近距离，同时保证战略连贯性不因原始轨迹的丢弃而丧失。第五，实验结果表明这种架构能够将峰值上下文长度从 200K+ tokens 限制在约 70K tokens，同时保持关键洞察不丢失。
实验结果
ML-Master 2.0 在 MLE-Bench 上取得了全面的最优性能。核心指标上，ML-Master 2.0 的平均 medal rate 达到 56.44%，比此前最优的开源方法 ML-Master（29.3%）提升了 92.7% 的相对改进，比最优闭源方法 Leeroo（50.7%）提升了 11.2%。在所有复杂度等级上，ML-Master 2.0 均排名第一：低复杂度任务 75.76%（vs ML-Master 48.48%），中等复杂度 50.88%（vs 20.18%），高复杂度 42.22%（vs 24.44%）。特别值得注意的是，ML-Master 2.0 在中高复杂度任务上的提升尤为显著，表明其在需要长时间探索的任务上优势更大。在鲁棒性方面，ML-Master 2.0 保持了 95.6% 的有效提交率（valid submission rate），在 63.1% 的任务上超过了 50% 的人类参赛者（above median rate），这在所有方法中也是最高的。消融实验进一步验证了 HCC 架构的协同效应：移除 L1（Evolving Experience）后有效提交率从 95.5% 骤降至 54.5%，medal rate 从 72.7% 降至 22.7%；移除 L2（Refined Knowledge）后 medal rate 降至 59.1%；移除 L3（Prior Wisdom）后 above median rate 降至 72.7%，medal rate 降至 54.5%。这说明三层缓存缺一不可，各有其不可替代的作用。上下文长度分析显示，HCC 能够将峰值上下文从 200K+ tokens 压缩到约 70K tokens，同时在第四次迭代的计划提案和验证阶段成功获得奖牌。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MLE-Bench Low 复杂度任务 | Medal Rate (%) | 75.8 ± 1.5 | ML-Master 48.5 / Leeroo 68.2 / Thesis 65.2 | 比 ML-Master 提升 27.3 个百分点（相对 56.3%），比 Leeroo 提升 7.6 个百分点 |
| MLE-Bench Medium 复杂度任务 | Medal Rate (%) | 50.9 ± 3.5 | ML-Master 20.2 / Leeroo 44.7 / Thesis 45.6 | 比 ML-Master 提升 30.7 个百分点（相对 152%），比 Leeroo 提升 6.2 个百分点 |
| MLE-Bench High 复杂度任务 | Medal Rate (%) | 42.2 ± 2.2 | ML-Master 24.4 / Leeroo 40.0 / Thesis 31.1 | 比 ML-Master 提升 17.8 个百分点（相对 73%），比 Leeroo 提升 2.2 个百分点 |
| MLE-Bench 全部任务平均 | Average Medal Rate (%) | 56.4 ± 2.5 | ML-Master 29.3 / Leeroo 50.7 / Thesis 48.4 | 比 ML-Master 提升 92.7% 相对改进，比此前最优闭源方法提升 11.2% |
| MLE-Bench 全部任务平均 | Valid Submission Rate (%) | 95.6 ± 1.2 | ML-Master 93.3 / Leeroo 50.7 / Thesis 90.2 | 与最优方法持平，显著优于 Leeroo 的 50.7% |
| MLE-Bench 全部任务平均 | Above Median Rate (%) | 63.1 ± 1.2 | ML-Master 44.9 / Leeroo 50.7 / Thesis 56.0 | 比 ML-Master 提升 18.2 个百分点，比 Thesis 提升 7.1 个百分点 |
| MLE-Bench 全部任务平均 | Gold Medal Rate (%) | 19.6 ± 0.9 | ML-Master 17.3 / Leeroo 21.3 / Thesis 20.0 | 与最优方法基本持平，比 ML-Master 提升 2.3 个百分点 |
| 消融实验 - 移除 L1 | Medal Rate (%) | 22.7 | 完整 HCC 72.7 | 移除后大幅下降，验证 L1 的基础性作用 |
| 消融实验 - 移除 L2 | Medal Rate (%) | 59.1 | 完整 HCC 72.7 | 移除后下降 13.6 个百分点，验证精炼知识的不可替代性 |
| 消融实验 - 移除 L3 | Medal Rate (%) | 54.5 | 完整 HCC 72.7 | 移除后下降 18.2 个百分点，验证先验智慧对热启动的价值 |
局限与改进
本文存在若干值得深入讨论的局限性。首先，消融实验仅在 MLE-Bench-Lite（子集）上以单次运行进行，缺乏多次随机种子的统计显著性检验，这降低了消融结论的可靠性。其次，ML-Master 2.0 使用了 Deepseek-V3.2-Speciale 作为主干模型，该模型的具体能力和局限性未被充分讨论——性能的提升在多大程度上归功于 HCC 架构 vs. 更强的基础模型，这一归因并不清晰。第三，先验智慧的构建依赖于 407 个 Kaggle 竞赛（排除 MLE-Bench 中的任务）作为预热数据集，这引入了数据泄露的风险——尽管作者排除了 MLE-Bench 任务，但预热任务与评测任务之间的分布相似性可能带来隐性优势，且这种规模的预热数据在实际应用中不易获得。第四，24 小时的计算预算对应每个任务消耗大量算力（36 vCPU + 2× RTX 4090 + 1TB SSD），这限制了方法的可及性。第五，论文在部分地方混用了 ML-ACE 和 ML-Master 2.0 两个名称，且方法描述中某些公式（如上下文命中策略）的边界条件不够精确，可能给复现带来困难。最后，作者未讨论 HCC 中 LLM 驱动的上下文提升操作的失败处理——如果提升操作本身产生低质量摘要，错误会如何传播到后续探索中。
独立分析的弱点
本文存在几个可改进的具体弱点。第一，上下文提升操作的质量控制缺失。当前的 $P_1$ 和 $P_2$ 操作符直接依赖 LLM 进行摘要和蒸馏，但没有对提升结果的质量进行验证或回退机制。如果 LLM 在压缩过程中遗漏关键信息或产生错误总结，这些错误会被固化到 L2/L3 缓存中并影响后续所有探索。改进方向是引入提升结果的质量评估机制，例如通过对比提升前后的下游任务表现来动态调整压缩粒度。第二，L3 先验智慧的检索采用简单的阈值余弦相似度，缺乏对检索结果多样性和相关性的精细控制。当多个相似任务存在时，可能检索到冗余或冲突的智慧。改进方向是引入多样性感知的检索策略，如最大边际相关性（MMR）。第三，实验缺乏对 HCC 各层级信息保留和丢弃的具体分析——作者展示了上下文长度的压缩效果，但未分析哪些信息被保留、哪些被丢弃、以及这些决策是否合理。第四，分层研究计划的生成质量对最终性能至关重要，但论文未讨论计划生成失败或质量低下的处理策略。
未来方向
作者在结论中提出了认知积累范式作为 Agentic Science 的可扩展蓝图，这为未来研究开辟了多个方向。第一，将 HCC 架构扩展到非 MLE 领域的超长周期任务，如药物发现、材料科学等需要物理验证的科学领域，验证认知积累的跨领域泛化能力。第二，实现 L3 缓存的持续在线更新，使 Agent 能够在执行任务的同时积累智慧，而不是仅在任务完成后才更新。第三，引入人类反馈到认知积累循环中，特别是在智慧蒸馏阶段让人类研究者验证和修正 LLM 生成的知识摘要。第四，探索自适应的缓存层级设计——当前的三层结构是固定的，但不同类型的任务可能需要不同的层级粒度和信息流策略。第五，将 HCC 与搜索和进化策略（如 FM Agent 中的 island-based evolution）结合，实现搜索与记忆的协同优化。第六，研究认知积累的可解释性——理解 Agent 何时、为何将某些经验提升为知识或智慧，这对于构建可信赖的自主科学系统至关重要。第七，在更长时间预算（如一周或一个月）下评估 HCC 的效果，验证其在真正超长周期场景下的可扩展性。
复现评估
本文的复现面临较大挑战。在开源方面，论文未明确说明是否开源代码或模型权重，这直接影响复现的可行性。在数据方面，MLE-Bench 本身是公开的（OpenAI 发布），但构建 L3 先验智慧需要的 407 个 Kaggle 竞赛数据集的具体列表和处理流程未详细说明。在算力方面，每个任务的资源配置为 36 AMD EPYC vCPU + 2× NVIDIA RTX 4090 + 1008GB 内存 + 1TB SSD，75 个任务同时运行 24 小时，总计算量极其庞大，一般研究团队难以负担。在模型依赖方面，ML-Master 2.0 使用了 Deepseek-V3.2-Speciale 作为主干，该模型的 API 可用性和定价直接影响复现成本。在方法细节方面，论文中上下文命中策略的定义、上下文提升操作的具体 prompt（引用附录）、以及阈值的选取等关键实现细节需要仔细查阅附录。消融实验仅在 MLE-Bench-Lite 上单次运行，也降低了复现时结果稳定性的信心。总体而言，完整复现本文需要大量算力资源和对 DeepSeek 模型的 API 访问，建议作者开源代码以降低复现门槛。
论文图表