Aspire：模糊目标驱动的模型自我进化基准 Aspire: Can Models Self-Evolve from Vague Goals?
智能体能跑通自我训练闭环，却难把模糊目标转化为可保留的真实能力提升
前置知识
LLM 自我进化（self-evolution）
指大模型在很少人工干预下自主改进自身能力的过程：智能体自己收集或合成数据、选择训练方法（如 SFT 或强化学习）、启动训练并验证效果，循环迭代直到能力提升。现有工作如 PostTrainBench、SEAL、LaMDAgent 都属于此类，但它们共同的前提是人类已经把目标写成了明确的任务和指标。
本文质疑的正是这一前提：当只有一句模糊的能力方向而没有现成任务和指标时，自我进化还成不成立。理解自我进化的标准范式，才能看出 Aspire 把问题往前推了哪一步。
后训练（post-training）与 SFT / GRPO / LoRA
后训练指在预训练模型之上继续优化以获得特定能力，常见手段包括监督微调 SFT（用标注数据直接拟合）、GRPO（组相对策略优化，一种强化学习方法）以及 LoRA（低秩适配，只训练少量新增参数的高效微调）。Aspire 的智能体通过统一工具调用这些训练方式来更新模型权重。
论文实验中智能体反复在这些选项中做决策（例如 LoRA 使用率在模糊目标下从 24.1% 升到 89.8%），不熟悉这些训练技术的取舍就看不懂智能体的搜索行为为什么成功或失败。
模糊目标（vague goal）
指用自然语言表达的大方向能力目标，如“提升数学推理能力”，但不指定任务格式、难度、数据集或评测指标。它不是含糊不清，而是尚未被操作化：智能体必须自己把它翻译成具体的训练任务、学习信号和验证标准，即同时决定“学什么”和“怎么学”。
这是全文的核心概念。Aspire 整个基准就是围绕“只给模糊目标”设计的，RQ1 到 RQ3 都在测量模糊目标与显式任务设定的行为和结果差异。
隐藏评估与信息边界
Aspire 把 520 道专家手写评测题放在控制器一侧，智能体永远看不到题目、答案、评分细则和逐题反馈，最多只能按协议查询有限次数的聚合分数。注册训练数据时会做重叠检查以防泄漏。这样外部评估成为“科学仪器”，能客观判断智能体是否真的提升了目标能力。
信息边界是结论可信的根基：如果没有隐藏评估，智能体可能直接在测试题上刷分。文中“代理分数提升不等于真实能力提升”这一核心发现，正是靠这套边界才可测量的。
Agent Harness（智能体框架）
指包裹模型之外的运行时系统：提示词、工具策略、工作流、记忆和验证逻辑等。同一个模型配上不同 harness 表现可以差很多。harness 进化指在固定模型权重的前提下，让智能体自己改写这套运行时配置并生成新版本。
RQ3 研究的正是 harness 能否自我进化：智能体生成的后继 harness 最高也只有 27.22 分，仍低于人工工程的 Qwen-Agent 参考 28.64 分，这一对比是论文的关键结论之一。
目标操作化（goal operationalization）
论文形式化的新概念：把宽泛的能力方向转化为可训练的目标、学习信号和验证标准的整个过程，包括诊断能力差距、分解子目标、构造或选择训练数据、设计自验证。显式任务设定中这步由人类完成，Aspire 把它交给智能体。
这是论文声称的第一个贡献维度，也是实验观察到的瓶颈所在：智能体花在操作化上的时间显著增加（决策思考时间多 2109 秒），但操作化质量差（如拿 GSM8K 数据去训练写作目标），直接导致权重级提升稀少。
研究动机
现有 LLM 自我进化研究几乎都从“任务已被人类定义好”这一步开始：给定具体任务、评测脚本和成功指标，模型可以自主收集数据、跑训练、根据反馈调整后训练策略，例如 PostTrainBench、LaMDAgent、SEAL 等系统都证明了这一点。但这意味着人类已经把“提升数学推理”这样的宽泛需求操作化成了“提升 AIME 分数”这样的固定目标，智能体只在“怎么优化”上搜索，而“优化什么”这个最关键的决策仍由人完成。当现有基准饱和或不再反映真实能力缺口时，发现新弱点、设计任务和奖励的工作依然落在人类身上。更隐蔽的问题是：这种设定掩盖了真实部署中占主导的工作——工业界需要前沿部署工程师（FDE）把模糊需求翻译成具体目标、构造测试与验证机制、搭建执行系统，说明“能力强的模型”和“能工作的系统”之间隔着大量目前只能由人完成的目标操作化劳动。
本文的目标是本文要把“目标定义”这一缺失环节纳入自我进化的研究范围，回答一个核心问题：当只给智能体一个自然语言的模糊能力方向，而不给任何任务规范或可分解的奖励时，模型能否自我进化？具体目标分三层：其一，形式化“模糊目标驱动的自我进化”问题，把目标操作化——把宽泛能力方向转化为可训练目标、学习信号和验证标准——确立为自主后训练中缺失的一个维度；其二，构建 Aspire 基准，提供密封评测（520 道专家手写题、六个目标）和一个最小交互环境，让智能体在统一工具界面下自主决定数据、更新方法、自验证和分支策略，同时支持模型权重和 agent harness 两个进化层面；其三，通过受控实验揭示“完成更新”与“保留目标对齐的提升”之间的差距。
与已有工作不同的是，本文的独特切入是把自我进化的决策空间从“how”扩展到“what + how”。与 PostTrainBench 等给智能体明确优化目标的基准不同，Aspire 只给方向不给指标；与 S3Gym（研究交互经验能否被判断和复用）、HarnessDev（研究模型如何构建和维护承载自己的系统）也不同，Aspire 专门隔离“宽泛部署需求如何被翻译成具体学习目标并实现为能力增长”这一层。作者还刻意把“模糊”定义为“尚未操作化”而非“含糊不清”，并配套设计了隐藏评测的信息边界——智能体永远看不到题目、答案和逐题反馈，只能拿到受限的聚合分，从而可以严格测量“代理目标上的提升是否迁移到真实能力”。这个测量角度（代理增益 ≠ 可迁移增长）是已有自我进化基准都没有覆盖的失败模式。
核心方法
Aspire 的整体思路是：把一个进化战役（campaign）形式化为元组 $\Gamma = (G, E_G, J, \mathcal{A}, B, \Sigma)$，其中 $G$ 是模糊目标，$E_G$ 是绑定该目标的版本化评估器，$J$ 是评审模型，$\mathcal{A}$ 是类型化动作契约，$B$ 是预算，$\Sigma$ 是预声明的终止选择规则。每轮进化是一个有界的“搜索-提交”回合：智能体在固定预算内（如 40 GPU 小时）通过统一的智能体工具完成数据搜索/下载/合成、SFT 或 GRPO+LoRA 训练、自验证、分支与终止等动作，控制器负责把语义动作翻译成受管的后端操作并处理凭据、调度、隔离和恢复。评测集完全密封在控制器侧，智能体最多获得协议允许的聚合分数。评估发生在两个层面：权重进化（RQ1-RQ2，固定 harness 更新模型权重 $M$）和 harness 进化（RQ3，固定权重 $M_0$ 编辑运行时配置 $H$）。回合结束时控制器按预声明规则选择最优合格候选，且只有当其分数超过基线时才保留，否则回滚，从而保证保留增益 $\Delta_{ret} \geq 0$。
核心创新在于把“人类定义目标”这一步从自我进化流程中剥离出来交给智能体，并用密封评测测量操作化质量。直觉上，人类学习常常始于“成为更好的物理学家”这样的模糊方向，学习者要自己识别差距、选择教材、判断是否真的进步了；而现有 LLM 自进化基准全部始于已被人类操作化的任务。Aspire 的关键设计有三点：一是六个目标的 520 道评测题全部由领域专家从零撰写（GPQA、MMLU-Pro、MedQA 仅作格式和难度参考），经独立评审、Seed-2.0/GPT-5.2/Gemini-3 三模型盲筛定难度（L0-L3）、精确与语义去重、与参考基准的重叠审计、评分器绑定，最后用 SHA-256 清单冻结版本；二是信息边界——智能体永远接触不到题目、答案、评分细则和逐题反馈，训练数据注册时还要过一遍与隐藏集的重叠门；三是安全保留机制——候选 checkpoint 只有通过来源验证且分数超过基线才会被保留，否则回滚，使 $\Delta_{ret} = b_\Gamma(Y^{out}) - b_\Gamma(Y^{in}) \geq 0$ 成为选择结果而非学习证据。
方法步骤详情
一次权重进化回合的流程如下。第一步，决策模型 $D_r$ 与创建侧脚手架接收模糊目标 $G$（如数学目标只说“提升困难的多步推理、精确计算和清晰论证”，不提任何评测题），以及公开历史、合法动作类型和剩余预算。第二步，操作化目标：通过统一工具搜索、下载、导入公开数据集或合成新数据并注册，注册时控制器做与隐藏集的重叠检查。第三步，选择更新方法并启动训练：支持 SFT、GRPO、LoRA 等配置，智能体只给参数和父 checkpoint，控制器翻译成受管分布式作业并监控、恢复。第四步，自验证：在自己的验证数据上构造并运行检查，这部分反馈完全可见，不消耗隐藏评测查询。第五步，评估：final-only 协议全程无中间分数、只提交一个最终 checkpoint；adaptive-feedback 协议允许有限次聚合分查询，智能体据此分支或停止。第六步，安全保留：控制器验证候选的父级、数据和产物完整性后计分，只有超过基线的合格候选才被保留为 $Y^{out}$，否则回滚到 $Y^{in}$；跨回合时可显式提拔已验证的训练后代为下一轮决策模型。harness 进化走另一条路径：编辑运行时提示、工具策略、工作流或验证程序，冻结出版本化候选 $H_1$，冻结后才评测且分数不返还创建者。
技术新颖性
新颖性体现在四点。第一，问题形式化新：把“目标操作化”确立为自主后训练的独立维度，此前所有自我进化基准（PostTrainBench、LaMDAgent、MLE-bench、RE-Bench、ADAS、Darwin Gödel Machine 等）都从已操作化的任务或评估器出发，无人把“从模糊方向出发”作为被测对象。第二，评测构造新：520 道题全部专家原创、三模型盲筛难度、双重去重与重叠审计、SHA-256 冻结版本，且训练数据注册有第二道重叠门，远比“拿公开基准当测试集”严格。第三，环境设计新：单个类型化工具把战略决策留给智能体，把凭据、存储、分布式作业、恢复等基础设施复杂度吸收进控制器，降低无关工程噪声而不削弱被测能力。第四，结果核算新：区分“已评估 checkpoint”“合格 checkpoint”“保留提升”三级漏斗，强制回滚使 $\Delta_{ret} \geq 0$，并明确指出这是选择结果而非能力证据——该核算框架本身对后续研究有方法论价值。
实验结果
三个研究问题层层递进，结论一致：能跑通训练闭环，但难以保留真实提升。RQ1（显式 vs 模糊目标）：PostTrainBench 上模糊目标的 Claude Opus 4.8 得 27.07、GPT-5.6 得 29.58，低于官方显式任务参考的 32.90 和 36.23，但单项互有胜负（模糊 Claude 在 HumanEval 56.63 vs 47.33、BFCL 58.63 vs 47.13 更高）。48 组匹配配对显示模糊目标使决策思考多 2109 秒、GPU 空闲多 0.61 小时、活跃训练少 1.27 小时，读任务材料和评测脚本的密度增 2.98 和 2.39 倍，LoRA 使用率 24.1%→89.8%，说明搜索努力被重定向到目标解读。RQ2（权重进化）：final-only 24 次运行中 12 个模型-目标对仅 Qwen3.5-9B 科学推理超基线（45.33→48.00，+2.67），单次仅 3/24；六目标宏平均 4B 从 35.735 跌到 18.609、9B 从 39.010 跌到 25.640。adaptive-feedback 30 格中 28 格产出已评估 checkpoint、21 格合格，仅 2 格超基线（4B Self 科学 44.00→45.33；Terra 数学 17.86→20.10），仅后者经回滚被保留。22 格的 62 次相邻转换 28 升 13 平 21 降，局部上升可能只是恢复训练退化（4B Self 数学 0.79→1.75→2.38，基线却是 17.86）。失败模式具体：4B Self 在 30/32 次数据导入中用 GSM8K/Hendrycks 数学数据（连写作目标也如此）；5 个数字标签 MMLU SFT checkpoint 答案格式塌缩（21000 个单位数标签、279 个输出全是单个数字），得分 0、0、0、6.141、0。RQ3（harness 进化）：Qwen-Agent 参考得 28.64/27.65（task macro/example micro），Sol 后继最接近为 27.22/25.97（仍低 1.42），Terra 20.76/20.14，Luna 19.32/18.33，Qwen3.5-4B 创建者产不出有效 harness 记 0。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| RQ1：显式任务 vs 模糊目标后训练（PostTrainBench 七项加权平均） | 加权平均分（%） | 模糊目标 Claude Opus 4.8：27.07；模糊目标 GPT-5.6：29.58 | 官方显式任务 Claude Opus 4.8 Max：32.90；官方 GPT-5.6：36.23 | 分别低 5.83 和 6.65 分（模糊目标使聚合结果变差，但 HumanEval/BFCL/GSM8K 等单项互有胜负） |
| RQ2 final-only：模糊目标驱动的权重自进化（24 次运行） | 隐藏评测集相对基线分变化（两终端运行均值为准） | 12 个模型-目标对中 1 对超基线：Qwen3.5-9B 科学推理 45.33→48.00（+2.67）；单次运行 3/24 超基线 | Qwen3.5-4B/9B 指令微调基座的六目标基线分（如 4B 数学 17.86、医疗 87.00） | 六目标宏平均反而下降：4B 35.735→18.609，9B 39.010→25.640；回滚在 21/24 次运行中保留基座 |
| RQ2 adaptive-feedback：稀疏聚合反馈引导的 checkpoint 搜索（30 个配置-目标格） | 最佳已评估 checkpoint 得分 / 基线分 | 28/30 格产出已评估 checkpoint，21 格合格，仅 2 格超基线（4B Self 科学 44.00→45.33；Terra 数学 17.86→20.10），仅 Terra 数学 1 格被真正保留 | 同一 Qwen3.5-4B 基座在六个目标上的基线分 | 保留漏斗 30→28→21→1；Sol 搜出 33 个已评估 checkpoint 花 76.56 GPU 小时却无一超基线 |
| RQ3：harness 一步进化（学术与科学写作目标，20 个隐藏任务包） | Task macro / Example micro（3 次执行均值） | Sol 后继 27.22/25.97；Terra 后继 20.76/20.14；Luna 后继 19.32/18.33；Qwen3.5-4B 创建者无有效 harness 记 0 | 人工工程的 Qwen-Agent 参考：28.64/27.65 | 最好的后继仍低 1.42 task macro 分，harness 进化未能超越参考实现 |
局限与改进
作者承认的局限：六个目标的覆盖面和专家题质量限制结论外推；adaptive-feedback 每格只跑一次（完整 5×6 设计但非多种子估计），RQ3 的三次执行只测运行时方差而非独立进化重复；内容级轨迹证据需受控访问，公开工件只有计数与选择记录；第五目标（逻辑、可靠性、指令遵循）是有意的复合目标，不声称分别测量三个成分。我的补充观察：其一，唯一保留的 Terra 数学提升来自对同一固定评测切片的重复聚合查询，没有独立确认切片，本质是“反馈引导的选择”而非“独立复制的能力增益”；其二，final-only 中 4B 与 9B 的决策模型、基座、基线分同时变化，无法隔离决策模型规模效应；其三，实验围绕 Qwen3.5-4B/9B 小模型后训练，作为决策模型的 GPT-5.6 等前沿模型自身能力上限未被直接测试；其四，40 GPU 小时预算对“从模糊目标做出可靠提升”可能本就偏紧，预算敏感性未探索；其五，RQ3 只测写作一个目标、一步进化（无 H1→H2 递归），对 harness 进化的结论覆盖面很窄。
独立分析的弱点
独立分析出五个弱点。第一，代理任务与目标错配且无引导：4B Self 在 30/32 次数据导入中使用 GSM8K/Hendrycks 数学数据，连科学、逻辑、写作目标的运行也如此，最终导致答案格式塌缩（5 个数字标签 MMLU SFT checkpoint 得分 0、0、0、6.141、0）。改进方向：工具层加“数据-目标相关性”检查，或强制智能体先写目标-数据对齐说明。第二，自验证过窄导致错误早停：Luna 用 8 项清单在自己验证集从 7/8 提到 8/8 就在约 40 分钟后停止，其五段式模板把机制、公式类问题都改写成研究设计问题，隐藏集只拿 19.32。改进方向：强制验证集多样性与最低规模、对过快收敛施加继续探索预算。第三，输出完整性无不变量检查：Terra 的 harness 在计算器调用后若最终回复为空就提交调用前的部分草稿，两个任务从 75.00/52.33 跌到 2.57/2.91，约占该次执行跌幅 70%。改进方向：把“最终答案非空完整”设为 harness 冻结前必过门禁。第四，持续搜索会破坏已有增益：Sol 花 76.56 GPU 小时产出 33 个 checkpoint 无一超基线，Terra 数学从 20.10 跌到 2.78 再恢复到 18.17，final-only 三次长血统盲跑（16-20 个任务、26.570-32.286 GPU 小时）终分 0.159、2.540、0。改进方向：保守早停、血统分支多样化而非单线延续。第五，重复查询同一评测切片可能“买分”。改进方向：划分探索集与确认集，对查询次数做统计校正。
未来方向
作者在结论中提出的方向包括：扩大目标覆盖面并刷新评测集版本以检验泛化；增加重复运行以获得统计强度；研究带漂移控制和无关键力损失保障的递归进化（当前所有报告的运行都保持初始决策模型固定，递归提拔训练后代尚未被实验覆盖）。基于本文成果还可以延伸出多个方向：其一，目标操作化本身可以成为训练对象——用本文记录的 63973 条智能体事件、124 个训练计划和 95 次候选评估尝试构造“操作化轨迹”数据集，微调出更擅长把模糊目标翻译成训练方案的元决策模型；其二，把 RQ1 中观察到的两种显式任务搜索画像（GPT-5.6 的高频实验 2.63 次评估/启动 vs Claude Opus 4.8 Max 的深度深思 165851 思考字符）与模糊目标下的搜索策略结合，研究反馈密度与深思深度的最优配比；其三，harness 进化可以引入验证多样性机制和通用不变量检查后再测递归版本（H1→H2→H3），检验能否超越人工参考；其四，数据-目标对齐可以作为独立模块研究，例如先用嵌入或分类器诊断候选训练数据与模糊目标的语义距离，从源头避免 GSM8K 数据训练写作目标的失败；其五，把 Aspire 的密封评测协议移植到记忆、技能、工作流进化等其他自进化维度，检验“代理增益 vs 真实增益”的差距是否普遍存在。
复现评估
复现评估：论文有项目主页（self-developing-agents.github.io），协议描述异常详细——附录 A 给出 520 题统计和防污染流程（专家原创、Seed-2.0/GPT-5.2/Gemini-3 盲筛 L0-L3 难度、SHA-256 冻结清单），附录 B 给出 RQ1 的 48 组匹配配对核算，附录 C 给出全部 24 次 final-only 和 30 格 adaptive-feedback 的逐项分数与资源账目（adaptive 322.610 GPU 小时、final-only 149.236，其中 4B 59.269、9B 89.967），附录 D 给出三个创建者轨迹的案例分析。但实际复现有硬障碍：隐藏评测集按设计不公开，信息边界是结论根基，第三方无法原样重建 520 道密封题和评分器，只能复现“协议形状”而不能复现“题目内容”；控制器后端（数据管理、作业调度、恢复）属系统工件，是否完整开源未在文中明确；成本不小——仅 RQ2 权重实验就消耗约 472 训练 GPU 小时，还需 GPT-5.6 Luna/Terra/Sol 和 Claude Opus 4.8 等商业模型作决策模型。综合看：协议透明度罕见地高，确定性统计（30→28→21→1 漏斗、62 次转换的 28/13/21 分布）可从公开工件核查，但端到端复现需要密封评测基础设施和可观算力，难度属高。
论文图表
对比两种范式：(a) 显式任务设定中，人类定义任务格式、难度锚点、指标和成功标准，智能体只在“怎么优化”上搜索；(b) 模糊目标设定中，只有一句宽泛能力方向（如“提升困难数学推理”），评测项保持隐藏，智能体必须自己诊断能力差距、分解子目标、构建学习与验证信号，同时决定“优化什么”和“怎么优化”，并面对“代理增益是否迁移”的考验。
这是全文的问题定义图，一图讲清 Aspire 与 PostTrainBench 等已有自我进化基准的本质区别，理解了它才能理解后文所有实验设计的动机。