ParetoSaddler：帕累托引导的智能体框架质量与成本联合优化 ParetoSaddler: Pareto-Guided Optimization of Agent Harnesses for Quality and Cost
将中间候选晋升与最终部署选择解耦，用贝叶斯自举帕累托支持实现质量升、成本降。
前置知识
Agent Harness（智能体外壳）
指围绕固定 LLM 的全部外围组件：系统提示词、工具集与工具描述、中间件，以及控制逻辑（ReAct 循环、终止条件、子代理调度等）。模型权重完全不动，只修改这些组件就能显著改变智能体行为。自动 Harness 优化（AHO）由一个外部优化器阅读执行轨迹、诊断失败与低效行为，再自动给外壳的提示词、skill 文件或工具源码打补丁；本文优化的对象是 OpenClaw（ClawMark 任务智能体）与 GAIA2 的 ReAct 式默认智能体。
全文的被优化对象就是 harness；分清 harness 与底层模型的边界，才能理解『零权重修改也能大幅提质降本』这一前提。
帕累托占优与帕累托前沿
在质量 $Q$（越高越好）与成本 $C$（越低越好）的双目标空间中，若方案 $a$ 的 $Q$ 不低于 $b$ 且 $C$ 不高于 $b$（至少一项严格更优），称 $a$ 占优 $b$；所有不被任何解占优的解构成帕累托前沿，代表各种权衡下的最优选择集合。帕累托集优化不预设偏好，优化结束后返回整条前沿供部署方事后挑选；本文从开发集前沿上选质量极端点（PS-PARETO$^Q$）与成本极端点（PS-PARETO$^C$）两个代表参加测试。
『帕累托感知晋升』是方法核心：晋升事件、档案维护与最终部署选择全部建立在占优关系之上。
分阶段评估与晋升
完整评估一个 harness 代价高昂（GAIA2 开发集 65 任务 × 3 次 = 195 次长程执行），因此分阶段评估先在小筛选集（3 任务 mini-batch）上快速对比候选与父代，只有通过筛选（晋升）的候选才获得完整开发集评估，类似多保真优化中的 successive halving。关键在于晋升决定还圈定了搜索空间：被拒绝的候选及其所有后代都从搜索中消失。本文的核心论点是晋升标准不应照搬最终部署偏好。
论文指出的质量-成本错配正发生在晋升这一步：过早套用部署偏好会杀死对后期改良有价值的中间候选。
贝叶斯自举
Rubin (1981) 提出的非参数不确定性估计方法：不对观测做有放回重采样（经典自举），而是给 $R$ 次重复观测各分配 $\mathrm{Dirichlet}(1_R)$ 随机权重（权重和为 1），用加权统计量的分布近似均值的后验，重复 $J$ 次（本文 $J=10000$）即可。本文让同一组权重同时作用于质量与成本观测，得到每轮自举的 $\Delta Q^{(j)}$ 与相对成本变化 $\Delta C^{(j)}$，把支持晋升事件的自举轮次比例作为晋升分数，从而过滤随机波动造成的虚假提升。
智能体执行随机性极大（单任务成本变异系数可达 25.6%），贝叶斯自举是论文判断提升是否『统计可信』的关键工具。
部署偏好的三种数学形式
部署偏好 $\pi$ 描述期望的质量-成本权衡，论文给出三种表述：(1) 加权和标量化 $\max_{h}\,[Q(h)-\lambda C(h)]$，用权重折算两目标；(2) 约束优化，如质量下限 $Q_{\min}$ 约束下最小化成本（实验中要求质量不低于初始值减 10 个百分点）；(3) 帕累托集优化，不指定偏好而返回整条非支配前沿。本文的关键设计：$\pi$ 只在优化预算耗尽后的最终选择阶段硬性生效，中途仅作软引导而非硬过滤。
理解 $\pi$ 的三种形式才能看懂实验的 PS-PARETO 与 PS-MINCOST 两种设定，以及『晋升不用 $\pi$、部署才用 $\pi$』的核心原则。
研究动机
现有自动 Harness 优化（AHO）方法（如 Meta-Harness、AutoSaddler）几乎只优化任务质量，而真实部署必须同时考虑执行成本（本文特指 LLM token 费用）。把部署偏好直接套用到多目标优化的中间环节会带来两个具体麻烦。其一，对长程智能体，成本与任务进度天然耦合：一个 harness 显得便宜可能只是因为部分执行提前夭折，而修复这些失败的补丁会通过额外推理和环境交互提高成本——ClawMark 实验中候选 I-7 使 mini-batch 质量下降 1.33 个百分点、成本下降 17.22%，只看质量或硬套成本约束都会拒掉它，但它后来在开发集上同时改善了质量（72.94% vs 72.27%）和成本（$0.88 vs $1.13）。其二，执行随机性极强：同一 harness 在 20 个 ClawMark 开发任务上重复 6 次，任务内变异系数（CV）质量达 18.8%、成本达 25.6%；50 个训练任务上打补丁前质量 CV 20.35%、成本 CV 23.30%。简单比较均值会把随机波动误认为真实提升，过度吹捧弱支持的增益。
本文的目标是本文目标是构建一个分阶段的质量-成本联合 Harness 优化框架，做到三件事：(1) 中间晋升不再受部署偏好约束——候选只要在质量或成本任一目标上有统计可信的进展即可晋升，把『优化过程中值得继续探索什么』与『最终值得部署什么』分开；(2) 晋升决策能抵御执行随机性——用重复执行加贝叶斯自举量化每次观测到的移动的统计支持度，过滤弱支持的虚假提升；(3) 在两个长程智能体基准（ClawMark、GAIA2）的域不相交测试集上同时提高质量并降低成本，并支持三种部署偏好（加权和、质量约束成本最小化、帕累托集优化）下的最终选择。量化目标上，作者希望追平甚至超越仅优化质量的 AS-QUALITY：实测在 ClawMark 上质量从 70.86% 提到 81.35% 且成本从 $1.17 降到 $1.01；在 GAIA2 上质量从 56.22% 提到 62.89%、成本从 $0.78 降到 $0.45。
与已有工作不同的是，已有工作分三条线，各有缺口。搜索式/学习式 AHO（Meta-Harness、AutoSaddler、AutoHarness）面向单目标质量，AutoSaddler 虽有分阶段评估但晋升标准是严格质量改进；LLM 系统的多目标优化已用于提示词（如 MO-CAPQ 等代价感知提示优化）和技能（SkillMOO），但完整 harness 评估需要长轨迹、成本高，此前没有工作在分阶段 AHO 中处理质量-成本联合优化；噪声下优化与自举排序文献（Branke & Schmidt 2003、Rook et al. 2024、Vattikonda et al. 2025）提供了重复评估和自举重采样工具，却未与分阶段 harness 晋升结合。更早的优化研究（Knowles et al. 2001 的多目标化、Lehman & Stanley 2011 的新颖性搜索）表明搜索引导不必等于最终目标，ParetoSaddler 把这一原则具体化为 AHO 晋升门：中间看『任一目标可信进展』，最后才套部署偏好。
核心方法
直觉上，ParetoSaddler 像一套青训选秀制度：不要在选拔赛（本地筛选）就按一线队首发标准（部署偏好）淘汰人，只要球员展示了任一方面的可信进步（进攻或防守），就让他进完整训练营（开发集评估）并保留在梯队里，赛季开始（优化预算耗尽）时再按战术需要挑选。技术路线：它包裹在底层 AHO 方法（实验中为 AutoSaddler）之上。每次迭代 $t$，优化器从执行轨迹诊断问题并生成候选 harness $h'_t$；在筛选集 $\mathcal{D}^{\text{scr}}_t$ 上父代与候选各执行 $R=3$ 次，得到成对的质量-成本观测；贝叶斯自举（$J=10000$ 次 Dirichlet 重加权）计算晋升支持分数 $\hat{p}_t$，$\ge\gamma=0.7$ 则晋升；晋升者获得完整开发集评估，进入候选池 $\mathcal{V}_t$ 与帕累托档案 $\mathcal{A}_t$；如此迭代（ClawMark 17 轮、GAIA2 25 轮），预算耗尽后按部署偏好 $\pi$（加权和/约束/帕累托集）从 $\mathcal{V}$ 中选出最终部署的 harness 或整条前沿。
核心创新是『晋升与部署解耦』加上『任一目标可信进展』的晋升判据。已有分阶段方法（AutoSaddler）在筛选时就硬性套用最终目标（质量严格提升）；本文论证这会过早丢弃对后续改良有价值的中间候选——两类典型场景：一是质量饱和时的降本机会（GAIA2 的 I-9、I-17：筛选 9/9 全对，补丁去除冗余检索与不必要等待，成本降 40.02% 和 39.96%，质量门因『质量没有严格提高』而拒绝它们，帕累托门以支持分 1.0 晋升，之后开发集质量反而从 54.36%→55.90%、56.92%→60.00%）；二是修复型提质带来的暂时涨成本（I-11：mini-batch 质量 83.65%→87.62%、成本 +10.5%，成本门会拒绝它，而它正是最终帕累托点 I-14、I-16 的祖先）。第二层创新是用贝叶斯自举把重复执行的不确定性压缩成一个分数 $\hat{p}_t$（$J$ 轮自举中支持事件 $E^{(j)}_t$ 的比例），要求 $\hat{p}_t \ge \gamma$ 才晋升，避免被单次异常执行误导。非对称容忍度 $\epsilon_Q=0.1$、$\epsilon_C=+\infty$ 也源于成本-进度耦合的观察：局部成本大涨可能反映真实任务进展，难以事先估计。
方法步骤详情
以 AutoSaddler 实例化（算法 2）描述完整流程。(1) 初始化：用 EvoDAG 记录初始 harness $h_0$，在开发集 $\mathcal{D}_{\text{dev}}$ 上 $R=3$ 次评估，初始化候选池 $\mathcal{V}_0=\{h_0\}$、帕累托档案 $\mathcal{A}_0=\{h_0\}$。(2) 采样 mini-batch $\mathcal{B}_n \subset \mathcal{D}_{\text{train}}$（3 任务），父代执行 $R=3$ 次得到轨迹与 $(q,c)$ 观测。(3) 诊断-打补丁：优化器（GPT-5.5 xhigh，经 GitHub Copilot SDK）阅读重复执行轨迹与逐任务成本分解，诊断持续失败（如 F/F/F 型）与低效（全对但成本差异大，如 $0.72/$1.58/$0.69），生成针对 harness 源码/提示词的补丁 $\Delta\theta_n$。(4) 候选在同一 mini-batch 上执行 $R=3$ 次。(5) 统计帕累托晋升：每轮自举 $j$ 给每个任务每次执行抽 $\mathrm{Dirichlet}(1_R)$ 权重，计算 $\Delta Q^{(j)}_t$ 与相对成本变化 $\Delta C^{(j)}_t$，事件 $E^{(j)}_t$ 为 $(\Delta Q>0 \wedge \Delta C\le\epsilon_C) \vee (\Delta C<0 \wedge \Delta Q\ge-\epsilon_Q)$；支持分数 $\hat{p}_t=\frac{1}{J}\sum_j \mathbb{1}[E^{(j)}_t] \ge 0.7$ 则晋升。(6) 晋升者在开发集 $R=3$ 评估，更新 $\mathcal{V}_{t+1}$ 与 $\mathcal{A}_{t+1}=\mathrm{Pareto}(\mathcal{V}_{t+1})$；未晋升则两集合不变。(7) 反思并继续：记录补丁机制是否真的被执行、归因是补丁还是随机，然后依据 $\mathcal{V}_{t+1}$、$\mathcal{A}_{t+1}$、$\pi$ 与 EvoDAG 选择下一个父代。(8) 部署选择：预算耗尽后按 $\pi$ 从 $\mathcal{V}$ 中返回加权和最优解、约束最优解或整条帕累托前沿。
技术新颖性
与最近工作的本质区别有三点。第一，对象与目标的组合：Meta-Harness 做端到端 harness 优化但单目标且无分阶段；AutoSaddler 有分阶段评估与 EvoDAG 进化但只看质量；多目标提示词/技能优化（MO-CAPQ、SkillMOO）不处理完整 harness 的长轨迹评估成本。ParetoSaddler 是首个在分阶段 harness 优化中同时处理质量与成本、并显式建模执行不确定性的框架。第二，机制层面：它不发明新优化器，而是把『多目标化可缓解单目标局部最优』（Knowles et al. 2001）这一演化计算原理落到 AHO 晋升门上——事件 $E^{(j)}_t$ 只要求任一目标可信改进，部署偏好 $\pi$ 被推迟到最终选择，且 $\mathcal{V}_t$ 保留全部开发评估过的候选（含被支配者）。第三，统计层面：把 Rubin (1981) 贝叶斯自举用于逐任务重复观测的聚合，同一 Dirichlet 权重同时作用于质量与成本，从而拒绝 I-12 这种『均值看似达标、实际提升集中于个别任务』的候选（支持分 0.55 < 0.7）。消融实验证明三个组件各自独立有效。
实验结果
主实验（Table 1，域不相交测试集，3 次重复，均值±标准差）：初始 harness 在 ClawMark 为质量 70.86%、成本 $1.17/任务，在 GAIA2 为 56.22%、$0.78。PS-PARETO 质量极端点 PS-PARETOQ 在 ClawMark 达 81.35%（相对 +14.8%）、成本降至 $1.01（-13.7%）；GAIA2 上 62.89%、$0.45（质量 +11.9%、成本 -42.3%），且在全部三个 held-out GAIA2 宇宙（U21/U22/U27）一致占优。成本极端点 PS-PARETOC 在 ClawMark 79.60%@ $0.92、GAIA2 62.11%@ $0.47，同样双优。最意外的发现：PS-PARETOQ 比仅优化质量的 AS-QUALITY（ClawMark 73.86%@ $1.24、GAIA2 57.33%@ $0.61）质量高 7.49 和 5.56 个百分点且更便宜——引入成本目标反而带来更高质量。所有 PS 变体在质量与成本上都优于对应 Meta-Harness 变体（MH-PARETOQ 仅 73.25%@ $1.06 与 54.33%@ $0.83；MH-MINCOST 在 GAIA2 崩至 39.78%）。PS-MINCOST 达到最低成本点：ClawMark 75.16%@ $0.82、GAIA2 56.11%@ $0.44。RQ1 门控消融：帕累托门在 PS-MINCOST 内晋升 11 个候选 vs MinCost 局部门仅 3 个，测试点 75.16%@ $0.82 vs 73.95%@ $0.90；关键分歧在 I-11（质量 +3.97 点、成本 +10.5%），被帕累托门保留后才演化出 I-14、I-16。RQ2 重复执行消融：三跑比单跑质量端 81.35% vs 75.71%、成本端 79.60%@ $0.92 vs 76.95%@ $0.95。RQ3 贝叶斯筛 vs 均值筛：成本端 79.60%@ $0.92 vs 76.86%@ $1.09、质量端 81.35%@ $1.01 vs 76.53%@ $1.15；对同一批 17 个候选回放，均值门会晋升 14 个而贝叶斯门只晋升 12 个，I-12（均值质量 -5.55 点、成本 -7.19%，看似达标）实际支持分仅 0.55，开发集复核比父代差 2.80 点、贵 10.66%。稳定性：GAIA2 第二次独立运行 61.44–62.22%@ $0.44–0.46，与第一次一致；$\gamma=0.7$ 在两基准处于局部稳定区（Figure 6）。代价：PS-PARETO 优化器每补丁约 $9.62（vs AS-QUALITY $6.01、MH-PARETO $5.42），约 +60% 开销换来更强的最终结果。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| ClawMark 帕累托集优化（质量极端点 PS-PARETOQ） | 质量（stage-0 rubric, %） | 81.35 ± 3.11 | 初始 harness 70.86 ± 2.29 | +10.49 点（相对 +14.8%） |
| ClawMark 帕累托集优化（质量极端点 PS-PARETOQ） | 成本（USD/任务） | 1.01 ± 0.02 | 初始 harness 1.17 ± 0.17 | -13.7% |
| GAIA2 帕累托集优化（质量极端点 PS-PARETOQ） | 质量（Pass@1, %） | 62.89 ± 2.14 | 初始 harness 56.22 ± 1.07 | +6.67 点（相对 +11.9%） |
| GAIA2 帕累托集优化（质量极端点 PS-PARETOQ） | 成本（USD/任务） | 0.45 ± 0.02 | 初始 harness 0.78 ± 0.08 | -42.3% |
| 联合优化 vs 仅质量优化（ClawMark 测试集） | 质量（%）与成本 | 81.35% @ $1.01（PS-PARETOQ） | AS-QUALITY 73.86% @ $1.24 | 质量 +7.49 点且成本 -$0.23 |
| 联合优化 vs 仅质量优化（GAIA2 测试集） | 质量（%）与成本 | 62.89% @ $0.45（PS-PARETOQ） | AS-QUALITY 57.33% @ $0.61 | 质量 +5.56 点且成本 -$0.16 |
| 质量约束成本最小化（GAIA2 测试集） | 质量（%）/ 成本（$） | 56.11 / 0.44（PS-MINCOST） | MH-MINCOST 39.78 / 0.62 | 质量 +16.33 点且成本 -29% |
| 帕累托晋升门 vs MinCost 局部门（PS-MINCOST，ClawMark 测试） | 质量（%）/ 成本（$） | 75.16 / 0.82 | MinCost 局部门 73.95 / 0.90 | +1.21 点、-$0.08（晋升候选 11 vs 3） |
| 三次执行 vs 单次执行（PS-PARETO，ClawMark 测试） | 质量极端点质量（%） | 81.35（R=3） | 75.71（R=1） | +5.64 点 |
| 贝叶斯筛 vs 均值筛（PS-PARETO，ClawMark 测试） | 成本极端点 质量%/成本$ | 79.60 / 0.92（贝叶斯） | 76.86 / 1.09（均值） | +2.74 点、-$0.17 |
局限与改进
作者承认的局限：(1) 重复执行提升证据质量但直接增加评估成本，且贝叶斯自举只刻画固定筛选任务内执行间的变异，不覆盖任务抽样的不确定性；(2) $R=3$ 偏小，稀有结果可能观察不到，阈值附近的晋升判断对观测敏感；(3) $\gamma=0.7$ 虽处于局部稳定区，但换到差异大的领域可能需要小规模网格搜索；(4) ClawMark 仅评估带 stage-0 rubric 的初始阶段任务，后期阶段适应性未覆盖；(5) 未实验加权和标量化设定；(6) 作者明确声明提质降本不等同于安全，公平性、无害性等未评估。我观察到的额外局限：优化器开销显著更高（PS-PARETO $9.62/补丁 vs AS-QUALITY $6.01）；仅在两个基准、两种商业模型（GPT-5.4/5.5）上验证，对开源模型的迁移性未知；最终帕累托档案只有 2–3 个点（ClawMark 为 I-11/I-15/I-16），前沿覆盖稀疏；测试仅 3 次重复，部分对比差异（如 GAIA2 上 PS-PARETOC 与 PS-PARETOQ 的 $0.47 vs $0.45）小于标准差，统计显著性有限；此外 ClawMark 适配改动了评测环境（独立 Notion 根、per-execution Drive 文件夹等），方法间公平但与原版基准的公开数字不可直接比较。
独立分析的弱点
独立分析三点弱点。第一，晋升判据仍是『聚合意义上的任一目标改进』，可能漏掉单任务突破型候选：若某补丁只在 1/3 任务上把质量从 50% 提到 90%、整体均值下降，事件 $E^{(j)}_t$ 大概率不支持晋升。改进方向：作者在附录 L 已提议任务级或新颖性感知的门，以及让 LLM 阅读轨迹与优化历史做判断门；也可对逐任务观测做层次化检验（例如只要求部分任务占优即可候选）。第二，成本信号按固定价格卡的 token 美元计，与模型和缓存策略强绑定：底层模型换代或价格变化后，学到的『降本补丁』价值会漂移；且 $\epsilon_C=+\infty$ 意味着只要 $\Delta Q>0$，成本涨幅无界也能通过第一分支，极端情形可能放入质量微升、成本暴涨的候选。改进方向：把 $\epsilon_C$ 设为随父代成本自适应的比例界，或在档案中按成本增幅分桶保留候选。第三，帕累托门保留的中间候选依赖底层优化器继续在其上打补丁（I-11→I-14/I-16 的链条），若优化器能力弱或补丁方向漂移，保留的候选可能只是白占开发评估预算——11/17 的晋升率意味着大量开发集 rollout。改进方向：引入晋升预算的动态分配（类似 successive halving 的多级筛选），或对候选的『后续改良潜力』建模后再决定是否开发评估。
未来方向
作者提出的方向：(1) 联合自适应任务选择与重复次数分配，把评估预算集中投到晋升决策仍不确定的地方；(2) 探索其他局部晋升门——保留改善特定任务实例或表现新颖行为的候选（延续 Lehman & Stanley 的新颖性搜索思路），以及用 LLM 基于轨迹和优化历史做判断门，系统比较即时收益、后期潜力与筛选成本的权衡。基于本文成果可延伸的：(3) 把『晋升-部署解耦 + 贝叶斯支持』模式推广到安全、隐私、延迟等多维约束（引言已点名 safety/privacy）；(4) 补做对称的成本约束质量最大化与加权和设定，并与现有单目标 AHO 系统对比；(5) 跨模型迁移研究——在便宜模型上优化出的 harness 能否零成本迁移到更强模型；(6) 从离线固定语料扩展到在线部署时的持续优化，结合性能漂移触发再优化；(7) 理论刻画帕累托门在何种补丁结构下可证明避免单目标门的局部最优陷阱（I-11 案例已给出实证线索）；(8) 前沿插值：强化已有的 donor 机制（Session 0 的『转移帕累托机制』）以合成中间权衡点，弥补前沿稀疏。
复现评估
复现条件中等偏上。有利因素：项目网站与代码将发布（https://aka.ms/ParetoSaddler-website）；ClawMark 与 GAIA2 均公开可用；论文提供通用算法 1 与 AutoSaddler 实例化算法 2 的伪代码、完整超参（$R=3$、$J=10000$、$\gamma=0.7$、$\epsilon_Q=0.1$、$\epsilon_C=+\infty$、mini-batch=3）、域不相交划分明细（Table 4）、token 价格卡（Table 5）、任务执行预算（PS/AS 上限 ClawMark 1380 次、GAIA2 5520 次任务执行；Meta-Harness 1890/6720 次）、优化器提示词节选（附录 K），并逐迭代记录了两个基准全部 17/25 个候选的诊断、补丁与最终状态（Table 12/15），乃至最终 harness 的逐文件改动清单（Table 13/14/16/17），另做了 GAIA2 第二次独立运行验证稳定性。不利因素：任务模型为 GPT-5.4（high reasoning）与 GPT-5.5（medium），优化器为 GPT-5.5 xhigh，全链路依赖付费 API；优化器侧每补丁约 $6–10，一次完整 GAIA2 运行 25 个补丁外加约 5520 次任务执行（按 $0.3–0.9/任务估算仅执行成本即数千美元）；方法依附 AutoSaddler 的 EvoDAG 基础设施与 GitHub Copilot SDK，若底层代码未同步开源则需自行重建。总体判断：有预算与智能体工程经验的团队可在数周内复现主结果；预算有限者建议只复现规模小得多的 ClawMark。
论文图表
同一固定 harness 在 4 个随机抽取的 ClawMark 任务上各执行 6 次的散点图，图例标注每个任务的质量/成本任务内变异系数（CV），分别为 41.3%/17.7%、12.6%/16.8%、30.6%/30.0%、19.6%/16.1%。
用原始数据直观展示执行随机性的量级：同一 harness 同一任务的成本可相差数倍（对应正文 Table 7 中 $0.72/$1.58/$0.69 的例子），这是全文采用重复执行 + 贝叶斯自举的实证动机。