有品位的智能体：长程任务中品位的度量与提升 The Tasteful Agent: Measuring and Improving Taste in Long-Horizon Tasks
提出Taste-Bench，从智能体轨迹自动挖掘决策分叉，测量并蒸馏长程决策“品位”
前置知识
决策分叉（decision fork）
智能体轨迹中同时存在多个可行方向、而其中只有一个通向更好结局的节点。本文把两类节点都视为分叉：同一任务多次尝试在等价前缀后的分歧点（并行轨迹），或单轨迹中“走错方向→观察到失败→改道完成”的犯错点（绕路轨迹）。分支的最终执行结果（测试是否通过、实验目标是否达成）被用来自动标注哪个方向更好，标签为 $y=\arg\max_{i\in\{1,2\}} U(E_i)$。
整篇论文的形式化对象就是分叉：Taste-Bench 的每道题都是一个被冻结的分叉，理解分叉的定义与两种挖掘方式才能看懂基准的构造逻辑和标签来源。
位置偏差（position bias）
二选一评测中候选出现的顺序会系统性影响模型选择的现象：许多模型倾向选特定位置的候选，仅仅交换 A/B 顺序就会翻转大量答案，导致测到的不是判断力而是位置偏好。Taste-Bench 的对策是每题按固定种子顺序和完全相反顺序各问一次，只有两序都答对才计为正确，这样随机猜测的期望得分只有 $0.5\times 0.5=25\%$。
双序评测协议是本文评测有效性的基石，理解它才能正确解读 25% 随机基线、各模型准确率以及'两序均值'这一辅助指标的含义。
特权蒸馏与前向 KL
教师和学生是同一个冻结基座模型（Qwen3.6-27B），区别只在上下文：教师额外获得 privileged 信息（支持候选的示范），从而能自由生成含完整推理的正确解答；训练用 token 级前向 KL 散度把学生在普通上下文下的输出分布对齐到教师的目标分布，目标 token 从教师而非学生采样，配方源自 SDPO 一类自蒸馏方法，配合 LoRA 微调。
第 5 节'品位可训练'的核心结论完全建立在该配方上；论文对 SDPO 的两处改动（用支持候选示范替代环境反馈、KL 目标从教师采样）是理解蒸馏为何能在未见任务上泛化的关键。
时间视界（time horizon）
论文为每个分叉标注的四档有序难度量：判断正确所需的决定性证据出现在轨迹多远之后——in-prefix（前缀内已有排除某候选的决定性事实）、inferable（无单条决定性证据但前缀线索综合可推）、next-step（分叉后的第一条观察即可判定）、more-work（需要更后段完成的局部验证或更大量后续工作）。
核心 Finding 2（14 模型平均准确率随视界从 62.3% 跌至 21.0%）和 Finding 3（加大推理预算无效且模型在最难的 more-work 档消耗最多推理 token）都以该标注为自变量。
SWE-bench Pro 与 RE-Bench
SWE-bench Pro 是高难度仓库级软件工程基准；RE-Bench 与 HCAST 是 AI 研发型任务基准（训练模型、跑实验、写论文级研究）。本文同时用它们做两类事：作为轨迹来源挖分叉（工程池 517 任务 2,677 条 rollout，研究池 47 任务 1,132 次运行，后者取自 METR 公开的 MALT 转录），以及作为端到端迁移评测（41 个保留 SWE-bench Pro 任务的成功率）。
两个池子的规模决定了基准的领域构成（工程 390 题、研究 112 题），蒸馏迁移实验的任务不相交折划分也基于它们，不了解这些基准难以评估标签质量与迁移结论的分量。
研究动机
LLM 智能体越来越多地承担长程任务：最新系统已经能从想法做到论文的机器学习研究、跨发布版本演化大型软件项目、在部署中自我改进脚手架。这类任务中智能体要做出大量影响全局的决策——测哪个假设、基于哪个实现继续开发、下一步跑哪个实验——而错误决策在当时看起来往往同样合理，代价要到消耗大量预算之后才显现。现有评测体系（SWE-bench 系列、AgentBench、RE-Bench、MLAgentBench 等）只报告端到端是否完成任务，对中途决策质量完全没有度量；直接人工标注又需要深厚领域专业知识，昂贵且难以跨领域扩展。结果是这一关键能力此前从未被系统测量过：论文实验表明即便最强的 GPT-5.6 Sol 在其构造的决策题上也只答对 59.7%，说明当前前沿模型的长程判断力远未解决。
本文的目标是本文的目标是回答：智能体的'品位'（taste）——在结果不可见时于决策分叉处选择更优方向的能力——能否被自动化测量，进而能否被训练提升。具体拆成三个层次：其一，把品位形式化为长程判断问题，利用轨迹后段的'事后证据'（hindsight）作为监督信号，在不需要任何专家标注的情况下从既有轨迹中自动构造带标签的判断题，并给出形式化定义 $\hat{T}(\pi)$；其二，构建并发布覆盖软件工程与机器学习研究两个领域、共 502 道题的 Taste-Bench，用它检验 14 个前沿模型在决策分叉上的真实判断力，并分析难度与时间视界、推理预算的关系；其三，验证品位是否可训练——把见过答案的教师模型的推理蒸馏进学生模型权重，检验判断能否迁移到训练中从未见过的任务，并能否转化为端到端 SWE-bench Pro 任务成功率的提升。
与已有工作不同的是，本文的独特切入是'从轨迹中挖掘事后标签'：同一任务的多次尝试常在某个分叉前共享等价前缀、之后分道扬镳，而各分支的最终结果（测试通过与否、实验目标达成与否）恰好构成对分叉处判断质量的天然标注，即 $y=\arg\max_{i\in\{1,2\}} U(E_i)$。与已有工作的区别有三层：过程监督类工作需要人工步骤标注或从每步重放 rollout，本文直接复用智能体已经产生的轨迹，监督成本随轨迹规模自然扩展；近期'预判研究方向'的工作（比较两个独立想法/方案孰优）评判的是脱离执行语境的 standalone 想法，本文评判的是嵌入在真实执行轨迹中的分叉，每题都携带智能体当时的完整处境，且由记录结果而非专家评分打标签；端到端基准只测'是否完成'，本文分离出'决策质量'这一维度，并通过与 SWE-bench Verified 的相关性分析（r=+0.63，工程子集仅 r=+0.37）证明 Taste-Bench 不是端到端能力的复述。此外，两种挖掘构造互补覆盖了'从未察觉的错误'与'自我纠正的错误'两类失败模式，这也是此前工作没有的组合。
核心方法
整体思路是'冻结轨迹、事后标注'。直觉：轨迹后段记录的真实工作就是前段决策的事后证据——一次失败的尝试暴露了当时选错了方向，而事后才能看清的优势（如干净的实现让后续每次修改都更容易）正是品位的定义。形式化地，设同一任务 $q$ 的多次尝试共享轨迹前缀 $h_t=(o_0,a_0,\dots,o_t)$（$o$ 为观察、$a$ 为动作），并在时刻 $t$ 分叉为两个候选方向 $c_1,c_2$；各分支跑完后产生证据 $E_i$（如测试结果、研究评分），结果度量 $U$ 把证据映射为标量。由于分叉前条件等价、采样随机性把判断分配给分支，好品位的模型应在没有任何证据时选择期望结果更高的方向 $E[U\mid h_t,c_i]$，于是用实现结果打标签 $y=\arg\max_{i\in\{1,2\}}U(E_i)$，评测题即 $x=(q,h_t,c_1,c_2)$（分叉之后全部隐藏），模型 $\pi$ 的品位估计为答对比例 $\hat{T}(\pi)$。技术路线上，先从工程池（2,677 条 SWE-bench Pro 带评分 rollout）和研究池（1,132 条 RE-Bench/HCAST 运行）中以并行/绕路两种方式让生成器模型提出 4,657 个候选分叉，再经双重过滤得到 502 道题，最后把同一套监督信号用于教师-学生蒸馏与端到端建议注入实验。
核心创新是把'品位'操作化为可从数据中自动监督的二元长程判断，并提出两种互补的挖掘构造。并行轨迹构造对齐同一任务中结局相反的一对尝试：它们在分叉前前缀等价，判断的差异由采样随机性引入，因此分支结局差异主要归因于分叉处的判断，这种构造捕获的是智能体从未察觉、一路错到底的错误；绕路轨迹构造由生成器模型读完整轨迹及其结局，按顺序定位三个事件——采取某方向的步骤、终结该方向的观察到的失败、改道并完成任务的方向——把被放弃方向与后续恢复路径写成措辞平行的两个候选，分叉放在犯错紧前一步，捕获的是智能体犯错后自我纠正的错误。配套的双序评测协议也是关键设计：识别到二选题的位置偏差，每题按固定种子顺序与完全相反顺序各问一次，仅两序皆对才计正确，把随机基线压到 25%，'随顺序翻转的回答'不算品位。与已有方法的本质区别在于：标签不来自人工标注、不来自模型偏好打分，而来自轨迹中真实记录的执行结果，因此基准可以随智能体轨迹的积累自动扩展。
方法步骤详情
第一步，采集轨迹池：工程池是 GPT-5.4/GPT-5.5 智能体在 517 个 SWE-bench Pro 任务上跑出的 2,677 条带评分 rollout；研究池是 RE-Bench 与 HCAST 研究子集共 47 个 AI 研发任务上的 1,132 次运行（取自 METR 公开的 MALT 转录）。第二步，生成器模型阅读轨迹并按评分准则提出两类候选分叉，共 4,657 个。第三步，双路过滤：不含生成器的独立裁判模型先只看两个候选的措辞作答，全员答对的'太琐碎'题被删；裁判再读完整任务记录（任务+轨迹+结局），标签与记录不一致的'不可判定'题被删，仅 10.8% 通过，得到 502 题（工程 390、研究 112），按构造×领域排成 2×2。第四步，人工复核 100 题：172 个明确 A/B 判断中 170 个与挖掘标签一致（98.8%），双评审一致率 98.6%、Cohen's κ=0.973。第五步，双序协议评测 14 个前沿模型，并为每个分叉标注四档时间视界。第六步，蒸馏：Qwen3.6-27B 加 LoRA，教师与学生为同一冻结基座的不同上下文——教师上下文额外含支持候选的示范并自由生成含完整推理的解答，学生上下文与考题一致，训练用 token 级前向 KL 对齐学生到教师（目标从教师采样，SDPO 式）；390 道工程题切成两个任务不相交的折。第七步，端到端注入：把学生在每个分叉的判断写成建议（情境+要避免的候选+要采取的候选）放进任务上下文，由固定的 Qwen3.6-27B 执行器独立完成 41 个保留 SWE-bench Pro 任务。
技术新颖性
技术新颖性体现在四个层面。第一，监督信号设计：不用人工标注、不用模型偏好打分，而是把'同一任务并行尝试的结局差'和'单轨迹内的自我纠正'转成免费标签，使基准规模随智能体轨迹积累而扩展，且人工复核达 98.8% 一致、κ=0.973，说明自动标签质量接近人工。第二，度量协议：显式处理二选题位置偏差，采用双序一致性判分（两序皆对才得分，随机基线 25%），并把'两序均值'作为辅助指标报告，这比常见的单序提问更严格。第三，分析维度创新：为每个分叉标注 in-prefix/inferable/next-step/more-work 四档时间视界，首次把'判断难度随决定性证据出现距离增加而上升'量化为 62.3%→21.0% 的下降曲线，并用三档推理强度的对照实验（6 个条件、6,024 份回答）证明加大推理预算无效——这类'长视界判断不可通过深思弥补'的发现此前没有系统证据。第四，训练配方：沿用 SDPO 的自蒸馏框架但做两点实质改动——用'支持候选的示范'替代环境反馈来构造特权教师，KL 目标从教师而非学生采样；论文还实证对比了直接拟合标签的失败（会导致背题），说明蒸馏完整推理链才是泛化（30.0%→47.9%）的关键。
实验结果
核心发现有四条。其一，前沿模型品位有限：14 个模型中最佳 GPT-5.6 Sol 平均准确率仅 59.7%，GPT-5.5 为 59.5%、Claude Opus 5 为 55.5%，模型间差异极大（Grok 4.20 Reasoning 仅 15.7%，低于 25% 随机线）；分域看，研究子集（112 题）最佳是 Claude Opus 5（64.3%），工程子集（390 题）最佳是 GPT-5.6 Sol（56.9%），且绕路型分叉在两个领域都比并行型更难。其二，难度随时间视界上升：14 模型平均准确率从 in-prefix 档 62.3% 跌至 inferable/next-step 档 42.9%/31.5%，到 more-work 档仅 21.0%，已低于随机线。其三，推理预算无效：对 GPT-5.6 Sol 与 Luna 各设三档推理强度共 6,024 份回答，从最低档到最高档 Sol 变化 −0.2 分、Luna 仅 +2.2 分，各视界档位上的置信区间全部重叠；且模型恰恰在最难的 more-work 档产生最多推理 token——它们'知道题难'但推不出答案。其四，品位可蒸馏且转化为端到端收益：学生在任务不相交的保留折上双序准确率 30.0%→47.9%（+17.9pp，逼近 GPT-5.6 Sol 同题的 56.9%），两序均值 42.7%→62.4%；端到端 41 个未见过的 SWE-bench Pro 任务上，执行器成功率从无建议 14.6% 升至学生建议 33.7%（+19.1pp），拿到完美建议上界 39.0%（+24.4pp）的大部分。另外，与 SWE-bench Verified 相关性仅 r=+0.63（$R^2=0.39$），工程子集只有 r=+0.37；SWE-bench 前四名彼此相差不到 4.0 分，在 Taste-Bench 上却相差 10.7 分，证明测的是不同维度的能力。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Taste-Bench 总体（502 题，双序一致性准确率） | 两序皆对准确率 Average（研究:工程=1:1） | 最佳模型 GPT-5.6 Sol 达 59.7%；GPT-5.5 59.5%、Claude Opus 5 55.5% | 随机猜测 25%；14 模型平均 42.9%；最差 Grok 4.20 Reasoning 15.7% | 最佳模型高出随机基线 34.7 个百分点，但离解决尚远 |
| Taste-Bench 研究子集（112 题） | 两序皆对准确率 | Claude Opus 5 64.3%（最佳），GPT-5.5 63.4% | 随机猜测 25%；Grok 4.20 Reasoning 仅 8.9% | 头部模型高出随机约 39 个百分点，模型排序与总体榜不同 |
| Taste-Bench 工程子集（390 题） | 两序皆对准确率 | GPT-5.6 Sol 56.9%（最佳），GPT-5.5 55.6% | 随机猜测 25%；GPT-5.4 Mini 仅 25.6% | 头部高出随机约 32 个百分点，与 SWE-bench Verified 相关性仅 r=+0.37 |
| 品位蒸馏的任务无关迁移（390 工程题的任务不相交折） | 保留折准确率（双序一致 / 两序均值） | 蒸馏学生（Qwen3.6-27B+LoRA）47.9% / 62.4% | 同一基座未蒸馏 30.0% / 42.7%；GPT-5.6 Sol 同题 56.9% | +17.9 个百分点（双序），逼近最强闭源模型 |
| SWE-bench Pro 端到端任务（41 个保留任务） | 执行器（Qwen3.6-27B）成功率 | 学生建议 33.7%；正确建议上界 39.0% | 无建议 14.6% | 学生建议 +19.1 个百分点，达到完美建议上界的约 78% |
局限与改进
作者承认或可推知的局限：基准轨迹全部来自 SWE-bench Pro 与 RE-Bench/HCAST，域覆盖有限，'品位'能否在其他领域（医疗决策、法律分析等）同样挖掘未经验证；标签由执行结局定义，隐含'结局好=判断好'的假设，执行质量与环境因素可能混入标签（论文用等价前缀假设与严格过滤缓解，但只保留 10.8% 候选说明噪声普遍）；挖掘流程依赖生成器模型与裁判模型，过滤器可能引入对特定模型措辞风格的偏置。我的补充观察：其一，502 题中工程题占 390 道，蒸馏实验只在工程域训练和评测，研究域的品位可训练性完全未证明；其二，端到端实验只有 41 个任务，+19.1pp 增益的置信区间必然较宽，稳健性有待更大规模确认；其三，建议注入实验的强假设是'分叉位置清单事先已知'（来自历史轨迹挖掘），真实部署中并不存在这样的上帝视角，如何在线发现分叉本身是未解决问题，因此 33.7% 的数字高估了实际可用性；其四，蒸馏提升的是二元选择情境下的判断，开放式生成（没有给定候选方向）场景的品位如何评估和训练仍是空白；其五，双序协议使评测成本翻倍，且'两序皆对才得分'会低估模型真实判断力（作者自己也报告了两序均值作为补充）；其六，Grok 4.20 Reasoning 的 15.7% 可能部分源于响应解析失败，'不可解析计错分'会混淆品位与格式能力。
独立分析的弱点
独立分析的弱点与改进方向。弱点一：标签的单向性——结果度量 $U(E)$ 只取标量结局，无法区分'方向对但执行差'的分支，等价前缀假设只控制分叉前的差异；改进方向是对每条分支做多种子重放，用期望结局 $\mathbb{E}[U]$ 替代单次实现值。弱点二：候选方向由生成器改写成'短中性描述'，措辞规整度可能泄漏答案，现有琐碎过滤只检查'裁判仅看候选能否答对'，可加换述一致性与候选长度/信息熵匹配测试。弱点三：时间视界由裁判模型单次标注，四档划分的可靠性未做人工验证，next-step 与 more-work 的边界主观性强；应抽样人工复核。弱点四：特权教师'知道答案才推理'，推理链可能是事后合理化风格，学生学到的判断模式未必适用于前瞻式推理；可对教师多次采样、只保留与支持候选一致的推理链。弱点五：advice 注入实验假设分叉位置清单事先已知（来自历史挖掘），真实部署中不存在这种上帝视角，且建议的实际覆盖率未报告；可让学生在线检测分叉并实时咨询。弱点六：不可解析响应一律计错分，Grok 4.20 Reasoning 的 15.7% 可能部分源于解析失败，混淆了品位与格式能力，应分列解析失败率。弱点七：基准缺乏与失败归因工作（Who&When、AgenTracer）的联动，无法回答'错在哪个分叉'与'该选哪个方向'的组合问题。
未来方向
未来方向。作者明确提出的：把品位测量扩展到更多领域与更多类型轨迹（开放性研究、多智能体协作），把蒸馏配方推广到更大基座与全参数训练，持续用 Taste-Bench 追踪新模型的品位水平。我基于其成果延伸的方向：其一，在线品位——让执行中的智能体自己识别'此处是一个分叉'并暂停评估各方向，把 Taste-Bench 的离线二选扩展为在线分叉检测+判断的联合任务，这同时补上建议注入实验缺失的一环；其二，用品位信号做过程奖励模型（PRM）：分叉处的方向偏好天然是步级监督来源，可据此训练 RL 奖励模型，把 33.7% 的建议式增益转化为策略权重内的改进；其三，研究品位随模型规模、推理算力、上下文长度的缩放律与涌现规律，检验 more-work 档 21.0% 这类长视界失效是否是可预测的相变；其四，跨域迁移研究——在代码域蒸馏的品位判断能否零样本迁移到科研域，回答'品位是通用能力还是领域技能'这一理论问题；其五，把双序一致性思想推广到开放式评测，用重述一致性代替顺序一致性；其六，与失败归因工作（Who&When、AgenTracer）结合，构建'检测→判断→纠正'的完整长程自我修正训练管线；其七，探索品位与安全相关决策（何时拒绝、何时升级给人类）的联系，因为长视界判断力同样是可靠智能体部署的前提。
复现评估
复现评估。开源情况很好：数据集发布在 HuggingFace（wenbopan/taste-bench，含 502 题与时间视界标注），评测代码、协议与 14 个被测模型的全部原始回答记录发布在 GitHub（wbopan/tastebench），附录 A–H 给出了两种构造的评分准则、裁判提示词、超长轨迹处理、各阶段题量统计与打分规则，论文的可复现性声明称所有图表直接由记录结果生成、所有报告的运行都在发布题集上完整跑完。算力需求分两块：跑基准评测只需 API 调用，双序协议意味着每题两次请求、成本约翻倍；蒸馏实验需对 Qwen3.6-27B 训 LoRA 适配器，每折仅 195 题的蒸馏数据，单卡 A100/H100 级别即可负担，教师推理与端到端评测（41 任务×三组设置的执行器 rollout 加官方 SWE-bench Pro 评分）也在常规预算内。难度中等：复用基准做评测可直接下载开跑；完整复现挖掘管线则需先重建轨迹池——工程池的 2,677 条 GPT-5.4/5.5 rollout 未必全部公开，研究池依赖 METR 的 MALT 公开转录（这部分有公开链接），这是复现的最大成本与不确定性所在；生成器与裁判模型的具体版本若未完全披露也会引入轻微偏差。总体属于同类工作中开源较完整的一档，评测复现容易、数据生成复现偏难。
论文图表
用一个真实的机器学习轨迹展示决策分叉的概念：任务为训练 masked language model，轨迹在某点分叉，候选 A 是缩减模型规模并增加训练步数，候选 B 是保持模型规模但减少训练步数导致训练超时；分叉之后的许多步被隐藏，后续的最终 loss 揭示候选 A（6.56）优于候选 B（7.66），而被评测的模型必须在看不到这些后续损失的情况下做出选择。
这是全文核心概念'品位/决策分叉'的直观定义图，第 1 页即用它说明'在结果可见之前做出正确选择'意味着什么，理解它是读懂后续形式化定义 $x=(q,h_t,c_1,c_2)$ 与标签规则 $y=\arg\max U(E_i)$ 的入口。
左右两幅柱状图。左图（判断准确率）：在 390 道 held-out 工程题上按双序协议打分，基座 Qwen3.6-27B 为 30.0%，蒸馏学生达 47.9%（+17.9 个百分点），虚线标出 GPT-5.6 Sol 同题的 56.9% 作参照；右图（SWE 性能）：41 个 held-out SWE-bench Pro 任务上执行器成功率，无建议 14.6%、学生建议 33.7%（+19.1pp）、正确建议 39.0%（+24.4pp，虚线柱为上界），学生拿到上界的大部分。
这是论文核心主张'品位可训练且训练收益转化为端到端成功'的最终证据图，同时给出了泛化性（任务不相交折）与实用上限（正确建议上界）两个关键参照，是评估蒸馏配方的决定性数据。