当用户改变主意时：测量并修复LLM智能体中的意图漂移 When Users Change Their Minds: Measuring and Repairing Intent Drift in LLM Agents

流程分五个阶段。(1) 源任务处理：把 LiveCodeBench、GSM8K、HumanEval、Spider、ToTTo、SummHay、BFCL 的每个问题分解为原子 shard（改动它就会改变所需输出或动作），映射为目标意图填充 $\mathcal{G}^\star$，保留源评分器（测试用例/数值比对/SQL 执行/sacreBLEU/SummHay 裁判/AST 检查）。(2) 标注与采样：人工标注行为改变型变体、合理诱饵及语义依赖约束，在依赖约束下采样编辑计划；难度预算 $b$ 限制每个目标的变体数与可用诱饵数（easy/medium/hard 分别为 1/3/5），实际实现均值如 hard 层为 2.24 变体、2.50 诱饵。(3) 对话实现：模拟器为每个活跃目标维护编辑队列、另设诱饵队列，逐轮选取可行编辑表达为自然话语，保序但允许跨目标交错；对话长度从 easy 的 13.2 轮增至 hard 的 37.1 轮。(4) 评测：oracle 应用编辑得 $\mathcal{G}^\star$，同一源案例配对构造 clean 条件（直接给出 $\mathcal{G}^\star$），原生评分器返回 $s_i \in [0,1]$，报告满分率 CAR 与 case 配对 IDG 及 bootstrap 置信区间。(5) STATEFORGE：每用户轮后 tracker 折叠状态，生成时把状态置于缓存历史与当前输入之间，门控器对输出约定做终检。迁移阶段：OPD 在冻结 122B 基座下训练 2B tracker（1 轮迭代从 0.266 到 0.445）；思维蒸馏让 35B 智能体从教师 rollout 中内化状态折叠，脱离外部 harness 达到 0.461。

技术新颖性体现在四个方面。其一，诱饵的评分器后果性筛选是新的构造原则：此前演化意图工作（EvolIF、InterruptBench、Tack et al.）不保证'服从过时信息必然改变任务判定'，本文保留诱饵前先验证其会翻转 grader 结论，使漂移可从任务成败推断。其二，状态折叠与历史压缩的概念区分被形式化并实验验证：压缩后的历史可能同时保留被替代值与其替换值，甚至保留由过时意图导出的局部自洽结论，本文首次把'级联删除派生结论'作为显式机制提出。其三，实验设计的严谨性：case 配对的 clean–drift 对照、长度匹配的无漂移对照（0.734 vs 漂移 0.469，排除轮数解释）、组件匹配的重跑消融（recap 基线在调用数与 token 预算上对齐全 harness），这种自我设限的归因纪律在基准论文中少见。其四，两条互补迁移路径的系统对比：模块化路径证明 9B tracker 与 122B 统计无差别，内化路径用思维蒸馏把行为吸收进 35B 智能体，为'状态维护应该是外挂模块还是模型能力'提供了首个量化证据。

弱点一：核心系统贡献的证据强度不足。Table 12 显示在调用与 token 对齐后，简单的 neutral recap（.441）甚至点估计高于 STATEFORGE 全系统（.428），置信区间重叠，这意味着'显式状态表示优于匹配回顾'并未被证明，论文的修复叙事主要靠 oracle 行撑起。改进方向：扩大到 500+ 案例或多种子重复，并对 tracker 错误做逐案例误差分解，找出显式状态在哪些编辑类型上真正超越 recap。弱点二：BFCL 的反常上升（+.048）与 REPLACE 失败模式（新值绑错函数调用 slot）说明 AST 级评分对'语义正确但绑定错误'不敏感，可能系统性低估工具调用漂移。改进方向：引入 slot 级对齐诊断并计入部分惩罚。弱点三：单模拟器（DeepSeek-V4-Flash）单裁判的协议使结论依赖特定模型的措辞风格，96%/97% 的保真度/连贯性审计仅基于 100 条样本。改进方向：跨 2–3 个模拟器复现关键表格并扩大人工审计。弱点四：GSM8K 在长度对照中出现提前承诺失败（对照 0.667 vs 单轮 0.952），暗示第一轮即给出完整任务反而诱发轻率作答，这对 clean 条件本身的有效性是个隐患。弱点五：状态折叠只在小规模任务集合上验证，37.1 轮的 hard 对话已是上限，数百轮真实长会话下的 tracker 漂移未测。

作者指向的方向：(1) 因子化实验设计，把变体、诱饵、轮数、措辞的边际效应分离；(2) 两条迁移路径的 scaling 行为——2B tracker 的 OPD 与 35B 智能体的思维蒸馏都只有单点训练，数据规模与模型规模的响应曲线未知；(3) 状态表示升级：trace 检查表明漂移不只是保留已删内容，还包括把新值绑到错误槽位，因此需要表达意图项身份与依赖关系的状态结构，而非扁平目标列表。我基于成果延伸：(4) 把状态折叠与 RAG/长期记忆系统结合——Uddin et al. 的记忆失效基准与本文机制天然互补，折叠器可作为记忆写入门控；(5) 在线学习闭环：OPD 用可执行失败做监督的思路可推广到部署后持续收集漂移案例自训练 tracker；(6) 将 INTERACTIVE-TEST 的'收尾复述泄漏'问题形式化为评测协议规范，提醒所有交互式基准检查自己是否无意中供给了被测状态；(7) 探索推理时算力分配：门控重生成与状态验证可以做成自适应触发，平衡延迟与准确率。

复现难度中等偏高但路径清晰。有利条件：论文声明提供匿名化 artifact，包含完整模型配置、vLLM 部署细节、种子与 bootstrap 设置；主被测模型 Qwen3.5-122B-A10B-FP8 可本地 vLLM 部署，模拟器/裁判 DeepSeek-V4-Flash 为商用 API，评测端算力需求主要是 125 案例 × 多条件的推理。不利条件：基准构造流程重——需要 gpt-4.1 做构造、人工标注每个变体/诱饵/语义依赖三元组、下游审计恢复 95% 的 $\mathcal{G}^\star$，复现者若要自建同等质量数据需可观的标注预算；OPD 训练 2B tracker 与思维蒸馏 35B 智能体涉及 502 任务训练池上的策略采样与蒸馏训练，需要多卡 GPU 集群；模拟器审计、单模型限制等协议选择也要求复现者严格对齐（如收尾不复述 $\mathcal{G}^\star$）。若只复现评测（拿现成构造数据跑 STATEFORGE 与压缩基线），一周内可完成；若连数据构造带训练全链路复现，预计需要数周与专业团队。