跨会话个性化歧义适配：编程助手减少澄清的基准测试 CAPA Fewer Clarifications, Better Code: Benchmarking Cross-Session Personalized Ambiguity Adaptation in Coding Assistants

数据生成三阶段流水线。阶段一「构造模糊初始请求」：从完全规范的 HumanEval 任务 $P_{i,k}$ 抽取所需实现约束 $C_{\text{req}}$，应用歧义机制 $a_i$ 与解决模式 $r_i$ 移除/模糊/替换部分约束，得到保留信息 $C_L$ 使得 $C_{\text{req}} \not\subseteq C_L$，再按用户画像 $\pi_i$（专业知识、语气、详略）表达成 $u^{(0)}_{i,k}$；被省略的信息和意图解释保留给后续对话生成与裁判，但不进初始请求。阶段二「交互式对话生成」：构建 AmbiSimu 环境，含用户智能体、对话 LLM、执行环境三部分。用户智能体把「表达」与「判断」拆成两个独立组件——表达智能体反复应用上下文缺口控制以维持 $a_i, r_i, \pi_i$，判断智能体调用外部裁判 $J$，用「代码 $c^{(t)}_{i,k}$ 编译执行结果 + 与参考解的功能一致性」两层证据判定 $J(c^{(t)}_{i,k}; j_{i,k})=1$ 是否成立；对话 LLM 要么提澄清问题（触发下一轮用户消息）要么提交候选代码，会话在首次成功或达到轮数上限（8 轮）时终止，$D_{i,k}$ 只保留用户与对话 LLM 的消息。阶段三「跨会话一致性校验」：把每个轨迹 $D_{i,k}$ 与共享用户配置、上一接受的轨迹 $D_{i,k-1}$ 比较，若保持个性化歧义就原样接受，只有检测到不一致才触发修订，从而在不牺牲任务多样性的前提下保证跨会话一致性。最终每用户前 $n=5$ 会话作历史、后 $m=5$ 作留出评测。

新颖性体现在四方面。一是任务定义新颖：首次把「从同用户已解决会话推断反复歧义模式并迁移到新任务」形式化为评测任务，且不假设参数更新或自动持久化——历史是显式提供的推理时上下文，便于隔离评测。二是歧义分类新颖：6 种编码导向机制由两位作者从真实 WildChat 编码对话改编 Li et al. (2024) 的 11 种语言歧义而来，并做了 20 人标注研究（Fleiss' $\kappa = 0.66$），每个用户被赋两种机制联合应用以增加多样性。三是数据生成新颖：AmbiSimu 把用户智能体的「表达」与「判断」分离，避免执行判断污染表达，三阶段流水线保证跨会话个性化一致而不牺牲任务多样性。四是评测维度新颖：同时报告 ES（最终可执行成功率）、FT-ES（首轮成功率，无澄清即成功）和 TTC（完成轮数，未解会话记 8 轮上限），把「最终正确性」与「交互效率」分离——历史往往对交互效率（FT-ES、TTC）的提升远大于对最终成功（ES）的提升，这一区分是传统澄清基准看不到的。

(1) 任务范围偏窄：只用 HumanEval 函数级任务，建议扩展到 SWE-bench 仓库级、ConvCodeWorld 多文件对话，引入真实工程歧义（依赖版本、跨文件命名冲突、API 兼容），改进方向是构建仓库级 CAPA。(2) 模拟用户 vs 真实用户：LLM 模拟画像可能比真人更可预测、更「配合」澄清，且画像本身较刻板（如「焦虑的初学者」「过度工程架构师」），建议补充真实开发者纵向数据或人机对抗评估，改进方向是引入真实日志或人在回路评测。(3) 历史注入方式理想化：把完整 5 段历史一次性喂入上下文，与产品中按需检索、增量写入、冲突合并差距大，长历史时检索召回质量未测，改进方向是研究在线记忆写入/遗忘/合并与对历史数量的扩展律。(4) 评测指标偏单一：只看最终成功和轮数，没衡量「错误假设导致用户纠正的负担」「过度澄清率」「澄清质量」，改进方向是加入用户满意度、错误假设率、澄清信息增益等指标。(5) 机制联合使因果分析困难：建议做单机制 vs 双机制消融，量化机制交互效应，使机制层面结论可作因果解释。

作者明确提出的方向：开发能更好利用跨会话历史、减少重复澄清的长期编程助手；推广 same-user history gating 这类任务特定的轻量门控方法；把 CAPA 作为基础支撑代码与用户意图更好对齐。基于成果可延伸：(1) 把 CAPA 框架迁移到其他 Agent 任务（数据分析、DevOps 自动化、科研编码）测试个性化歧义适配的普适性；(2) 研究在参数层面注入用户模式（用户专属 LoRA、软提示 Das et al. 2026、潜在用户表征 Cao et al. 2026）以替代上下文注入，突破长上下文成本限制；(3) 探索主动澄清策略学习——何时该问、问什么，以最小化 TTC，可结合强化学习或「未来轮次建模」(Zhang, Knox, and Choi 2025)；(4) 引入时序与漂移建模：用户模式会随项目演进改变，需要检测模式变更并更新，防止过时历史误导；(5) 结合隐私与可控性：长期记忆中的个性化模式可能含敏感信息，需研究记忆遗忘权与差分记忆；(6) 把 same-user history gating 的门控 LLM 升级为可学习的检索-决策模块，端到端优化「直接生成 vs 澄清」的决策。

复现评估。论文提供了较完整的可复现要素：完整任务定义与数据层次（用户轨迹 $S_i$、会话 $\tau_{i,k}=(D_{i,k}, j_{i,k})$、对话轨迹 $D_{i,k}$）、三阶段生成流水线、AmbiSimu 环境的三组件设计（用户智能体/对话 LLM/执行环境）、评测协议（ES/FT-ES/TTC、8 轮预算、共享外部裁判 $J$、HumanEval 164 任务作种子），以及附录里的全部提示词（10 个画像全文、6 种歧义机制的信息控制指令 $C_{\text{req}}/C_L$、用户/助手智能体系统提示、澄清规划器 JSON schema、关键点提取 prompt）。这些足以重建方法流程。但存在关键障碍：(1) 论文未明确声明是否开源代码与 600 段会话数据集，种子 HumanEval 公开但生成的多轮会话与裁判 $J$ 实现未确认发布；(2) 评测的 12 个模型是未来虚构版本（GPT-5.5、Claude Opus 4.8、GLM-5.2、DeepSeek V4 Pro 等），写作时尚不存在，所有主结果数字客观上无法被外部复现；(3) 6 种机制的改编依赖两位作者的人工映射与 20 人标注研究（Fleiss' $\kappa=0.66$），完整复现需相同人力；(4) 计算成本可观（600 会话 × 12 模型 × 最多 8 轮 × 含 5 段历史的长上下文），但论文未报告 token 用量或算力数据。整体难度：流程与协议可复现，具体数值不可复现；若作者开源数据与裁判实现，则可在真实存在的等代模型上近似复现方法学结论。