问还是假设？面向编码智能体的不确定性感知主动澄清 Ask or Assume? Uncertainty-Aware Clarification-Seeking in Coding Agents

方法的具体执行步骤如下：第一步，实验准备——使用 SWE-bench Verified 500 条 GitHub issue 的不充分指定变体作为输入（原始 issue 保留作为评估金标准），搭建 OpenHands 沙箱环境。第二步，配置后端模型——分别用 Claude Sonnet 4.5 和 Kimi K2.6 作为 LLM 骨干；用户模拟器固定为 GPT-5.1，并加入两条规则补丁：不得修改测试文件、提醒代理 /testbed 与 /workspace 目录差异。第三步，对于 UA-SINGLE，每个轮次在工具调用前插入『不确定性评估』提示，要求模型输出 Ambiguity assessment: ，若为 ambiguous 则调用 clarify 工具。第四步，对于 UA-MULTI，Main Agent 装备标准工具集独立执行代码，Intent Agent 在每轮接收完整状态历史（包括用户消息、Main Agent 动作与观察），通过结构化 JSON 输出 {needs_clarification: true/false, reasons: ...} 决定是否中断执行以询问用户。第五步，用户模拟器根据其持有的完整 issue 回答问题（最多 3 次），随后强制结束对话。第六步，运行隐藏测试集评估 resolve rate，并通过置换检验（permutation test）对比各设置的统计显著性。

技术新颖性主要体现在三个方面。第一，方法论层面提出『行为层面的不确定性感知』评估范式——不要求模型输出形式化置信度，而是通过其自发提问的频率、时机、针对性来衡量校准能力，这比单纯的 calibration error 指标更能反映实际部署效果。第二，架构层面把 MetaGPT、ChatDev 等多智能体协作范式应用于『意图感知』这一细粒度子任务，证明即使是简单的双智能体分工（执行 vs. 监控）也能显著提升 resolve rate（Claude 从 61.20% 提升到 69.40%，p < 0.001）。第三，分析层面首次系统比较了『闭源 vs 开源』前沿模型的不确定性校准差异——Kimi K2.6 在 UA-MULTI 下的提问率高达 8.71 Q/Task（Claude 仅 3.06），且在中等难度到高难度任务之间没有单调递增（ask rate 从 36.02% 反降到 30.95%），暴露了开源模型在指令遵循与校准上的局限性。

独立审视本文可以发现以下几个可改进的弱点。第一个是 Intent Agent 决策粒度过粗——目前只输出 needs_clarification: bool 这种二元判断，无法告知 Main Agent 『具体哪些细节缺失』，这导致每次 Main Agent 收到『需澄清』信号后只能自己重新组织问题，可能造成多轮重复询问。改进方向是让 Intent Agent 同时输出 missing_slots 列表（如 {file_path, error_message, expected_output}），让 Main Agent 可以直接针对槽位提问。第二个弱点是 Kimi K2.6 的过问行为没有得到根本解决，作者实验性地加入『如果用户已表示无法提供更多细节则不再询问』的提示，但仅略微减少提问次数，Kimi 仍把绝大多数任务标记为不充分指定，这说明单一 prompt 调整无法解决开源模型校准问题。改进方向可能是先用 few-shot 演示或基于 RL 的反馈训练，让模型在内部形成『何时该问、何时该执行』的决策边界。第三个弱点是用户模拟器的规则 5、规则 6 是针对 OpenHands 沙箱环境手工定制的硬约束，难以迁移到其他框架——改进方向是建立一个环境无关的『信息缺失检测』schema，让模拟器根据统一的元数据动态给出环境相关提示。第四个弱点是评估的『不充分指定』分布是 GPT-4o 自动生成的，自然不充分 issue 通常保留更多具体技术细节，本文的难度被人为放大，结论的有效性可能比表面看起来更乐观。

作者明确提出的未来方向是将 UA-MULTI 的成功轨迹作为监督信号，通过标准微调或强化学习（Sun et al., 2025）让单模型内生地具备校准的澄清能力，摆脱对多智能体推理开销的依赖。基于本文成果还可延伸的研究包括：（1）将不确定性感知范式从 SWE-bench 扩展到多语言、多领域（前端、嵌入式、数据库 schema 迁移），验证是否需要针对领域调整 Intent Agent 提示；（2）探索 Intent Agent 与 Main Agent 之间的『对话结构』——目前是单向二元信号，未来可以让 Intent Agent 主动反问 Main Agent 的中间结果（如『你读到的 X 文件是否就是用户说的 Y？』），实现真正的双向协作；（3）将用户模拟器从 GPT-5.1 升级为人机混合评估，在关键决策点引入真实开发者判断；（4）研究在 Anthropic API 的 tool_use 框架下，是否能让 Intent Agent 的澄清决策对 Main Agent 透明化，从而构造可解释的『决策链』供事后审计；（5）把『外部不确定性』与 Li et al. (2026b) 提出的 semantic volume 形式化度量结合，建立『外部不确定性 + 内部不确定性』的联合校准指标。

复现性方面，本文提供较为完善的支撑。代码已在 https://github.com/nedwards99/ask-or-assume 开源，实验基于 OpenHands 公开框架与 SWE-bench Verified 公开数据集；用户模拟器 GPT-5.1 与 Claude Sonnet 4.5 通过 API 调用，不充分指定变体由 CMU LTI 团队发布在 HuggingFace。复现的主要门槛在于：（1）成本——500 任务 × 2 模型 × 5 设置的实验在 Claude API 上总开销约 $5179.75（Table 5 累计），Kimi 上约 $1826.49，对个人研究者不友好；（2）沙箱环境——需要部署 OpenHands 的 docker 沙箱并支持长达 100 轮的迭代执行，单任务耗时可能数十分钟到数小时；（3）评估指标——作者使用非参数置换检验计算 p 值，报告的 resolve rate 略低于官方 OpenHands 结果（Claude 70.80% vs 官方 74.20%，Kimi 72.80% vs 74.60%），可能源于 100 轮上限（而非 500 轮）与 prompt 微小差异，复现者需要遵循附录 C 的完整 prompt；（4）随机性——主实验未报告多次随机种子的均值与方差，单次 resolve rate 的 95% 置信区间已在 Figure 2 标注。综合评估，复现难度为中等偏高，主要瓶颈是 API 成本与计算时间，但因代码、数据、prompt 全部公开，技术层面完全可复现。