SCICONVBENCH：面向计算科学任务形式化的多轮澄清基准测试

评估大模型在流体力学/固体力学/材料/PDE四域能否通过多轮对话澄清科学任务。

前置知识

任务形式化 (Task Formulation)

将一个模糊、缺失或自相矛盾的用户请求，转化为一份结构化、可执行、领域合法的科学问题陈述的过程。在计算科学里，形式化产物通常包括目标、几何、本构模型、物性、边界/初始条件、数值设置、输出与工具参数九个维度。形式化失败会导致下游模拟、代码生成或工具调用跑出物理上错误的解。

SCICONVBENCH 的核心评测对象就是这一上游环节——能否先正确表达问题再去解题，而不是直接跳到求解。如果不区分任务形式化与求解能力，就无法理解论文为什么要单独建立一套基准来度量"澄清"这一被既有评测忽略的步骤。

消歧 (Disambiguation) vs. 不一致性消解 (Inconsistency Resolution)

消歧指用户请求缺少关键信息（例如未给出 Reynolds 数），模型需要主动追问；不一致性消解指请求里包含相互矛盾的陈述（例如把材料同时设为线弹性与塑性），模型需要在执行前识别并纠正。两者代表了不同的对话能力：前者测试"是否知道要问"，后者测试"是否识别到冲突"。

论文把任务显式拆成这两种类型，并发现 GPT-5.2 在消歧上最强（CGRR 52.7%），而 Gemini 2.5 Pro 在不一致性消解上最强（CGRR 82.7%），证明这两种能力不是单一标量。理解二者区别才能看懂 Table 1 与 Figure 4 中模型排名的反转。

会话锚定率 (Conversation-Grounded Resolution Rate, CGRR) 与静默解决率 (Silent Resolution Rate, SRR)

CGRR 是"最终答案正确 + 与用户对话中明确澄清"的案例占比；SRR 则是"最终答案正确但完全没向用户问过"的占比。三者满足 FRR = CGRR + SRR。SRR 高 = 模型看起来智能，但留下不可审计的隐式假设。

FRR–CGRR 之间的差距是论文最重要的诊断信号。所有被测模型都存在 8.2（消歧）/14.7（不一致）个百分点的系统性缺口，这一缺口被作者解释为"静默的科学推断"——它直接关系到科学工作流的可复现性，是论文的核心论点之一。

基于本体的科学任务表示

论文把科学任务形式化为九元组 $\langle \nu_{\text{obj}},\dots,\nu_{\text{tool}} \rangle$（目标/几何/本构/属性/边界/初值/数值/输出/工具），扰动在某槽位注入 MISSING 或 CONFLICT。

这套本体既是数据集构造的"剧本"（决定在哪个槽位挖坑），也是组件级分析的基础（Figure 5 的逐组件 FRR/CGRR/SRR）。没有它就无法把"对最终答案的判断"拆到"哪个科学子项被遗漏"上，也就无法解释为什么流体力学的数值/求解器组件最弱。

LLM-as-a-Judge 与用户模拟器

论文用 LLM 充当三类角色：助手（被测模型）、用户（基于隐藏参考规范作答，默认 Claude Sonnet 4.6）、评审员（Gemini 2.5 Pro）。用户模拟器严格按参考规范回答，缺失时回"合理假设"。

评测可信度依赖这些代理的稳定性。论文 Table 2 显示 Judge/Simulator/Prompt 三种鲁棒性消融均得到定性一致的结论。不理解协议就无法阅读 Section 4 与 F.4。

研究动机

现有科学 LLM 评测（SciBench、SciEval、SciCode、MatTools、ScienceAgentBench、SciAgent、ChemCrow、OpenFOAMGPT、FEABench 等）几乎都假设任务已经"形式化好"——目标、几何、本构、边界条件、求解器、输出格式齐备，再让模型写代码或调用工具。然而真实用户的需求常常缺失关键参数或自相矛盾：一个流场模拟没说 Reynolds 数（可能落入层流也可能涡脱落）；一份固体力学任务同时假定线弹性和大变形塑性；一份 DFT 任务混用了两套不同的赝势。这种缺失或冲突在通用领域澄清基准（QULAC、ClariQ、AmbigQA、CLAMBER、CondAmbigQA、CLAM）里几乎不会出现——它们的歧义多为词义消歧、子话题偏好选择或多义事实解读，而科学任务的歧义往往决定下游物理问题本身。例如 Gemini 2.5 Pro 在 CLAMBER 子集上能解决 86.1% 的案例，但在 SCICONVBENCH 流体力学消歧上仅 18.2%，说明缺口既存在且具有量化意义。

本文的目标是本文目标是把评测关口上移到"任务形式化"这一步，构建一个专门用于度量多轮澄清能力的科学基准 SCICONVBENCH，覆盖流体力学（151 例）、固体力学（228 例）、材料科学（130 例）与偏微分方程（61 例）四个计算科学域，共 1,142 个案例，并拆分为消歧与不一致性消解两类任务。基准最终产出三项可比较指标——FRR（最终解决率）、CGRR（对话锚定解决率）、SRR（静默解决率）——以及组件级、帕累托级诊断（Capability/Robustness/Usability），让研究者能区分"模型懂得答案"与"模型与用户达成共识地拿到答案"。

与已有工作不同的是，已有工作的盲区在于：通用澄清基准缺乏科学领域接地的要求；科学求解基准又跳过了上游对话阶段；对话智能体基准（MT-Bench、MultiChallenge、τ-bench、MINT）虽引入用户模拟器，但不要求澄清到"物理一致"层面。作者的独特切入角度是把"任务形式化"显式建模为带本体的扰动问题 $(k_j, \tau_j)$，并通过 FRR–CGRR 分解把"静默假设/修补"量化为可比较的指标。这是一种"上游对话评测 × 领域本体 × 可复现性诊断"的三轴交叉，与单纯打分任务完成度的做法形成本质区别。

核心方法

SCICONVBENCH 的整体思路是：先从教学材料、工具基准与教科书里收集"干净"的科学任务，再用人工方式注入缺失或冲突信息构造对话实例，最后用 LLM 助手 × LLM 用户模拟器 × LLM 评审员的多代理框架做闭环多轮对话与评分。直觉上它把"任务形式化"建模成"九元本体被扰动后能否被恢复"的问题——助手每轮只能问一个问题（共 11 轮预算，对应最多 10 个注入点），用户模拟器严格按隐藏参考作答，最终助手给出澄清后的任务规范，评审员对照原始扰动逐项判定。

核心创新点是把"澄清"从一次性启发式问题拆成"案例级 FRR/CGRR/SRR + 组件级本体 FRR(k)/CGRR(k)/SRR(k) + 帕累托 Capability/Robustness/Usability"三层诊断，强制区分"答对了"与"对话中问清楚再答对"。与已有方法的本质区别：(1) CLAMBER、MT-Bench 类用 LLM-as-a-Judge 但不做 FRR–CGRR 分解，因而看不到静默修复；(2) FEABench、OpenFOAMGPT、ScienceAgentBench 评测下游求解而跳过对话；(3) τ-bench、MINT 评测智能体但用通用域偏好型用户，缺乏科学本体。本文的"本体注入 + 对话锚定度量"组合在三者之间架起了桥梁。

方法步骤详情

方法分五步执行。步骤一：源任务池构建——从 FoamBench、CFDLLMBench、SciCode、FEABench、AutoFEA、ALL-FEM、FEniCS、CalculiX、MascQA、MatSciBench、MatTools、教材中筛选"形式化完整、科学可解"的干净任务，统一归入九元本体 $y^\star$。步骤二：扰动注入——对每个干净任务按 $(k_j, \tau_j)$ 选择本体槽位 $k_j \in \{\text{obj, geom, model, prop, bc, ic, num, out, tool}\}$ 与扰动类型 $\tau_j \in \{\text{MISSING, CONFLICT}\}$，人工删除关键信息或插入相互矛盾陈述，得到 $x = T_z(y^\star)$。步骤三：多轮对话——助手（被测 LLM）从 $x$ 出发，每轮最多问一个问题；用户模拟器仅依据隐藏参考作答，缺失时回应"make a reasonable assumption"；对话在助手显式确认或达到 11 轮时结束，助手必须输出最终澄清规范 $\hat{y}$。步骤四：评审打分——评审 LLM 拿到对话记录、最终规范、原始扰动，按案例级三元 $(R_i, G_i, I_i)$ 判定，并按组件级 $k$ 聚合 FRR$(k)$/CGRR$(k)$/SRR$(k)$，最终再以等权平均汇总到 Capability（澄清召回/精度/计划完整度）、Robustness（假设规避/错误检测/记忆一致性）、Usability（意图捕获）三个帕累托轴。步骤五：鲁棒性验证——在 80 例分层子集上换用不同评审 LLM（Gemini 2.5 Pro/GPT-5.2/Sonnet 4.6）、不同用户模拟器（Gemini 2.5 Pro/GPT-5.2/Sonnet 4.6）、两版提示词改写，确认主要结论稳定。

技术新颖性

技术新颖性体现在四点。第一，本体级扰动机制 $T_z$ 与组件级分析使评测具备"科学可解释的失败定位"，区别于通用基准只能给出整体正确率；第二，FRR–CGRR–SRR 三元分解首次在科学任务上把"答对"与"对话中达成共识"解耦，揭示了 Sonnet 4.6 在 PDE 不一致性任务上 FRR 31.5% / CGRR 0.0% 这种极端的"纯静默修复"现象；第三，把用户模拟器与提示词改写纳入消融，使评测在 Judge/Simulator/Prompt 三个维度都被验证稳定性；第四，把帕累托分析（Capability/Robustness/Usability）作为诊断而非排名工具，避免单一指标误导——这是评测方法学上少见的克制。

**Figure 3**: Case distribution across the four SCICONVBENCH domains.

实验结果

实验评估了 5 个 guided-mode 模型（Claude Sonnet 4.6、Gemini 2.5 Pro、Gemini 2.5 Flash、GPT-5.2、GPT-OSS-120B），核心发现分四层。第一层（任务级胜负反转）：消歧上 GPT-5.2 CGRR 52.7% 领先，Gemini 2.5 Pro 仅 41.7%；但不一致性消解上 Gemini 2.5 Pro 以 82.7% CGRR 反超，GPT-5.2 仅 56.0%，说明两种能力不可压缩为单一标量。第二层（领域难点）：流体力学是消歧的最难点，最佳 CGRR 仅 29.8%（与论文 Figure 4 一致）；材料科学与 PDE 消歧分别可达 68.5% 与 72.1%；固体与 PDE 的不一致性消解相对容易，材料仍较难。第三层（FRR–CGRR 缺口）：所有模型都存在系统性缺口，5 个模型平均 8.2pp（消歧）/14.7pp（不一致），缺口在不一致性任务上更严重——典型如 Sonnet 4.6 在 PDE 不一致任务 FRR 31.5% 而 CGRR 0.0%，意味着所有正确修复都未经对话。第四层（组件级）：数值/求解器组件 $\nu_{\text{num}}$ 与本构/物理假设组件 $\nu_{\text{model}}$ 最脆弱，跨模型组件级 FRR 仅 10–21%；边界条件 $\nu_{\text{bc}}$、初始条件 $\nu_{\text{ic}}$ 相对最稳。第五层（鲁棒性，Table 2）：80 例子集上 Gemini 2.5 Pro/GPT-5.2/Sonnet 4.6 三种评审 LLM 与人工的 FRR 共识都达到 87.5%；不同用户模拟器间 FRR 72.5%–78.8%、CGRR 42.5%–46.2%；两种提示词改写后 FRR 72.5%–77.5%、CGRR 42.5%–46.2%，定性结论一致。

**Table 1**: Comparison between a filtered subset of CLAMBER and the disambiguation split of SCICONVBENCH, both evaluated with GEMINI 2.5 PRO.

**Table 2**: Robustness checks on the 80-case stratified subset.

**Figure 4**: Case level resolution rate comparison among different models for the different domains and tasks in SCICONVBENCH.

**Figure 5**: Component level resolution rate comparison among different models for the different domains and tasks in SCICONVBENCH.

**Figure 6**: Pareto analysis across Capability, Robustness, and Usability.

查看结构化数据

任务	指标	本文	基线	提升
流体力学消歧（4 个模型的 CGRR）	CGRR (%)	GPT-5.2 ~29.8% (论文报告最佳)，其他模型显著更低	Gemini 2.5 Pro 18.2%（文中单点数据）, CLAMBER 子集同模型 86.1%	vs CLAMBER 通用域 -67.9pp，证明领域接地是巨大鸿沟
消歧整体（5 模型横评，CGRR）	CGRR (%)	GPT-5.2 52.7%, Gemini 2.5 Pro 41.7%, Gemini 2.5 Flash / Sonnet 4.6 / GPT-OSS-120B 略低	CLAMBER 通用域 86.1%	GPT-5.2 较 CLAMBER 仍低 ~33pp，但已是当前 SOTA
不一致性消解整体（5 模型横评，CGRR）	CGRR (%)	Gemini 2.5 Pro 82.7%, Gemini 2.5 Flash 66.4%, GPT-5.2 56.0%	Sonnet 4.6 PDE 子集 0.0%	Gemini 2.5 Pro 较 GPT-5.2 高 +26.7pp；任务与模型排名与消歧完全反转
FRR–CGRR 缺口（系统性静默修复指标）	平均缺口 (pp)	消歧 8.2pp / 不一致 14.7pp（5 模型平均）	理想 0pp（无静默修复）	缺口在不一致性任务上扩大 ~80%，反映冲突识别更易被静默修补
组件级最弱组件 ($\nu_{\text{num}}$, $\nu_{\text{model}}$)	组件级 FRR (%)	数值/求解器约 10–21%，本构/物理假设略高但仍低	其他组件（bc, ic, out）通常 >40%	识别出"数值设置"与"本构假设"是模型最不会问的两类科学承诺
评审 LLM 鲁棒性（80 例子集 vs 人工）	FRR 一致率 (%)	Gemini 2.5 Pro 87.5%, GPT-5.2 87.5%, Sonnet 4.6 87.5%	随机评审基线 ~33%	三种 LLM 评审与人工 FRR 共识均达到 87.5%，CGRR 共识 71.2%–76.2%

局限与改进

作者承认的局限：(1) 评测仅限对话形式化，不评估下游求解正确性，因此无法直接判定"澄清后是否能跑出正确答案"；(2) 评测使用 LLM 用户模拟器与 LLM 评审员，存在代理偏差，尽管 80 例人工验证显示 87.5% 共识，仍可能在大规模上漂移；(3) 11 轮固定预算可能压缩某些需要更复杂对话的实例；(4) 评测只覆盖 5 个模型，不包含 Llama、Qwen、DeepSeek 等开源强基线；(5) 数据集规模 1,142 例虽可观，但每个组件的样本分布不均（如 PDE 仅 61 例），可能放大评估噪声。我自己观察到的局限：(a) 评测流程把"显式澄清"作为正确路径，但科学实践中助手有时确实需要先做合理假设再让用户修正，这种"先猜测后修订"的工作流被基准判为 SRR 失败，可能低估某些模型的实用性；(b) 用户模拟器被强制只能依据隐藏参考，未模拟"故意刁难/矛盾/沉默"的真实用户行为，与 τ-bench 等评测的真实鲁棒性相比偏简单；(c) 评审提示词未在附录中完整公开，影响外部研究者复现或改进评测。

独立分析的弱点

独立分析的弱点有三个。第一，"本体扰动"靠人工而非合成，导致扰动分布不均：固体力学 228 例、PDE 仅 61 例，组件级统计在小域上可能失真，且不同扰动难度差异未被显式建模——例如改一个边界条件 vs. 改一个本构模型的认知负荷完全不在一个量级。第二，"先猜测后修订"策略被错误归类为静默修复：很多模型在第一轮就给出部分回答并邀请用户修正，这其实是高效但被基准 SRR 惩罚的工作模式，论文未对此区分。第三，评测缺少数值/物理正确性的下游闭环：即使模型正确形式化了"低雷诺数圆柱绕流"，实际跑出来的尾迹是否合理？当前基准无法回答这种"对话质量→求解质量"的因果链。每个弱点的改进方向：(a) 在本体扰动阶段引入难度分级或基于扰动难度的归一化加权；(b) 把 SRR 拆为"完全静默"与"先猜测后修订"两子类，前者扣分、后者中性；(c) 增加"对话→下游求解"的二级评测，让澄清质量直接关联物理结果。

未来方向

作者明确提到的方向：把评测拓展到更多域（如化学、生物学、地球科学）；纳入更多模型（含开源 Llama/Qwen/DeepSeek）；将对话形式化与下游求解正确性联合评分。基于成果可延伸的方向：(1) 构建"澄清-求解"端到端训练数据，让模型通过对话获得更完整的科学意图表达，从而提升求解器调用质量；(2) 把 SCICONVBENCH 用作 RLHF/RLAIF 的偏好数据来源，把 CGRR 高/SRR 低的轨迹作为奖励信号；(3) 引入更具挑战性的用户模拟器（沉默型、矛盾型、领域新手型），让评测逼近真实科学协作场景；(4) 把组件级分析用于诊断模型的具体失败模式，反哺提示工程——例如既然数值/求解器最弱，可专门设计强化 $\nu_{\text{num}}$ 追问的系统提示；(5) 探索多模态澄清（公式截图、实验装置图）以扩展本体到视觉-物理语义层。

复现评估

代码与数据已开源：https://github.com/csml-rpi/SciConvBench（GitHub 链接在论文末页）。评测协议（评审提示词、用户模拟器提示词、对话协议）在论文 Section C 与 Section F 中有详细说明。模型与硬件：5 个被测模型通过 API 调用（Claude Sonnet 4.6、Gemini 2.5 Pro、Gemini 2.5 Flash、GPT-5.2、GPT-OSS-120B），无 GPU 自训成本，主要开销是 token 用量与 API 计费（论文 Section F 有按模型分项计费明细）。复现难度中等偏低：核心组件（评审提示词、用户模拟器、扰动数据集）均已发布；但要让评测可信复现，研究者还需自行接入多个被测模型 API 并复现 LLM-as-a-Judge 流程；不同 LLM 评审间存在的 71.2%–76.2% CGRR 共识度意味着完全一致复现存在一定风险，需要在报告时声明所用评审模型。

SCICONVBENCH：面向计算科学任务形式化的多轮澄清基准测试 SCICONVBENCH: Benchmarking LLMs on Multi-Turn Clarification for Task Formulation in Computational Science