先问再优化：交互式优化的动态建模前澄清

提出OR-Clarify基准与InterOPT两阶段框架，让LLM建模前主动澄清关键缺口

前置知识

运筹优化建模（OR Formulation）

运筹优化数学模型由目标函数、约束条件、决策变量与可行域构成，其结构完全由业务问题规格决定。例如车辆路径问题中「快递员是否必须返回起点」会直接改变约束结构；产能上限、需求满足规则等事实决定模型形态。LLM 自动建模就是把自然语言描述翻译成这类数学规划并生成求解器代码。

本文任务围绕「当前规格是否足以确定唯一的数学模型」展开，需要判断哪些事实是会改变建模结构的 formulation-critical 信息，这是理解基准设计与评测指标的前提。

LLM 智能体与模拟用户评测

LLM 智能体以大模型为推理核心，按协议多轮执行动作（本文中为提问或宣布 READY_TO_MODEL）。评测交互式智能体常用模拟用户：由另一个 LLM 持有私有事实、只回答当前问题而不主动透露未问信息，再加事后 LLM judge 依据冻结的评分规则对完整转录打分。

OR-Clarify 的信息边界、MC-D 选项协议、槽位判分全部建立在这套「被测 agent—模拟用户—事后评判」架构上，不理解各组件职责就无法理解指标含义与公平性设计。

澄清式问答与选择性弃答

澄清式问答研究用户意图欠明确时智能体如何提出有信息量的问题，分开放式自由提问与给候选项让用户选择（如 CAmbigNQ 的选项协议）两种形态；选择性弃答研究模型在信息不足时是否拒绝作答。本文将两者推广为「建模就绪判断」：不问能否回答，而问信息是否足以构建正确的优化模型。

InterOPT 每轮的 Ask/READY_TO_MODEL 决策本质是澄清与弃答的组合问题，了解这条研究线才能把握本文的定位与本质差异。

隐藏槽位与 P0/P1/P2 严重度

OR-Clarify 把每个被掩藏的关键事实称为隐藏槽位并标注严重度：P0 为阻断性条件（其缺失可改变问题本身，如路线开闭），P1 为实质性建模条件（如未满足需求是否惩罚），P2 为次要边界条件。agent 须在宣布就绪前通过提问或显式假设确认语义覆盖某槽位，才记为精确恢复。

All-Slot Exact、Core Exact、Silent/run 等核心指标全部定义在槽位恢复与严重度分级之上，不掌握这套词汇就读不懂实验结果表。

研究动机

LLM 自动建模研究（NL4Opt、OptiMUS、LLMOPT、ORLM 等基准与系统）几乎都假设用户给出的自然语言规格是完整的，只评测 agent 能否把描述翻译成数学模型和求解器代码。但真实的运筹学业务请求往往不完整：用户可能说清了产能和需求却不提目标函数，或给出路径规则却不说时间窗是硬约束还是软约束、未满足的需求必须精确满足还是允许延迟缺货。这类遗漏并非表面瑕疵，而会从根本上改变数学规划的结构——例如车辆配送中用户没说快递员是否要返回起点，agent 若悄悄默认闭环回路，就等于替用户做了未确认的建模决定。更糟的是，作者观察到强 LLM 智能体的典型失败模式恰恰是「过早建模」：在核心业务事实尚未澄清时就宣布可以开始，或用毫无依据的默认值填补空缺；现有评测假设规格完整，既测不出这类行为，也回答不了「agent 是否知道何时该提问」这一更前置的问题。

本文的目标是本文要把「建模前澄清」确立为一个独立的研究任务并系统解决它。形式化地，设 $P_t$ 为第 $t$ 轮的公开问题描述，$\mathcal{B}(P_t)$ 是与之相容的合理业务补全集，$\phi(P_t,c)$ 是用补全 $c$ 完成后诱导的建模结构（含目标、约束、决策变量等），则 $P_t$ 建模完备当且仅当所有合理补全诱导同一结构，即 $|\{\phi(P_t,c): c\in\mathcal{B}(P_t)\}|=1$；反之若该集合元素多于一个则为建模不完备。任务要求智能体判断当前公开规格是否 model-ready，并在不完整时以尽量少的交互恢复会改变建模结构的关键缺失事实。为此论文交付三件套：OR-Clarify 评测基准（100 个案例、178 个隐藏槽位，均值 1.78 个/案例）、支持开放式与选择题两种交互协议的受控评测框架，以及 InterOPT 两阶段澄清方法。

与已有工作不同的是，已有交互式 OR 系统（ORPilot 的访谈环节、Drossman 等人的对话式优化）把交互嵌在端到端流水线里，从未把「澄清是否有效」单独拎出来评测：既不考察隐藏需求是否真正恢复，也不考察 agent 何时该停。澄清问答研究（CAmbigNQ、AskBench、IntentSim、SAGE-Agent 等）面向搜索意图、答案或偏好引出，而这里一个问题的「正确」标准是它能否恢复一个会改变优化建模结构的业务事实。弃答研究问的是「能不能回答这个问题」，本文问的是「当前信息够不够建出正确模型」——需要定位会改变建模结构的缺失事实、把它问出来、并在核心槽位恢复后停止。OR-Clarify 据此成为首个把建模缺口恢复、就绪决策与交互成本放在一起联合评测的 OR 专用框架。

核心方法

InterOPT 的直觉来自监控—控制视角：好的推理器不仅执行任务，还持续监控「已知什么、什么不确定、是否足以走下一步」。据此把澄清拆成两阶段。阶段一 Dynamic Gap Search 每轮用结构化 LLM 调用加确定性校验更新缺口账本 $\mathcal{M}_t=\Phi(b,\tau_t,\mathcal{M}_{t-1})$，其中 $b$ 为公开简报、$\tau_t$ 为公开转录；它沿六个类别（目标与权衡、决策范围、运营约束、时间边界、实体/决策关系、硬/软策略）搜索缺失需求，每轮最多新增 3 个缺口，去重后赋予稳定 ID 与 Open 状态；开放集 $\mathcal{O}_t$ 即账本中状态仍为 Open 的缺口。阶段二 Gap-Guided Action Search 由被测模型实例化的 $\Psi$ 基于公开简报、转录与开放集输出停止决策 $d_t$ 与三个候选澄清状态；若决定提问，则每个候选生成一道绑定开放缺口的问题（Choice 协议下每题恰三个选项），再由 selector 按目标变化、业务约束、决策范围、沉默假设风险的优先级选出执行动作 $a_t$。

核心创新是把「诊断缺什么」与「决定问什么、何时停」这两个易混淆的决策解耦。直接让 LLM 生成下一个看似合理的问题，绕开了深层问题：agent 是否真的诊断对了缺口。InterOPT 用持久账本充当跨轮监控记忆——被选中提问的问题其绑定条目从 Open 翻转为 Asked，未解决的缺口持续留存，保证每个候选问题都锚定到具体诊断结果，实现问题—缺口对齐。同时它刻意不做硬性门控：账本非空不阻止 READY_TO_MODEL（终止并记录事件供诊断），账本为空也不强制就绪（阶段一可能漏检），停止判断仍留给模型，且被指示「当未解决假设可能改变目标、决策范围、约束、实体或时间结构时倾向提问，仅剩记号、原始数据采集或求解器细节时才允许就绪」。两阶段都不接触基准的隐藏槽位与 P0–P2 标签：账本只提供记忆与对齐，不保证完备发现或安全停止。

方法步骤详情

算法 1 流程：输入公开简报 $b$、协议 $\pi$、最大轮数 $T_{\max}=20$，初始转录与账本 $\tau_1$、$\mathcal{M}_0$ 均为空。每轮 $t$：第一步，阶段一执行 $\mathcal{M}_t=\Phi(b,\tau_t,\mathcal{M}_{t-1})$，提出至多 3 个带类别与证据的新缺口，去重后标记 Open；第二步，计算开放集 $\mathcal{O}_t$；第三步，$\Psi$ 输出停止决策与三个候选状态 $(d_t,C_t,Q_t)$，若 $d_t$ 为就绪信号则终止返回转录；第四步，开放集非空时三个候选问题必须各自绑定开放缺口 ID，schema 校验失败最多重生成 3 次；第五步，selector 依公开历史与账本选出动作 $a_t$ 执行，其绑定缺口翻转为 Asked（已问而非已解决）；第六步，接收事实有界的模拟用户回答并追加转录。评测时 judge 只在 READY_TO_MODEL 之前的问题或显式假设确认语义覆盖槽位时给精确恢复分；主动提供的事实、只在最终模型中出现的假设、含糊兜底提问与部分匹配均不计分。

技术新颖性

新颖性体现在方法与基准两层。方法上，缺口账本是轻量的符号化监控记忆，区别于 ORPilot 的固定访谈清单（按目标/决策/约束/参数逐项过）与 ReadyGate 的独立停止审查员：消融显示 Choice 下仅加停止审查只把 Core Exact 从 0.506 提到 0.517，而完整两阶段提至 0.675；开放式下账本使 Core Exact 达 0.538，且用 4.824 个原子问题控制住了交互长度。基准上，OR-Clarify 的构建流水线（分解→筛选→掩码→标注）先用固定案例种子的确定性伪随机程序掩掉约一半合格事实，再筛除数学含义已由可见信息决定的候选（如 15000 生产小时已隐含产能上界，而 1000 件需求不决定是否允许缺货），每个被掩事实一对一挂上证据、模拟用户答案、可接受问题示例、语义恢复规则与 P0/P1/P2 严重度（75/83/20 个），并用协议检测器与事后 judge 严格隔离信息边界——被测 agent 全程只见公开简报与转录。

**Figure 2**: Evaluation workflow and information flow. Hidden slots never enter the evaluated agent. The simulator supplies controlled answers, the passive monitor records protocol behavior, and the post-hoc judge scores the completed public transcript against frozen hidden-slot rubrics.

**Figure 3**: InterOPT gap-guided clarification loop. Stage 1 maintains a persistent public-evidence gap ledger, and Stage 2 selects a gap-bound question or READY_TO_MODEL.

实验结果

100 案例 × 5 重复，主测 DeepSeek V4 Pro。表 1：裸模型 Core Exact 无一超 60%（最高 0.583）。表 2：Choice 中 InterOPT 以 All-Slot Exact 0.638、Core Exact 0.675 远超 MC-D（0.474/0.506），但需 10.674 轮/10.036 问（MC-D 仅 3.258/2.350）；Open 中 InterOPT 得 0.492/0.538，不敌 ORPilot 的 0.583。槽位判分 617/20/253 对 461/16/413（yes/partial/no），增益来自完全恢复。消融（表 3）：Choice 下去掉阶段一 Core Exact 掉 11.1 个百分点、去掉阶段二掉 6.0；Open 下去掉阶段二得 0.506 但问数近翻倍（Avg Q 9.502 对 4.824），阶段一主攻覆盖率、阶段二压缩交互。开放式诊断：98.8% 运行宣布就绪但 40.6% 过早停止、残留 0.560 沉默假设/run，瓶颈在停止而非提问；图 4 显示其后期仍持续增益而基线早早平台。

**Table 1**: Baseline model comparison in OR-Clarify.

**Table 2**: Training-free method comparison and interaction burden in OR-Clarify.

**Table 3**: System-level ablation of InterOPT under open/FreeQA and Choice (MC-D) clarification.

**Figure 4**: Exact restoration versus cumulative atomic questions under Open and Choice protocols. Top: Open; bottom: Choice. Left: All-Slot Exact; right: Core Exact. Curves average K=5 runs, with 95% case-level bootstrap confidence intervals.

查看结构化数据

任务	指标	本文	基线	提升
OR-Clarify 选择题协议（Choice/MC-D）全槽位恢复	All-Slot Exact	0.638	MC-D 0.474	+16.4 个百分点
OR-Clarify 选择题协议核心槽位（P0/P1）恢复	Core Exact	0.675	MC-D 0.506	+16.9 个百分点
OR-Clarify 开放式协议核心槽位恢复	Core Exact	0.538	FreeQA 0.472 / 最强基线 ORPilot 0.583	较 FreeQA +6.6 个百分点，但落后 ORPilot 4.5 个百分点
沉默假设控制（Choice 协议）	Silent/run	0.366	MC-D 0.692 / ReadyGate 0.614	约为 MC-D 的一半
交互成本（Choice 协议）	Avg Q（原子问题数）	10.036	MC-D 2.350	约为基线 4.3 倍（负面代价）

局限与改进

作者坦承三点：InterOPT 在 Choice 下交互成本近基线四倍（10.674 轮对 3.258 轮），停止仍不完美，沉默假设未消除（开放式下残留 0.560/run），且收益不能均匀迁移到自由提问场景——Open 设定中被 ORPilot 反超。我补充五点观察：其一，模拟用户被设计成「事实有界、只答所问」，远比真实用户干净，真实会话中的答非所问、主动透露与前后矛盾会同时打击缺口追踪与 judge 评分；其二，100 个案例全部由完整任务掩码生成，隐藏槽位分布受源任务集合限制，「掩码造成的缺口」与「真实用户天然遗漏」可能存在系统性差异；其三，方法对比基本绑定 DeepSeek V4 Pro，InterOPT 在 Opus-4.8 等更强模型上的表现未见系统报告；其四，精确恢复完全依赖 LLM judge 的语义判定且「部分匹配不计分」的标准很严格，判分噪声直接影响指标可信度；其五，指标只统计槽位恢复，未与下游求解质量或业务损失挂钩，澄清的最终价值仍是间接证据。

独立分析的弱点

第一，停止校准是最大短板：开放式下 40.6% 的运行被标记为过早停止，根源是 agent 缺少对「信息充分性」的显式估计；可引入澄清价值估计（对候选补全分布计算熵或期望信息增益，低于阈值才宣布就绪，类似 IntentSim），或训练专门的停止判别器。第二，Choice 下问题数从 2.350 涨到 10.036，说明缺口账本驱动了过度提问——每个 Open 条目几乎都要问一遍；可给 selector 加成本感知的预算约束，或按缺口严重度做优先级剪枝，在恢复率与问题数间做显式帕累托优化。第三，账本条目只有 Open/Asked 两态，提问后从不验证答案是否真正解决该缺口，「Asked」不等于「Resolved」，重复提问与漏判都可能发生；应增加答案—缺口对齐校验，确认恢复后关闭条目，并把持续未解决条目作为阻止 READY 的强信号。第四，每轮至多 3 个新缺口、3 个候选等超参全部手工固定，跨任务跨模型迁移性存疑，可随对话状态自适应分配。第五，开放式问题措辞质量仍落后 ORPilot 的访谈式模板（0.538 对 0.583 Core Exact），自由文本提问仍有结构化提示空间。

未来方向

作者明确提出三个方向：扩展基准规模与领域覆盖、提升问题效率（降低每次恢复所需的问题数）、更好的停止校准。在其成果之上还可延伸：把评测从「槽位恢复」接到「下游求解质量」，度量澄清对最终模型正确性与求解结果的实际影响，形成端到端闭环；当前所有方法都是 training-free 的提示策略，用 OR-Clarify 的可控环境生成轨迹做 SFT 或 RL、训练专门化的澄清策略（尤其停止时机）很有前景；「分解→筛选→掩码→标注」的构造流水线可批量扩充到新的 OR 任务记录，乃至 NL2SQL、工具调用等其他欠明确规格任务；开展真实用户实验检验模拟用户结论的外推性；以及研究多缺口组合提问策略——开放式诊断显示单次回答披露多槽位仅 0.116 次/run，若能设计高效的多槽位联合提问，有望大幅压缩交互成本。

复现评估

复现条件较好：代码在 GitHub 开源（AIOR-Research/InterOpt），OR-Clarify 数据集发布于 HuggingFace（AIOR-Research/OR-Clarify）。掩码用固定案例种子的确定性伪随机程序并在评测前冻结，保证所有方法从相同信息出发；论文完整给出温度（agent 0.2，模拟用户/judge/selector 0.0）、$T_{\max}=20$、每案例 5 次重复、每轮最多 3 缺口/3 候选等超参，构造流水线可复用于新的完整 OR 任务记录。算力上只需调用 LLM API，无需训练或 GPU，但成本不可忽视：100 案例 × 5 重复 × 最多 20 轮，每轮涉及缺口搜索、动作生成、selector、模拟用户、judge 多次调用，一次完整方法对比达数千到上万次 API 调用。主要风险是 LLM judge 语义判分的方差及对特定模型版本的依赖，严格复现应锁定相同模型版本并做多 judge 一致性检查。整体难度中等，工程量主要在搭建模拟用户/judge/协议检测器的评测环路。

先问再优化：交互式优化的动态建模前澄清 Ask Before You Optimize: Dynamic Pre-Formulation Clarification for Interactive Optimization