索问未曾言明之事：智能体的水平与垂直主动性

提出需求图与Q&D算法，训练8B提问器主动追索用户未言明的信息，胜过15倍大的模型

前置知识

需求图（need graph）

一种有向图 $\mathcal{N}(x)=(V,E)$：节点 $V$ 是完成任务所需的证据单元（需求），边 $(u,v)\in E$ 表示“只有解析出 $u$ 之后才能说出 $v$”的前置依赖。需求深度 $d_v$ 定义为其上方最长前置路径的长度，深度为 0 的需求可直接从请求中命名。本文从多跳问答基准自带的分解标注中机械恢复需求图，全程无人工、无模型撰写，图只用于给运行打分和给训练数据打标，智能体本身永远看不到图。

论文的全部度量（覆盖率、深度加权召回、广度、乱序率、停止率）和全部训练标签都建立在需求图上，不理解它就无法读懂方法与实验。

水平主动性与垂直主动性

这是论文定义的主动性“内容”轴的两个方向。水平主动性（horizontal）追求当前上下文已能命名、但用户未明说的需求，例如根据姓名和邮编主动查客户账户；垂直主动性（vertical）追求只有先前新找到的证据才揭示的需求，例如从账户记录找到订单、再找到 8 码同材质靴子。两者可分离：一个策略可以解决所有表面需求却不追踪链条，也可以深追一条链而漏掉其余分支。

这是全文的核心概念框架，所有实验都在度量 Q&D 训练对这两个方向以及“何时停止”带来的提升。

多跳问答基准（MuSiQue / StrategyQA / 2WikiMultiHopQA）

需要串联多步检索才能回答的问答数据集，自带分解步骤标注：MuSiQue 用“#1 的出生地是什么？”这类引用显式写出步骤间依赖（1464 个深层需求全部带引用），StrategyQA 的 6720 步中 2999 步有引用，2WikiMultiHopQA 则按“主语是另一需求的宾语”链接。MuSiQue 链条最深，2WikiMultiHopQA 有自然分支。检索为 BM25，段落池每任务 20 段（2Wiki 为 10 段）。

论文从中恢复需求图、挖掘训练数据，在其保留测试集（各 200 任务）上评测，并测试到 τ2-bench 客服任务的零样本迁移。

直接偏好优化（DPO）

Rafailov 等人提出的偏好对齐方法：直接在一批“偏好回答对”上训练策略，隐式等价于对某个闭式奖励的最优求解，不需要显式奖励模型，也不跑强化学习循环。本文把 DPO 用在“问题对”上——哪个问题更好，完全由它后续运行检索到多少必需证据决定，属于把步级（step-level）偏好训练用在提问决策上。

Q&D 的第二、三阶段训练都是 DPO，是理解“无奖励模型、无裁判地学会该问什么”的技术关键。

等预算比较（equal spend）与 bootstrap 判定

评估协议要求两个策略在每个任务上都比较到两者提问数中较低者：因为提问器看不到预算，它前 $k$ 个问题就是预算为 $k$ 时会问的，所以读数是“每个问题的证据收益”。统计上用任务聚类的偏差校正（BCa）bootstrap 置信区间（1 万次重采样，区间端点近零时用 3 个种子各 5 万次复核），三次独立运行区间都不含零才称“判定（decided）”。

论文所有核心数字都在等预算读数下成立，用于排除“问得多=问得好”的假象；不掌握这套统计纪律就会误读表格。

研究动机

工具型智能体通常只回应用户明确要求的内容，但完成任务往往需要用户从未提供的信息。论文的引入例子很具体：零售客服中客户要求把待发货订单里的靴子换成 8 码、同材质，只给出姓名 Fatima Johnson 和邮编 78712，不记得账户邮箱也没有订单号。被提示的智能体只能反复向客户索要邮箱和订单号——16 次提问全是这两样——任务永远完不成。现有研究只回答了主动性的“是否、何时”：proactive agent 工作关心智能体该不该、什么时候自主行动；agentic search 方法要么按问题本身写明的链条检索（IRCoT、DecomP 一类分解法），要么只用最终答案对错做结果奖励训练（Search-R1 等），每个问题究竟在追什么信息，既没有被度量也没有被奖励。评估端还会把“问得多”误判为“问得好”，因为许多不精确的问题可能找到与少数精确问题一样多的信息。

本文的目标是本文要把主动性的“内容”变成可度量的对象：定义水平主动性（追求当前状态已能命名但用户未明说的需求）与垂直主动性（追求只有新证据才揭示的深层需求），并用“需求图”从对话记录中直接打分，全程不需要模型裁判；同时提出训练算法 Q&D，让提问器学会偏爱“续跑能检索到更多必需证据”的问题，从而在相同检索预算下恢复更多证据、每个问题更值钱，并在证据集齐时学会停止——最终让智能体去做用户本不必做的工作。

与已有工作不同的是，独特切入在于换轴：别人问“是否/何时行动”，本文问“追什么内容”。技术上有四个前人未组合的要素：(1) 用基准自带的分解机械恢复需求图，无人工无模型撰写节点与边，评分不需要模型裁判，规避了裁判的位置与自偏好偏差；(2) 训练标签完全来自“后果”——在分叉点上用候选问题的后续运行表现排序，而非 EVoI 那样需要预测“答案会带来什么”的模型；(3) 冻结起草者使状态变化完全归因于提问，让功劳分配干净；(4) 提问器训练时不看图，因此能零样本迁移到没有需求图的客服环境。

核心方法

直觉上，主动性可以拆成提问器的一次次局部决策：每一步是在最新证据打开的链条上继续深挖（垂直），还是去开一条已经可以命名的新线（水平），或者停。技术路线是 Q&D（questioner and drafter）把智能体一分为二：提问器每步看到任务、已有证据、当前草稿和历史问题，提一个问题或停止；冻结的起草者把新证据折叠进草稿；BM25 检索器从基准自带段落池回答问题（MuSiQue/StrategyQA/2Wiki 取 top 5/2/3）；最后由一个所有策略共用的冻结回答器、在固定字数上限内写最终答案。因为起草者与回答器冻结，策略之间唯一的差异就是提问器，任何改进都能干净地归因到“问了什么”。训练分三阶段：先模仿好决策，再用 DPO 在问题对上训练，最后在问题对加停止对比上训练。

核心创新是“用后果为问题打标”。由于起草者是证据的固定函数，状态的每次变化都由某个问题引起，于是可以在记录运行中的某一步分叉：采样 8 个替代问题（温度 1，共享逐字节相同的状态），各自用同一策略续跑到结束，然后仅按后果排序——先看是否答对了任务（只决定 6% 的训练对），再看谁更快集齐全部必需证据，再看每轮新增证据量。更喜欢“更早到达未言明需求”的问题；在需求图标记未完成的状态，提问排在停止之上。与已有工作的本质区别：结果奖励法（Search-R1 等）只奖励答案对错，不区分每个问题追了什么；模型裁判有位置与自偏好偏差（论文中两位人类评分者在“哪个问题更好”上仅 68% 一致、$\kappa=0.24$，说明裁判本就不可靠）；Q&D 无需奖励模型和裁判，且提问器从不看图。

方法步骤详情

第一步，恢复需求图：MuSiQue 依作者写的步骤引用建边（1464 个深层需求全有引用，1196 个表面需求皆无）；StrategyQA 只连 2999/6720 个有引用的步，其余不连以免制造结构（深度是下界）；2WikiMultiHopQA 把“主语是另一需求宾语”的需求相连。得到 800/2290/12576 张图。第二步，记录运行：提问器逐个提问，检索器返回段落，冻结起草者重写草稿。第三步，分叉打标：在选定状态采样 8 个候选问题，各续跑到结束并按后果排序；在图标记未完成处把提问排在停止之上。第四步，三阶段训练：模仿阶段在证据已在手时以停止为目标、否则模仿后果分超过 0.05 门槛的最佳候选（无合格者则丢行，24538 个未完成状态因此退出）；DPO 阶段在问题对上训练；最终阶段加入停止对比（含 18919 个合成停止对比）。提问器是 Qwen3-8B 加 LoRA（rank 32、scaling 64、dropout 0.05），偏好阶段学习率 $5\times10^{-6}$ 训一轮、散度权重 0.1。第五步，评测：三个基准各 200 个保留任务、2 个 rollout 种子，等预算与自主停止（上限 8 次）两种读数。

技术新颖性

技术新颖性有四层。(1) 概念层：把主动性从“是否/何时”扩展到“内容”，并给出 transcript 级可计算的水平读数（广度：推进过首需求之外需求的独立线索数）、垂直读数（深度加权召回 $\sum_d w_d C_d/\sum_d w_d$、最深已解决需求）与停止读数（stop-when-done、ask-when-not-done 逐决策点统计），其中乱序率与及时率是作者声称此前文献没有的读数。(2) 监督层：无裁判的后果排序——候选价值完全由后续运行对需求图的覆盖决定，两位人类评分者对“是否触及未明说需求”一致率 88%（$\kappa=0.76$）但“哪个更好”仅 68%（$\kappa=0.24$），反向论证了后果规则优于人工/模型偏好。(3) 归因层：冻结起草者+统一回答器+八项对照（随机问题、深度一、证据盲、单模型、答案长度、算力预算、状态盲模板、确定性检查），把收益干净归因到提问内容。(4) 规模层：8B 训练提问器在两个基准上胜过 15 倍大的 GPT-OSS-120B，证明学到的主动性可以替代规模。

**Figure 4**: The two axes are separable, and the trained questioner reaches further along both than the same model, prompted, on the two longer chains.

**Figure 5**: One held-out MuSiQue task, and what each policy asked.

实验结果

主实验（Table 2）：等预算下，训练后的 8B 提问器在三个保留测试集上恢复的必需证据都多于同模型被提示版本——MuSiQue 89.5% 对 78.3%（+11.2 点）、StrategyQA 85.5% 对 78.4%（+7.0）、2WikiMultiHopQA 93.1% 对 88.2%（+5.0）；深度加权召回分别 +12.5/+5.4/+5.5 点，MuSiQue 上最深解决需求 1.75 层对 1.53 层。对比 15 倍大的 GPT-OSS-120B：MuSiQue +7.0、StrategyQA +4.3 领先，2Wiki 落后 3.5（其需求最深仅 1 层，说明学到的主动性在需逐跳追踪处最值钱）。效率上每找到一个必需需求省 40% token（11,610 对 19,354，Figure 6）。归因对照（Figure 7）：随机替换问题损失 34.7/63.3 点覆盖；给被提示模型同样的问题 token 预算仍落后 14.9/4.7 点（Table 7）；证据盲消融损失 8.4/8.7 点——收益确来自问题内容。自主停止时提问更少（4.2 对 5.9 次）且覆盖更高（91.2 对 81.6）；仅给 4 次预算即胜过被允许 24 次的 GPT-OSS-120B（+4.1 点）；手写 PAR2-RAG 在三个模型上等预算均不超过普通提示（Figure 2b）。训练信号消融（Table 3）：问题对带来 +16.7/+8.4 覆盖但完成后停止率虚高，仅停止对比则几乎从不停（stop|done 10.1%/9.7%），最终阶段兼顾但 stop|done 仅 42.7%/54.6%。答案端尚未兑现：MuSiQue 答案 F1 +2.4（区间跨零），折算增益约 +4.3 低于可检测阈值 4.7（Table 17）。迁移（Figure 3）：零训练放进 τ2-bench，零售成功率 13%/12% 升至 34%/32%，航空 +6.9/+6.4；对 GPT-OSS-120B 零售成功 +17.0/+12.7 点且客户追问少 1.6/1.8 轮（均判定，Table 20）。

**Table 1**: What is read from a run against its need graph.

**Table 2**: At equal spend, the trained questioner recovers more of the required evidence than the same model, prompted, on every suite, and more than GPT-OSS-120B on two of three.

**Table 3**: What each training signal teaches, on development tasks.

**Table 4**: The three need-graph sets, every depth recomputed from the stored edges.

**Table 5**: Everything this paper measures, read from a finished run against its need graph.

**Table 6**: The content axis of proactivity as a ladder.

**Table 7**: Coverage when the comparator is charged the questioner’s own question budget.

**Table 9**: The same arms on the held-out split.

**Table 17**: The answer gain the trained questioner’s evidence would imply, the gain observed, and a stronger reader.

**Table 18**: The trained questioner against the same model, prompted, on the tool-use benchmark.

**Table 20**: The trained questioner against GPT-OSS-120B, prompted, on the tool-use benchmark.

**Table 21**: Chance-corrected agreement on the axis that decides a pair.

**Table 23**: Whether a prerequisite edge gates retrieval.

**Figure 2**: On MuSiQue the trained questioner gets more evidence from fewer calls, and a hand-designed retrieval algorithm does not close the gap.

**Figure 3**: In retail, Q&D’s trained questioner completes more τ2-bench tasks than either prompted baseline, and needs fewer follow-up turns from the customer than GPT-OSS-120B.

**Figure 6**: Efficiency with no matching rule.

**Figure 7**: What each part of the protocol is worth to the trained questioner.

**Figure 8**: The trade every training arm makes between persistence and stopping.

**Figure 9**: Who decides when a run ends: the share of units that the retrieval ceiling rather than the policy stopped.

**Figure 10**: What transfers on a user-facing benchmark, and what does not.

查看结构化数据

任务	指标	本文	基线	提升
必需证据覆盖（MuSiQue 保留集，等预算）	required-evidence coverage (%)	89.5	78.3（同模型 Qwen3-8B 被提示）	+11.2 点
必需证据覆盖（StrategyQA，等预算）	required-evidence coverage (%)	85.5	78.4（同模型被提示）	+7.0 点
必需证据覆盖（2WikiMultiHopQA，等预算）	required-evidence coverage (%)	93.1	88.2（同模型被提示）	+5.0 点
必需证据覆盖（MuSiQue，对比大模型）	required-evidence coverage (%)，等预算	84.8（Qwen3-8B + Q&D）	77.8（GPT-OSS-120B 被提示，15× 大）	+7.0 点（StrategyQA +4.3，2Wiki −3.5）
检索效率（MuSiQue）	每找到一个必需需求花费的 token 数	11,610	19,354（同模型被提示）	−40%（−7,744，区间不含零）
自主停止（MuSiQue，上限 8 次提问）	覆盖率 / 每任务提问数	91.2% / 4.2 次	81.6% / 5.9 次（同模型被提示）	+9.6 点覆盖且少问 1.7 次
τ2-bench 零售任务（零样本迁移）	任务成功率 (%)	34 / 32（两种提示变体）	13 / 12（同模型被提示）	约翻 2.6 倍（+21/+20 点，25 任务无一对变差）
τ2-bench 零售（对比大模型）	任务成功率 + 客户追问轮数	成功 +17.0 点、追问 −1.6 轮（base prompt）	GPT-OSS-120B 被提示（成功 17%/19%）	成功 +17.0/+12.7 点，追问 −1.6/−1.8 轮（均判定）
FRAMES（无需求图，按答案评分）	answer correctness（自主停止，824 任务）	与各被提示基线无判定差异（−1.0 到 +1.4 点）	GPT-OSS-120B 被提示等	无；预算 16/24 时落后 GPT-OSS-120B −3.0/−3.3 点

局限与改进

作者承认的局限相当坦诚：两个训练种子共享同一个监督检查点和同一次导出，区间只在任务上聚类、不反映该层变异；23 个开发检查点没有一个满足预先提交的选择规则，报告配置靠另一条预先固定的标准保留；训练标签与主度量共用需求图（答案只决定 6% 的训练对），答案端尚无可检测提升；发布检索池太小，1040 条前置边中仅 20 条通过“边是否真正门控检索”的探针（Table 23），垂直结论度量的是分解意义上的深度而非检索壁垒；MuSiQue 每任务只有一条线索，广度不可分离；所有面向用户的数字来自模拟客户；只做了一轮离线训练、未与 on-policy RL 比较，长度对照未在保留集运行。我的补充观察：停止缺陷在 StrategyQA 上直接损失答案（自主停止时对同模型 −1.2、对 GPT-OSS-120B −3.6 点，而后者问了多半问题）；停止标签绝大多数（18919/20677）是图合成的对比而非真实策略行为；分叉续跑依赖“策略无预算感知”的前缀等价假设，探索性控制只测了 GPT-OSS-120B 一个模型；MuSiQue 上乱序率上升 5.7 点（来自偶然检索回的子证据），提示深挖伴随顺序风险。

独立分析的弱点

弱点一，停止学习系统性落后于提问学习：最终阶段完成后停止率仅 42.7%（MuSiQue），StrategyQA 上 86–92% 的失败运行是“自愿”提前停。直接把答案节点纳入停止监督的模仿臂反而更差（−9.5 到 −29.3 点），说明需要别的机制，例如推理时基于草稿的自检、专门的过程奖励或在线迭代修正。弱点二，证据增益没有传导到答案：MuSiQue 答案节点覆盖 +9.7 点、折算约 +4.3 点答案增益，但可检测阈值为 4.7、观测仅 +2.4；换 Claude Opus 5 当严格阅读器的 12 个格子全未判定。需要更大样本或答案端联合训练。弱点三，依赖小检索池与金标图：BM25+20 段池让多数前置边不构成检索壁垒，深度结论等价于“分解深度”；应在“必须先找到父文档才能检索子文档”的语料上复训验证。弱点四，训练与评测同源，存在为度量优化的风险，可用独立来源的图交叉验证。弱点五，广度轴没有被自然基准分离（800 个 MuSiQue 任务全是单线），只能靠构造语料和 48 对合成拼接任务支撑。弱点六，客服迁移规模小（25 零售/17 航空任务），航空上对 GPT-OSS-120B 无判定差异，且航空中约 49.7% 的问题近似重复先前问题，重复提问的精度问题未解决。

未来方向

作者明确提出的方向有两个：一是能把证据增益带进答案的停止监督——“训练教会的更多是问什么而不是何时停”；二是构造“必须先找到前置证据才能检索其依赖”的检索池，让垂直主动性真正过检索关。基于本文成果可以自然延伸的方向包括：把后果排序与 on-policy RL（如 GRPO 类）结合做迭代自举，弥补单轮离线训练的不足；训练一个从任务指令直接预测需求图的构建器，摆脱对基准自带分解的依赖；把问题-后果排序推广到工具调用序列（在 τ2-bench 里一个问题对应可变次数的工具调用）；增加乱序检测与回补机制——检索到子证据时主动回头补父证据，把 5.7 点的乱序率变成可修复信号；研究用户异质、不配合或中途改需求时的主动性鲁棒性（作者承认这是开放问题）；以及把广度/深度/乱序/停止这套内容轴度量作为通用评估仪表盘，推广到编码智能体、深度研究等长程场景。

复现评估

开源情况较好：模型已发布在 HuggingFace（dolev31/ProactiveInquirer 与 dolev31/ProactiveInquirer-Qwen3-8B），并有项目页；训练数据来自三个公开基准的自带分解，需求图机械恢复、无需人工标注。算力方面，提问器是 Qwen3-8B 加 LoRA（rank 32），偏好阶段单轮、学习率 $5\times10^{-6}$，8B 级 LoRA 训练单节点即可；起草者与回答器用 GPT-OSS-120B（开源权重可本地部署），Claude Opus 5 只用于对比。主要成本在训练数据生成：分叉续跑要为每个状态跑 8 条完整 rollout，最终导出含 44624 条模仿行与 50730 个偏好对、覆盖 32958 个状态和 1918 个任务。复现难度中高：协议极其细致（预注册端点、“判定”需 3 个 bootstrap 种子各 5 万次重采样均排除零、资格过滤、评分器单版本），忠实复现等预算规则和统计流程需要功夫，但作者罕见的统计纪律和详尽附录（10 个图、26 个表、逐条对照）提供了完整路线图。

索问未曾言明之事：智能体的水平与垂直主动性 Asking for What Was Never Requested: Horizontal and Vertical Proactivity in Agents