ProactiveBench：多模态大语言模型主动性基准测试 ProactiveBench: Benchmarking Proactiveness in Multimodal Large Language Models
首个评估MLLM能否主动寻求帮助的基准，揭示了当前模型严重缺乏主动性能力。
前置知识
多模态大语言模型（MLLM）
MLLM是能够同时理解和生成文本与视觉内容的大型神经网络模型。它们通常由视觉编码器（如CLIP）和语言模型（如LLaMA）组成，通过跨模态注意力机制实现图像和文本的语义对齐。常见的架构包括LLaVA、Qwen-VL、InternVL等，它们可以执行视觉问答、图像描述、视觉推理等任务。
本文的核心研究对象。理解MLLM的基本架构和训练方式有助于理解它们在面对模糊视觉输入时的行为模式和局限性。
主动行为（Proactiveness）
在本文中，主动行为指模型在无法准确回答用户问题时，能够主动寻求额外视觉线索的能力。这与传统的被动反应模式形成对比，后者要么直接猜测答案（可能错误），要么选择不回答。例如，当用户问蓝色方块后面是什么而目标被遮挡时，主动模型会建议用户移动方块以揭示隐藏物体。
这是本文提出的新概念和研究目标。理解主动行为的定义对于理解本文的评估方法和实验设计至关重要。
马尔可夫决策过程（MDP）
MDP是强化学习中的数学框架，用于描述智能体在环境中通过决策序列实现目标的过程。它由状态空间S、动作空间A、策略πθ和奖励函数R组成。在本文中，MLLM被视为一个策略，在每一步根据当前状态（图像和可用动作）选择一个动作，状态根据选择的动作进行转换，最终通过奖励函数评估决策质量。
本文使用MDP框架来形式化主动行为的评估过程，特别是在多轮对话的MCQA设置中。理解MDP有助于理解本文的评估协议和强化学习训练方法。
GRPO（Group-Relative Policy Optimization）
GRPO是一种强化学习算法，用于优化策略神经网络。与传统的PPO（Proximal Policy Optimization）相比，GRPO通过采样多个答案并基于组内相对性能计算奖励，减少了对价值函数的依赖，简化了优化过程。在本文中，GRPO被用于训练MLLM学习主动行为，奖励正确分类和主动建议。
本文使用GRPO作为训练方法来提升模型的主动性。理解GRPO的工作原理有助于理解本文如何通过强化学习让模型学会在不确定时主动寻求帮助。
研究动机
现有的多模态大语言模型评估主要集中在视觉问答、推理和世界知识等被动反应能力上，当面对无法回答的模糊查询时，模型要么产生幻觉给出错误答案，要么选择不回答。例如，当用户问蓝色方块后面是什么而目标物体被遮挡时，模型无法像人类一样主动要求用户移动方块以揭示隐藏物体。这种被动反应的模式限制了模型在实际应用中的有效性，特别是在需要人机协作的场景中。
本文的目标是本文的目标是创建一个基准测试来评估MLLM的主动行为能力，即模型在面对模糊视觉输入时是否能够主动寻求额外的视觉线索来正确回答用户问题。具体来说，作者希望回答三个核心问题：（1）MLLM是否具备主动行为能力？（2）能否通过提示工程激发主动行为？（3）能否通过训练让模型学会主动行为？为了实现这些目标，作者构建了包含7个场景、7557个样本的ProactiveBench基准。
与已有工作不同的是，本文的独特切入角度在于首次系统性研究了MLLM的主动行为能力，这与以往的研究有本质区别。相关工作要么关注被动视觉能力，要么在可回答的查询上探索主动信息获取，而本文专门针对模糊、无法直接回答的查询场景。更重要的是，作者通过重新利用7个现有数据集（ROD、VSOD、MVP-N、ImageNet-C、QuickDraw、ChangeIt、MS-COCO）构建了多样化的主动行为场景，包括遮挡物体识别、图像质量增强、粗略草图理解等，这在之前的研究中从未被系统性评估过。
核心方法
ProactiveBench的构建思路是将现有的数据集转换为需要用户干预才能正确回答的场景。每个样本包含一个起始的模糊帧、一个包含完整信息的参考帧以及中间的所有帧。模型可以通过主动建议引导用户执行特定操作（如移动遮挡物、旋转相机、提高图像质量等），从而获得新的包含额外视觉线索的帧。评估在两种设置下进行：多选问答（MCQA）和开放式生成（OEG）。在MCQA中，评估被形式化为马尔可夫决策过程，模型在每步可以选择放弃、预测目标类别或提供主动建议；在OEG中，模型生成自由文本答案，通过LLM-as-judge评估。
核心创新点在于将主动行为形式化为模型在不确定时主动寻求帮助的能力，而不是直接猜测或放弃。这与现有方法有本质区别：现有评估假设查询是可回答的，而ProactiveBench专门针对需要多轮交互才能回答的模糊查询。另一个关键创新是过滤机制：为了确保样本确实需要主动性，作者过滤掉那些在第一轮就能被至少25%的模型正确预测的样本，将第一轮平均准确率从32.5%降至6.4%，这使得主动建议成为获得高分的必要条件。
方法步骤详情
方法步骤包含三个主要部分：基准构建、过滤机制和评估协议。基准构建步骤：首先从7个现有数据集（ROD 88样本、VSOD 63样本、MVP-N 4200样本、ImageNet-C 5000样本、QuickDraw 3400样本、ChangeIt 1100样本、MS-COCO 4800样本）中选取最不具信息性的帧作为初始输入，然后为每个场景定义有效的主动建议（如ROD中向左移动方块或向右移动方块），最后提供完整的帧序列使得主动建议可以引导用户揭示目标物体。过滤机制步骤：对所有样本进行第一轮预测，如果至少25%的模型能正确预测，则将该样本过滤掉，最终从17909个样本筛选出7557个样本。评估协议步骤：对于MCQA，在每步将问题、当前图像和可用动作（放弃、主动建议、4个类别选项）输入模型，模型选择一个动作，如果是主动建议则转换到下一状态并获得新图像，如果是放弃或错误类别则评估结束；对于OEG，模型生成自由文本答案，使用Qwen3-8B作为LLM-as-judge评估答案是否包含正确的类别预测或有效的主动建议。
技术新颖性
技术新颖性体现在多个方面：首先，这是首个系统性评估MLLM主动行为的基准，填补了研究空白；其次，通过重新利用现有数据集构建多样化场景的创新方法，降低了标注成本同时保证了场景的真实性；第三，过滤机制确保了基准对主动行为能力的要求，避免了模型通过猜测获得高分；第四，强化学习训练方法使用GRPO和定制奖励函数，展示了主动行为可以通过学习获得，并且在未见场景上具有泛化能力。作者还发现了一个反直觉的结果：对话历史和少样本学习会引入负偏差，降低性能，这挑战了这些技术总是有益的普遍假设。
实验结果
核心发现可以总结为四个方面。首先，MLLM严重缺乏主动行为能力。在MCQA设置中，22个模型在ProactiveBench上的平均准确率仅为14.9%，而在参考设置（直接使用无遮挡/无模糊的参考帧）下平均准确率达到79.8%，差距超过60%。特别是在ROD数据集上，模型准确率从参考的98.3%暴跌至8.2%。其次，主动行为与模型容量无相关性。InternVL3-1B（27.1%准确率，0.7主动建议率）在准确率和主动建议率上都优于InternVL3-8B（12.7%准确率，0.3主动建议率），LLaVA-1.5-7B（24.8%准确率，0.9主动建议率）也优于更大的LLaVA-OV-72B（13.0%准确率，0.3主动建议率）。第三，提示工程效果有限。明确提示主动行为虽然将主动建议率从1.8提升至3.7（平均提升105%），但准确率仅从25.0%提升至25.8%，而且在16.0%的情况下模型盲目选择主动建议直到达到最大探索步数。第四，主动行为可以通过学习获得。使用GRPO进行强化学习训练后，LLaVA-NeXT-Mistral-7B的准确率从4.5%提升至40.4%（提升797%），Qwen2.5-VL-3B从11.0%提升至38.6%（提升251%），并且在未见场景上表现出泛化能力，如CIT准确率从12.4%提升至55.6%。然而，即使是训练后的模型，与参考设置仍有较大差距（LLaVA-NeXT-Mistral-7B为40.7% vs 75.1%参考）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 多选问答（MCQA） | 准确率（acc） | LLaVA-NeXT-Mistral-7B: 4.5%, Qwen2.5-VL-3B: 11.0%, InternVL3-1B: 27.1% | 参考设置（无遮挡）: 79.8%平均 | RL训练后LLaVA-NeXT-Mistral-7B提升至40.4%（提升797%），Qwen2.5-VL-3B提升至38.6%（提升251%） |
| 主动建议率（ps） | 每样本平均主动建议次数 | LLaVA-1.5-7B: 0.9, LLaVA-OV-0.5B: 1.3, InternVL3-1B: 0.7 | 提示后平均提升至3.7 | 提示工程使ps率平均提升105%，但准确率提升有限 |
| 开放式生成（OEG） | 聚合准确率（agg） | 最佳模型LLaVA-NeXT-Mistral-7B: 11.7% | MCQA最佳模型LLaVA-OV-0.5B: 43.2% | OEG表现远低于MCQA，即使最佳模型也仅11.7% |
| 跨场景泛化 | 未见场景准确率 | CIT: 55.6%（Qwen2.5-VL-3B）, ROD: 57.3%（LLaVA-NeXT-Mistral-7B） | 训练场景QD: 43.6%, COCO: 57.3% | 在QD和COCO上训练的模型在ROD、VSOD、MVP-N、IN-C、CIT等未见场景上表现出泛化能力 |
局限与改进
本文的局限性主要体现在几个方面。首先，作者承认基准的构建依赖于现有数据集，这可能导致某些主动行为场景覆盖不全，特别是需要复杂物理交互的场景。其次，OEG设置的评估受限于LLM-as-judge的可靠性，虽然作者选择了Qwen3-8B作为评判器，但其判断的准确性和一致性可能存在偏差。第三，过滤机制虽然确保了样本需要主动性，但可能过于严格，过滤掉了一些边界案例。第四，强化学习训练仅使用了单轮交互数据，这可能限制了模型学习多轮主动策略的能力。第五，即使经过训练，模型与参考设置仍有较大差距（平均40.7% vs 75.1%），说明主动行为的学习仍然是一个开放挑战。最后，封闭源模型（如GPT-4.1）在COCO数据集上的异常高准确率（92.8%）可能暗示了训练数据污染，但由于数据私有性质无法验证。
独立分析的弱点
独立分析的弱点包括：首先，评估协议假设用户会完全遵循模型的主动建议，这在实际应用中可能不成立，用户可能有其他限制或偏好。改进方向可以引入更现实的人机交互模型，考虑用户可能拒绝或修改建议的情况。其次，当前的奖励函数设计相对简单（正确分类奖励1，主动建议奖励0.5-1.0），没有考虑建议的质量和效率。可以引入更细粒度的奖励机制，如根据建议与最优动作的距离、获得的信息增益等设计奖励。第三，过滤阈值25%是经验设定的，可能需要更系统的方法来确定最优阈值。可以通过消融实验研究不同阈值对基准难度和区分度的影响。第四，当前基准仅评估主动建议的有效性，没有评估建议的自然语言质量和可理解性。可以引入人工评估或更高级的LLM-as-judge来评估建议的语言质量。最后，训练数据的多样性有限（仅使用QD和COCO），可能限制泛化能力。可以在更多场景上训练，或设计跨场景的统一表征学习。
未来方向
作者提出的未来研究方向包括：首先，扩展ProactiveBench以包含更多主动行为场景，特别是需要复杂物理交互或连续控制的场景（如机器人操作、虚拟环境探索）。其次，探索更复杂的训练策略，如多轮强化学习、课程学习、模仿学习等，以提升模型学习主动行为的能力。第三，研究主动行为与其他能力（如推理、规划、世界知识）的协同作用，探索如何平衡主动建议的探索和直接预测的利用。第四，开发更高效的主动行为学习算法，减少对大量训练数据的依赖。基于成果可延伸的方向包括：将主动行为与其他模态结合（如音频、触觉），扩展到多模态协作场景；研究主动行为在真实应用中的部署，如视觉辅助、教育、医疗诊断等；探索人类与主动MLLM的交互模式和用户体验；开发主动行为的理论框架，深入理解其学习机制和泛化边界。
复现评估
复现评估方面，作者在GitHub上开源了ProactiveBench代码（tdemin16/ProactiveBench），包括数据集下载脚本、评估协议和训练代码。数据集方面，7个基础数据集都是公开可用的，作者提供了详细的数据处理和标注流程。算力需求方面，评估22个模型在ProactiveBench上需要大量的GPU计算资源，特别是对于大型模型如InternVL3-78B。强化学习训练也需要显著的算力，作者提到使用了CINECA的高性能计算资源。复现难度中等偏高，主要挑战在于：（1）需要访问22个MLLM的模型权重和推理环境；（2）需要大量的GPU资源进行评估和训练；（3）LLM-as-judge的评估需要额外的推理成本；（4）数据集的处理和过滤需要仔细实现以保持一致性。作者在附录中提供了详细的实验设置、超参数和提示词模板，有助于复现。
论文图表
这张图展示了反应式模型与主动式模型的核心区别。左侧显示了一个蓝色方块遮挡了后方物体的场景，用户问蓝色方块后面是什么。反应式模型会直接说我不知道（错误）或篮球（幻觉），而主动式模型会建议用户能否将方块向右移动？，从而揭示橙色物体并给出正确答案。图中用✅和❌标记了正确和错误的回答，清晰展示了主动行为的优势。
这张图对理解论文至关重要，因为它直观地定义了本文研究的核心概念——主动行为。通过具体的视觉对比，读者可以立即理解什么是主动行为，以及它相比传统反应式模式的优势。这张图贯穿全文，是理解后续所有实验设计和结果的基础。