用户未说出口的话：欠规范查询限制了视觉语言模型的表现 What Users Leave Unsaid: Under-Specified Queries Limit Vision-Language Models
真实用户的模糊查询导致VLM准确率不足50%，显式化查询可提升8-22分
前置知识
视觉语言模型（VLM）
视觉语言模型是一类能够同时处理图像和文本输入的深度学习模型。典型的VLM（如GPT-5、Gemini 2.5 Pro）接收一张图片和一段文本问题作为输入，输出自然语言回答。这类模型通常基于大规模预训练的Transformer架构，通过在海量图文对上训练来学习视觉与语言之间的对齐关系。近年来VLM在各种多模态基准测试上取得了显著进展，但在真实场景中的表现仍存在较大差距。
本文的核心研究对象就是VLM，论文评估了45个不同规模的VLM在真实用户查询上的表现，理解VLM的基本工作原理是读懂本文的前提。
查询欠规范（Query Under-specification）
查询欠规范指的是用户在提问时省略了大量隐含信息，依赖图片或上下文来补充这些缺失的细节。例如用户发一张图片问“这个怎么弄？”，期望回答者能自行识别问题所在领域、具体对象并给出解决方案。这种现象在真实用户交互中极为普遍，但在学术基准测试中却被干净、结构化的问题所掩盖。
这是本文提出的核心概念，论文的全部实验都围绕“欠规范查询对VLM性能的影响”展开。理解什么是查询欠规范，才能理解为什么显式化（explicitation）能带来如此大的性能提升。
查询显式化（Query Explicitation）
查询显式化是本文提出的一种对照实验方法：将原始的欠规范查询改写为明确、自包含的版本，补全所有隐含的上下文信息，同时保持原始意图不变。例如将“이거 어떻게 해요?”（这个怎么弄？）改写为“이 흰색 고리형 행거를 천장에서 완전히 제거하려면 어떻게 해야 하나요?”（如何完全拆除天花板上安装的白色环形挂钩？）。显式化后的查询包含了领域、对象名称、具体操作等原本需要从图片中推断的信息。
显式化是本文最关键的实验设计——通过对比原始查询和显式化查询的模型表现，论文量化了查询欠规范对VLM性能的影响幅度（8-22分），这是本文最核心的发现。
基于清单的评估（Checklist-based Assessment）
传统的VLM评估通常使用单一的正确/错误标签，而本文采用了一种更精细的评估方法：将每个问题的标准答案分解为1-5个评估清单项（checklist items），每项评估答案的一个特定方面（如是否包含正确名称、是否解释了原理、是否给出了步骤等）。每个清单项按照“满足（1.0）/部分满足（0.5）/未满足（0.0）”三级评分，最终得分为所有清单项的平均值。这种方法能捕捉模型的部分理解能力，避免了全有或全无的粗糙评估。
这种评估方式是本文实验可靠性的基础，它使得评估结果更细粒度、更可复现，也更能反映模型对复杂问题的真实理解程度。论文通过LLM-as-Judge协议实现了自动化的清单评估。
LLM-as-Judge
LLM-as-Judge是一种用大语言模型自动评估其他模型输出质量的方法。在本文中，GPT-5-Mini被用作主评判者，按照严格的评估协议对每个模型的回答逐项打分。评估协议要求评判者只基于回答中的显式证据打分，每项评分都附带直接引用的证据和简短的理由。论文通过多个评判者（GPT-5、GPT-5-Mini、Gemini 2.5 Pro、Gemini 2.5 Flash）之间的一致性（Krippendorff’s α = 0.867）以及与人类标注者的对齐度（Pearson r = 0.820）来验证评估的可靠性。
由于论文评估了45个模型在1306个查询变体上的表现，人工评估成本极高，LLM-as-Judge是实现大规模自动化评估的关键技术，其可靠性直接影响论文结论的可信度。
研究动机
当前视觉语言模型（VLM）的评估基准存在一个根本性问题：它们几乎都使用干净、结构化、表述完整的查询。例如用户在KRETA基准上问“请描述这幅画的构图特点和艺术风格”，在MMMU上问“根据图表数据，计算2023年第三季度的营收增长率”。然而在真实世界中，用户完全不是这样提问的。他们会发一张模糊的截图问“이거 어떻게 해요?”（这个怎么弄？），或者拍一张照片问“이거 뭘까요?”（这是什么？）。论文指出，现有韩语多模态基准如KRETA（84.6分）、K-VISCUIT（89.5分）、K-MMB（81.01分）已被旧一代模型（如GPT-4o）轻松饱和，根本无法捕捉真实用户交互中的模糊性和欠规范性。这意味着我们可能严重高估了VLM在实际部署中的能力——基准测试的难度反映的是模型能力的局限，还是查询格式与真实用户行为之间的脱节？这个问题此前缺乏系统性的研究。
本文的目标是本文的具体目标是量化查询欠规范对VLM性能的影响程度。作者希望通过构建一个来自真实用户社区的基准测试（HAERAE-Vision），系统性地回答以下问题：（1）当前最先进的VLM在处理真实、模糊、欠规范的用户查询时表现如何？（2）如果将这些查询显式化（补全隐含信息），模型性能能提升多少？（3）网络搜索等检索增强方法能否弥补查询欠规范带来的性能损失？（4）这种效应是否跨语言普遍存在？论文的目标不是构建一个“更难”的基准，而是揭示一个被忽视的VLM性能瓶颈——查询层面的信息不足。
与已有工作不同的是，本文的独特切入角度在于：它首次将VLM评估的焦点从“模型能力不足”转向“查询信息不足”。此前的工作（如AmbigQA、ClariQ）主要在纯文本QA场景中研究查询歧义问题，而多模态领域的相关资源非常稀缺。ClearVQA虽然涉及视觉查询的歧义，但使用的是人工构造的歧义问题，而非真实用户的原始查询。本文的关键洞察是：用户天然地倾向于省略信息、依赖图片来传达上下文——这不是一个“边缘情况”，而是多模态交互的常态。通过从9个韩国在线社区收集86052个原始问答对，经过0.76%的极严苛筛选保留653个高质量问题，论文忠实地保留了真实查询的模糊性、非正式性和文化依赖性，这是此前所有基准都未能做到的。
核心方法
本文的方法可以类比为一个精心设计的对照实验。想象你在测试一个翻译官的能力：你给他一份清晰的英文文档让他翻译，他表现很好；但你给他一份涂改潦草、大量缩写的手写草稿，他就表现很差。问题是——翻译官的水平真的不够，还是输入材料本身就难以阅读？本文的方法就是同时给VLM提供“草稿版”（原始欠规范查询）和“清晰版”（显式化查询），然后对比性能差异，从而将“查询质量问题”从“模型能力问题”中分离出来。技术路线上，论文包含三个核心组成部分：（1）构建HAERAE-Vision基准——从86052个韩国社区原始问答对中，通过六阶段过滤管线筛选出653个高质量问题；（2）构建HAERAE-Vision-Explicit平行数据集——使用GPT-5.1配合网络搜索，将每个欠规范查询改写为显式版本；（3）设计基于清单的评估框架——用GPT-5-Mini作为评判者，按清单项逐项评分。
本文最核心的创新点是一个简单但深刻的发现：查询欠规范是VLM性能瓶颈的主要来源之一，而非模型能力本身。这一发现的本质区别在于——此前的研究范式是“给模型换更强的架构、更大的数据、更好的训练方法”来提升基准分数，而本文揭示了一个被忽视的变量：用户输入的质量。论文的关键实验设计——原始查询与显式化查询的配对对比——使得研究者可以精确量化这一效应。实验表明，仅通过补全查询中的隐含信息（不改变模型、不增加训练数据、不使用搜索），GPT-5-Nano的准确率就从21.2%提升到43.0%（+21.7分），性能翻了一倍以上。更关键的是，即使加上网络搜索，原始查询的表现（55.58%）仍然不如不加搜索的显式化查询（57.57%），这意味着检索增强无法弥补查询本身的信息不足——模型必须先理解用户想要什么，搜索才能发挥作用。
方法步骤详情
本文的方法分为基准构建和评估两个阶段。基准构建采用六阶段过滤管线：Stage 1（数据收集）从9个韩国在线社区（包括Naver知识iN、BRIC、Ruliweb等）收集86052个带图片的问答对，优先选择有采纳答案或高互动量的问题。Stage 2（适当性过滤）使用GPT-4o沿内容安全、客观性、时间敏感性三个维度筛选，移除49.6%的原始数据。Stage 3（难度校准）使用三个模型（GPT-4o、Gemini-1.5-Flash、Claude-3.5）评估，移除平均语义重叠得分超过0.6的简单问题，消除87.6%的剩余项。Stage 4（图片依赖验证）使用Gemini 2.0 Flash分别生成有图和无图的回答，移除质量差距低于1分（0-10量表）的图片无关问题。Stage 5（清单生成）使用o4-mini将每个标准答案分解为1-5个评估清单项。Stage 6（人工验证）由7名韩语母语标注者进行三阶段验证，移除37.2%的剩余项，最终得到653个问题。然后使用GPT-5.1配合网络搜索，按照严格规则（保留原始意图、补全隐含上下文、替换模糊指代、将图片信息融入查询、仅用搜索验证专有名词）将每个问题改写为显式版本，经人工验证后得到653个显式化问题，共1306个查询变体。评估阶段使用GPT-5-Mini作为主评判者，按清单项逐项打分（满足1.0/部分满足0.5/未满足0.0），每个实例评估三次取平均。
技术新颖性
本文的技术新颖性体现在三个层面。首先，在基准构建层面，论文首次系统性地从真实用户社区中筛选保留了查询的欠规范特性——0.76%的存活率既保证了数据质量，又忠实保留了真实查询的模糊性。这与此前人工构造歧义问题的做法形成鲜明对比。其次，在评估设计层面，配对的原始-显式化查询使得研究者可以进行因果推断——同一问题的两种表述之间的性能差异可以直接归因于查询规范程度，排除了其他混淆变量。第三，在发现层面，论文揭示了一个反直觉的结论：网络搜索无法弥补查询欠规范。实验表明原始查询+搜索（55.58%）仍然低于显式化查询+不搜索（57.57%），这挑战了“检索增强是万能药”的常见假设。此外，错误分析中的“解掩蔽效应”（unmasking effect）也是新颖发现——显式化后视觉-文本对齐错误从5.2%增加到16.6%，但这并非新引入的错误，而是原本被表面歧义掩盖的深层错误被暴露出来（87%的显式化条件下的VTG错误在原始条件下就已存在，只是被归类为其他类型）。
实验结果
论文的核心发现可以归纳为四个关键结论。第一，即使是最先进的VLM在真实用户查询上表现也远不及预期：Gemini 2.5 Pro仅达48.5%，GPT-5仅达48.0%，均未超过50%准确率。开源模型表现更差，最强的Skywork-R1V3-38B仅为27.8%，Qwen2.5-VL-72B仅为20.6%，仅为顶级闭源模型的一半左右。韩国专用模型也未能展现出优势，VARCO-VISION 2.0 14B仅15.6%，HyperCLOVA X-SEED-3B仅12.7%。第二，查询显式化带来了显著且一致的性能提升：6个测试模型的提升幅度从7.8分到21.7分不等。较小的模型受益最大——GPT-5-Nano从21.2%跃升至43.0%（+21.7分），性能翻倍；而较大的模型如GPT-5提升9.6分（48.0%→57.6%），Gemini 2.5 Pro提升8.1分（48.5%→56.7%）。这一模式表明，欠规范查询对小模型的不利影响更大，可能因为小模型缺乏从图片中推断隐含上下文的能力。第三，网络搜索无法弥补查询欠规范：原始查询+搜索的表现（GPT-5: 55.58%，GPT-5-Mini: 51.08%）仍然低于显式化查询+不搜索（GPT-5: 57.57%，GPT-5-Mini: 53.04%）。只有当显式化和搜索同时使用时才能达到最佳表现（GPT-5: 59.72%，GPT-5-Mini: 56.69%），但搜索对显式化查询的边际贡献（+2.15和+3.65）小于对原始查询的贡献（+7.57和+5.87），说明显式化已经提供了搜索原本要检索的大部分上下文信息。第四，英语先导研究确认了该效应的跨语言普遍性：4个模型在英语上的一致提升为+3.2到+6.6分，但英语的提升幅度系统性地小于韩语（+7.8到+21.7），原因是文化知识在英语错误中仅占2.7%，而在韩语中占19.0%。错误分析还揭示了解掩蔽效应：显式化后“缺乏明确性”错误从84.3%降至69.7%（-14.6pp），但“视觉-文本对齐”错误从5.2%升至16.6%，其中87%是原本就存在但被表面歧义掩盖的深层错误。类别分析显示，数学（+23.1pp）、编程（+15.6pp）、IT/计算机（+13.3pp）等领域受益最大，而自然物体和娱乐类即使显式化后仍然困难。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HAERAE-Vision 韩语基准总体表现 | Checklist Score (%) | Gemini 2.5 Pro: 48.5%, GPT-5: 48.0% | Skywork-R1V3-38B: 27.8%, Qwen2.5-VL-72B: 20.6% | 顶级闭源模型比最强开源模型高约20pp |
| 查询显式化效果 | 显式化提升 (Δpp) | GPT-5-Nano: +21.7, GPT-5: +9.6, Gemini 2.5 Pro: +8.1 | 原始查询基线 | 所有模型一致提升7.8-21.7pp |
| 网络搜索 vs 显式化 | Checklist Score (%) | GPT-5 显式化+搜索: 59.72% | GPT-5 原始+搜索: 55.58%, GPT-5 显式化不搜索: 57.57% | 原始+搜索仍低于显式化不搜索（55.58 vs 57.57） |
| 英语先导研究 | 显式化提升 (Δpp) | GPT-5-Mini: +6.6, Gemini 2.5 Pro: +6.0, GPT-5: +4.8 | 英语原始查询 | 跨语言一致提升，但幅度小于韩语 |
| LLM评判者一致性 | Krippendorff's α | 0.867 | 阈值0.80 | 超过一致性阈值，表明评估可靠 |
局限与改进
论文在结尾部分坦诚地讨论了多个局限性。首先，0.76%的极低存活率虽然体现了严格的质量控制，但可能会排除一些有价值的信息边缘案例。不过作者指出，他们的目标不是全面评估韩语知识，而是研究LLM在不同信息密度下的行为变化。其次，网络搜索增强分析仅评估了OpenAI的搜索API，更先进的检索系统可能会产生不同结果，但作者基于观察认为主要瓶颈不在搜索API本身，而在于模型能否从图片和文本中提取和构造有意义的搜索查询。第三，错误注释依赖LLM评判者，尽管观察到了高评判者间一致性（α=0.867），但仍可能引入系统性偏差。第四，英语先导研究仅包含100个来自单一平台生态（Stack Exchange）的样本，更广泛的跨语言、跨文化调查仍有待未来工作。从独立观察来看，论文的韩语基准可能存在文化特异性过强的问题——23.7%的项目需要韩国特有的文化知识，这使得基准的结论在多大程度上能推广到其他语言和文化环境仍需进一步验证。此外，论文使用GPT-5.1进行查询显式化，但未充分讨论显式化过程本身可能引入的偏差——如果显式化模型的改写偏好与某些被评估模型的训练数据分布一致，可能会人为放大显式化的效果。
独立分析的弱点
第一个弱点是基准的规模相对较小。653个问题虽然经过了极其严格的筛选，但对于评估45个模型的细粒度差异来说仍然偏小。特别是在进行领域级别分析时（如数学仅26题、健康/医疗仅21题），统计功效可能不足，标准误差较大。改进方向是适当放宽筛选条件，将存活率从0.76%提升到2-5%，在保持数据质量的同时增加样本量，或者在更多语言和文化背景下构建更大规模的平行数据集。第二个弱点是显式化过程的单一性——所有显式化查询都是由GPT-5.1配合网络搜索生成的，这意味着显式化结果可能带有GPT-5.1特有的改写偏好和知识偏差。如果用不同的模型或方法进行显式化，结果可能会有差异。改进方向是引入多模型显式化（如同时使用GPT-5、Gemini 2.5 Pro、Claude等），并通过交叉验证来评估显式化方法的鲁棒性。第三个弱点是论文对“为什么小模型受益更大”的解释还不够深入。论文提到小模型“可能缺乏从图片中推断隐含上下文的能力”，但这更多是猜测而非严格验证。改进方向是通过注意力可视化或中间表示分析，探究模型在处理欠规范查询和显式化查询时的内部机制差异。第四个弱点是网络搜索的集成方式较为简单——仅使用了OpenAI的搜索API，且观察到模型在搜索时“主要在表面层次操作，未能深入利用搜索结果”。更精细的检索增强策略（如基于图片区域的检索、多轮检索-推理循环）可能会产生不同结果。
未来方向
作者在论文中提出了几个明确的未来方向。最直接的是跨语言扩展——英语先导研究确认了效应的普遍性，但仅包含100个Stack Exchange样本，更广泛的多语言调查（中文、日语、西班牙语等）将有助于理解文化知识在查询欠规范效应中的具体作用机制。基于论文的发现，有几个可延伸的研究方向：（1）自适应查询理解——开发能够主动检测和补全欠规范查询的VLM系统，类似于人类客服在回答前先澄清问题的行为，这可能比事后检索增强更有效；（2）显式化作为预处理管线——将查询显式化作为VLM推理管道的标准预处理步骤，论文已证明其效果可与搜索叠加，且计算成本远低于检索增强；（3）面向真实场景的评估范式——论文的方法论（从真实社区收集数据、保留查询的自然特性、配对显式化设计）可以推广到其他语言和领域，构建更多“真实世界VLM评估”基准；（4）文化知识增强——论文发现显式化后文化知识差距成为主要瓶颈（从12.7%升至19.0%），如何让VLM更好地获取和推理文化特定知识是一个重要的开放问题。
复现评估
论文在复现性方面做了较好的工作。数据集构建流程描述详尽，包括六个阶段的具体操作、使用的模型、参数设置、过滤比例等。评估框架使用了标准化的LLM-as-Judge协议，评判提示词在附录中完整公开。论文提到了GitHub、HuggingFace和Leaderboard的链接，表明代码和数据有开源计划。算力需求方面，评估了45个模型在1306个查询变体上的表现，每个实例评估3次，总评估次数约为45×1306×3≈176310次模型调用，这对计算资源有较高要求，但对于使用闭源API的研究者来说是可行的。复现难度中等——数据收集需要韩国社区访问权限和韩语理解能力，六阶段管线虽然步骤清晰但涉及多个LLM调用和人工验证环节。英语先导研究的复现门槛较低，使用Stack Exchange公开数据即可。论文的核心发现（查询显式化的效果）是可验证的，只需构建类似的配对数据集并在任意VLM上测试即可。
论文图表
