视觉说服：什么影响了视觉-语言模型的决策？

研究发现VLMs对视觉特征高度敏感，通过自然图像编辑可显著改变其选择概率

前置知识

视觉-语言模型

VLM是结合视觉理解和语言处理的多模态模型，如GPT-4V、Gemini等。它们能够同时理解图像和文本，进行跨模态推理和决策。VLM通过联合训练学习视觉特征和语义语言的对应关系，通常采用对比学习或前缀目标等方法。在本文中，VLM作为评估器，在基于图像的选择任务中做出偏好判断。

本文的核心研究对象是VLM的决策行为，理解VLM如何处理视觉信息、其决策受哪些因素影响，是读懂本文的基础。

提示优化

提示优化是一种通过迭代调整模型输入提示来提升模型输出质量的技术。传统方法如TextGrad将文本提示视为可微对象，使用反馈作为'梯度'指导更新。本文将这一概念扩展到视觉领域，优化图像编辑提示而非直接修改像素。关键思想是通过自然语言反馈（而非实际梯度）引导搜索过程，找到最优的提示配置。

本文的核心技术框架是视觉提示优化，理解这一技术的原理和实现方式是理解方法论的关键。

偏好揭示

偏好揭示是经济学和机器学习中的经典概念，通过观察主体在不同选项间的选择来推断其潜在的效用函数。Bradley-Terry模型是常用的数学形式，假设选项a优于b的概率为$\sigma(U(x_a)-U(x_b))$，其中$\sigma$是logistic链接函数。本文将VLM的决策函数视为潜在视觉效用景观，通过系统的选择实验来映射这一景观。

本文的理论框架基于偏好揭示，理解这一概念有助于理解作者如何通过选择实验推断VLM的视觉偏好。

身份保持约束

身份保持是指在优化过程中确保编辑后的图像仍然代表原始对象或场景的核心语义。形式化定义为$C(x_0)=\{x\in\mathcal{X}:I(x,x_0)=1\}$，其中$I(\cdot,\cdot)$是身份谓词。实现方式包括后验VLM验证、相似度阈值、或简单的编辑指令约束。这一约束确保优化针对的是'呈现方式'而非'实质内容'的变化。

这是本文方法的核心约束，确保发现的视觉敏感性是合理的而非通过改变对象本身实现的。

自动可解释性

自动可解释性是一类利用语言模型自身的解释能力来分析模型行为的技术。本文使用的聚合摘要（Matryoshka）方法递归地将低层次的视觉变化描述抽象为高层次主题。具体包括：嵌入视觉变化描述、层次聚类、用LLM总结每个簇。这种方法能够从大量优化结果中发现一致的模式和趋势。

本文不仅发现了VLM的视觉敏感性，还通过自动可解释性方法解释了具体哪些视觉特征在起作用，这是理解实验结果的关键。

研究动机

随着视觉-语言模型在自动化决策中的应用日益广泛，从产品推荐、简历筛选到房产投资，这些智能体正在以规模化方式影响重要决策。然而，我们对VLM的视觉偏好结构知之甚少。现有评估几乎完全关注准确性指标——能否识别对象、回答问题、遵循指令——但准确性只讲述了故事的一半。研究表明，LLM代理对文本微调和上下文属性高度敏感，这些行为以准确性基准无法捕捉的方式塑造结果。更重要的是，如果VLM和人类之间存在系统性差异，或者VLM对特定视觉特征存在可被利用的敏感性，这些影响会快速在各个平台上放大， potentially将视觉文化推向AI的偏好而非人类的偏好。在现实场景中，控制图像的人可能通过改变呈现方式而非实质内容来操纵代理决策，造成不公平竞争和安全隐患。

本文的目标是本文的核心目标是建立一套研究框架来系统性探索和理解VLM的视觉偏好结构。具体而言，作者希望开发方法来测量哪些视觉特征能够可靠地影响VLM的选择决策，解释这些影响背后的机制，并评估这些敏感性的规模和一致性。同时，作者希望为VLM的行为评估提供超越准确性基准的新方法，为审计、调试和负责任治理提供工具。最终目标是建立一个能够主动发现视觉漏洞、支持更有效评估框架的方法论，帮助社区更好地理解感知代理做出决策的原因和方式。

与已有工作不同的是，现有研究存在几个重要空白。首先，现有VLM评估主要集中在功能性任务能力上，缺乏针对决策行为的系统性行为评估框架。其次，已有工作虽然研究了VLM对形状vs纹理、数量、特征绑定等特定视觉属性的依赖，但主要关注认知任务而非代理式决策任务。第三，对抗样本研究关注的是对人类感知不相关且与任务无关的扰动，而本文关注的是感知上显著、自然的视觉特征变化。最后，文本提示优化领域已有成熟方法，但这些方法尚未被系统性地迁移到视觉领域。本文的独特切入角度是将VLM的决策函数视为潜在视觉效用景观，通过自然图像编辑的偏好揭示来探索这一景观，而非采用暴力枚举或对抗性扰动。

核心方法

本文提出的方法框架包含三个核心组件：视觉提示优化、自动化可解释性和缓解策略。首先，作者从四个真实世界场景的数据集（产品购买、房屋搜索、候选人筛选、酒店预订）各采样100张图像，然后使用文本到图像编辑模型（Nano Banana）对每张图像进行迭代优化。优化的目标不是直接修改像素，而是优化可编辑的文本提示，该提示参数化图像编辑操作。在每轮迭代中，VLM评估器根据任务特定指令对当前图像和候选图像进行成对比较，选择获胜者。作者提出了三种优化方法：VTG（VisualTextGrad）将文本梯度方法扩展到视觉领域；VFD（VisualFeedbackDescent）基于最近提出的反馈下降算法；CVPO是作者提出的竞争性视觉提示优化新方法，将优化框架为两个候选者之间的竞争选择过程，由法官小组评估。优化完成后，作者使用多阶段自动化可解释性管道来解释实现的视觉变化。最后，作者测试了图像归一化作为缓解策略的有效性。整个框架共进行了180万+次API请求，消耗27.5亿+令牌，生成12.5万+张图像。

本文的核心创新在于将VLM的决策函数视为潜在视觉效用景观，并通过自然图像编辑来探索这一景观。与对抗性扰动不同，作者关注的是感知上显著、语义保持、看起来合理的视觉转换（如背景、灯光、构图、调色板、道具等）。关键思想是使用反馈驱动的提示优化将静态偏好判断转化为受控干预过程：从固定身份$x_0$出发，通过提示介导的编辑搜索$x_0$的合理呈现方式，记录哪些变化在代理驱动的任务指令下增加选择概率。作者提出的CVPO方法将视觉提示优化框架为竞争性选择过程，其中K个法官在每轮进行成对投票和一致性检查，失败的提示通过法官反馈和优化历史信息生成多个挑战者进行改进，当投票接近平衡时终止。CVPO相比其他方法的主要优势在于：（1）通过多法官投票减少噪声偏好反馈的影响；（2）竞争机制促进探索；（3）早期平衡检测提高效率。实验显示CVPO平均只需17.4轮（预算的36.9%），而VTG总是30轮（100%），VFD平均24.9轮（74.6%）。

方法步骤详情

完整方法流程包括以下步骤。数据准备阶段：从四个数据集各采样100张图像，使用图像编辑模型Nano Banana将所有图像放大为1:1宽高比作为原始版本。优化阶段：对每张图像应用三种优化方法（VTG、VFD、CVPO）。以CVPO为例，初始化两个空提示$p_A$和$p_B$，编辑生成初始图像$x_A$和$x_B$。然后进入迭代循环：对于每个法官$J_j$，进行两次顺序相反的成对比较$([x_A, x_B])$和$([x_B, x_A])$，如果结果一致则记录投票和反馈。选择得票最多的候选作为获胜者，另一个作为失败者。如果达到最小轮数且投票比例接近0.5（平衡阈值$\epsilon$），则终止。否则，基于失败提示、法官反馈和优化历史，使用Proposer模型生成K个挑战提示，编辑生成K个挑战图像，与当前获胜者竞争，选择最好的挑战者替换失败提示。评估阶段：使用线性概率模型（LPM）对原始、零样本编辑和最终优化版本的二元选择结果进行分析，计算估计边际均值（EMMs）和事后对比。可解释性阶段：首先用VLM提示总结原始和最终编辑图像之间的可见差异，然后使用递归聚合摘要方法将这些差异抽象为高层主题。验证阶段：通过提示图像编辑器零样本应用发现的视觉因素，测试因果有效性。缓解阶段：测试图像归一化策略，即在VLM判断之前指令模型平滑两个图像的任务无关视觉属性，可重复进行$\kappa$次传递。

技术新颖性

本文的技术新颖性体现在多个方面。首先，这是首次系统性地将反馈驱动的提示优化范式从文本领域扩展到视觉领域，探索了三种不同的方法（VTG、VFD、CVPO）并提供了详细比较。其中CVPO是作者提出的新方法，其竞争性选择框架和多法官投票机制在噪声偏好反馈环境下表现优异。其次，作者提出的自动可解释性管道采用聚合摘要方法，能够从大量优化结果中层次化地抽象出高层视觉主题，这些主题在不同优化方法之间显示出高度一致性，表明它们反映了VLM模型的稳定属性而非算法伪影。第三，作者建立了跨9个前沿VLM（Qwen-3-VL 235B、Llama 4 Maverick、GPT-5 Mini、Gemini 3 Flash/Pro、GPT-4o、GPT-5.2、Claude Sonnet 4.5、Claude Haiku 4.5）、4个现实任务领域、2种强制选择场景的综合性基准，这是VLM行为评估领域迄今为止最系统的研究之一。最后，作者不仅发现了VLM的视觉敏感性，还提供了初步的缓解策略（图像归一化）和因果验证方法（提示蒸馏），为后续研究提供了完整的方法论工具包。

**Figure 1**: Simplified overview of the iterative visual optimization process through feedback-driven prompt refinement.

**Figure 7**: CVPO optimization examples at different steps for each of our four datasets.

实验结果

实验结果揭示了VLM对视觉特征的强烈且系统的敏感性。零样本编辑已经能产生显著效果，相对于原始图像，零样本编辑将选择概率提高了约0.2-0.4，所有零样本vs原始对比都具有统计显著性。在几个设置中，零样本编辑使得图像被选中的概率翻倍以上。迭代视觉提示优化进一步增加了选择概率，CVPO和VFD在零样本基础上经常产生额外的+0.1-0.3绝对概率增益，这些增益在大多数设置中具有统计显著性。相比之下，VTG的最终输出有时在零样本基线之上显示微不足道的改进。在不同优化方法的直接比较中，CVPO在所有模型上平均获胜最多，尽管只比VFD略好。按模型的结果显示CVPO在7/9个模型上以0.04-0.21的优势优于VFD，在9/9个模型上以0.46-0.64的大幅优势优于VTG。不同方法有不同的效率权衡：VTG总是需要30轮（100%预算），VFD平均24.9轮（74.6%预算），CVPO平均17.4轮（36.9%预算）。自动可解释性结果显示不同优化方法在每个任务内收敛于广泛相似的编辑类型。例如对于酒店，CVPO识别的主题包括'生物和植物整合'、'豪华家具和纺织品升级'、'温暖的环境照明调整'、'建筑和表面增强'、'饱和和自然启发的色彩转变'、'增强的社会人口'。对于房屋，主题包括'暮光照明转换'、'硬景观和豪华设施添加'、'郁郁葱葱的植物美化'、'结构外立面和家具修改'、'公用设施和障碍物移除'。对于人员，主题包括'专业服装替代'、'企业环境背景转换'、'肖像裁剪和姿势调整'、'积极的专业表达更新'、'添加商业办公对象'。对于产品，主题包括'过渡到生活环境'、'有机和功能性道具布置'、'环境照明和视觉效果'、'人类主体和活动整合'、'产品内部内容暴露'。这些主题在不同方法之间显示出高度重叠，表明它们反映了评估VLM模型的稳定属性。图像归一化实验显示，$\kappa=3$比$\kappa=1$和$\kappa=0$更能平衡概率，表明此类方法改善但不能完全解决对优化编辑的敏感性。人类研究（N=154）显示优化版本显著增加人类选择原始图像的概率，人类也经常选择最终图像超过零样本图像，但这种效应在CVPO上没有达到统计显著性（p=0.057）。

**Table 1**: Model-wise choice probabilities by strategy (main value) with contrasts vs. the row-best strategy in parentheses.

**Table 2**: Human head-to-head choice probabilities by task and strategy.

**Table 3**: Human choice probabilities by strategy × status.

**Figure 2**: Estimated marginal mean probability of choice by task (columns) × optimization method (rows) and optimization stage (X-axis; original image, zero-shot modified, and final after optimization).

**Figure 3**: Estimated marginal mean probability of choice for final optimized images produced by different optimization methods in head-to-head comparisons.

**Figure 4**: Effect of image normalization for κ passes on est. probability of choosing the original vs. final variants.

**Figure 5**: Effect of image normalization on human choices, compared with original vs. final trials.

**Figure 6**: Results testing whether distilling the discovered visual edits into zero-shot editing instructions can match the optimization that recovers them.

查看结构化数据

任务	指标	本文	基线	提升
产品选择	选择概率（边际均值）	CVPO: 0.766 (Qwen-3-VL 235B)	VTG: 0.131, VFD: 0.601	相比VTG提升0.635，相比VFD提升0.165
房屋搜索	选择概率（边际均值）	CVPO: 0.749 (GPT-4o)	VTG: 0.179, VFD: 0.566	相比VTG提升0.570，相比VFD提升0.183
酒店预订	选择概率（边际均值）	CVPO: 0.771 (Qwen-3-VL 235B)	VTG: 0.131, VFD: 0.601	相比VTG提升0.640，相比VFD提升0.170
候选人筛选	选择概率（边际均值）	CVPO: 0.594 (Claude Sonnet 4.5)	VTG: 0.310, VFD: 0.603	相比VTG提升0.284，与VFD相当
人类选择	选择概率（边际均值）	CVPO: 0.663	Original: 0.289, Zero-shot: 0.588	相比原始提升0.374
优化效率	平均迭代次数	CVPO: 17.4 (36.9% 预算)	VTG: 30 (100%), VFD: 24.9 (74.6%)	相比VTG节省63.1%预算，相比VFD节省37.7%预算

局限与改进

作者承认了几个局限性。首先，优化框架需要大量计算资源，这对可扩展性构成了实际限制。总实验消耗180万+ API请求、27.5亿+令牌、12.5万+图像。其次，虽然作者尝试强制执行身份保持，但呈现和实质之间的边界在某些情况下是模糊的。作者在文中将身份维护操作化定义为保留基础资产（核心对象或场景，如房屋结构、酒店空间、产品或人员），但允许可能提供某些增加效用（从而理性增加选择概率）的属性和次要设施的变化。第三，作者只测试了一种归一化缓解策略，可能存在更复杂的防御方法。第四，人类验证研究（N=154）提供了方向性证据，但在成对比较中检测小效应差异的统计功率不足。第五，推广到具有长时序序列的其他代理视觉决策上下文需要大量进一步开发。最后，作者的提示蒸馏实验使用与优化过程相同的图像，可能会限制外部有效性。作者还观察到不同优化方法在不同任务和模型上的效果存在异质性，例如Anthropic模型（Claude Haiku 4.5和Claude Sonnet 4.5）中VFD略微优于CVPO，虽然差距很小且只对Haiku有统计显著性。对于产品，蒸馏版本的表现低于朴素零样本编辑（可能是由于产品类别的异质性）。这些观察表明模型的视觉敏感性可能因任务和模型架构而异，需要更细致的分析。

独立分析的弱点

论文存在几个独立分析的弱点。首先，身份保持约束的验证主要依赖于图像编辑模型（Nano Banana）的指令遵循能力，没有提供客观的量化指标来确保编辑确实保持了语义身份。这可能导致某些优化改变了对象的实质属性而不仅仅是呈现方式。改进方向是引入自动化身份验证指标，如基于CLIP的语义相似性度量或对象检测的一致性检查。其次，人类研究的样本量（N=154）相对较小，特别是在按任务和策略细分的子分析中，统计功率可能不足以检测真实存在的差异。改进方向是扩大人类样本规模或使用更高效的实验设计。第三，缓解策略（图像归一化）的效果有限，即使$\kappa=3$也只能部分平衡概率，不能完全解决敏感性。这表明需要更鲁棒的防御策略，如对抗性训练或专门设计以抵抗视觉操纵的评估模型。第四，作者主要关注二选一强制选择场景，而现实世界中的决策可能涉及更多选项、多阶段选择或与文本信息的交互。改进方向是扩展到更复杂的决策场景。第五，作者使用Gemini Flash变体作为生成器和法官，使用更强大的模型（如Pro版本或其他先进模型）可能进一步改善结果，但也增加了成本。改进方向是系统性地研究不同生成器和评估器组合的效果。最后，作者没有提供对发现的主题为什么会影响VLM决策的机制性解释，只报告了相关性而非因果性。改进方向是结合激活分析和探测方法来理解这些视觉特征如何在模型内部被处理和整合。

未来方向

作者和基于本文成果可以延伸的未来研究方向包括：首先，开发更强大的身份保持验证机制，包括自动化指标和人工验证的结合，确保优化确实针对呈现方式而非实质内容。其次，探索更有效的缓解策略，如对抗性训练、视觉领域归一化、或多视角评估，以减少VLM对操纵性视觉特征的敏感性。第三，扩展到更复杂的决策场景，如多选项选择、序列决策、或与文本和其他模态的交互决策，以更好地反映现实世界应用。第四，深入研究不同VLM架构之间的敏感性差异，理解为什么某些模型（如Anthropic的Claude系列）表现出不同的行为模式。第五，结合神经科学和心理学的方法，比较VLM和人类视觉决策的异同，识别哪些敏感性是共享的哪些是模型特有的。第六，开发实时检测和预警系统，用于识别可能被操纵的视觉内容，特别是在高风险应用如房地产投资、金融决策等领域。第七，研究长期暴露于优化视觉内容对VLM决策行为的影响，是否存在'视觉微调'效应。第八，探索将视觉提示优化框架应用于其他视觉任务，如图像分类、目标检测或视觉问答，以理解这些任务中的敏感性模式。最后，建立社区基准和评估协议，使研究者能够系统性地比较不同方法的性能和局限性，促进该领域的标准化和发展。

复现评估

论文的复现难度中等偏高。作者承诺将发布代码和数据，这为复现提供了基础。然而，几个因素增加了复现难度：首先，实验使用了大量API调用和计算资源（180万+请求、27.5亿+令牌、12.5万+图像），全规模复现可能需要数万美元的计算成本。其次，依赖的图像编辑模型（Nano Banana，Gemini 2.5/3的代号）和多个VLM（Qwen-3-VL、Llama 4、GPT-5、Gemini 3、GPT-4o、Claude等）都需要通过商业API访问，增加了依赖性和成本。第三，某些细节可能隐藏在附录中，如具体的提示词（虽然作者提到在附录K和L中）、超参数设置（如平衡阈值$\epsilon$、耐心参数K等）需要仔细提取。第四，人类研究的复现需要招募受试者和伦理审批，增加了复杂性。然而，作者提供了详细的算法伪代码（算法1-3）和数据集来源（ABO产品数据集、房价估计数据集、StyleGAN-Human、酒店图像数据集），这有助于部分复现。作者还提供了丰富的定性示例（图7展示优化过程）和详细的自动可解释性结果（附录C），这些有助于验证方法的有效性。总体而言，研究者可以使用开源的图像编辑模型和较小的VLM进行部分复现，但完全复现所有实验需要大量资源和商业API访问。作者在文中报告了详细的统计检验结果（包括Benjamini-Hochberg调整的p值），这为结果的可靠性提供了额外保障。