视觉语言模型中的上下文视觉个性化 Contextualized Visual Personalization in Vision-Language Models
提出CoViP框架，通过个性化图像摘要和强化学习实现上下文视觉个性化
前置知识
视觉语言模型（VLM）
视觉语言模型是结合视觉和语言两种模态的多模态模型，能够同时处理图像和文本输入。典型架构包括视觉编码器（如CLIP、ViT）提取图像特征，语言模型（如GPT、LLaMA）处理文本，并通过跨模态对齐机制实现图像-文本的联合理解。VLM可以执行图像描述、视觉问答、跨模态检索等任务。
本文研究的是如何让VLM在理解新图像时结合用户过去的视觉-文本交互历史，需要读者对VLM的基本架构和工作原理有清晰理解。
强化学习（RL）
强化学习是一种通过智能体与环境交互来学习最优策略的机器学习范式。智能体根据状态采取动作，环境反馈奖励信号，目标是通过优化累积奖励来学习策略。在语言模型中，RLHF（Reinforcement Learning from Human Feedback）用人类偏好作为奖励信号来对齐模型输出。本文使用GSPO（Group Sequence Policy Optimization）等算法进行后训练。
本文采用基于强化学习的后训练策略来优化VLM生成个性化图像摘要的能力，理解RL的基本概念对于理解本文的训练方法至关重要。
上下文个性化
上下文个性化是指模型能够根据用户特定的历史交互信息生成个性化响应的能力。在视觉场景中，这意味着模型不仅要识别图像中的对象，还要将这些视觉输入与用户过去的经验关联起来。例如，看到一张人物照片时，模型应该能回忆起用户之前提到的与这个人的互动经历，而不仅仅是描述照片中人物的表面特征。
这是本文要解决的核心问题。理解上下文个性化的概念有助于理解为什么现有VLM存在局限以及CoViP方法的创新之处。
后训练（Post-training）
后训练是指在预训练模型基础上，针对特定任务或目标进行进一步的训练过程。在LLM/VLM领域，常见的后训练方法包括指令微调（SFT）、基于人类反馈的强化学习（RLHF）等。后训练的目的是在保持预训练知识的同时，调整模型的行为以符合特定需求，如提升指令遵循能力、安全性或个性化能力。
本文的核心方法是通过对VLM进行基于强化学习的后训练来增强其个性化能力，理解后训练的概念有助于理解本文的技术路线。
研究动机
现有的视觉语言模型虽然能够准确识别图像中的对象（如"一个穿着黑色西装的男人"），但无法将这些视觉输入与用户积累的视觉-文本语境关联起来。例如，当用户提到"今天要和照片中的人见面"时，模型只能给出通用的描述和建议，而无法识别这个人就是用户之前在对话中提到的"兄弟"或其他熟人。这种局限性体现在多个方面：模型缺乏访问和利用用户特定经验的能力，无法在多轮对话中保持个性化的上下文理解，也难以根据用户的历史交互生成真正个性化的响应。现有方法如MyVLM、Yo'LLaVA、RAP、RePIC等虽然在一定程度上实现了个性化，但主要集中在简单的属性或身份识别，缺乏对丰富体验级用户语境的个性化能力。
本文的目标是本文的目标是赋予VLM真正的上下文视觉个性化能力，使模型能够在解读新图像时，识别和检索用户特定的视觉经验，并将这些经验自然地融入到生成的响应中。具体来说，模型需要能够：（1）从用户的交互历史中提取相关的视觉-文本信息；（2）在查询图像中识别出与历史经验相关的对象；（3）将检索到的个性化信息整合到描述或回答中；（4）在多样化的下游任务中实现稳定且泛化的个性化表现。作者希望通过一个统一框架来解决这个挑战，而不是为每个特定任务设计专门的方法。
与已有工作不同的是，本文的独特切入角度在于将个性化问题重新定义为"上下文视觉个性化"，并将其与"个性化图像摘要"这个核心任务联系起来。与现有方法关注表面层面的属性检索（如人名回忆）不同，本文关注更深层次的语义推理和人类-模型交互的细微差别。作者观察到，各种个性化任务共享一个底层过程：无论下游任务是什么，VLM必须首先在用户过往经验的语境下解读查询图像，然后才能产生响应。这个关键洞察促使作者聚焦于学习这个共享的个性化过程，而不是优化特定任务的输出。此外，本文设计了诊断评估任务来显式排除文本捷径解决方案，这是现有工作中缺失的。
核心方法
CoViP方法的核心思想是将个性化图像摘要作为代理任务来学习上下文视觉个性化的共享底层过程。作者首先观察到，无论下游任务是什么（视觉问答、对话等），个性化过程都包括两个阶段：上下文视觉编码器h_θ将查询图像x和语境c编码为个性化潜在表示z，然后任务特定生成器g_θ根据z和用户提示p生成最终响应y。作者认为h_θ是共享的，而g_θ随任务变化。由于h_θ本质上与个性化图像摘要的目标一致（摘要直接反映模型的用户特定语境理解），作者采用摘要作为外化潜在个性化状态z的可靠代理。通过优化模型生成忠实反映视觉语境的摘要，作者旨在间接但有效地提高各种下游任务的个性化性能。CoViP框架包括三个关键组件：构建个性化的图像摘要基准、基于强化学习的后训练策略、推理时的摘要增强生成（CAG）。
CoViP的核心创新点在于将上下文视觉个性化重新定义为基于个性化图像摘要的统一学习范式。与现有方法直接针对特定下游任务进行优化不同，CoViP识别出所有个性化任务共享的底层过程，并通过学习这个过程来实现更全面的个性化能力。另一个关键创新是设计了可验证奖励（VR）来指导强化学习训练，包括基于F1分数的集合级视觉识别奖励和基于MCQA的检索奖励。这些奖励明确激励模型（1）通过语境内视觉概念的细粒度视觉识别，以及（2）通过鼓励生成摘要的语境基础性。此外，CAG策略在推理时将模型自己生成的摘要重新用作显式条件信号，进一步增强了个性化表现。
方法步骤详情
CoViP方法包括以下步骤：第一步，构建个性化图像摘要基准。作者使用图像生成VLM合成受控的图像集，从开放源仓库策划基础图像数据库，设计涉及人类、物体和动物的多样化交互场景，生成包含1-4个概念的可变视觉复杂度的查询图像。应用质量过滤确保数据可靠性，使用文本生成VLM评估指令遵循和视觉忠实性。第二步，生成多轮对话。生成模拟用户和模型之间自由形式交互的多轮对话，同时严格将所有话语 grounded 在与特定图像相关的事实信息中。第三步，构建图像-文本交错语境。在每个语境中纳入正面和负面样本，使用CLIP-L/14视觉编码器检索与正面图像视觉上最相似的top-2图像作为负面样本。第四步，基于强化学习的后训练。采用GSPO算法优化模型参数以最大化期望可验证奖励r(s, x, c) = r_vis(x, c) + r_caps(s, c)，其中r_vis是基于集合级F1分数的视觉识别奖励，r_caps是基于MCQA准确性的检索奖励。应用退化过滤防止通过退化重复进行奖励黑客攻击。第五步，摘要增强生成（CAG）。在推理时，模型首先生成描述性摘要s ∼ π_θ(· | x, c, p_s)，然后将摘要作为条件信号生成最终输出y ∼ π_θ(· | x, c, p_d, s)。
技术新颖性
CoViP的技术新颖性体现在多个方面：首先，它首次正式定义并系统研究了上下文视觉个性化问题，将其与现有的个人化范式区分开来。其次，它提出了将个性化图像摘要作为代理任务来学习共享个性化过程的统一框架，这与现有针对特定任务优化的方法形成对比。第三，它设计了可验证奖励机制，包括基于F1分数的集合级视觉识别奖励和基于MCQA的检索奖励，这些奖励直接针对细粒度视觉识别和语境基础性。第四，它引入了CAG策略，将模型自己生成的摘要重新用作推理时的显式条件信号。最后，它设计了三个诊断任务（LSD、LAR、ITR）来显式排除文本捷径解决方案，这是现有工作中缺失的。这些创新共同使CoViP能够实现更全面、更稳健的上下文视觉个性化能力。
实验结果
实验结果表明，CoViP在个性化图像摘要基准上取得了显著提升。在1-概念设置中，CoViP将Qwen3-VL-8B的积极准确率从39.0%提升到77.4%，提升了38.4个百分点；在2-概念设置中从25.6%提升到68.4%，提升了42.8个百分点；在3-概念设置中从23.3%提升到65.2%，提升了41.9个百分点；在4-概念设置中从18.6%提升到59.7%，提升了41.1个百分点。平均提升约40%。相比之下，现有后训练个性化基线RAP和RePIC的提升有限，RAP甚至低于零样本基线。在下游诊断任务中，CoViP在所有任务上都表现出一致且显著的改进。在LSD任务上，CoViP直接推理的召回率为37.2%，使用CAG提升到58.2%；在LAR任务上直接推理为34.8%，使用CAG提升到49.2%；在ITR任务上直接推理为28.0%，使用CAG提升到42.8%。值得注意的是，专有VLM（如GPT-4o、GPT-5、Gemini-2.0-Flash、Gemini-3.0 Pro）在个性化图像摘要基准上表现有限，但在某些诊断任务上表现较强。然而，它们的性能提升往往不稳定且高度依赖任务，特别是在ITR任务上，应用CAG后所有VLM的召回率都下降到20%以下。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 个性化图像摘要（1概念） | 积极准确率（Acc+） | 77.4% | 39.0% (Qwen3-VL-8B) | +38.4个百分点 |
| 个性化图像摘要（2概念） | 积极准确率（Acc+） | 68.4% | 25.6% (Qwen3-VL-8B) | +42.8个百分点 |
| 个性化图像摘要（3概念） | 积极准确率（Acc+） | 65.2% | 23.3% (Qwen3-VL-8B) | +41.9个百分点 |
| 个性化图像摘要（4概念） | 积极准确率（Acc+） | 59.7% | 18.6% (Qwen3-VL-8B) | +41.1个百分点 |
| 最后位置检测（LSD） | 召回率 | 58.2% (w/ CAG) | 29.8% (Qwen3-VL-8B w/ CAG) | +28.4个百分点 |
| 最后行为回忆（LAR） | 召回率 | 49.2% (w/ CAG) | 19.6% (Qwen3-VL-8B w/ CAG) | +29.6个百分点 |
| 指令触发回忆（ITR） | 召回率 | 42.8% (w/ CAG) | 6.8% (Qwen3-VL-8B w/ CAG) | +36.0个百分点 |
局限与改进
作者承认本文基准依赖于合成对话和生成图像，可能包含事实不一致或视觉伪影。虽然应用了严格的基于模型的质量过滤，但额外的人类验证可以进一步提高对话的事实性和图像的视觉保真度。此外，基准的视觉感知能力覆盖范围有限，仅限于语境/查询设置中相对细粒度的感知，不扩展到开放式的现实世界鲁棒性问题。作者还观察到，CoViP训练后的模型在积极准确率显著提高的同时，消极准确率略有下降。作者认为这种下降并不反映模型实际性能的退化，而是由于改进的语境理解和检索行为导致的。基线模型经常宽松地将查询图像匹配到相关对话，但未能检索到详细的用户特定信息。这种限制反映在其相对较低的Acc+上。因此，即使模型错误识别了潜在概念，它也经常在MCQA评估中响应"无法确定"，这在Acc-指标下被计为正确响应，产生假阳性。相比之下，通过CoViP进行后训练后，模型一旦识别出概念，就能够从相关对话中检索细粒度的体验级细节。因此，当模型错误识别概念时，它现在更可能基于检索到的信息坚持特定答案，导致Acc-较低。
独立分析的弱点
CoViP的第一个潜在弱点是数据质量依赖于合成生成。虽然应用了质量过滤，但合成对话和图像可能仍然存在事实不一致或视觉伪影，这可能会影响模型的泛化能力。第二个弱点是视觉感知鲁棒性有限。基准中的视觉感知能力仅限于语境/查询设置中相对细粒度的感知，不扩展到开放式的现实世界鲁棒性问题，如视角变化、光照变化、遮挡、低分辨率、杂乱场景等。第三个弱点是文本多样性有限。现实世界的语境记忆可能不那么结构化，可能冲突，并且相当嘈杂或更模糊。虽然作者考虑在数据集构建中纳入更多异构语境，但这通常在特定对话中引入意外的文本提示，使得在保持干净和诊断评估设置的同时防止捷径学习变得困难。改进方向包括：（1）逐步引入真实世界数据以更好地对齐现实世界数据分布；（2）增强基准的视觉挑战性，包括更多视觉变体和困难情况；（3）设计更复杂的文本语境以模拟真实世界的嘈杂和模糊性。
未来方向
作者提出的关键下一步是开发基于全模态（如语音、视频、传感器数据）和现实世界用户信号（如购物历史、对话语音记录、长期用户-模型交互日志）的个性化基准，实现更多样化的用例的实际评估。另一个方向是研究隐私保护机制，确保上下文视觉个性化的进展被负责任地部署并为用户受益。基于本文成果可延伸的方向包括：（1）探索更高层次的语义推理能力，如推断用户的隐含偏好，这需要首先识别跨多个异构记忆源的相关过去数据，然后推理这些信息对当前查询意味着什么；（2）将CoViP框架扩展到更多模态和更复杂的交互场景；（3）研究如何在没有预先收集的真实摘要的情况下高效地获取高质量的个性化摘要监督信号；（4）探索更高效的强化学习算法以减少训练成本和提高稳定性。
复现评估
作者将在项目页面（https://oyt9306.github.io/covip.github.io/）上提供代码、数据和模型权重，以促进研究的复现和进一步发展。基准包括2.8K训练样本和1.3K测试样本，数据集构建过程详细描述在论文和附录中。训练使用Qwen3-VL-Instruct-8B作为骨干VLM，应用LoRA（rank 64，alpha 128）进行参数高效微调，使用GSPO算法进行强化学习训练。每个提示采样4个rollouts来计算组级优势。实验使用Qwen/Qwen3-VL-30B-A3B-Instruct-FP8生成对话，使用Qwen/Qwen3-30B-A3B-Instruct-2507-FP8作为LLM-as-a-judge计算基于准确性的VR。解码温度固定为0.0以确保确定性生成。复现难度适中，需要访问生成VLM（如Gemini-3.0-Pro）和足够的计算资源（GPU）进行训练和推理。作者提供了详细的实现细节和提示模板，这有助于复现。
论文图表
这张图展示了上下文视觉个性化的使用案例。左侧显示了VLM与用户过去的对话历史，包括用户在不同时间和地点遇到Jeffrey的对话。中间显示了当前对话，用户提到"今天我要和照片中的人见面"。右侧显示了两个不同的响应：没有上下文视觉个性化的VLM（Qwen3-VL，8B）给出了通用的描述，错误地识别照片中的人是Martin Freeman；而有上下文视觉个性化的CoViP正确地识别出这是Jeffrey，用户在2025年10月11日于New Ryan遇到的"greenguy"，并自然地融入了个性化的细节，如他不能喝咖啡、通常喝绿茶等。
这张图对于理解论文的核心问题至关重要，它直观地展示了现有VLM的局限性（无法关联用户过去的视觉-文本经验）以及CoViP方法的期望效果（能够识别和整合个性化的上下文信息）。
这张图展示了在提议的基准上识别与检索之间的关系的散点图。横轴是识别，通过生成摘要与真实对话之间的实体名称包含的F1分数来测量；纵轴是检索，通过积极MCQA准确性来测量。图中显示了三个模型（Qwen3-VL 8B、Gemini-3.0 Pro、GPT-5）的数据点以及线性回归线和斜率。结果显示，平均F1分数在模型间有中等增长，而MCQA准确性在可比F1水平下有大幅提高。斜率值（m=0.65、0.39、0.35）表明性能增益主要来自检索的改进，而不是识别本身的改进。
这张图对于理解CoViP性能增益的来源至关重要，它展示了CoViP的改进主要由更有效的检索驱动，具体是通过语境化推理更有效地整合隐式个性化提示，而不是通过识别本身的改进。