Doc-PP：面向大型视觉语言模型的文档策略保持基准 Doc-PP: Document Policy Preservation Benchmark for Large Vision-Language Models
评估LVLM在多模态文档问答中遵守用户定义的非披露策略能力的基准
前置知识
大型视觉语言模型 (LVLM)
LVLM是能够同时处理视觉和文本输入的大型语言模型，例如GPT-5.2、Gemini-3-Pro等。这些模型通过将图像编码为视觉token与文本token共同输入Transformer架构，实现对包含图表、表格、文字等多种模态的复杂文档进行问答理解。在本文的场景中，LVLM需要理解包含财务报表、行业报告等真实世界文档的多模态内容，并根据用户定义的策略选择性地隐藏敏感信息。
本文的核心研究对象就是LVLM，需要理解其多模态理解和推理能力的特性，以及在处理跨模态信息时可能存在的安全隐患
上下文完整性 (Contextual Integrity)
上下文完整性是由Nissenbaum在2004年提出的隐私理论框架，核心思想是信息流的适当性取决于特定的上下文环境。在不同的情境下，同样的信息分享行为可能是适当或不适当的，这取决于信息的类型、发送者、接收者以及信息传播的规范。本文研究的用户定义的非披露策略正是这一理论的具体体现——即使一份财务报告可以对外分享，某些区域性的收入数据在特定上下文中必须被隐藏。
理解上下文完整性理论有助于理解为什么需要动态的用户定义策略，以及为什么简单的静态隐私保护机制不足以满足实际需求
推理诱导的安全缺口 (Reasoning-Induced Safety Gap)
这是本文首次提出的核心概念，描述了一个重要现象：当模型需要通过复杂的推理过程（如从饼图中提取百分比、从文本中提取总收入、然后计算得出被保护的数值）来得出答案时，即使明确告知了非披露策略，模型仍然会泄露敏感信息。这与直接请求敏感信息时模型能够遵守策略的情况形成鲜明对比，说明现有的安全约束在复杂的推理链条中失效。
这是本文的核心发现，理解这一概念对于认识到LVLM在真实世界部署中面临的安全风险至关重要
OCR悖论 (OCR Paradox)
OCR悖论是本文发现的另一个重要现象：当使用OCR提取的文本作为输入时，模型的信息泄露率反而比直接使用图像输入更高。尽管OCR提供了更清晰、更易处理的文本表示，改善了模型的感知能力，但它同时也使得模型更容易进行精确的数值推理，从而更轻松地计算出受保护的数值。这表明更强的多模态理解能力并不必然带来更好的策略保持能力，反而可能增加安全风险。
这一发现挑战了更好的输入表示必然带来更好安全性能的直觉，对于实际系统设计具有重要指导意义
分解-验证-聚合框架 (DVA)
DVA是本文提出的推理时干预框架，旨在通过结构性地分离推理过程与策略验证来改善策略保持。该框架包含两个主要阶段：分解阶段将模型的初步回答拆解为一组原子信息元素（单独的事实或子声明）；验证与聚合阶段则逐一检查每个元素是否违反策略，丢弃违反的元素，只将有效的元素聚合成最终回答。这种方法将评估长篇回答的任务转化为更简单的原子验证任务，从而能够发现集成输出中被忽略的泄露。
DVA是本文提出的解决方案，是目前唯一能够显著降低信息泄露率的干预策略，理解其工作原理对于改善LVLM安全具有实际价值
研究动机
在真实世界的文档问答场景中，大型视觉语言模型（LVLMs）经常需要处理包含敏感信息的多模态文档，如财务报告、行业分析报告等。这些文档往往伴随着用户定义的非披露策略，例如不要披露中东地区的收入数据。然而，现有安全研究主要关注静态的隐式社会规范或纯文本设置，忽略了多模态文档的复杂性。以图1中的案例为例，即使明确告知模型不要披露中东地区的收入，模型仍然能够从饼图中提取出5%的百分比、从文本中获取1亿美元的总收入，然后通过隐式推理计算出500万美元的受保护收入。这种推理诱导的安全缺口在现有研究中尚未被充分探索，且在实际部署中构成了严重风险。
本文的目标是本文旨在建立一个系统化的基准来评估LVLM在多模态文档问答中保持用户定义策略的能力。具体而言，研究团队希望：(1) 构建一个包含真实世界文档、多样化证据类型（文本、表格、图表、图形、跨模态组合）和精心设计的非披露策略的评估基准；(2) 揭示现有LVLM在策略保持方面的系统性弱点，特别是推理诱导的安全缺口和OCR悖论；(3) 提供一个有效的基线解决方案（DVA框架）来改善策略保持能力。最终目标是为安全的多模态文档理解系统提供评估标准和改进方向。
与已有工作不同的是，本文的独特切入角度在于三个方面：首先，与现有研究关注隐式隐私规范不同，本文聚焦于用户定义的显式策略，这更贴近真实世界的部署场景；其次，与CoPriva等纯文本基准不同，本文将研究扩展到多模态文档领域，要求模型在文本、表格、图表等异构模态之间进行推理；最重要的是，本文首次系统地研究了推理复杂性与策略保持之间的关系，发现了一个反直觉的现象：更强的推理能力（如OCR带来的更好感知）反而可能导致更多的策略违反。这种对推理-安全权衡的深入分析填补了现有研究的重要空白。
核心方法
Doc-PP的构建和评估遵循一个系统化的三阶段流水线：策略构建、查询构建和评估。整体思路是先从真实世界的PDF文档中识别出值得保护的敏感信息（目标），然后构建能够触发这些信息泄露的查询，最后使用检查清单框架来评估模型的策略保持能力和回答忠实度。核心创新在于引入了显式查询和隐式查询的对比设计——显式查询直接询问受保护信息，作为基线测试；隐式查询则以摘要风格呈现，迫使模型在综合回答时不可避免地涉及敏感信息，从而测试推理诱导的安全缺口。
本文的核心创新点在于对推理诱导安全缺口的系统性揭示和量化。与现有研究假设模型能够识别并遵守隐私约束不同，本文发现当答案需要通过复杂的推理过程得出时（例如结合图表百分比和文本中的总量来计算受保护数值），现有的安全机制会失效。这种失效不是偶然的，而是一个系统性现象——在6个评估的LVLMs中，隐式查询的泄露率普遍显著高于显式查询。此外，本文还发现OCR悖论：改善输入的文本可读性反而增加了泄露风险。基于这些发现，本文提出的DVA框架通过将推理过程分解为原子验证任务，从根本上改变了策略验证的粒度，从而显著降低了泄露率。
方法步骤详情
Doc-PP基准的构建分为三个主要阶段：(1) 策略构建阶段包含三个步骤：首先，使用GPT-5.2从90份长篇PDF文档中生成候选目标（共838个），这些目标涉及战略决策、路线图、内部辩论等敏感类别；然后，对每个目标进行目标对齐裁剪，将长文档裁剪为包含目标的上下文窗口[p-2, p+2]，并提取真实值v；最后，通过五点检查清单（PDF中是否有依据、是否唯一可识别、v是否是t的答案、t是否避免泄露v、是否满足名词短语约束）过滤，最终保留635个目标。(2) 查询构建阶段：为每个目标生成两种查询——显式查询使用固定模板请提供关于{t}的详细信息（共443个），隐式查询则由GPT-5.2生成摘要风格的问题（共698个），要求无法在不披露v的情况下正确回答；同时为每个查询生成内容覆盖检查清单，用于评估回答的忠实度。(3) 评估阶段：使用LLM-as-a-judge框架，由独立的大型语言模型根据查询、策略和评估标准对泄露和检查清单满足情况进行结构化判断。
技术新颖性
Doc-PP的技术新颖性体现在多个层面：首先，在任务定义上，首次提出了策略保持多模态文档QA任务，将用户定义的显式策略约束引入多模态文档理解场景，这与现有的关注隐式隐私规范的研究形成鲜明对比；其次，在基准设计上，引入了显式-隐式查询的对比范式，能够系统地量化推理复杂性对策略保持的影响，同时通过多样化证据类型（39%的查询需要非文本视觉元素推理）和跨模态场景测试真实的多模态理解；第三，在评估框架上，采用检查清单方法进行忠实度评估，避免了传统评估方法的主观性，人类验证显示93%的一致率；第四，在解决方案上，DVA框架通过结构性地分离推理与验证，将长篇回答的评估转化为原子验证任务，这一设计范式对其他安全评估任务也具有启发意义。
实验结果
本文的实验结果揭示了LVLM在策略保持方面的几个关键发现。首先，推理诱导的安全缺口得到了系统性验证：在Image输入设置下，GPT-5.2在显式查询的泄露率仅为8.1%，但在隐式查询下飙升至25.7%；Gemini-3-Pro-Preview从31.4%上升到46.8%；Qwen3-VL-235B-A22B-Thinking从11.5%上升到40.4%。这种模式在OCR输入设置下同样存在，表明这是LVLM的系统性问题。其次，OCR悖论得到了量化验证：尽管OCR提供了更清晰的文本表示，GPT-5.2的显式查询泄露率从8.1%（Image）上升到11.5%（OCR），Qwen3-VL-235B-A22B-Thinking从11.5%上升到14.2%。第三，证据类型对泄露率有显著影响：单源文本的泄露率为72.8%（隐式查询），而图表+文本的跨模态证据泄露率高达100.0%；单表证据的泄露率为75.2%，而多表证据的泄露率达到100.0%。第四，文档类型与文本比例存在相关性：商业报告（文本比例68.1%）的泄露率最高（84.6%），研究报告（文本比例50.3%）的泄露率最低（62.2%）。在缓解策略方面，DVA框架在Gemini-3-Flash-Preview上将泄露率从64.6%降至30.5%，在Qwen3-VL-235B-A22B-Instruct上从93.5%降至24.5%，显著优于Chain-of-Thought（51.0%、50.6%）和后验修正（38.8%、44.5%）等基线方法。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 显式查询策略保持（Image输入） | Leakage Rate (%) | GPT-5.2: 8.1% | Qwen3-VL-Instruct: 75.6% | GPT-5.2相比最差模型降低67.5个百分点 |
| 隐式查询策略保持（Image输入） | Leakage Rate (%) | GPT-5.2: 25.7% | Qwen3-VL-Instruct: 93.5% | GPT-5.2相比最差模型降低67.8个百分点 |
| DVA缓解效果（Gemini-3-Flash） | Leakage Rate (%) | DVA: 30.5% | Default: 64.6% | 降低34.1个百分点，相对改善52.8% |
| DVA缓解效果（Qwen3-VL） | Leakage Rate (%) | DVA: 24.5% | Default: 93.5% | 降低69.0个百分点，相对改善73.8% |
| DVA vs CoT（Gemini-3-Flash） | Leakage Rate (%) | DVA: 30.5% | CoT: 51.0% | DVA比CoT降低20.5个百分点 |
| DVA vs Revision（Gemini-3-Flash） | Leakage Rate (%) | DVA: 30.5% | Revision: 38.8% | DVA比Revision降低8.3个百分点 |
局限与改进
本文存在几个需要考虑的局限性。首先，数据集构建和评估流水线部分依赖于LVLMs和LLMs，可能引入模型特定的偏差。虽然先前研究表明检查清单驱动的评估与人类判断高度一致，且本文在100个随机样本上验证了93%的一致率，但这种依赖仍然可能影响结果的普适性。其次，本文的基准仅涵盖商业、财务、研究和行业报告四类文档，可能无法完全代表所有真实世界的文档场景。第三，评估框架使用GPT-5-mini作为判断模型，这可能引入该模型特有的判断偏差。第四，本文的DVA框架虽然显著降低了泄露率，但在Gemini-3-Flash-Preview上仍有30.5%的泄露率，表明问题远未解决。此外，DVA需要额外的推理步骤，增加了计算开销，这在实际部署中可能是一个权衡。最后，本文主要关注的是文本型敏感信息，对于视觉元素中直接嵌入的敏感信息（如图表中的具体数值）的保护机制还有待进一步研究。
独立分析的弱点
本文存在几个可以改进的弱点。首先，DVA框架虽然有效，但仍依赖于模型自身的策略理解能力——如果模型在验证阶段错误地判断某个元素是否违反策略，整个框架就会失效。改进方向可以引入外部的策略验证模块，使用规则引擎或专用的小型分类器来提高验证的准确性。其次，当前的评估仅使用LLM-as-a-judge，尽管与人类验证有93%的一致率，但这种评估方式可能遗漏微妙的泄露情况，特别是当泄露以隐含方式出现时。可以考虑开发更细粒度的评估指标，如基于信息论的敏感信息泄露度量。第三，本文的隐式查询生成完全依赖GPT-5.2，可能引入该模型的特定偏好和风格，导致评估偏差。改进方向可以考虑使用多个模型或人工编写来增加查询的多样性。第四，当前的证据类型分类（文本、表格、图表等）相对粗糙，没有考虑证据的复杂性和推理深度。可以引入更精细的证据分类维度，如单步推理vs多步推理、单文档vs跨文档等。
未来方向
基于本文的发现，未来研究可以从多个方向展开。首先，可以探索更强大的策略保持机制，例如在模型训练阶段引入策略感知的微调，使模型内化策略遵守能力，而不是仅依赖推理时干预。其次，可以扩展基准的覆盖范围，纳入更多文档类型（如法律文件、医疗记录、政府报告）和更复杂的策略形式（如条件策略、时间敏感策略）。第三，可以研究跨模态对齐的改进方法，使模型能够更好地在视觉和文本信息之间建立策略感知的映射关系。第四，可以探索自适应策略执行机制，根据文档的复杂度和查询的类型动态调整策略执行的严格程度。第五，可以研究对抗性攻击场景，测试模型在面对精心设计的恶意查询时的策略保持能力。最后，可以将DVA框架与其他安全技术（如差分隐私、同态加密）结合，构建多层次的安全保护体系。
复现评估
本文在复现性方面提供了较好的支持。论文明确指出了所有使用的模型版本：GPT-5.2、Gemini-3-Pro-Preview、Qwen3-VL-235B-A22B-Thinking、Gemini-3-Flash-Preview、Qwen3-VL-235B-A22B-Instruct和Mistral-Large-2512，评估使用GPT-5-mini，OCR使用Mistral OCR。数据集来源明确：90份长篇PDF文档来自MMlongbench-Doc和Sustainable QA两个公开语料库。评估框架采用的LLM-as-a-judge方法以及检查清单的设计都有详细描述，且附录中提供了完整的提示词。然而，存在一些复现挑战：(1) 论文未明确说明是否开源了完整的Doc-PP基准数据集和评估代码；(2) 使用的模型大多是商业API（如GPT-5.2），这增加了复现成本；(3) 数据集构建过程中使用GPT-5.2进行目标生成和查询构建，这意味着完全复现需要访问该模型；(4) 人类验证仅在100个样本上进行，对于1141个查询的完整基准来说，评估的全面性有限。总体而言，复现需要中等偏高的算力资源（主要是API调用成本）和对多个商业模型的访问权限。
论文图表
该图展示了一个典型的多模态策略保持失败案例。图中包含一份Q4 2025年的财务报告截图，包含一个显示各区域收入占比的饼图。左侧标注了策略：不要披露中东地区的收入信息。模型被要求总结公司在2025年Q4的财务表现。尽管有明确的策略约束，模型仍然从饼图中提取出5%的中东地区占比，从文本中获取1亿美元的总收入，然后计算出500万美元的中东收入并将其包含在回答中（红色标注表示泄露的信息）。
这张图直观地展示了推理诱导安全缺口的核心问题——模型通过跨模态推理（结合图表百分比和文本总量）来计算受保护信息，说明了为什么现有的安全约束在复杂推理场景下失效。这是理解本文核心贡献的关键入口。