DR Pixel：基于视觉语言模型的页面原生深度研究 DR Pixel: Page-Native Deep Research with Vision-Language Models
直接在渲染页面图像上检索与推理，无需OCR，反事实信用重加权让27B开源模型追平GPT-5.4
前置知识
深度研究（Deep Research, DR）智能体
回答复杂信息查询问题的智能体，它不是一次性检索后作答，而是循环执行「搜索—阅读—再推理」：根据已积累的证据产生新的搜索查询，跨多轮逐步汇集证据，直到能给出可靠答案。代表系统包括 OpenAI Deep Research、Gemini Deep Research 等。本文的实现在 ReAct 框架下每轮生成思考与动作（搜索或最终回答），最多 20 次工具调用，且所有检索结果始终保留在上下文中供回看。
这是论文的任务设定。理解「多步搜索链」这一场景，才能看懂论文以每次问题的搜索次数、金页命中率等效率/召回指标做评估，以及训练方法为什么针对搜索行为本身。
ReAct 循环
Yao 等人 2023 年提出的智能体范式：模型交替输出思考（thought）与动作（action）。思考用于组织已知信息、规划下一步；动作调用工具（本文中是搜索）并接收返回结果，如此迭代形成轨迹 $(\tau_1, a_1, f(a_1, D), \ldots, \tau_T, a_T, f(a_T, D))$，直到产生终止动作（最终答案）。
DR Pixel 的形式化定义（公式 1）、搜索步与推理步的划分、以及反事实信用的计算对象全部建立在 ReAct 轨迹上，没有这个概念就无法读懂第 5 节的公式体系。
视觉文档检索（page-as-image 检索，ColPali 范式）
绕过 OCR，把文档页面直接渲染成图像，用视觉语言嵌入模型（如 Qwen3-VL-Embedding-8B）将每页编码为一个向量建索引；查询文本被映射到同一嵌入空间，返回最相关的页面图像。代表工作 ColPali 已证明该范式在版面复杂文档上可持平甚至超过文本检索，因为页面图像完整保留了表格、图表与版面结构。
「页面图像作为检索单元」是 DR Pixel 的第一根支柱。本文的贡献是把这一范式从单轮检索的 RAG 场景推进到需要 10-20 步持续搜索的深度研究场景，并用实验证明 OCR 流水线并非必要。
监督微调（SFT）与信用分配（credit assignment）
SFT 让模型逐 token 模仿教师模型生成的轨迹，但智能体长轨迹好坏混杂——关键推理、失败尝试、冗余搜索并存，对所有 token 等权模仿会让模型连无用行为一起学（典型后果是过度搜索）。信用分配研究「哪一步值得学」：结果奖励的 RL 给整条轨迹单一奖励，信号稀疏；过程奖励模型（PRM）能逐步打分但需要额外训练打分模型，成本高。
本文核心方法「反事实信用重加权」的目标正是：保留 SFT 的简单性（训练流程不变），同时实现细粒度的步级信用分配。这是理解第 5 节所有公式和消融实验的关键背景。
LoRA（低秩适配）
参数高效微调方法：冻结预训练权重 $W$，为每个线性层学习低秩增量 $\Delta W = BA$（其中 $B \in \mathbb{R}^{d \times r}$、$A \in \mathbb{R}^{r \times k}$，秩 $r \ll d$），只训练极小一部分新增参数即可达到接近全参数微调的效果，大幅降低显存与算力需求。
DR PixelTrained 用 LoRA（rank 32, $\alpha=64$）微调 27B 模型、视觉编码器冻结，这直接决定了复现的硬件门槛——4 张 H200 即可完成训练，是读者评估「自己能不能复现」的重要信息。
研究动机
深度研究（DR）智能体在回答复杂信息查询问题时需要迭代搜索并阅读大规模文档。随着应用从开放网页扩展到法律、金融、科学等专业语料，所面对的文档天然多模态：关键证据往往不仅在正文里，还在表格、图表和公式中。但主流 DR 流水线先把 PDF 用 OCR/解析器线性化成纯文本，再在文本空间做检索和推理。这种有损转换带来两个具体问题：其一是视觉结构被破坏——图表常被简化成一句 caption 或直接丢弃，表格可能被解析错乱，公式被转成残缺的 LaTeX，而且一旦解析阶段丢失，下游检索和推理永远无法找回；其二是 OCR/解析错误会级联传播，连正文内容都可能被污染，进而毒化检索与回答。已有补救方案（如 VisDoM）是再挂一个独立的图像搜索工具，让智能体在两个工具间选择，但文本与图像仍处于两个互不关联的检索空间，同一页上「图 4 与解释图 4 的那段正文」这种版面关联依然丢失。评估侧同样有缺口：现有基准要么是纯文本 DR 基准（BrowseComp-Plus 等），要么多模态文档 QA（ViDoSeek、SlideVQA）过于浅层——单次检索就能让 90% 以上问题的金页进入 top-5，完全测不出需要 10-20 步搜索链加视觉推理的真实 DR 能力。
本文的目标是本文的目标是验证并实现「页面原生深度研究」（page-native deep research）：把渲染后的页面图像既当作检索的唯一单元、又当作推理的唯一输入，彻底移除 OCR 环节，并在复杂 DR 设定下检验该路线是否可行、是否更优。具体拆成三件事：第一，构建一个同时满足四条性质的基准——需要多轮检索的 agentic 搜索、依赖图表公式的多模态证据、非模板化问题、可机械验证的短答案——即 DRPixelBench：500 个问题，语料 99,055 篇论文共 1,062,153 页，检索难度足够高（Qwen3-VL-Embedding-8B 的金页 R@5 仅 26.8%，远低于既有基准的 90%+）；第二，构建首个开源端到端页面原生 DR 智能体，并与 OCR 流水线在公平的检索 token 预算下对比（每次搜索双方获得约 1,300 词的文本量）；第三，用训练把开源的 Qwen3.6-27B 从落后 GPT-5.4 11.8 分追平甚至反超，同时把每次问题的搜索次数和预算耗尽率降下来。
与已有工作不同的是，已有工作分布在两条互不交叉的赛道上，各留下一块空白。视觉文档检索这条线：ColPali 范式已证明页面图像检索可行，但后续视觉 RAG 工作（VisRAG、ViDoRAG、VRAG-RL、PixelRAG 等）停留在浅层检索——单次检索金页即可高比例进入 top-5，从未进入「10-20 步搜索、跨轮累积证据」的深度研究场景，因此也从未暴露过该场景特有的失败模式。DR 智能体这条线：主流系统一律先 OCR 再检索，多模态扩展只是外挂独立的图像搜索工具。训练方法这条线：结果奖励 RL 给整条 rollout 单一奖励、信号稀疏且训练昂贵；过程奖励模型需要额外训练打分器；SFT 无差别模仿教师的所有步骤。本文的独特切入是三线汇合：首次把「页面图像作为唯一媒介」带进多步 DR 场景，并提出一种把信用分配完全放在数据准备阶段完成、训练时零额外开销的反事实重加权方法——保留 SFT 的工程简单性。结论也相当反直觉：OCR-then-retrieve 流水线不仅不必要，而且是有害的次优选择。
核心方法
直觉上，传统 DR 像是让助理先把图书馆里每本书「转录」成纯文本笔记再检索笔记——任何图表被转录成文字的那一刻就丢了形状；DR Pixel 则让助理直接翻阅原件的页面照排片：检索的索引是页面，阅读的材料也是页面，信息从头到尾不离开视觉形态。技术路线分推理与训练两段。推理段：离线把每篇 PDF 逐页渲染成图像（150 dpi，共 1,062,153 页），用视觉嵌入模型 Qwen3-VL-Embedding-8B 把每页编码成定长向量建索引；在线时，智能体的文本查询被映射到同一嵌入空间，返回 top-3 页面图像直接送入 VLM 智能体（Qwen3.6-27B 或 GPT-5.4 等闭源模型）；智能体以 ReAct 循环迭代——每轮产出思考 $\tau_t$ 与动作 $a_t$（新的搜索查询或最终答案），搜索返回的图像永久留在上下文中供回看，最多 20 次调用后必须作答。训练段：先用 GPT-5.4 作为教师在 1,164 个 Visual 种子问题上采样出 2,500 条正确轨迹，然后对轨迹中每个推理步和搜索步计算「反事实信用」，据此加权做 LoRA 微调。关键工程约束是公平性：页面原生与 OCR 文本两种设置每次搜索返回的文本量被控制在同一水平（1,359 词 vs 1,257 词），排除了「页面看到更多字」的解释。
全文有两个环环相扣的核心创新。第一是页面原生（page-native）：页面图像同时是检索单元和推理输入，文字、表格、公式、图示在同一张图像上无损共存，检索天然保留「版面+上下文」的关联。实验证明这不只是省掉 OCR 工序——在同等 token 预算下，页面原生在三个模型上比 OCR 流水线高 5.1-8.4 分还少用 20-30% 搜索，说明 OCR 环节本身就是有损瓶颈而非无害预处理。第二是方法学上更关键的反事实信用重加权（counterfactual credit reweighting）：教师轨迹混杂着关键步骤与失败冗余尝试，标准 SFT 无差别全盘模仿。该方法用「反事实删除」估计每步贡献——定义 $\ell(H) = \log \pi_0(y^\star \mid H)$ 为冻结的基础模型在给定历史 $H$ 时对金答案 $y^\star$ 的对数似然；推理步的贡献是删掉它后金答案支持度的下降 $c_{\tau_i} = \ell(H_T) - \ell(H_T \setminus \tau_i)$，搜索步的贡献是检索结果带来的增量 $c_{a_i} = \ell(H_i) - \ell(H_{i-1})$。信用非正的步直接权重置 0（屏蔽），正信用按同类步骤内的秩归一化并乘 2 使均值约为 1；推理与搜索两个通道还互相校正（推理步在其对应搜索被屏蔽或似然增益低于中位数时一并屏蔽）。与已有方法的本质区别：训练信号不再来自「假设教师的每一步都值得学」或昂贵的额外打分模型，而是让数据本身通过反事实消融揭示哪些步骤值得学——整个方法只发生在数据准备阶段，训练时就是普通加权 SFT。
方法步骤详情
完整流程分五步。第一步，离线索引：输入是 PDF，输出是页面向量——每页以 150 dpi 渲染（语料共 1,062,153 页图像），用 Qwen3-VL-Embedding-8B 编码成定长向量入库，全程无解析无 OCR；对照组则用 MinerU-2.5-Pro 在 A100 上解析出文本块与图表裁剪。第二步，推理循环：输入用户问题，输出可验证短答案——智能体每轮发出文本查询，搜索工具返回 top-3 页面图像进入上下文，VLM 基于累积图像推理生成思考与下一动作，搜索与推理交替，至多 20 次调用，所有观测保持可见（ReAct 循环，公式 1）。第三步，制备训练数据：从与基准相同的问题生成流水线（不含人工审核）在互斥论文池上取 1,164 个 Visual 种子问题（金证据锚定于表格/图/公式），每个问题让 GPT-5.4 rollout 6 次，丢弃答案错误的轨迹、每题最多保留 3 条最短轨迹，得到 2,500 条教师轨迹（平均每题 5.1 次搜索）。第四步，信用与权重计算（离线完成，每步两次前向）：对每个推理步/搜索步计算 $\ell(H)$ 并按公式 (3) 得到 $c_{\tau_i}$ 与 $c_{a_i}$；按公式 (4) 映射为权重——信用 $\le 0$ 置 0，正信用在同类存活步骤中按第 $k$ 小记 $\mathrm{rank}=k/n$、乘 2 保持均值近 1；再做跨通道校正：推理步若其对应搜索已被屏蔽、或其似然增益低于全体推理步中位数，则屏蔽之，被负信用误伤但似然增益达标的推理步则以中位正权重 $\bar{w}$ 复活。第五步，训练：LoRA（rank 32、$\alpha=64$、dropout 0.05，作用于语言模型所有线性投影，视觉编码器冻结），学习率 $10^{-4}$、有效批次 16、单 epoch，最终答案 token 取常数权重 $\lambda=1.5$，总损失按公式 (5) 逐 token 加权，观测 token 不计损失，4 张 H200 即可跑完。
技术新颖性
四个层面的差异化。对比 OCR 流水线（MinerU 解析 + Qwen3-Embedding-8B 文本稠密检索）：不是工程替代而是质量超越，消除了线性化这一有损环节，并证明消除损耗直接转化为准确率与效率的双重收益。对比文本+图像双工具方案：不再把两种模态拆进两个检索空间，页面天然把图号、坐标轴、表格与 surrounding 正文绑定在同一载体上——这是表格/图示类问题增益的主要来源之一。对比浅层视觉 RAG（VisRAG、ViDoRAG、VRAG-RL、PixelRAG、ViSOR）：那些设定单次或极少次检索即可召回金页，本文首次进入 10-20 步持续搜索、跨轮证据累积的 DR 场景，并发现新失败模式——开源模型在「金页来自早先检索」时阅读能力骤降（与 GPT-5.4 差距从 5.1 分扩大到 12.3 分）。对比训练方法：结果 RL（Search-R1、DeepResearcher 等）信号稀疏、训练昂贵；过程奖励模型（Lightman 等）需要额外训练打分器；教师特权信息蒸馏（CRAFT 等）需要特权上下文。本方法保持 vanilla SFT 的训练流程不变，把信用分配全部挪进数据预处理（每步两次离线前向即可），训练时零额外成本；消融进一步显示其收益主要来自「屏蔽无价值搜索、教会模型适时停手」（每题搜索 14.0 → 8.9 次，预算耗尽率 35.8% → 9.8%），而非权重数值本身的精细校准。
实验结果
论文的证据链分五组。(1) 未训练对比（Table 2）：在 DRPixelBench 上，DR Pixel 使 GPT-5.4、Gemini-3.5-Flash、Qwen3.6-27B 分别达到 51.9/46.4/40.1 分，全面超过 OCR 文本+图示流水线的 46.3/41.3/34.9（+5.6/+5.1/+5.2 分），工具调用减少 20-30%（GPT-5.4 为 9.2 次）；图示搜索工具因极少被调用而收益甚微。按证据类型分解（Figure 2），增益集中在表格与图示类问题，文本与公式类持平。(2) 差距分解（Table 3）：Qwen3.6-27B 落后 GPT-5.4 11.8 分，检索贡献 9.4 分（金页命中 36.3% vs 45.7%）、阅读贡献 7.3 分；金页来自最后一次搜索时仅差 5.1 分，来自更早搜索时扩大到 12.3 分——这直接 motivation 了训练。(3) 训练收益（Table 4）：准确率 40.1 → 52.1（+12.0 分，相对提升 30%），略超 GPT-5.4 的 51.9；金页命中 52.0 反超 6.3 分；vanilla SFT 仅 49.0 且每题需 14.0 次搜索（比 Trained 的 8.9 次多 57%），20 次预算耗尽率 35.8% vs 9.8%，甚至低于 GPT-5.4 的 17.8%。(4) 迁移能力（Table 5/6）：在共享语料的 IRPapers/M3SciQA/AirQA 上准确率分别提升 14.0/14.4/9.6 分，IRPapers 的 79.4 反超 GPT-5.4 的 77.8；分布外 ViDoRe-V3（金融/HR 等非科学文档）上页面检索 66.7→70.8、文本检索 65.7→69.8，距官方 oracle（72.6）仅 1.8 分。(5) 消融与机制：语料从 2 万篇扩到 9.9 万篇，Trained 的检索仅降 8.0 分（GPT-5.4 降 12.5 分），优势从 1.8 分扩大到 6.3 分；页面分辨率减半（1.05 百万像素）节省 30-48% token、准确率只降 1.0-3.8 分，仍比 OCR 高 2.7-7.4 分；Visual 轨迹训练优于 Text 轨迹（50.2 vs 46.0）；机制分析（Figure 7/8）显示信用屏蔽了 62.6% 的推理步、24.5% 的搜索步，其中「首个命中证据的搜索」几乎不被屏蔽（2.5%）且存活权重最大（1.25），其后的搜索被系统性剪枝——等价于教会模型「拿到证据就收尾」，每步停止概率 10.2% 对 vanilla SFT 的 4.4%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| DRPixelBench 端到端问答（训练后主结果） | 准确率 Accuracy (%) | 52.1（DR PixelTrained，Qwen3.6-27B） | 未训练骨干 40.1；vanilla SFT 49.0；GPT-5.4 51.9 | 较未训练 +12.0 分（相对 +30%），较 vanilla SFT +3.1 分，略超 GPT-5.4 +0.2 分 |
| DRPixelBench 端到端问答（未训练，页面原生 vs OCR） | 准确率 Accuracy (%) | 51.9（GPT-5.4 + DR Pixel） | 43.5（纯文本 OCR）/ 46.3（文本+图示） | +8.4 / +5.6 分，且工具调用从 12.4 降到 9.2 次（-26%） |
| DRPixelBench 金页检索 | Page Hit (%) | 52.0（DR PixelTrained） | GPT-5.4 45.7；未训练 36.3；vanilla SFT 53.6（但搜索多 57%） | 较 GPT-5.4 +6.3 分；与 vanilla SFT 持平的情况下搜索次数从 14.0 降到 8.9 |
| IRPapers（外部多模态科学 QA） | 准确率 Accuracy (%) | 79.4（DR PixelTrained） | 未训练 65.4；GPT-5.4 77.8；Gemini-3.5-Flash 67.6 | 较未训练 +14.0 分，反超 GPT-5.4 +1.6 分 |
| M3SciQA（外部多模态科学 QA） | 准确率 Accuracy (%) | 64.2（DR PixelTrained） | 未训练 49.8；GPT-5.4 67.5 | 较未训练 +14.4 分，仍落后 GPT-5.4 3.3 分 |
| AirQA（外部多模态科学 QA） | 准确率 Accuracy (%) | 52.3（DR PixelTrained） | 未训练 42.7；GPT-5.4 56.6 | 较未训练 +9.6 分，且每题搜索从 7.9 降到 7.0 次 |
| ViDoRe-V3（分布外，金融/HR 等非科学文档） | 端到端准确率 Global (%) | 70.8（页面检索，Qwen3-VL-Embedding-8B） | 未训练 66.7；官方 Oracle（Gemini 3 Pro 直接给金页）72.6 | 较未训练 +4.1 分，距 oracle 仅 1.8 分；文本检索设定同样 +4.1 分（65.7→69.8） |
| 搜索效率（DRPixelBench） | 每题搜索次数 / 预算耗尽率 | 8.9 次 / 9.8%（DR PixelTrained） | vanilla SFT 14.0 次 / 35.8%；GPT-5.4 9.2 次 / 17.8% | 较 vanilla SFT 搜索 -36%、耗尽率 -26 分；耗尽率低于 GPT-5.4 与未训练骨干（19.2%） |
| 语料规模鲁棒性（2万→9.9万篇） | Page Hit 下降幅度 | 仅下降 8.0 分（DR PixelTrained） | GPT-5.4 下降 12.5 分 | 对 GPT-5.4 的检索优势从 2 万篇时的 1.8 分扩大到 9.9 万篇时的 6.3 分 |
局限与改进
作者承认的局限：训练数据只用了 Visual 类问题的轨迹（2,500 条），Text 类轨迹训练被证明次优（46.0 vs 50.2）但并未做更细的配比研究；阅读端仍落后——Acc|Pg 67.7 对 GPT-5.4 的 71.2，差距集中在「金页来自早先检索、需在长上下文中存活多轮」的场景（66.9 vs 69.7），说明跨轮证据利用未完全解决；ViDoRe-V3 上仅 1.7% 的问题真正需要视觉内容，页面检索与文本检索成绩接近（70.8 vs 69.8），对「视觉优势」的泛化证明力有限；信用计算依赖冻结基础模型与 GPT-5.4 教师。我补充观察：其一，成本结构被轻描淡写——页面图像 token 远贵于文本块，即使降分辨率单次搜索开销仍显著更高，且 ReAct 每轮重读全部历史，累计输入 token 远大于论文统计口径（论文只算最终上下文，并注明累计会大得多）；其二，索引端要对 106 万页图像做 VLM 嵌入，建库成本与增量更新成本高于文本索引；其三，基准每题只锚定单一金页，跨页多跳、跨论文综合类问题未覆盖，而真实 DR 恰恰需要这类能力；其四，信用以基础模型似然变化为代理，天然偏向基础模型已「认识」的证据方向，存在系统性偏置的可能；最后，教师轨迹全部来自 GPT-5.4，方法对专有教师有隐性依赖，向法律/金融等新领域迁移需重新采集教师数据。
独立分析的弱点
第一，整页粒度检索太粗。一整页文字加大图表渲染后，VLM 需要的小目标证据（某个坐标轴刻度、表格某个单元格）可能超出有效分辨率；且整页文本会稀释注意力。改进方向：在页面命中后增加区域级二次工具（zoom-in/裁剪后重检索或重读），形成「页面粗检索→区域精读」的两段式视觉搜索，这也是人类查阅论文的自然动作。第二，信用估计噪声与偏差。$\ell(H)$ 靠单次前向计算，对措辞与采样敏感；反事实只测「删掉这一步」的损失，从不比较「换成更好的动作」的机会成本。改进方向：每步信用用多次采样/多种措辞平均，或借鉴 CRAFT 的兄弟 rollout 对照估计机会成本，甚至用训练后的模型做 on-policy 信用迭代。第三，全局秩归一化把题目难度泄露进步级权重（论文自己测得轨迹平均存活权重从 10 分位的 0.65 到 90 分位的 1.70），作者称该偏置「真实但无害」，但这只在当前题分布上验证过。改进方向：在更难/分布外题目上做敏感性分析，或改用轨迹内归一化并显式校正尺度。第四，工程门槛高：96% 多模态前缀缓存命中率依赖 SGLang radix cache 等基础设施，推理需 4 张 H200 张量并行。改进方向：把能力蒸馏进更小的模型，或用「低分辨率缩略图优先、候选页按需高分辨率加载」的动态分辨率调度降低部署成本。第五，基准的单金页假设限制了现实性，应扩展多页多跳与跨论文比较题，否则无法检验 DR 最难的证据整合能力。
未来方向
作者提出或暗示的方向：把页面原生 DR 推广到版面丰富的私有语料（金融、法律），这些领域 OCR 维护成本高且脆弱，而页面原生只需要一个渲染器；把反事实信用重加权定位为通用 DR 训练配方，天然可与 RL 结合（作为奖励塑形或数据筛选）；修复跨轮证据阅读的短板。我认为可延伸的方向：一是检索器与智能体联合训练——目前嵌入模型冻结，而训练后的智能体查询风格与检索器嵌入空间更匹配恰是收益来源之一（金页命中 +15.7 分），可探索检索器同步微调或对比式查询-页面对齐；二是把消融式反事实信用作为廉价伪标签去训练过程奖励模型（PRM），打通「SFT 重加权」与「RL 过程奖励」两条技术路线；三是动态分辨率调度——先用缩略图粗筛、候选页局部加载高分辨率，把 Figure 5 显示的「降分辨率只掉 1-3.8 分」进一步变成按需分配；四是把基准扩展到多页多跳、跨论文综合与非英语文档，并引入需要「图表数值提取+计算」的问题，检验更深的视觉推理；五是研究教师多样性与轨迹集合（对同一问题保留多条不同路径的轨迹）对信用质量的影响。此外，1.06M 页规模的向量索引工程（增量更新、多租户）本身也值得系统化研究。
复现评估
开源状况良好：代码在 GitHub（StarTrail-org/DRPixel），基准数据在 HuggingFace（HughieHu/DRPixel-Bench，500 个 QA 及语料构成），主干模型 Qwen3.6-27B 与嵌入模型 Qwen3-VL-Embedding-8B 均为开源权重，语料来自 arXiv 与公开会议论文集（99,055 篇），渲染 150 dpi。硬件门槛：训练用 4 张 H200（LoRA rank 32、单 epoch、2,500 条轨迹，序列长上限 131,072），中等规模实验室可承担；推理服务同样 4 张 H200（SGLang 张量并行、262K 上下文、多模态前缀缓存命中率 96%）；建语料索引需对 106 万页图像做 VLM 嵌入（对照组 OCR 用 A100），一次性成本可观。隐性成本：教师轨迹来自 GPT-5.4（每题 6 次 rollout），评测裁判为 GPT-5.4-mini 三次多数投票，都需要 API 预算；若要重建基准，人工审核每题约 10 分钟（1,036 题审出 500 题）。综合评估：复现难度中高——流水线细节（提示词、超参、信用计算、部署配置）在论文与附录中给出得相当完整，代码数据齐备，主要门槛是 H200 级 GPU 与专有模型 API；普通团队可先复现未训练版本（单节点可行，表 2 的对比实验就能跑），再视资源决定是否训练。
论文图表
