← 返回 2026-09-30

FocusVTC:自适应分辨率的高效高性能视觉文本压缩 FocusVTC: Efficient and High-Performance Visual Text Compression with Adaptive Resolution

FangZhi Zhong, Xuerui Qiu, Yuqi Pan, Ya Liu, Shaowei Gu, Bo Xu, Guoqi Li 📅 2026-09-29 👍 19 2026-11-11 18:30
多模态大模型 强化学习 自适应分辨率 视觉文本压缩 证据定位 长上下文

低DPI全局概览加按需高分辨率区域增强,打破视觉文本压缩的压缩率-性能权衡

前置知识

视觉文本压缩(VTC)

把长文本先排版渲染成若干页图片,再用视觉语言模型的编码器把每页压缩成几十到几百个视觉 token,从而用远少于原始文本的 token 数表示整个上下文。例如本文中一页 72 DPI 的 A4 页面只需 494 个视觉 token。模型直接对视觉 token 做注意力,而不是逐字阅读原始文字,代表工作有 VisInContext、Glyph、DeepSeek-OCR 等。

本文研究的正是 VTC 的核心瓶颈:固定分辨率渲染导致压缩率与可读性不可兼得,FocusVTC 的全部设计都围绕如何打破这一权衡展开。

DPI 与视觉 token 成本

DPI(每英寸点数)决定渲染页面的像素密度:DPI 越高文字越清晰,但页面像素更多,经 ViT 的 16×16 patch 加 2×2 合并后产生的视觉 token 也越多。本文 72 DPI 时一页 A4(608×832 像素)占 494 个视觉 token;144 DPI 像素约为 4 倍,token 成本随之大幅上升,构成压缩-可读性权衡的物理来源。

FocusVTC 的关键操作就是'低 DPI 全局视图 + 高 DPI 局部增强',理解 DPI、token 数与可读性三者的量化关系才能看懂其成本收益分析(如 144 DPI 起步要付 2.8 倍输入 token)。

GRPO(组相对策略优化)

DeepSeekMath 提出的在线强化学习算法:对同一初始状态采样一组(本文 $G=8$)完整交互轨迹,用组内奖励标准化得到优势 $\hat{A}_i$,再用 PPO 式裁剪目标 $\mathbb{E}[\min(\rho_{i,k}\hat{A}_i, \text{clip}(\rho_{i,k}, 1-\epsilon, 1+\epsilon)\hat{A}_i)]$ 更新策略。无需价值网络,适合以任务结果为奖励的多轮工具调用训练。

FocusVTC 第二阶段用 GRPO 学习'何时、何地放大,如何利用放大结果并适时停止',论文公式 (6)-(9) 的奖励与目标全部建立在 GRPO 框架之上。

IoU(交并比)与证据定位

IoU 衡量预测框与真实框的重叠程度:交集面积除以并集面积,取值 0 到 1。本文用它衡量模型请求放大的区域是否覆盖了标注证据框,并作为 GRPO 奖励 $Q_{loc}$ 的核心成分:用最大权一对一匹配把调用框 $c_i$ 与同页证据框 $e_j$ 配对后求平均 IoU,再乘以面积惩罚因子 $\min\{1, 2(1-s_i)\}$ 抑制整页式大框。

论文的数据构造(REL-CoT 的边界框标注)、奖励设计和训练行为分析(Figure 5 的 grounding IoU 曲线)都以 IoU 为量化指标,不理解它就无法读懂奖励函数。

大海捞针与长上下文评测基准

在超长干扰文本中埋入若干关键信息(针),考察模型能否检索并利用。RULER 用合成任务(单/多键 NIAH、多值检索、QA)测检索上限;MRCR 在 4K–256K 上下文中埋 2/4/8 根针要求逐一复述;LongBench 汇总真实长文任务;VTCBench 专为评估视觉压缩下的检索/推理/记忆设计。

本文的核心证据(RULER v1 87.38、MRCR 宏平均 +13.91、LongBench 56.40)都来自这些基准,需理解其评分方式和长度分档才能正确解读压缩-性能权衡。

研究动机

大语言模型处理长文档、多文档问答和长对话历史时,注意力计算、推理时延和 KV 缓存随上下文长度急剧膨胀,而且更长的窗口并不保证可靠的检索与推理。视觉文本压缩(VTC)是一条新路线:把文本渲染成页面图片,用紧凑的视觉 token 序列代替文字输入。但现有方法(VisInContext、VIST、Glyph、DeepSeek-OCR 等)都用固定分辨率渲染,导致压缩-性能权衡:以 Qwen3.5-9B 为例,72 DPI 下一页 A4 需要 494 个视觉 token,若降低 DPI 省 token,字符会小到无法辨认——本文的字体实验显示随机文本在小字号下字符错误率(CER)可飙到 17% 以上;若提高 DPI 保证可读性,整页包括大量与问题无关的段落都要支付高 token 成本——实测从 72 DPI 升到 144 DPI,输入 token 约增至 2.8 倍而收益甚微。本质上,局部清晰度被绑死在全局 token 预算上,无法只对答案相关的一小段文字花高分辨率的钱。

本文的目标是本文目标是构建一个自适应分辨率的视觉文本压缩系统:保留低 DPI(72)的全局页面视图以维持对整份文档的搜索覆盖,同时在推理过程中按需对少数与问题相关的区域请求 144 DPI 高清放大,使局部精确阅读不再受全局 token 预算约束。具体而言,系统要同时学会三件事:在压缩视图中定位证据区域(输出页码和 $[0,1000]$ 归一化边界框)、通过 Enhance_Region 工具调用把高清观察整合进正在进行的推理链、以及判断何时停止调用并给出最终答案。此外作者明确要求:(1) 训练不依赖持续预训练(对照 Glyph 的路线);(2) 不能损害基座模型 Qwen3.5-9B 的通用多模态能力;(3) 在约 3 倍压缩率(含工具观测 token)下达到甚至超过文本输入骨干的长上下文性能,并带来真实的在线时延收益。

与已有工作不同的是,已有工作的切入角度各有不同:Glyph 通过密集渲染加持续预训练与后训练提升可读性,但仍受固定分辨率制约;DeepSeek-OCR 只研究能否从压缩视觉表示重建文本;Tang 等(2026)用运输成本在文本/视觉输入间路由并对选定区域重编码;AGAR 在第二次推理前用注意力放大文本段但无需训练;SEER 学习选择渲染页并取回源文本;DeepEyes 用 RL 学视觉检查但面向自然图像。这些方法要么把整页统一分辨率处理,要么只做一次性检索-放大,没有把'推理过程中迭代的、经奖励塑形的区域增强'与'保持压缩全局上下文'结合起来。本文的独特之处有三:其一,构造了把推理链与页码+边界框绑定的 29.4K 条 REL-CoT 数据,并做七档分辨率(48–144 DPI)的定位监督;其二,用 GRPO 中依赖初始分辨率的奖励项 $g(d_0)$ 显式教模型'初始越模糊越该放大';其三,全程保留低 DPI 全局视图参与推理,避免纯检索式方法丢失全局语境。

核心方法

直觉上,回答一个问题通常只需要文档中一小部分文字的精确内容,其余部分只需知道'大致有什么、在哪里'。FocusVTC 据此把阅读拆成两层:全局层用 72 DPI 渲染整份文档(每页 494 个视觉 token)供模型浏览定位;局部层保存同一文档的 144 DPI 对齐渲染,模型在推理中通过工具调用 $\texttt{Enhance\_Region}(p_t, b_t)$ 请求第 $p_t$ 页上框 $b_t$ 的高清裁剪,观察 $o_t$ 追加进历史后继续推理。形式化地,状态为 $s_t = \langle q, I^{(d_0)}, r_{<t}, a_{<t}, o_{<t} \rangle$,策略 $(r_t, a_t) \sim \pi_\theta(\cdot \mid s_t)$,动作 $a_t$ 要么是 $\texttt{Answer}(\hat{y})$ 要么是增强调用,坐标始终以原始页面为参照保证低/高 DPI 视图对齐。训练分两阶段:先用 29.4K 条把推理步骤与页码+边界框绑定的 REL-CoT 数据做七档 DPI(48–144)监督微调(REL-SFT)教会定位,再用 GRPO 在任务级奖励下学习增强时机、坐标质量与停止策略。基座为 Qwen3.5-9B,全程无需持续预训练。

核心创新是把'局部清晰度'从'全局 token 预算'中解耦,并用强化学习教模型按推理需要分配视觉细节。与固定分辨率 VTC 的本质区别有三点。第一,视觉输入不再是静态的:低 DPI 页面只是'地图',高清内容经工具按需流入,72 DPI 下工具观测仅占输入的 25.1%,把额外 token 花在刀刃上。第二,监督信号是'推理-证据绑定'的:REL-CoT 中每步推理都内嵌页码和归一化框(如 Page 2 $[20, 270, 980, 320]$),并经 GPT-5 mini 独立验证证据确实支撑答案,解决普通 CoT 蒸馏学不到'该看哪里'的问题。第三,GRPO 奖励 $R(\tau) = 0.8R_{acc}(\tau) + 0.2R_{fmt}(\tau) + \mathbb{I}[R_{acc}=1]\, R_{tool}(\tau)$ 中的工具奖励只在答案完全正确时激活,且 $R_{tool} = g(d_0) \cdot Q_{loc} \cdot E_{call}$,三个因子分别编码'初始越模糊越该放大'($g(d_0) = \text{clip}\!\left(\frac{144-d_0}{144-72}, 0, 1\right)$,72 DPI 全奖励、144 DPI 零奖励)、'框要准且不能大到接近整页'(匹配 IoU 乘面积惩罚)、'调用要节制'($E_{call} = \min(1, E/N)$,重复请求同一证据因一对一匹配只计一次)。把阅读策略显式写进奖励塑形是已有 VTC 工作没有的。

方法步骤详情

第一步,渲染标定:在 15 种字体 × 8 种字号上用随机文本测转录 CER 与视觉 token 成本,选定 DejaVu Sans 9pt(内插 CER 5% 阈值为 8.69pt;每 32K 文本上下文仅需 8,368.4 视觉 token,低于 Verdana 的 8,417.8;在 cl/rn/i 等易混序列上 CER 比 Verdana 低 0.30 个百分点,95% CI $[-0.52, -0.09]$),行距字号 +1pt。第二步,REL-CoT 构建:DeepSeek V4 Flash 先滤掉可凭常识作答的问题防捷径,文档渲染成页后 Gemini 3.5 Flash 作为教师生成内嵌页码+归一化框的推理链,GPT-5 mini 独立验证裁剪区域是否支撑参考答案并剔除不合格样本,得到 29,411 条数据(ChatQA 30.0%、ChatQA2-Long 24.5%、TriviaQA 19.6%、多跳与 FinQA 25.9%)。第三步,REL-SFT:每条数据在 48/60/72/84/96/120/144 七档 DPI 渲染,展开为约 205,877 个候选样本,最小化 $\mathcal{L} = -\mathbb{E}\sum_{k=1}^{|u|} \log p_\theta(u_k \mid I, q, u_{<k})$,把推理、定位标记与答案串成一个目标序列;视觉编码器冻结,32K token 序列打包(占用率 99.85%,MFU 约 51%),8 卡训练 26.7 小时。第四步,GRPO:从 REL-CoT 的 72/96/144 DPI 视图按 7:2:1 选出 10,000 个 prompt(构造期对每个采 8 条轨迹,丢弃反复调用却答不出或从不调用的样本),每状态采 $G=8$ 条轨迹、全局批 64、150 步更新,按式 (6) 的裁剪目标优化(工具观测不进损失),奖励按式 (7)-(9) 计算,8 卡训练 139.2 小时。推理时最多 9 轮交互、8 次调用。

技术新颖性

技术新颖性体现在四个层面。数据层面:REL-CoT 首次把'推理痕迹-页码-边界框'三者绑定并做七档分辨率扩充,且采用三模型交叉流水线(DeepSeek 过滤、Gemini 生成、GPT-5 mini 验证)保证标注的上下文依赖性与空间准确性;与 DocVAL 等单任务 grounding 蒸馏不同,它服务于多分辨率阅读策略学习。目标层面:把增强决策建模为多轮交互中的工具调用动作而非一次性检索,奖励同时塑形定位质量(最大权匹配 IoU)、区域紧致度(面积比例 $s_i$ 惩罚,整页请求 $s_i{=}1$ 时该调用计零分)与调用效率,并通过 $g(d_0)$ 感知初始分辨率,直接对齐'压缩越多越需要增强'的直觉。系统层面:无需持续预训练即让 9B 模型适配视觉阅读,通用多模态基准不降反升(MMMU 65.12→66.73),对比使通用能力大幅回退的路线(Glyph 的 MMMU 仅 57.67),说明 REL-SFT+GRPO 是更温和的能力保持方案。实证层面:渲染保真度的严谨消融(15 字体×8 字号、3,600 张图、配对 bootstrap 置信区间)揭示了被普遍忽略的问题——仅换字体 DejaVu Sans vs Verdana 就能让 LongBench 差 1.47 分、RULER 单键/多键任务差最多 9 分。

Overview of FocusVTC data construction and two-stage training.
Figure 2: Overview of FocusVTC data construction and two-stage training.
Font and point-size selection at 72 DPI.
Figure 3: Font and point-size selection at 72 DPI.
Training behavior and checkpoint scores.
Figure 5: Training behavior and checkpoint scores.
REL-CoT source families (left) and the Multi-hop breakdown (right), before resolution expansion.
Figure 7: REL-CoT source families (left) and the Multi-hop breakdown (right), before resolution expansion.
SFT sequence packing.
Figure 8: SFT sequence packing.
A factual evidence chain in REL-CoT.
Figure 9: A factual evidence chain in REL-CoT.

实验结果

长上下文性能:72 DPI 下 FocusVTC 在 RULER v1 十项任务平均 87.38 分,同设置下 Glyph 仅 57.53、视觉骨干 37.40;此时含工具观测的总输入仅 2,877 token(prompt 2,154 + 观测 723),相对 8,400 token 文本参考压缩 2.9 倍,而 Glyph 在相近的 3.0 倍压缩下只得 57.5 分——同压缩档高出约 30 分。LongBench 上得 56.40,略超文本输入骨干的 55.86,比同一骨干固定 72 DPI 视觉输入的 35.86 高 20.54 分,增益集中在少量段落决定答案的 QA 与合成检索(如中文精确检索 PR-Zh 从骨干视觉的 28.68 升至 57.78)。MRCR 上 2/4/8 针六长度档平均 60.76/45.21/30.71,全面超过文本骨干(46.52/29.87/18.56)和 Glyph(42.63/25.97/16.57),宏平均从 31.65 提至 45.56(+13.91);最长档把 197,909 token 文本压至 53,181 prompt 加最多 13,048 观测 token,压缩 3.0–3.3 倍。VTCBench 宏平均 51.19,检索 91.00 与记忆 26.33 均为最佳,推理 36.25 虽整体低于视觉骨干的 41.57 但在最长档反超(21.33 vs 13.64)。效率上,64K–128K 四针 MRCR 实测在线时延 67.06s 对文本的 187.09s(2.79 倍加速),生成 token 从 5,411.30 降至 1,529.77。通用能力六项基准全部不降:MMMU 65.12→66.73、MME 2424.02→2457.62、OCRBench 851→860、DocVQA 92.38→92.43、ChartQA 85.96→86.28、InfoVQA 74.76→76.20。消融显示各组件缺一不可:去掉工具 RULER v1 掉到 36.60;只给工具不训练(Qwen3.5-9B+tools)仅 22.50;SFT 后不练 GRPO 但开工具反而从 32.28 掉到 22.98;跳过 SFT 直接 GRPO 为 73.21,八项聚合指标劣于完整版。GRPO 训练呈四阶段轨迹:先探索、再多调用、再精简调用、最后响应更短而定位 IoU 更高。

LongBench task scores (%), grouped by task family.
Table 1: LongBench task scores (%), grouped by task family.
VTCBench performance (%) across Retrieval, Reasoning, and Memory.
Table 2: VTCBench performance (%) across Retrieval, Reasoning, and Memory.
Training stages and tool access at 72 DPI (scores in %).
Table 3: Training stages and tool access at 72 DPI (scores in %).
All font candidates at 72 DPI, sorted by visual-token cost.
Table 5: All font candidates at 72 DPI, sorted by visual-token cost.
FocusVTC font comparison on RULER v1 at 72 DPI (scores in %).
Table 6: FocusVTC font comparison on RULER v1 at 72 DPI (scores in %).
End-to-end latency on 300 paired MRCR four-needle examples with 64K–128K contexts.
Table 11: End-to-end latency on 300 paired MRCR four-needle examples with 64K–128K contexts.
General multimodal scores from Figure 1(d) (top) and MMLongBench results (bottom).
Table 17: General multimodal scores from Figure 1(d) (top) and MMLongBench results (bottom).
MRCR results: (a) two needles; (b) four needles; (c) eight needles; (d) prompt-plus-observation compression.
Figure 4: MRCR results: (a) two needles; (b) four needles; (c) eight needles; (d) prompt-plus-observation compression.
RULER results across DPI: (a) v1 scores; (b) v2 scores; (c) v1 input token costs; (d) v2 token costs.
Figure 6: RULER results across DPI: (a) v1 scores; (b) v2 scores; (c) v1 input token costs; (d) v2 token costs.
查看结构化数据
任务指标本文基线提升
RULER v1(72 DPI,10 项检索/QA 任务均值) 平均分 % 与输入压缩率 87.38 @ 2.9× 压缩(prompt 2,154 + 观测 723 = 2,877 tokens) Glyph 57.53 @ 3.0×;Qwen3.5-9B 视觉 37.40 vs Glyph +29.85 pp(同压缩档);vs 视觉骨干 +49.98 pp
RULER v2(72 DPI,12 项任务×难度组合) 平均分 % 75.94 Glyph 47.91;Qwen3.5-9B 视觉 44.64 vs Glyph +28.03 pp;vs 视觉骨干 +31.30 pp
LongBench(11 项非代码长文任务) 平均分 % 56.40(视觉压缩输入) 文本骨干 Qwen3.5-9B 55.86;Glyph 52.34 超文本骨干 +0.54;vs 视觉骨干 +20.54;vs Glyph +4.06
MRCR(4K–256K 上下文,2/4/8 针) 六长度档宏平均 % 45.56(2/4/8 针:60.76/45.21/30.71),最长档压缩 3.0–3.3× 文本骨干 31.65;Glyph 宏平均约 28.39 +13.91 pp(vs 文本骨干)
VTCBench(检索/推理/记忆三能力) 宏平均 % 51.19(检索 91.00 / 推理 36.25 / 记忆 26.33) Qwen3.5-9B 视觉宏平均约 47.92;Glyph 约 39.32 +3.27 pp(vs 视觉骨干);检索单项 +9.74 pp、记忆 +5.39 pp
端到端时延(MRCR 64K–128K 四针,300 例,2×A100 TP=2) 在线时延(秒)与加速比 67.06 s(平均生成 1,529.77 tokens) 文本输入 Qwen3.5-9B 187.09 s(生成 5,411.30 tokens) 2.79× 加速(时延降低 64.2%)
通用多模态能力保持(MMMU / MME) 基准分数 66.73 / 2457.62 Qwen3.5-9B 65.12 / 2424.02;Glyph 57.67 / 2253.13 +1.61 / +33.60(vs 自身骨干),训练后不降反升

局限与改进

作者承认的局限(附录 D):仅在 9B 参数基座和 29.4K 样本规模上验证,模型容量与定位监督的扩展规律未知;训练语料只覆盖多样语言、文档版式和推理需求的一部分。我观察到的其他局限:(1) 压缩率绝对值有限——约 2.9–3.3 倍,并非数量级压缩,且低初始 DPI(48/60)下观测 token 膨胀至 1,768/1,392,侵蚀收益;(2) 增强源固定为 144 DPI 对齐页面,要求保留原文档并离线渲染,对动态生成内容(如聊天历史)不友好,时延测试也明确排除了页面渲染时间;(3) VTCBench 推理宏平均 36.25 仍低于视觉骨干的 41.57,证据分散的任务(摘要、多区域 few-shot)获益小;(4) MRCR 分数随针数单调下降,8 针最长档仅 15.69,多证据并行聚合仍是短板;(5) 调用预算(9 轮/8 次)、$g(d_0)$ 的线性衰减形式等均为人工设定,缺乏原则性推导;(6) 训练与评测均以英文 QA 数据为主,跨语言、复杂版式(嵌套表格、多栏)未验证。

独立分析的弱点

弱点一:'问题相关区域'的定义依赖标注证据框,而真实任务中很多证据是分布式的(全文摘要、情感判断、风格分析),REL 式定位假设失效——LongBench 摘要类任务几乎无提升可佐证;改进方向是引入软性区域价值估计或允许模型输出多个候选区域并学习聚合。弱点二:工具观测 token 直接进入上下文且不参与策略梯度损失,多轮交互会线性膨胀 KV 缓存,极端时 8 次调用可新增上万 token,抵消压缩优势;改进方向是对历史观测做摘要化视觉下采样,或训练模型主动丢弃已用完的观测。弱点三:72 DPI 是离线网格搜索的全局最优,对所有文档固定;密集表格与稀疏散文的最优初始分辨率理应不同,可让策略按文档/页输出连续 $d_0$ 或混合分辨率渲染。弱点四:奖励中的定位项依赖一对一匹配,而证据框本身由 Gemini 生成、GPT-5 mini 抽验,标注噪声会传导给定位学习;可引入多教师一致性加权或人工抽检校准。弱点五:最多 9 轮的串行交互带来时延,2.79 倍加速依赖生成 token 大幅减少这一事实,在需要更长思考的任务上优势可能缩小;可并行化多个候选区域的增强请求或训练一次调用多框。弱点六:安全与鲁棒性未讨论——低 DPI 下不可见的小字号对抗文本在增强后会被读入,构成选择性提示注入通道,值得专门研究防御。

未来方向

作者提出的方向(附录 D):扩展到更大基座与更多 REL-CoT 数据以验证规模效应;覆盖更多语言、文档版式和推理轨迹类型;在更大上下文尺度上研究自适应增强,联合评估答案质量与完整交互成本。基于本文成果可自然延伸的方向:(1) 把 Enhance_Region 从固定 144 DPI 扩展为连续/多档缩放,让模型连 zoom 级别一起输出,进一步逼近真正的'按需分辨率';(2) 与检索增强结合——低 DPI 全局视图天然可作为文档级检索的视觉索引,混合'视觉检索+文本回读'两条通路;(3) 把 REL-CoT 思路迁移到原生多模态文档(图表、扫描件),定位目标从文本框扩展到图表元素;(4) 测试时自适应:依据即时回答置信度决定是否追加增强,取代固定调用预算,实现答案质量与交互成本的显式权衡;(5) 观测的 KV 缓存管理——对历史高清观测做下采样或丢弃,把交互成本纳入优化目标;(6) 理论层面把 $g(d_0)$ 推广为压缩率-证据可得性的信息论分析,为初始 DPI 选择提供原则性依据;(7) 研究低分辨率下不可见文本带来的提示注入风险与防御。

复现评估

复现评估:论文首页给出 Website/Code/Models/Data 链接,附录 A/B/C 把渲染参数(表 4:DejaVu Sans 9pt、A4、边距 10pt、行距 10pt、尺寸对齐 32 的倍数、72 DPI 页面 608×832=494 视觉 token)、两阶段超参(表 7/8:SFT 全局批 8、7,000 步、学习率 $10^{-6}$ 余弦调度、视觉编码器冻结、32K 序列打包;GRPO 全局批 64、150 步、每 prompt 8 条轨迹、最多 9 轮 8 次调用、温度 1.0)和评测协议(采样参数、工具预算、token 记账式 $C_{context} = T_{text}/(P+O)$)写得相当完整,并公开了 29.4K REL-CoT 的来源分布(图 7)。数据构造依赖 DeepSeek V4 Flash、Gemini 3.5 Flash、GPT-5 mini 三个商用 API,是一笔持续成本且教师输出无法完全复现。算力方面:SFT 8 卡 26.7 小时、GRPO 8 卡 139.2 小时(约 166 GPU 时,A100 级别),9B 规模在学术实验室可负担范围内;评测需为每份文档保存 144 DPI 对齐副本并支持多轮工具循环,有一定工程复杂度。总体属于'可复现但依赖外部 API 与 Qwen3.5-9B 权重'的中等偏易难度,最大不确定因素是教师模型版本更替带来的标注分布漂移。

相似论文推荐