PaperFit：面向科学文档的视觉闭环排版优化 PaperFit: Vision-in-the-Loop Typesetting Optimization for Scientific Documents
把“可编译”LaTeX 转成“可发表”PDF 的视觉闭环智能体
前置知识
LaTeX 排版与浮动体（Floats）
LaTeX 是学术写作的事实标准，通过 figure/table 等浮动环境让图片和表格自动寻找合适位置。LaTeX 使用 [htbp] 等定位参数让作者微调放置优先级，但编译器在 page break、图文混排时常出现 widow（段首单行）、orphan（段末单行）、float drift（图片跑到几十页外）等排版缺陷。理解 float placement algorithm 与 page builder 的非局部性是看懂本文动机的前提。
本文的 VTO 任务核心就是处理这些 LaTeX 自动排版产生的视觉缺陷，必须先理解 LaTeX 的浮动体算法和编译非局部性，才能理解为什么需要视觉闭环来验证每次修改。
视觉语言模型（VLM）
VLM 是同时具备图像理解与文本生成能力的多模态模型，如 GPT-4V、Qwen-VL、InternVL 等，可以读入页面渲染图并描述缺陷、生成 LaTeX 修改建议。本文使用 VLM 充当“视觉检查员”，与 LaTeX 编译器交替工作。VLM 的视觉判断能力是整个闭环的感知入口，决定了能否发现“最后一页大面积留白”之类纯代码层面看不出的问题。
PaperFit 的“in-the-loop”依赖 VLM 的视觉感知能力，没有 VLM 就没有视觉证据层，整个方法的 sense 阶段无法工作。
视觉闭环控制（Visual Closed-Loop Control）
经典控制论中，闭环控制指系统根据当前输出反馈调整下一次输入；视觉闭环则把视觉感知纳入反馈回路。机器人领域常见“先拍照 → 决策 → 执行 → 再拍照验证”的范式。本文把这个思路迁移到排版：渲染 PDF → VLM 检查 → 修改 .tex → 重新编译渲染 → 再检查。任何一步缺视觉验证都会陷入开环，编辑效果不可预测。
本文把排版问题形式化为视觉闭环控制问题，是论文最核心的概念框架；不理解“闭环 vs 开环”就无法把握 PaperFit 与 Text-only LLM 方法的本质区别。
结构化缺陷记录（Structured Defect Record）
把诊断结果编码为可追踪的四元组 (category, location, severity, evidence)，而不是让模型自由生成自然语言描述。这样设计的好处是：每条修复都可回溯到具体证据，gatekeeper 可基于结构化字段做硬约束判定，rollback 也可按缺陷 ID 精确恢复。
这是 PaperFit 与 VisualMR “naive multi-round visual agent”最大的方法学差异，决定了为什么同样看到页面图像，PaperFit 能稳定收敛而 VisualMR 容易引入新缺陷。
研究动机
目前文档自动化的整个流水线（Pandoc 结构转换、Nougat 文档理解、Rxiv-Maker 文稿生成）都把“成功编译出 .tex 文件”作为终态目标，但编译成功绝不等于可发表。一个语法正确的 LaTeX 工程渲染出的 PDF 经常出现五种典型缺陷：图片/表格漂移到正文引用点之外几十页、方程溢出文本宽度、表格宽窄不一、首末页出现 widow/orphan（段落首末孤行）以及大段空白、整页留白、双栏不平衡等空间利用问题。在 NIPS/ICLR/CVPR 等会议硬性 7-14 页限制下，作者不得不在投稿前几小时反复经历 compile→inspect→edit 的手工循环，最坏情况下需要 20 轮以上迭代。这套循环完全依赖人类肉眼对二维版面的判断，目前没有任何工具能自动化。
本文的目标是本文提出一个新的任务 Visual Typesetting Optimization (VTO)，目标是把任意一个“可编译”的 LaTeX 工程项目，自动化地转化为“视觉精致、页数达标、内容无损”的可发表 PDF。作者把这个任务形式化为一个带硬约束（必须编译、必须渲染、必须内容守恒、页数精确匹配）和软目标（最小化视觉缺陷加权得分 + 最小化源代码编辑距离）的优化问题，并要求系统通过“视觉感知 → 约束修复 → 闭环验证”的多轮迭代求解。
与已有工作不同的是，已有方法存在三大根本缺陷：基于规则的工具（latexmk、lacheck、chktex）只能解析一维的代码与日志，看不到二维版面，无法判断“微小溢出是否视觉显著”或“图片放置是否影响阅读流”；纯文本 LLM（GPT-4、Claude 文本模式）只能做开环编辑，修改源码却不渲染验证，根本无法预测版面的二维后果；通用的视觉代码智能体（VisualMR）虽然能看图，但缺少结构化诊断、约束修复空间和验收门控，容易把 A 处的缺陷修到 B 处、甚至引入新缺陷。PaperFit 的独特切入角度是：不依赖某个神奇的模型能力，而是把“视觉感知 + 结构化缺陷 + 约束修复策略 + 清单门控验证”四件事工程化为可组合的流水线，把每次修改都接到带验收门控的视觉闭环上。
核心方法
PaperFit 把 VTO 形式化为一个三阶段 sense-act-verify 闭环系统，整体灵感来自机器人学中的“感知-决策-执行-验证”四元组加上排版领域的版式规则库。直觉上，作者把人类审稿时盯 PDF 找视觉缺陷的过程拆成三个可独立验证的子任务：先用多源证据（源码+日志+PDF 元信息+页面图像）交叉诊断，把视觉问题转写成结构化缺陷记录；再在受限的修复动作空间（明确禁止 \resizebox、\newpage 等“伪修复”）里选择改动；最后用硬约束清单门控验证每次改动是否真的改善了版面，只有通过验收门才继续下一轮。任何一轮不通过则回滚到上一轮状态。这种设计的关键洞察是：LaTeX 排版优化不是单次生成问题，而是必须每次修改后重新编译渲染再判断的闭环搜索问题，因为一个 figure 宽度变化会级联触发全文 page break 重排。
PaperFit 与已有方法的核心区别在于它把“视觉反馈”从一个松散的概念工程化为三层硬机制：(1) 显式五类缺陷分类法（VTO taxonomy）覆盖 13 种扰动，迫使诊断阶段必须落到具体类别、位置、严重度、证据四元组，而不是让 LLM 自由发挥；(2) 显式三档修复策略（layout-native 优先、spacing-manipulative 受限、pseudo-fix 禁用），通过 prompt 中显式注入禁止操作清单，把修复空间从“几乎无穷”压缩到“几十个语义合规的 LaTeX 命令”；(3) 显式六步闭环验证加 gatekeeper（compile→parse log→render→diagnose→repair→gate），每轮必须编译成功、渲染成功、视觉无 blocking defect、页数达标、内容守恒才放行。这三个“显式”加起来，把看似“开放式”的排版决策问题变成了有边界、可审计、可回滚的工程问题，这是与 VisualMR 等“开环视觉智能体”最本质的差异。
方法步骤详情
系统按状态 $S_t = (x_t, \ell_t, P_t, I_t, D_t, H_t, a_t)$ 迭代推进，其中 $x_t$ 是当前 LaTeX 源码，$\ell_t$ 是编译日志，$P_t$ 是 PDF，$I_t$ 是渲染页图像集，$D_t$ 是结构化缺陷集，$H_t$ 是硬约束信号，$a_t$ 是下一步动作。具体六步流程为：(1) 调用本地 TeX 工具链编译源码并收集 $\ell_t$，捕获 undefined control sequence、unresolved reference、overfull/underfull hbox 警告；(2) 解析日志中的确定性信号，定位错误文件与行号；(3) 把 PDF 渲染成所有页的高分辨率图像 $I_t$；(4) 融合四层证据（源码层识别 protected objects、日志层识别编译错误、PDF 层判断页数与 float landing、页面图像层判断二维视觉缺陷），输出形如 $d = (c, o, r, e)$ 的结构化缺陷记录，其中 $c \in \{A,B,C,D,E\}$ 对应空间利用/浮动体/表格/溢出/跨模板五类，$r \in \{blocking, degrading, cosmetic\}$ 是严重度；(5) 按修复偏好 profile $\pi$ 选择动作——优先级为 compile error > overflow D > float B > table C > space A > cross-template E，每类缺陷对应一组 layout-native 首选动作（如 D 类首选 \begin{aligned} 拆分长公式、C 类首选 tabularx 替换 \resizebox），spacing 操作必须带局部 justification；(6) gatekeeper 复核：若满足 compile、render、无 blocking defect、页数达标、内容守恒五项硬约束，输出 DONE；剩余小问题输出 CONTINUE；不安全或不可修复则输出 BLOCKED 触发回滚。整套循环在源码编辑距离 $\Delta(x, x')$ 与视觉改善之间做拉格朗日平衡，整体目标函数为 $x^* = \arg\min_{x'} \sum_{d \in D(x')} w_c(d)\, s(d) + \lambda_e \Delta(x, x')$，约束按内容守恒 > 编译/渲染 > 页数 > 视觉 > 编辑保守性严格排序。当所有 layout-native 选项用尽但仍残留页数缺口时，启用 bounded semantic polish 兜底——允许对冗长句做最小化改写以腾出版面，但严禁修改数字、引用和事实。
技术新颖性
技术新颖性体现在三方面：第一，形式化 VTO 任务为带硬约束的多目标优化，并提出显式五类缺陷分类法（13 种扰动、3 个难度等级）作为统一接口，这是在文献中首次系统化定义这个任务；第二，多源证据融合机制把 .tex/.log/.pdf/.png 四种异构信号归一化到同一个 (category, location, severity, evidence) 四元组上，使得 VLM 视觉判断与编译日志检测可以在同一约束系统下推理，避免了不同证据源之间的信号冲突；第三，受限修复策略与 checklist-gated 验证组合，把传统“自由生成式 LLM 编辑”变成“带审计轨迹的工程化闭环”，特别是 rollback-aware gatekeeper 显式处理 LaTeX 排版的非局部级联效应——单次编译通过不等于全局排版正确，必须重新渲染整本论文验证，这是与 VisualMR 等通用视觉智能体最关键的方法学差异。
实验结果
主结果表（Table 5）显示 PaperFit 在 PaperFit-Bench 200 个样本上取得 Compile = 1.000、Render = 1.000、VLM = 3.391、Win = 0.895、Page hit = 0.805、Program = 4.579，是唯一在所有六项指标上同时领先的方法。基线对比中：未修复的 Perturbed 输入 Compile 仅 0.58、Page hit 仅 0.375、VLM 仅 1.83；RuleLog（纯规则+日志）因无法看图，Compile 反而掉到 0.52，Page hit 提升到 0.444 但 VLM 只到 2.18；TextST 单轮文本修复因不能看图，Compile 0.585、VLM 1.85、Page hit 0.453；TextMR 多轮文本+日志反馈把 Page hit 提升到 0.623、VLM 2.16，但 VLM 受限于无法看二维版面；VisualST 单轮视觉修复能看图但不能迭代，VLM 仅 1.87、Page hit 仅 0.456；VisualMR 朴素多轮视觉智能体能看图能迭代但缺结构化诊断，Compile/Render 跃升到 0.975，但 VLM 仅 2.80、Page hit 仅 0.549，Win rate 0.650。PaperFit 与 VisualMR 的关键对比揭示：同样的页面图像输入，差距完全来自结构化诊断+约束修复+清单门控——PaperFit 把 VLM 提升 0.59 分（3.39 vs 2.80），把 Page hit 提升 25.6 个百分点（80.5% vs 54.9%），Win rate 提升 24.5 个百分点（89.5% vs 65.0%）。模型后端无关性实验（Table 7，20 个样本）在 GPT-5.4、Claude Opus 4.6、DeepSeek-V4 Pro、MiMo-v2.5-pro 四个模型上 VLM 得分都在 3.52–3.66 之间，最大极差 0.14，远小于 PaperFit 与 VisualMR 之间的 0.59 分差，证实主要增益来自系统设计而非特定模型。Table 8 的难度分层显示四个后端在 easy/medium/hard 三档上各有所长，没有一个后端在所有难度上同时占优，验证了“增益来自系统”而非“模型专属性”。Human-VLM 相关性（Figure 6）Spearman 系数 r = 0.8571，证实自动化评分与人类判断高度一致。四个定性案例研究（Figure 7-10）覆盖了图表回流、页数压缩、版式细节精修和跨模板迁移四种典型场景，PaperFit 均能精准满足页数预算（如 CVPR case 10 页、IJCAI case 8 页、IEEE case 16 页）而 VisualMR 普遍超出预算（如分别产生 13/10/20 页）。
![Main results. VLM is the visual evaluation score; Program is the 0–5 composite programmatic score. All other quantities are rates in [0, 1].](/papers/2605.10341/images/table_5.jpg)
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| LaTeX 文档排版修复（VTO） | Compile Success Rate | 1.0000 | VisualMR 0.9750 / TextMR 0.6100 / Perturbed 0.5800 | 比最强基线 VisualMR 提升 2.5 个百分点，比 TextMR 提升 39 个百分点 |
| LaTeX 文档排版修复（VTO） | Render Success Rate | 1.0000 | VisualMR 0.9750 / TextMR 0.6100 / Perturbed 0.8200 | 比 VisualMR 提升 2.5 个百分点，实现完美渲染 |
| LaTeX 文档排版修复（VTO） | VLM Visual Score (0-5) | 3.3907 | VisualMR 2.8006 / RuleLog 2.1838 / Perturbed 1.8275 | 比 VisualMR 提升 0.59 分（21%），比 Perturbed 提升 1.56 分（85%） |
| LaTeX 文档排版修复（VTO） | Win Rate vs Perturbed | 0.8950 | VisualMR 0.6500 / TextMR 0.4250 / RuleLog 0.3800 | 比 VisualMR 提升 24.5 个百分点，绝对领先 |
| LaTeX 文档排版修复（VTO） | Page hit (exact page-budget match) | 0.8050 | VisualMR 0.5487 / TextMR 0.6230 / RuleLog 0.4444 | 比 VisualMR 提升 25.6 个百分点，TextMR 看似 0.623 较高但伴随 Compile 跌至 0.61，PaperFit 是在 1.00 Compile 前提下达到 0.805 |
| LaTeX 文档排版修复（VTO） | Program Score (0-5) | 4.5790 | VisualMR 4.5789 / TextMR 2.7433 | 与 VisualMR 基本持平（差距 0.0001），但 VLM 显著领先 |
| 跨模型后端稳定性（20 样本子集） | VLM 范围 | 3.52 - 3.66（GPT-5.4/Claude Opus 4.6/DeepSeek-V4 Pro/MiMo-v2.5-pro） | VisualMR 2.80 | 四个后端 VLM 极差仅 0.14，远小于 PaperFit vs VisualMR 的 0.59 系统差 |
局限与改进
作者在附录 D 明示三点局限：(1) VLM 评估器对微观排版缺陷（如字距 kerning、亚像素对齐）仍可能漏检，依赖现有视觉模型的判断能力上限；(2) 在 hard 难度（5-8 个 co-occurring perturbations）样本上，Page hit 掉到约 70%，说明高度复杂的多缺陷场景仍是开放问题；(3) 系统仅在 LaTeX 英文论文上验证，未覆盖 Word/InDesign/中文/日文等文档形态；多轮重编译重渲染的算力成本显著高于单遍方法。我自己的观察还有两点：a) Table 7 的 20 样本子集规模较小，跨模型稳定性结论需要更大规模验证；b) error analysis（Figure 11-12）暴露了一个有趣的失败模式——Case D 显示编译成功且页数正确（ICLR 13/13），但渲染页是灰色无效的，说明 LaTeX 编译成功作为质量信号本身就不可靠，必须依赖视觉验证；Case A 和 Case B 则说明全局页数约束与局部修复之间存在结构性张力，单点修复的累积效果会破坏全局预算，需要未来引入显式页数感知的修复策略。
独立分析的弱点
通过对照实验和案例分析，PaperFit 有四个值得改进的弱点：(1) 全局页数控制弱——Case A 中目标 10 页却生成 16 页，Case B 目标 19 页生成 20 页，说明 agent 倾向做局部修改而忽视全局页数约束，建议引入“页数预算 token”让 gatekeeper 在每轮检查未来 1-2 轮的页数趋势预测，提前阻断会爆页的修复路径；(2) 跨模板迁移的鲁棒性待提升——Table 5 的 Page hit 0.805 是在 10 个模板平均后的结果，单模板波动可能更大，Figure 5 显示 GPT-5.4 在 IJCAI 模板上 VLM 仅 3.00，DeepSeek-V4 Pro 在 AAAI 上 VLM 仅 2.75，建议为每个模板维护独立的 layout-native 策略库；(3) 修复保守性可能过度——Program Score 与 VisualMR 几乎打平（4.579 vs 4.579），意味着 PaperFit 修了更多视觉问题但 edit distance 也更大，未来可加入 per-edit 的 cost-aware 训练，优先选编辑代价低的修复；(4) bounded semantic polish 兜底机制缺乏严格语义守恒保证，目前仅靠关键词检查（claims/results/numbers/citations 不可改），可引入更细粒度的 fact-verification 模块。
未来方向
作者明示的方向是把 PaperFit 扩展到非 LaTeX 文档（Word、Markdown、InDesign）并支持多语言。基于成果可延伸的方向有四条：(1) 把 VTO 任务与 LaTeX 生成端对接，构建“自然语言 → 论文初稿 → 自动 VTO 精修”端到端流水线，省去手工 compile-inspect-edit 循环；(2) 引入人类反馈强化学习（RLHF）让修复策略对齐资深模板编辑的偏好，把 implicit 的版式规范显式学到 $\pi$ 中；(3) 探索更轻量的感知机制——当前每轮重新编译渲染所有页成本高，可训练一个轻量级 layout quality predictor 跳过明显无变化的轮次；(4) 与会议官方模板系统集成，提供投稿前的自动 page-budget audit 服务，把 VTO 从学术工具变成投稿基础设施的一部分。此外，Figure 12 Case D 揭示的“编译成功但视觉无效”启发我们：可训练一个 compilation-to-renderability 的预判器，在 commit 修改前先预测渲染质量。
复现评估
代码与数据集已开源（论文首页明确标注 Code 和 Dataset 链接），附录 C 详述了复现细节：每个方法每个样本保存了生成源码、编译日志、渲染页、程序化指标输出和 VLM 报告；Table 17 完整记录了所有 prompt-based 方法的 prompt 模板源与 saved artifacts 路径，避免 baseline 之间的隐式差异；appendix B 公开了 TextST、TextMR、VisualST、VisualMR、PaperFit 五种方法的 prompt template 全文。算力方面，模型对比在 20 个样本子集上完成，主实验 200 个样本，每个样本需要多轮 pdflatex 编译 + 全部页面渲染 + VLM 评估，单样本算力成本相对较高（具体未披露）。复现难度评估为中等——本地需配置完整 LaTeX 工具链（含 latexmk、ImageMagick 等）、VLM 推理算力、PaperFit runtime 环境；附录 D 限制也提示 hard 难度 70% Page hit 意味着复现时不必期望 100% 成功，但只要 1.00 Compile/1.00 Render 和显著高于 VisualMR 的 Page hit 应可复现。
论文图表
三栏对照图，左栏展示 Rule-based tools 的 .tex → 编译 → PDF 流程但没有任何视觉反馈，标注 'Visual Blindness'；中栏展示 Text-only LLM 接收 LaTeX 源码直接编辑产生新源码但没有视觉验证，标注 'no visual feedback / open-loop'；右栏展示 PaperFit 的完整 sense→act→verify 闭环：渲染 PDF → 视觉布局检测器识别 overflowing defects → Repair → 输出 .tex，下方有一条从 polished PDF 回流到 LaTeX source 的视觉反馈闭环线。
这是整篇论文的核心概念图，把方法学定位为“视觉闭环 vs 视觉盲/开环”的三元对比，读者一图就能理解 PaperFit 与两类已有方法的本质区别，是 motivation 章节最关键的图。
两个失败案例的对比图，Case A: ACM Multimedia 目标 10 页却产生 16 页稀疏尾页，Case B: ECCV 目标 19 页产生 20 页且末页只一张大图带大量空白。两个案例共同说明 PaperFit 的全局页数控制仍有缺陷。
诚实地展示 PaperFit 的剩余失败模式，呼应 limitations 章节关于 hard 难度 70% Page hit 的讨论，是 error analysis 必看的图。
两个隐蔽失败案例对比图，Case C: ACM Multimedia 满足 10/10 页数预算但目标图形缺陷未修复，Case D: ICLR 满足 13/13 页数预算但渲染页变灰无效。共同揭示“编译+页数”双重通过 ≠ 视觉合格的悖论。
展示 PaperFit 的两类隐蔽失败模式，特别是 Case D 暴露了 LaTeX 编译成功作为质量信号不可靠的根本问题，是 method 局限性最尖锐的证据。