超越网格：基于解析的视觉文档多向量检索（ColParse） Beyond the Grid: Layout-Informed Multi-Vector Retrieval with Parsed Visual Document Representations

ColParse 的离线流水线对每页文档图像 $d \in \mathbb{R}^{H\times W \times 3}$ 分三步处理。步骤一：版面感知文档解析（Layout-Informed Document Parsing）。输入是页面图像，调用现成文档解析模型 $\Psi_{parse}(\cdot)$（作者用 MinerU2.5），输出 $k$ 个布局区域 $[\{b_j, c_j\}_{j=1}^k]$，其中 $b_j=(x_{j1},y_{j1},x_{j2},y_{j2})$ 是边界框、$c_j$ 是内容类别（'title'/'table'/'figure'/'text' 等），然后用边界框裁出 $k$ 个子图 $S_d = \{s_1,\ldots,s_k\}$，每个 $s_j \in \mathbb{R}^{H_j \times W_j \times 3}$，$k$ 由解析器根据页面复杂度动态决定（典型 $k<10$）。步骤二：双流编码（Dual-Stream Encoding）。输入是同一组 $S_d$ 和整页 $d$，调用同一个单向量编码器 $\Phi_{enc}: \mathbb{R}^{H'\times W'\times 3} \to \mathbb{R}^D$ 做两路并行：局部流把每个 $s_j$ 独立编码得到 $v_{local}^{(j)} \in \mathbb{R}^D$，全局流把整页 $d$ 编码得到 $v_{global} \in \mathbb{R}^D$，两路共用同一个 encoder，不引入额外参数。步骤三：全局-局部融合（Global-Local Fusion）。对每个 $j\in\{1,\ldots,k\}$，按公式 $d_{fused}^{(j)} = \alpha \cdot v_{global} + (1-\alpha) \cdot v_{local}^{(j)}$ 做加权逐元素加法，$\alpha \in [0,1]$ 是平衡因子，最终存 $D_{ColParse}=\{d_{fused}^{(j)}\}_{j=1}^k \in \mathbb{R}^{k\times D}$。在线推理时，查询 $q$ 按标准方式编码为 $Q=\{q_i\}_{i=1}^{N_q}$，用 ColParse-MaxSim 打分 $s_{ColParse}(q,d) = \sum_i \max_j (q_i^\top d_{fused}^{(j)})$，搜索空间从 $N_p$ 降到 $k$，存储减少 $95\%+ $。$\alpha$ 的最优值在 $[0.6, 0.8]$ 区间（Figure 6），说明适度偏全局融合最有效。

技术新颖性体现在三个层面。第一，输入空间重新设计：把文档解析模型从 OCR 工具重新定位为版面检测器，只用其边界框和类别标签，抛弃识别出的文字内容，是一种『任务无关的版面特征提取器』新用法。第二，理论框架：用 Information Bottleneck 视角给出了 $k$ 为什么可以这么小的非平凡解释——提出『语义集中公理』$I(D;R) \approx I(S_{j^*};R)$，把单变量压缩问题分解为 $k$ 个并行子问题，并用 Data Processing Inequality 分析全局-局部融合的信息增益 $\Delta I_j = I(Z_j;R) - I(V_j;R) > 0$，这是已有剪枝/合并/隐式 token 方法都没提供的理论分析。第三，融合机制的『参数免费』：$\alpha \cdot v_{global} + (1-\alpha) \cdot v_{local}$ 的加法融合没有可训练参数，但作者在 Figure 5 变体研究里证明它显著优于『附加式』s2m-g-i（把全局向量作为一个独立向量加到集合里），说明元素级加法起到了『深度上下文条件化』的作用，是比简单拼接更紧的融合机制。整体上，ColParse 把『结构化表示 + 经典检索算子』做到了工程和理论的双重闭环。

从独立分析视角，ColParse 还有几个可改进的弱点。第一，$\alpha$ 调参开销：Figure 6 表明最优 $\alpha$ 跨模型不一致（0.1 到 0.9 都有），意味着每接入一个新 base model 都要扫一次 $\alpha$，违反『plug-and-play』的初衷；改进方向是用一个轻量级门控网络 $g(v_{local}, v_{global}) \to \alpha$ 自动学习权重，或者用 KL 散度对齐两端分布后做可学习加权。第二，文档解析是串行瓶颈：每页必须先解析再编码，无法跳过；当 MinerU2.5 在某个版式上失败时整个流程降级；改进方向是引入解析质量估计器，对低置信度页面自动回退到 ColPali 网格方案，或训练多解析器集成（投票选区域）。第三，加法融合假设过强：$\alpha \cdot v_{global} + (1-\alpha) \cdot v_{local}$ 隐含假设两向量在同空间可线性组合，但论文没做对齐分析；改进方向是先做一次 LayerNorm 或可学习仿射对齐 $W_\alpha \cdot v_{global}$ 再相加，或换成 cross-attention 让局部向量查询全局上下文。第四，$k$ 不可控：$k$ 由解析器决定对长尾版式不鲁棒，缺少约束；改进方向是设 $k_{min}$ 和 $k_{max}$ 阈值，过少则按版面类型强制再切，过多则按语义相似度合并。第五，离线-在线割裂：当前解析和编码串行，延迟翻倍；改进方向是用一个端到端模型直接输出 $k$ 个子图向量，把版面检测当作自监督辅助任务。

作者在结论中提到 ColParse 『为多向量 VDR 建立了新的性能-效率权衡』，但没给出明确下一步。基于本文成果，有几条值得延伸的方向。第一，多模态查询扩展：当前 query 仍是纯文本，可以扩展到图文混合 query（如『找包含这张示意图的页』），把 query 也做版面解析后做多对多 MaxSim。第二，跨页融合：ColParse 当前每页独立，把『跨页』作为额外超结构，做页面级版面图（page graph）后用 GNN 融合跨页子图向量，应对真正的长文档检索。第三，解析器微调：把 MinerU2.5 的版面检测当作可微模块，与下游检索任务联合训练（detached forward + straight-through gradient），让解析器知道『哪些区域对检索有用』，而非纯 OCR 优化。第四，自适应 $\alpha$ 与动态 $k$：用检索 loss 反向传播学习一个轻量级控制器，输入是 query 类型，输出是 $(\alpha, k)$，让同一文档在不同 query 下采用不同融合强度和粒度。第五，结合隐式 token：ColParse 的硬性版面和 MetaEmbed 的软性隐式 token 各有优势，可以做混合表示——版面区域 + 1–2 个全局可学习 token，兼顾可解释性和灵活性。第六，工业部署研究：作者只在 80G A100 上实验，对 GPU 显存、CPU 推理、向量数据库（Milvus/Qdrant）的工程化适配未涉及，是落地必经环节。

复现评估：作者明确说『完整代码将在论文接收后公开』（Section 4.1），所以当前是承诺开源状态，实际拿不到代码。依赖方面：（1）base encoder 是 VLM2Vec-V1-2B/7B、VLM2Vec-V2-2B、UniME-V2-2B/7B、GME-2B/7B、B3-2B/7B、LamRA-Ret，权重均可从 HuggingFace 公开下载；（2）文档解析器 MinerU2.5 来自 OpenDataLab 仓库（github.com/opendatalab/MinerU），同样开源；（3）评测基于 MMEB codebase（github.com/TIGER-AI-Lab/MMEB），24 个 VDR 数据集由该仓库统一管理。算力：作者用 A100 (80G) 集群；MinerU2.5 跑 2.25 pages/sec，按 5.9 vec/page 编码 0.81s/页估算，百万页约需 60 GPU-day，门槛中等。复现难度中等偏上：管线分三步（解析→编码→融合），每步都要正确处理边界框对齐、归一化、$\alpha$ 调参，工程化细节多；但因为是 training-free、不涉及训练超参搜索，跑通主线结果相对直接。最大不确定性是 $\alpha$ 的逐模型搜索（Figure 10 在附录）和对个别数据集的 fine-tuned 值。