← 返回 2026-05-29

LoMo：用于更深层次视觉-语言融合的局部模态替换 LoMo: Local Modality Substitution for Deeper Vision-Language Fusion

Feng Han, Zhixiong Zhang, Zheming Liang, Yibin Wang, Jiaqi Wang 📅 2026-05-28 👍 23 2026-07-13 08:36
cross-modal alignment data curation multimodal vision-language
arXiv HuggingFace PDF

通过局部模态替换解决VLM载波敏感性问题，提升跨模态融合

前置知识

Vision-Language Models (VLMs)

VLMs是联合处理视觉和文本输入的多模态模型，通常通过将预训练的视觉编码器与LLM骨干对齐来实现。架构上遵循ViT-MLP-LLM模板，通过图像-文本语料库训练实现跨模态理解。

本文研究的载波敏感性问题直接影响VLM的实际应用鲁棒性，理解VLM架构是掌握本文方法的基础。

Modality Gap

模态间隙指多模态模型中不同模态的表示在共享空间中占据不同区域的现象，由信息不平衡或训练数据偏差导致，通过Frechet Distance等度量量化。

本文通过缩小模态间隙来解决载波敏感性问题，理解模态间隙是理解本文动机和评估指标的关键。

Supervised Fine-Tuning (SFT)

SFT是预训练模型在标注数据上的监督微调阶段，通过最小化负对数似然损失来优化模型参数，目标是让模型学会从输入预测正确答案。

本文在标准SFT基础上添加跨模态对齐监督，理解SFT目标函数有助于理解LoMo的数学推导和优化目标。

研究动机

当前视觉-语言模型存在严重的载波敏感性问题：当将文本问题转换成其对应的渲染图片形式时，模型性能会大幅下降。例如在LLaVA-OV1.5-8B上准确率从57.89%下降到48.64%，在Qwen3.5-9B上从68.95%下降到60.25%。通过测量文本输入和其渲染图片对应物的隐藏状态余弦距离，发现跨模态表示距离越大，性能下降越严重：最近距离组的平均准确率下降为7.75%，而最远距离组达到21.23%。这种性能与跨模态表示距离之间的严格单调关系表明问题根源在于跨载体模态间隙。

本文的目标是本文的目标是提出一种轻量级、架构无关的数据增强范式，通过局部模态替换为跨模态表示不变性提供监督信号，从而解决VLM的载波敏感性问题。具体来说，要将纯文本实例重格式化为无缝交织的多模态序列，鼓励模型将交织的图像-文本输入与纯文本语义对应物关联起来，实现更深层次的跨模态融合。作者希望LoMo能够提供一种简单的数据侧配方来桥接模态间隙，并激励进一步探索将文本和视觉视为真正可互换的语义载体。

与已有工作不同的是，现有工作主要从解码或目标函数层面解决模态间隙问题，如VCD和HA-DPO等解码时修复方法。与之不同，本文从数据角度出发，通过局部模态替换在标准SFT期间将跨载体对齐转化为任务级需求，无需架构改变或推理开销。另一个区别是现有text-as-pixels方法将渲染文本作为效率驱动的文本-as-tokens替代品，而本文将text-as-pixels作为text-as-tokens在单个训练实例中的补充，诱导两种载体之间的隐式跨模态对齐监督。

核心方法

LoMo的整体思路是通过三个顺序阶段将文本实例转换为图像-文本交织序列，在保持原始监督目标的同时引入隐式跨模态对齐信号。直觉上，通过将文本的一部分转换成视觉形式并嵌入到原始文本中，模型被迫联合理解周围的文本上下文和嵌入的视觉载体才能恢复完整语义并预测答案。这种设计使得预测答案需要文本-as-tokens和文本-as-pixels之间的跨载体整合，将对齐转化为任务级需求。与其他依赖架构修改或推理开销的方法不同，LoMo完全在数据层面操作，兼容任何多模态训练流水线。

核心创新点在于通过局部模态替换在标准SFT目标中添加隐式跨模态对齐监督项。数学上，LoMo的损失函数为 L_LoMo，包含标准SFT监督和隐式跨载体对齐监督两部分。通过对答案取期望，第二项等价于KL散度，驱动模型在语义等效的文本和视觉载体上的预测分布趋于一致。这种设计直接解决了当前训练范式中缺乏跨载体表示不变性显式监督的问题，通过将标准SFT目标转化为包含跨模态对齐信号的形式，鼓励模型在处理交织的图像-文本输入时能够更好地融合不同模态的信息。

方法步骤详情

LoMo通过三个顺序阶段实现载流子替换操作。第一步是Structure-Aware Span Localization，通过公式感知的分块将文本表示为文本和公式块的交织序列，提取中间三分之一作为目标跨度，确保截断边界永远不会落在方程内部。第二步是Visual Rendering，通过内容感知路由将包含数学表达式的跨度路由到LaTeX渲染器，其他跨度路由到标准文本渲染器，并将渲染结果嵌入到前缀和后缀之间。第三步是Perceptual Distortion，对渲染图像应用语义保持的退化操作，包括旋转、模糊、阴影或污渍和波形扭曲四种操作之一，模拟现实世界捕获过程中文档图像常见的失真。

技术新颖性

技术新颖性体现在三个方面：一是数据增强范式的新颖性，通过局部模态替换而非全局文本渲染实现跨模态对齐；二是结构感知的跨度定位，采用公式感知的分块策略确保数学表达式不会被截断；三是感知失真的系统性设计，通过四种真实世界的退化操作增强模型对视觉载体变化的鲁棒性。相比简单的全文渲染，LoMo的平均增益从1.19提升到2.68，证明局部模态替换的优越性。此外，LoMo是架构无关的，兼容任何多模态训练流水线，无需架构修改或推理开销。

Overview of LoMo
Figure 2: Overview of LoMo

实验结果

LoMo在13个多模态基准测试上持续优于标准SFT，在LLaVA-OneVision-8B上平均增益为+2.68，在Qwen3.5-9B上为+2.82。在标准评估下，改进最明显的任务是指令遵循（MM-IFEval：+3.21/+5.49）和视觉感知（CountBench：+8.15/+4.93；V星：+3.99/+3.73）。在渲染评估下，增益进一步扩大，平均增益分别达到+18.86和+11.92，是标准增益的7倍和4倍。在跨模态表示分析中，LoMo将成对跨模态距离从标准SFT的0.57降低到0.49，减少了14.2%，同时Modality Integration Rate在4M规模下额外降低了0.122。组件消融显示，完整的LoMo比不带感知失真的版本增益从+2.22提升到+2.68，证明感知失真的重要性。重写比例实验表明，50%的重写比例达到最优性能43.56，而100%重写反而下降到42.68，表明跨载体监督信号在适中比例下饱和。

Main results across 13 multimodal benchmarks under two evaluation protocols
Table 1: Main results across 13 multimodal benchmarks under two evaluation protocols
Component ablation of LoMo on LLaVA-OV1.5-8B
Table 2: Component ablation of LoMo on LLaVA-OV1.5-8B
Quantitative results of different rewrite ratios on LLaVA-OV1.5-8B
Table 3: Quantitative results of different rewrite ratios on LLaVA-OV1.5-8B
Quantitative results of different rendering positions on LLaVA-OV1.5-8B
Table 4: Quantitative results of different rendering positions on LLaVA-OV1.5-8B
Controlled comparison of LoMo under different image-bearing to text-only sample ratios
Table 5: Controlled comparison of LoMo under different image-bearing to text-only sample ratios
LoMo yields consistent improvements over Standard SFT across two backbones
Figure 3: LoMo yields consistent improvements over Standard SFT across two backbones
LoMo consistently outperforms standard SFT across data scales on three metrics
Figure 4: LoMo consistently outperforms standard SFT across data scales on three metrics
查看结构化数据
任务指标本文基线提升
多模态推理（MMMU） Accuracy (%) 51.22 / 63.00 51.78 / 59.44 -0.56 / +3.56
数学推理（MathVista） Accuracy (%) 53.90 / 66.60 51.30 / 67.20 +2.60 / -0.60
指令遵循（MM-IFEval） Accuracy (%) 42.82 / 52.99 40.35 / 51.53 +2.47 / +1.46
文档理解（DocVQA） Accuracy (%) 18.06 / 42.90 15.49 / 40.79 +2.57 / +2.11
视觉感知（CountBench） Accuracy (%) 51.12 / 85.01 47.71 / 80.08 +3.41 / +4.93

局限与改进

作者承认LoMo主要在训练阶段有效，不带来推理开销，但需要额外的渲染步骤，这可能在初始数据准备阶段产生计算成本。此外，LoMo的改进可能受到训练数据规模的限制，在非常大规模数据上效果可能会饱和。另一个潜在的局限性是方法的有效性可能依赖于原始文本的质量和结构，对于结构不清晰或语义复杂的文本，局部模态替换可能难以找到合适的目标跨度。作者还提到，LoMo目前主要在视觉-语言模态上验证，扩展到其他模态组合（如音频-文本）需要进一步研究。

独立分析的弱点

LoMo的一个潜在弱点是渲染过程可能引入额外的噪声或失真，特别是对于复杂的数学表达式或特殊字符，LaTeX渲染器可能失败或产生不准确的结果。虽然论文中提到了fallback机制自动重新路由到文本渲染器，但这可能导致某些实例失去跨模态对齐的监督信号。另一个弱点是LoMo的改进依赖于重写比例的调优，50%的比例在论文中是最优的，但这个最优比例可能因任务和数据分布而异，需要针对每个具体场景进行超参数搜索。此外，LoMo主要解决的是跨载体模态间隙问题，对于其他类型的模态不对齐（如视觉幻觉）可能效果有限。

未来方向

作者提出的未来工作方向包括将LoMo扩展到其他模态组合，如音频和文本，以探索局部模态替换在更广泛的多模态场景中的适用性。另一个方向是探索更精细的结构感知跨度定位方法，可能利用更高级的语义分析或句法树来识别更优的目标跨度。此外，可以研究多跨度或多层次的局部模态替换策略，以在单个实例中引入更丰富的跨模态交互。基于本文的成果，未来还可以探索将LoMo与其他跨模态对齐技术结合，如解码时修复或偏好优化方法，以实现更强的跨模态融合效果。

复现评估

论文提到作者将公开代码和训练配置，使用EvalScope进行统一评估，确保不同方法之间的公平比较。实验在两个开放源码的VLM骨干上进行，训练数据来自官方LLaVA-OneVision1.5 SFT语料库，包含200万条多模态指令示例和200万条纯文本指令示例。训练超参数在附录B中提供，包括学习率调度、优化器配置等实现细节。实验的可重复性较好，因为使用了标准数据集和统一的评估协议。然而，论文没有明确说明渲染过程的具体实现细节和所需的计算资源，这可能对复现造成一定挑战。在算力需求方面，训练在4M规模上进行，可能需要多个GPU，但相比标准SFT的额外开销主要是初始渲染阶段，实际训练阶段的开销应该相似。

论文图表

Current Vision-Language Models exhibit carrier sensitivity driven by an underlying modality gap
Figure 1: Current Vision-Language Models exhibit carrier sensitivity driven by an underlying modality gap

图1展示了四个主流VLM在载流子替换下的准确率下降，LLaVA-OV1.5-8B下降9.25%，Qwen3.5-9B下降8.70%，InternVL3.5下降11.68%，GLM-4.1V下降9.25%。图1(b)显示了物理模态间隙的表现，通过测量原始文本和其渲染图片对应物之间的成对跨模态距离，观察到严格的单调趋势：两种载体之间的表示距离越大，准确率下降越严重。最近距离组的平均准确率下降为7.75%，最远距离组达到21.23%。图1(c)显示LoMo将跨模态距离分布明显向较小值移动，平均距离比标准SFT减少14.2%。

这张图对理解论文至关重要，因为它直观展示了载流子敏感性问题的存在和严重性，以及它与跨模态表示距离之间的定量关系。这为本文的研究动机提供了直接的实验证据，也为评估LoMo方法的有效性建立了基准。