从像素到文字——迈向规模化的原生统一视觉模型 From Pixels to Words -- Towards Native One-Vision Models at Scale
NEO-ov提出端到端原生视觉语言架构，统一单图/多图/视频/空间智能，在多个基准上超越现有原生模型
前置知识
模块化视觉语言模型
传统的VLMs采用编码器-解码器架构，预训练的图像或视频编码器生成视觉表示，通过投影器连接到大语言模型。典型代表如CLIP图像编码器+MLP适配器+LLM的三段式流水线，这种设计将视觉和语言处理分离在不同模块中。
理解本文的创新需要先掌握传统模块化方法的局限性，包括灵活性受限、训练与推理开销大、无法进行早期像素-词交互等问题，这是NEO-ov要解决的核心痛点。
原生视觉语言模型
原生VLMs学习直接来自像素和单词的统一表示，使用单一的decoder-only Transformer骨干网络，无需独立的视觉编码器。图像通过轻量级patch嵌入层转换为token序列，与文本token混合后在同一注意力机制中处理，实现端到端的跨模态对齐。
这是本文的方法论基础，NEO-ov进一步扩展了原生建模，从单图像场景扩展到统一的多图像、视频和空间智能框架，理解这一概念对把握论文的技术路线至关重要。
Native-RoPE (Native Rotary Position Embedding)
原生旋转位置嵌入，为时间T、高度H和宽度W三个维度分别定义RoPE。对于文本token，$h_i = w_i = 0$只保留时间索引；对于图像token，同一图像内共享相同时间索引，使用$h_i$和$w_i$编码空间位置。注意力相关性定义为$s_{ij} = \langle q_T^i, k_T^j \rangle + \langle q_H^i, k_H^j \rangle + \langle q_W^i, k_W^j \rangle$。
这是NEO-ov实现统一时空建模的关键技术，通过分离的T/H/W频率和索引分配，使得模型能够同时处理跨帧因果依赖和帧内双向空间交互，理解这一机制对理解论文的核心创新至关重要。
Pre-Buffer机制
在LLM主体之前插入的可学习缓冲层，由多个Transformer层组成，用于在浅层阶段进行视觉-语言对齐和视觉特征精炼。与传统的图像编码器不同，Pre-Buffer保持与文本的交互能力，允许像素级信息和单词级信息在网络的早期就进行融合。
这是NEO-ov替代传统视觉编码器的核心组件，实验证明它在OCR和空间智能任务上优于传统编码器，理解这一机制有助于把握论文如何克服原生架构在细粒度感知方面的挑战。
研究动机
现有的视觉语言模型普遍采用模块化设计，将预训练的图像或视频编码器通过适配器连接到大语言模型。这种设计在三个维度存在根本性缺陷。首先是灵活性受限：图像编码器期望处理从单图像到图像集或视频的异构输入，但现有设计强制了错误的二分法——图像编码器偏向静态帧级表示，缺乏时空推理能力；视频编码器过分强调时间动态，对单图像或交错输入泛化能力差。其次是效率问题：解耦视觉和语言模块导致训练碎片化，并产生大量后对齐开销。此外，扩展视觉编码器到长时长或高分辨率输入成本高昂，因为KV缓存不适用。最后是可扩展性：模块化设计通过要求在视觉编码器和LLM之间进行精细的容量平衡，从而纠缠了扩展、优化和部署。这些摩擦从根本上排除了结构简单性和深层视觉-语言集成，限制了模型在空间智能、细粒度感知等任务上的表现。
本文的目标是本文提出NEO-ov，一个原生视觉语言基础模型，通过单一的单体骨干网络统一空间和时间建模，完全消除预训练编码器。NEO-ov的目标是学习跨帧和像素-词对应关系的端到端建模，无需任何外部编码器、辅助适配器或事后融合。通过完全消除模块边界，NEO-ov使细粒度和统一的时空建模能够在模型内部自然涌现。具体而言，NEO-ov旨在统一单图像理解、多图像推理、视频理解和空间智能于一个框架内，在保持与基于编码器的模型竞争力的同时，在细粒度视觉感知上实现超越，验证原生统一视觉架构在规模化上是可行且具有竞争力的。
与已有工作不同的是，与现有工作的核心区别在于，NEO-ov将原生建模从单图像场景扩展到统一的多图像、视频和空间智能框架。早期的原生VLMs如Fuyu和EVE证明了将图像补丁直接集成到decoder-only Transformers的可行性，但主要关注单图像理解。随后的工作通过视觉编码器蒸馏、模态特定参数化和共享多模态表示改进了这一范式。最近的研究如Yi等人将原生VLMs扩展到视频领域，但仍然主要关注视频理解，没有涉及更广泛的多模态设置，包括单图像理解、多图像推理、空间智能和其他统一感知任务。NEO-ov的独特之处在于，它通过将原生建模从主要是单图像设置扩展到跨越单图像、多图像和视频输入的统一框架，将原生VLMs推向更接近通用的统一视觉基础架构。
核心方法
NEO-ov是一个原生视觉语言模型，它扩展了从单图像理解到多图像理解、视频理解和空间智能的统一自回归建模。通过将图像、帧、区域和文本组织成一个统一的序列，NEO-ov自然支持跨图像推理、时间理解和空间定位。为了从单图像输入扩展到有序的视觉序列，模型引入了统一的序列化方案和时空注意力机制，在单一原生骨干网络内实现高级语义推理和细粒度时空表示。在架构上，NEO-ov采用轻量级的补丁嵌入层将图像编码为视觉token：$x_v = \text{Conv}_2(\text{GELU}(\text{Conv}_1(I)) + PE)$，其中$ ext{Conv}_1$以步幅16提取补丁，$ ext{Conv}_2$以步幅2聚合局部特征，为每个$32 \times 32$图像区域产生一个视觉token。文本输入$T$使用原始LLM分词器进行分词。视觉token被和包裹，与文本token连接，由统一骨干网络联合处理。
NEO-ov的核心创新在于其统一的时空注意力机制和原生序列化方案。与传统的模块化VLMs不同，NEO-ov不依赖预训练的视觉编码器来压缩视觉信号，而是让像素-像素和像素-词的交互在骨干网络的浅层直接开始。为此，NEO-ov采用了显式的THW解耦注意力头设计，保持原始LLM的头维度作为时间分量T，同时为空间分量H和W引入额外的头维度。对于token $i$和$j$，Query和Key特征定义为$q_i = [q_T^i; q_H^i; q_W^i]$和$k_j = [k_T^j; k_H^j; k_W^j]$，它们的相关性定义为$s_{ij} = \langle q_T^i, k_T^j \rangle + \langle q_H^i, k_H^j \rangle + \langle q_W^i, k_W^j \rangle$。注意力掩码定义为$M_{ij} = 1 \Leftrightarrow j \leq i \lor u_i = u_j > 0$，其中$u_i$表示token $i$的视觉单元索引。这一设计使得同一视觉单元内的token双向注意力（实现密集的空间交互），而不同视觉单元之间的交互保持自回归，从而在统一的自回归框架内自然涌现跨图像比较和时间推理。
方法步骤详情
NEO-ov的方法包含三个主要步骤：视觉序列化、统一时空建模和渐进式训练。第一步是统一的视觉序列化。对于单图像，模型在对应的位置插入一个视觉片段。对于多图像输入，提示中的每个token被替换为独立的视觉片段，遵循其出现的文本顺序，因此多个图像被表示为同一序列中的不同视觉单元$X_{\text{multi}} = [x_t^1, x_v^1 , ..., x_t^m, x_v^m , q]$。对于视频输入，NEO-ov将视频表示为采样帧的时序序列，具体为$X_{\text{video}} = [p_{\text{global}}, [\tau_1]: x_v^1 , ..., [\tau_f]: x_v^f , q]$，其中$p_{\text{global}}$表示编码视频持续时间、采样帧数和采样率的全局前缀，$\tau_1, ..., \tau_f$是时间戳。第二步是统一时空建模，通过Native-RoPE和THW解耦注意力机制实现。第三步是渐进式三阶段训练：预训练阶段使用约2000万大规模图像-文本对，优化限制在补丁嵌入层、预缓冲层和新引入的QK相关参数；中期训练阶段继续在近6000万多样本上训练，覆盖从$256^2$到$4096^2$的分辨率和多达128帧的视频，所有模型层联合优化；监督微调阶段使用约600万高质量指令调优数据，包括400万单图像、100万多图像和100万视频样本，整个模型在下一个token预测目标下端到端优化。
技术新颖性
NEO-ov的技术新颖性体现在多个维度。首先是架构层面的统一性：首次将原生建模从单图像场景成功扩展到统一的多图像、视频和空间智能框架，实现了真正的统一视觉基础架构。其次是注意力机制的创新：THW解耦注意力头设计和Native-RoPE使得模型能够同时处理跨模态因果依赖和跨模态双向空间交互，这在传统模块化VLMs中是不可能的。第三是Pre-Buffer机制的有效性：实验证明，在没有外部视觉编码器的情况下，通过在浅层保留丰富的中间视觉上下文，可以比依赖压缩的图像或视频级表示的传统编码器获得更好的性能，特别是在OCR和空间智能任务上。第四是训练策略的系统性：三阶段渐进式训练，从大规模图像-文本对齐开始，逐步扩展到多模态、多分辨率、长序列的时空推理，最后通过高质量指令调优增强泛化能力，为原生VLMs的训练提供了可行的配方。
实验结果
NEO-ov在多个基准测试中建立了原生VLMs的新性能前沿。在图像理解方面，NEO-ov(2B)在MMMU上达到54.7%，MMBench达到80.0%，MMStar达到64.4%，SEEDBench-IMG达到58.6%，HallusionBench达到54.5%，AI2D达到81.4%，DocVQA达到91.2%，ChartQA达到83.1%，TextVQA达到77.3%，OCRBench达到81.2%。相比之前的原生模型NEO(2B)，NEO-ov在MMMU上提升6.1%，MMBench提升4.0%，MMStar提升1.3%，SEEDBench-IMG提升2.0%，HallusionBench提升11.4%，AI2D提升1.3%，DocVQA提升1.3%，ChartQA提升1.9%，TextVQA提升3.3%，OCRBench提升4.1%。8B规模下，NEO-ov在MMMU上达到68.1%，MMBench达到85.1%，MMStar达到67.8%，SEEDBench-IMG达到67.3%，HallusionBench达到59.8%，AI2D达到85.4%，DocVQA达到91.9%，ChartQA达到86.2%，TextVQA达到78.5%，OCRBench达到81.6%。在多图像和视频理解方面，NEO-ov(2B)在BLINK上达到53.9%，MUIRBENCH达到56.8%，VideoMME达到60.4%，MVBench达到65.7%，LVBench达到43.3%，MLVU达到64.8%，LongVideoBench达到56.8%，VideoMMMU达到42.3%。8B规模下，在BLINK上达到62.8%，MUIRBENCH达到58.2%，VideoMME达到67.4%，MVBench达到70.7%，LVBench达到46.4%，MLVU达到69.3%，LongVideoBench达到63.5%，VideoMMMU达到51.6%。在空间智能方面，NEO-ov(2B)在VSI-Bench上达到58.4%，MMSI达到33.6%，Mindcube达到77.2%，ViewSpatial达到52.8%，SITE达到38.4%，3DSR达到52.9%，EmbSpatial达到63.8%，SPAR达到41.2%，Omni-Spatial达到43.1%。8B规模下，在VSI-Bench上达到64.8%，MMSI达到41.3%，Mindcube达到90.0%，ViewSpatial达到55.2%，SITE达到54.3%，3DSR达到61.7%，EmbSpatial达到78.8%，SPAR达到48.8%，Omni-Spatial达到45.0%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MMMU | Accuracy | 54.7% (2B) / 68.1% (8B) | NEO: 48.6% (2B) / 54.6% (8B) | +6.1% (2B) / +13.5% (8B) |
| MMBench | Accuracy | 80.0% (2B) / 85.1% (8B) | NEO: 76.0% (2B) / 82.1% (8B) | +4.0% (2B) / +3.0% (8B) |
| VideoMME | Accuracy | 60.4% (2B) / 67.4% (8B) | VideoLLaMA3: 59.6% (2B) / 66.2% (8B) | +0.8% (2B) / +1.2% (8B) |
| MUIRBENCH | Accuracy | 56.8% (2B) / 58.2% (8B) | InternVL3.5: 44.0% (2B) / 55.8% (8B) | +12.8% (2B) / +2.4% (8B) |
| Mindcube | Accuracy | 77.2% (2B) / 90.0% (8B) | InternVL3.5: 42.1% (2B) / 40.4% (8B) | +35.1% (2B) / +49.6% (8B) |
| HallusionBench | Accuracy | 54.5% (2B) / 59.8% (8B) | NEO: 43.1% (2B) / 46.4% (8B) | +11.4% (2B) / +13.4% (8B) |
| OCRBench | Accuracy | 81.2% (2B) / 81.6% (8B) | NEO: 77.1% (2B) / 77.7% (8B) | +4.1% (2B) / +3.9% (8B) |
局限与改进
作者承认了几个主要局限性。首先，尽管NEO-ov大幅推进了原生视觉语言建模，但在某些单图像和视频理解基准上，与顶级模块化系统如Qwen3-VL之间仍然存在差距。作者认为这一差距主要归因于当前多模态训练数据的规模和质量，特别是对于复杂推理、时间感知和细粒度视觉-文本对齐。其次，OCR密集型和以文档为中心的任务对原生架构来说仍然相对未被充分探索。与从专业视觉编码器和广泛的OCR导向预训练中受益的模块化VLMs不同，NEO-ov目前缺乏针对文档、图表和密集文本感知的足够多样化和高质量的监督。作者期望改善OCR相关数据的规模和质量将进一步强化模型。最后，虽然NEO-ov已经显示出在多图像推理、视频理解和空间智能方面的有前景的能力，但原生多模态建模的更广泛潜力远未被充分探索。在模型容量、多模态数据多样性和长上下文训练方面的进一步扩展可能会解锁显著更强的多模态推理和感知能力。
独立分析的弱点
NEO-ov的主要弱点体现在几个具体场景。首先是OCR密集型任务上的性能差距，这在OCRBench结果上有所体现，NEO-ov(8B)的81.6%仍然落后于Qwen3-VL(8B)的89.6%，差距达到8.0%。这一差距的主要原因是在训练数据中文档、图表和密集文本样本的不足，改进方向是增加专门的OCR训练数据和引入文档感知的预训练任务。其次是长视频理解的局限性，在LongVideoBench上NEO-ov(8B)的63.5%落后于Qwen3-VL(8B)的65.3%，虽然差距不大但说明在处理极长视频时的时间建模能力仍有提升空间，改进方向可以是引入更长视频的训练数据和优化长上下文注意力机制。第三是复杂推理任务的不足，在MMMU上NEO-ov(8B)的68.1%落后于InternVL3.5(8B)的68.1%和Qwen3-VL(8B)的69.6%，这表明原生架构在需要深度多步推理的任务上仍需加强，改进方向可以是引入推理导向的训练数据和思维链微调。最后是资源开销，虽然NEO-ov消除了视觉编码器的开销，但由于原生建模需要在全序列上进行注意力计算，对于超长序列的计算和内存开销可能更大，改进方向可以是引入稀疏注意力机制和高效的序列处理方法。
未来方向
作者提出的未来工作方向主要包括：扩展模型容量以验证原生架构在更大规模下的潜力；增加多模态数据的多样性和质量，特别是针对复杂推理、时间感知和细粒度视觉-文本对齐的数据；探索更长的上下文训练以支持更长的视频序列；改进OCR密集型和文档感知任务的训练策略。基于NEO-ov的成果，可以延伸的研究方向包括：将原生建模扩展到更多模态，如音频、3D点云、深度信息等，实现真正的多模态统一架构；研究更高效的注意力机制和序列处理方法，以降低原生架构的计算和内存开销；探索原生架构在生成任务上的潜力，如图像生成、视频生成等；研究原生架构的可解释性和可控性，理解像素-词交互的具体机制；探索原生架构在低资源场景下的应用，如少样本学习、零样本迁移等；研究原生架构的安全性和鲁棒性，防止 adversarial 攻击和幻觉问题。
复现评估
论文提供了相对详细的复现信息。模型使用16个8-GPU节点训练，每个节点配备80GB GPU，使用AdamW优化器，余弦学习率衰减和0.01的预热比例。三个训练阶段的峰值学习率分别设置为$2 \times 10^{-4}$、$5 \times 10^{-5}$和$5 \times 10^{-5}$。使用Qwen3-1.7B和Qwen3-8B作为语言骨干，预缓冲模块由12层(NEO-ov 2B)或6层(NEO-ov 9B)组成。Native-RoPE基础频率$\theta_T, \theta_H, \theta_W$固定为$1 \times 10^6, 1 \times 10^4, 1 \times 10^4$。训练数据规模和组成、模型架构细节、评估设置都有较为详细的描述。论文提供了网站链接(https://github.com/EvolvingLMMs-Lab/NEO)，但没有明确说明是否开源代码、模型权重或训练数据。考虑到训练需要大量计算资源(128个80GB GPU)和大规模数据集，完全复现成本较高，但论文提供的详细信息使得复现研究具有可行性。
论文图表
这个柱状图展示了NEO、InternVL3.5和Qwen3-VL在空间智能数据上微调前后的性能变化。所有模型都从额外空间智能监督中受益，但NEO显示出比基于编码器的模型如InternVL3.5和Qwen3-VL更大的增益。
这个图对于理解原生架构在空间智能上的潜力至关重要，它表明NEO的原生交互模式（像素-像素和像素-词交互在统一骨干网络的浅层直接涌现）使得模型从空间智能监督中受益更多，能够学习更丰富的空间和跨模态表示。
这个折线图展示了NEO-ov(2B)和NEO-ov(9B)在三个训练阶段的性能演变，包括单图像、多图像、视频和空间智能基准的平均准确率。从阶段1到阶段2，两个规模模型的性能都有持续提升，特别是较小规模的提升更为明显。
这个图对于理解NEO-ov的渐进式训练策略的有效性至关重要，它展示了三个训练阶段如何逐步增强模型的通用视觉理解和多模态能力，特别是在较小规模上阶段2的显著提升证明了渐进式训练的重要性。