Falcon Perception：统一的密集视觉语言感知模型 Falcon Perception
使用单一早期融合Transformer实现开放词汇分割和OCR，通过Chain-of-Perception接口实现高效密集感知。
前置知识
编码器-解码器架构
传统的视觉感知系统通常采用编码器-解码器分离设计，视觉骨干网络（如ViT或ResNet）负责从图像中提取特征，然后通过解码器或后期融合模块将这些特征转换为特定任务的输出。这种设计允许每个模块专注其职责，但也引入了复杂性和特征融合瓶颈，因为视觉和语言信息只在最后阶段交互，限制了深层次的模态间学习。
本文的核心挑战是质疑这种分离的必要性，提出用单一早期融合Transformer替代编码器-解码器架构，理解传统设计的问题有助于评价本文的创新价值。
自回归生成
自回归生成是指模型按照序列顺序逐个预测输出token，每个预测都依赖于之前生成的所有token。在语言模型中，这是标准做法；在感知任务中，这意味着将结构化输出（如边界框坐标、分割掩码）序列化为token序列进行预测。优点是接口简单统一，缺点是对于密集预测（数百个实例）会变得计算昂贵。
本文采用自回归生成作为感知任务的接口，但通过Chain-of-Perception和专门头部解决效率问题，理解自回归生成的优缺点有助于评价本文的设计权衡。
混合注意力掩码
混合注意力掩码是指在同一个Transformer中为不同类型的token使用不同的注意力模式。在Falcon Perception中，图像token之间使用双向注意力（类似BERT编码器），允许建立全局视觉上下文；而文本和任务token对图像使用完全注意力，但彼此之间使用因果注意力（类似GPT解码器），保持自回归生成性质。这种设计让单一权重同时发挥编码器和解码器的作用。
这是本文架构的核心创新点，理解混合注意力掩码的工作原理有助于把握早期融合与自回归生成的平衡设计。
Fourier特征映射
Fourier特征映射是一种将低维坐标映射到高维空间的技术，通过使用高斯随机矩阵将坐标映射为特征向量。这种映射解决了神经网络在低频函数上的谱偏置问题，使得网络能够学习到更高频的空间细节，从而实现更精确的空间定位。
本文使用Fourier特征进行坐标和尺寸预测，理解这一技术有助于评价其如何解决空间定位精度问题。
开放词汇分割
开放词汇分割是指模型能够分割训练时未见过的物体类别，通常通过视觉语言预训练实现。与固定类别分割不同，开放词汇系统接受文本提示来指定要分割的目标。这要求模型同时具备视觉定位能力和语言理解能力，是感知系统的重要发展方向。
这是本文要解决的核心任务之一，理解开放词汇分割的挑战有助于评价本文方法的适用场景和局限性。
研究动机
现有的感知系统普遍采用模块化的编码器-解码器管道设计：视觉骨干网络负责特征提取，单独的解码器或后期融合模块负责任务预测。这种设计虽然有效，但鼓励添加任务特定机制（如模态融合、查询匹配、后处理），使系统复杂化并限制视觉和语言模态之间的有效特征融合和学习。例如，开放词汇检测方法如OWLv2、GroundingDINO、GLIP等都依赖大规模视觉语言预训练并保留专门的解码器用于框或掩码预测。这种复杂性使得系统难以扩展，并且在处理组合式提示（涉及空间约束和关系）时，语言和视觉特征的深层交互受到限制。
本文的目标是本文的核心目标是探索一个根本性问题：密集定位系统是否真的需要编码器-解码器分离来看见和预测？如果不需要，什么应该替代标准的后期融合接口，以便语言和视觉特征可以从第一层开始交互，特别是对于涉及空间约束和关系的组合式提示？此外，如何为密集感知设计正确的输出接口，其中实例数量可以从零到数百，而不使解码变得计算上不可行？最后，一旦标准指代表达数据集饱和，应该如何基准测试进展，以便隔离这些组合能力并强调长上下文拥挤场景？
与已有工作不同的是，本文的独特切入角度是提出早期融合的统一密集Transformer架构，彻底摒弃编码器-解码器分离。图像patch和文本token从第一层就在共享参数空间中处理，使用混合注意力模式结合全局视觉上下文与自回归、可变长度的实例生成。与现有方法相比，本文保持单一可扩展骨干网络，将复杂性转移到数据和训练信号上，仅在输出是连续和密集的地方添加小型头部。此外，本文引入PBench基准测试，专门针对组合式提示和密集长上下文场景，提供超越饱和指代表达数据集的能力级别分析。
核心方法
Falcon Perception的整体思路是用单一的早期融合密集Transformer替代传统的编码器-解码器架构。模型将图像patch和文本token统一为一个序列，其中N是图像patch数量，L是文本token数量。为了同时支持视觉编码（需要双向上下文）和语言解码（需要因果性），采用混合注意力掩码：图像token彼此之间双向注意力，文本和任务token可以关注所有图像token但只能关注前面的文本或task token。这使得同一组权重同时充当双向视觉编码器和自回归语言解码器。为了平衡表达力和推理效率，引入Chain-of-Perception概念：每个实例的分割分解为坐标、尺寸、分割的序列，这种粗到细的课程设计强制模型在提交像素级细节之前先解决空间歧义。
核心创新点包括四个方面：一是统一密集Transformer与混合注意力掩码，用单一Transformer替代编码器-解码器分离；二是Chain-of-Perception接口，将实例分解为坐标、尺寸、分割的序列，强制先解决位置和尺寸再生成掩码；三是专门头部设计，坐标和尺寸使用Fourier特征编码，分割通过内容感知上采样和点积生成高分辨率掩码；四是PBench基准测试，针对组合式提示和密集长上下文场景提供能力级别分析。与已有方法的本质区别在于，现有方法如SAM、OWLv2等采用视觉编码器加解码器的分离设计，而本文采用早期融合，让视觉和语言特征从第一层就开始深度交互，特别适合OCR导向和空间提示的场景。
方法步骤详情
方法步骤包括输入表示、混合注意力处理、Chain-of-Perception生成和专门头部解码。输入表示：图像展平为N个patch并投影为视觉嵌入，文本提示映射为文本嵌入，统一序列是这些加上任务嵌入的连接。混合注意力处理：图像token双向注意力建立全局上下文，文本或task token对图像完全注意力但彼此因果注意力。Chain-of-Perception生成：对K个目标，每个按顺序坐标、尺寸、分割生成。坐标预测：使用Fourier特征替换静态坐标token，解码时用MLP投影到离散bin（1024 bins每轴）。尺寸预测：对数尺度binning分配更多分辨率给小对象。分割预测：使用内容感知上采样器将骨干输出视觉特征上采样到高分辨率，然后通过点积生成掩码，其中是分割token的隐藏状态。由于分割token在坐标和尺寸之后生成，模型已经解决了对象身份，可以直接点积而不需要复杂的匈牙利匹配或单独的掩码查询学习。
技术新颖性
技术新颖性体现在多个层面。在架构层面，首次在开放词汇分割中探索了早期融合的统一密集Transformer，混合注意力掩码让同一权重同时发挥编码器和解码器作用，避免了后期融合瓶颈。在接口层面，Chain-of-Perception将密集感知分解为结构化的自回归序列，平衡了表达力和效率。在位置编码层面，3D旋转位置嵌入将序列位置和2D空间位置分离，使用Golden Gate RoPE允许注意力头沿任意2D角度关注相对位置，产生各向同性的注意力图。在训练层面，多教师蒸馏从DINOv3和SigLIP2初始化权重，三阶段训练（上下文列表、任务对齐、长上下文微调）确保模型既能理解全局场景又能处理独立查询。在评估层面，PBench基准测试首次将组合式提示的能力分解为5个级别，提供了超越饱和指标的细粒度能力分析。
实验结果
在SA-Co基准测试上，Falcon Perception平均达到68.0 Macro-F1，显著优于SAM3的62.3，特别是在掩码质量上提升明显。在各个子集上都有改进：Food and Drink达到70.3对比SAM3的58.1（提升12.2），Sports达到75.2对比71.2（提升4.0），Attributes达到79.3对比71.1（提升8.2）。然而在存在性校准方面落后，平均MCC为0.64对比SAM3的0.82，这是因为SAM3使用固定数量对象查询和双向匈牙利匹配，天然学会预测空类。在PBench上，随着提示变得更组合化，Falcon Perception保持稳定：Level 0（简单对象）上增益适度，但在更高级别上显著：Level 1（属性）提升9.2，Level 2（OCR导向）提升13.4，Level 3（空间理解）提升21.9。这证实SAM3擅长可提示分割，但不设计用于解决复杂语义歧义。Falcon Perception（0.6B）在几乎所有复杂推理层级上优于更大的VLMs：超过Moondream2-2B和Moondream3-9B（3到15倍更小），在空间（L3）和关系（L4）任务上匹配或超过Qwen3-VL-8B，在Dense分割上超过Qwen3-VL-30B（72.6对比8.9）。分辨率分析显示密集相变：448平方时模型在PBench Dense上几乎盲（3.9% micro-F1），但1024平方时达到61.0%（15倍改进），确认拥挤场景中空间细节是瓶颈。Pass@k采样显示性能持续提升：在SA-Co上cgF1从34.7（基线）提升到54.3（Pass@8），达到SAM3水平，在Wiki-Common子集上从19.3提升到45.0，超过SAM3。初始化分析显示多教师蒸馏显著优于随机初始化，即使训练足够长，随机初始化模型在pmF1和MCC上都落后较大边际。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| SA-Co开放词汇分割 | Macro-F1 | 68.0 | SAM3 | +5.7 |
| PBench Level 3（空间理解） | Macro-F1 | 52.6 | SAM3 | +21.9 |
| PBench Dense（拥挤场景） | Macro-F1 | 72.6 | Qwen3-VL-30B | +63.7 |
| SA-Co存在性校准 | Image-Level MCC | 0.64 | SAM3 | -0.18（落后） |
| olmOCR文档解析 | 准确率(%) | 80.3 | Mistral OCR 3 | -1.4（接近） |
| OmniDocBench全页解析 | Overall得分 | 88.64 | PaddleOCR VL 1.5 | -5.73（接近） |
局限与改进
作者承认的主要局限性包括：存在性校准不如SAM3（MCC 0.64对比0.82），这是因为自回归公式没有内在空类机制，需要显式负样本建模。训练成本更高，解码比完全并行的DETR类模型慢。在OCR任务中，OldScan类别上表现较弱（43.5%对比Chandra的49.2%），可能因为训练数据中缺乏严重退化的历史文档。TinyText类别上表现不足（78.5%对比Chandra的91.9%），因为从布局检测器裁剪的区域可能分辨率有限，300M模型难以区分细粒度字符。OmniDocBench的表格结构解析（TEDS 84.6）落后于PaddleOCR VL 1.5（91.1），部分原因是HTML表格表示不唯一，相同的视觉表格可能有不同的结构编码。公式匹配也因评估协议的敏感性受到影响（CDM 86.8对比PaddleOCR VL 1.5的94.4）。独立观察：Chain-of-Perception的顺序依赖可能限制了实例之间的并行推理；三阶段训练增加了训练复杂性；混合注意力掩码的实现可能带来工程复杂性；在极端拥挤场景（K大于600）时性能可能下降。
独立分析的弱点
独立分析的弱点包括：在存在性校准方面，模型缺乏内在空类机制，需要通过强化学习（如GRPO）使用cgF1作为奖励来改善，初步结果显示有8点MCC提升。在训练效率方面，三阶段训练增加了复杂性，未来可以探索端到端单阶段训练或课程学习自动化。在解码速度方面，自回归生成比并行DETR慢，可以通过更高效的token接口或批处理优化。在OCR任务中，对退化文档和小文本的处理不足，可以通过针对性数据增强和更高分辨率处理改进。在表格和公式解析方面，评估协议的敏感性导致性能被低估，需要更鲁棒的输出规范化或评估协议改进。在极端拥挤场景下，长上下文生成稳定性需要进一步研究，可能需要更强的位置编码或训练信号。在架构层面，混合注意力掩码可能限制了模型的灵活性，未来可以探索自适应注意力模式。
未来方向
作者提出的未来方向包括：更好的数据混合（包括纯文本、交错和字幕数据），更长上下文训练以应对密集场景，以及后训练（强化学习）从模型自身分布中选择正确的预测。基于成果可延伸的方向包括：探索GRPO等强化学习方法以改善存在性校准，初步结果显示8点MCC提升；将架构扩展到视频感知任务，利用时间上下文；探索更多模态（如音频、深度）的早期融合；优化推理效率，如批处理、量化、蒸馏；改进OCR任务对退化文档和小文本的处理；探索Chain-of-Perception在3D点云分割中的应用；研究自适应注意力模式以替代固定的混合掩码；探索与其他VLM的集成，如用于复杂推理的多阶段管道；在更多下游任务上验证早期融合的优势，如视觉问答、图像描述、机器人视觉等。
复现评估
论文提供了较好的复现基础。代码已开源在GitHub，包括模型架构、训练脚本和评估代码。数据方面，论文描述了详细的数据收集管道：从5400万张图像开始，通过层次聚类、VLM列表、负样本挖掘、集成共识、人工验证，最终得到1.95亿正表达式和4.88亿负表达式，共5.7亿掩码。还补充了公开数据集如OpenImages、Objects365、WCS相机陷阱等。训练细节包括多教师蒸馏（DINOv3 ViT-H和SigLIP2-So400m）在OpenLVD-200m上约200k步，感知训练总共685 Gigatokens，分三个阶段。算力需求：训练分布在四个8-A100 GPU节点上，使用序列打包和全局损失归一化。复现难度中等，主要挑战是大规模数据收集和计算资源。模型提供两个规模：300M（22层）和600M（28层）参数。评估提供了详细的指标定义和消融实验。OCR扩展FalconOCR（300M参数）使用相同架构，但从随机初始化训练，因为OCR需要的视觉特征与对象级特征不同。
论文图表
该表格比较了AdamW和Muon优化器在PBench-Det和SaCo-Det任务上的性能。Muon在两个任务上都优于AdamW：PBench-Det 57.7对比56.4，SaCo-Det 53.8对比49.0。
这个表格对理解论文的训练细节很重要，它量化了优化器选择对性能的影响，证明了Muon在专门头部训练上的优势。
该表格比较了查询间注意力策略：Full AR对比Query Masking。Query Masking在PBench-Det上略优于Full AR（54.2对比53.2），在SaCo-Det上相当（53.3对比53.1）。
这个表格对理解论文的注意力机制设计很重要，它展示了查询间掩码和完全自回归之间的权衡。