Perceptio：基于空间Token生成的感知增强视觉语言模型 Perceptio: Perception Enhanced Vision Language Models via Spatial Token Generation

Perceptio的方法包含以下关键步骤：第一步，构建深度codebook：使用Depth Anything V2模型从训练图像生成连续深度图，然后训练VQ-VAE将其离散化为K=128个codeword的codebook。每个深度图被patchify为sqrt(n) x sqrt(n)的网格，生成n=100个深度token索引，加上[dstart]和[dend]两个特殊token，共K+2个深度相关token加入模型词表。第二步，数据集构建：在RefCOCO/+/g的基础上，为每个指代表达样本附加（i）分割token序列（从ground-truth掩码转换），（ii）对齐的深度token（编码同一区域的量化深度），（iii）简洁的属性描述句子，共构建56K联合样本。第三步，多任务联合训练：模型接收图像和文本查询作为输入，目标序列按顺序生成分割token、深度token和文本答案。训练使用复合损失函数，其中LLM损失为标准teacher-forced负对数似然，分割重建损失结合像素级交叉熵和DICE损失，深度token生成损失为marker、token和count三项的加权和，深度重建损失通过软合并技术实现可微解码。第四步，推理：给定图像和文本提示，LLM自回归地生成序列。[seg]token触发SAM2解码器输出分割掩码，[depth]token序列通过VQ-VAE codebook解码为连续深度图，文本子序列去tokenization形成自然语言响应。推理时不需要教师模型，除非应用显式需要分割掩码或深度图输出。

Perceptio的技术新颖性体现在多个方面。首先，在架构层面，这是首个在单一自回归LVLM序列中联合优化2D语义分割和3D深度推理的工作，开创性地将感知token生成作为语言建模的一等目标。其次，在损失函数设计上，提出了针对深度token的复合目标体系。marker损失通过交叉熵确保[dstart]和[dend]在正确位置生成；token损失对深度span内部的每个token计算交叉熵，确保code值准确；count损失惩罚生成长度与目标长度n的偏差。这三个损失分别对齐深度序列的起止位置、填充内容和序列长度，形成完整而互补的监督信号。第三，软深度重建技术是另一个重要创新：用softmax概率分布加权codebook embedding，替代硬codeword选择，使离散token到连续深度的映射可微，梯度能够流过tokenization阶段实现端到端训练。第四，在训练策略上，模型在多样数据集上采用多任务co-training，包括665K LLaVA-1.5指令调优样本、214K接地对话生成样本和56K联合感知数据集，既保留QA能力又适配定位和分割任务。

尽管Perceptio取得了显著成果，仍存在几个值得深入分析的弱点。第一，深度token与通用VQA之间的优化张力表明，当前的多任务联合训练策略并非最优。当模型需要同时学习生成深度token序列和文本答案时，可能会出现梯度冲突，导致两个目标之间的权衡。改进方向：可以探索任务自适应课程学习（task-adaptive curriculum learning），根据训练进度动态调整深度token损失的权重，或者使用梯度手术（gradient surgery）技术来解决多任务间的梯度冲突。第二，模型使用固定的100个深度token来表示所有图像的深度信息，这种固定长度可能对不同复杂度的场景不够灵活。改进方向：可以引入自适应长度机制，根据场景复杂度动态调整深度token数量。第三，VQ-VAE codebook大小K=128可能限制了深度精度，特别是在需要精细深度区分的场景中。改进方向：可以探索层次化codebook或多尺度量化策略来提高深度表示的分辨率。第四，论文中的56K联合感知数据集规模相对较小，且主要基于RefCOCO系列，数据多样性可能不足。改进方向：可以从更多视觉问答和视觉对话数据集中自动提取分割和深度标注，扩大训练数据的规模和多样性。

作者提出了几个重要的未来研究方向。首先，将感知token扩展到编码更多空间属性，如表面法线（surface normals）或光流（optical flow），朝着单一自回归框架内的统一空间智能发展。这是一个极具前景的方向，因为表面法线可以提供更丰富的几何信息，光流则可以引入时间维度的空间推理。其次，从静态图像扩展到视频理解是一个自然而重要的延伸。视频中的时间一致深度token和物体会引入新的优化挑战，但也为时序空间推理提供了机遇。第三，改进对教师模型噪声的鲁棒性，减少错误传播对下游任务的影响。基于现有成果还可以延伸以下方向：（1）探索感知token在机器人操作和导航任务中的应用，因为精确的空间理解对于机器人与物理世界的交互至关重要；（2）将感知token与语言模型的推理能力结合，实现更复杂的空间推理任务，如空间关系推理、物体功能理解等；（3）研究感知token的可解释性，理解模型如何利用分割和深度信息进行决策；（4）探索感知token在少样本学习和域迁移中的泛化能力，测试模型在未见过的场景类型上的空间理解表现。

从复现角度来看，本文提供了相对详细的实现细节。训练在64块NVIDIA A100 GPU上进行约24小时，采用AdamW优化器，学习率4乘以10的负5次方，batch size为每设备1个配合8步梯度累积（有效batch size 512），LoRA rank设为256，最大序列长度8192 token。深度VQ-VAE使用K=128的codebook，LLM生成n=100个深度token。损失权重设置为marker 0.3、token 0.5、count 0.2、depth 1.0、depth reconstruction 1.0。分割损失结合交叉熵（权重1.0）和DICE损失（权重0.25）。然而，复现面临几个挑战：首先，论文声明代码库和数据集将在发表后公开，但目前尚未发布，这限制了立即复现的可能性；其次，64块A100的训练资源要求较高（约24小时），对于资源有限的研究团队可能构成障碍；第三，训练数据集包含多个来源（665K LLaVA-1.5、214K接地对话、56K联合数据），需要仔细组合和预处理；第四，论文未详细说明VQ-VAE深度codebook的训练细节（如网络架构、训练轮数），这可能影响深度token质量。总体而言，一旦代码和数据公开，具备充足GPU资源的团队应该能够在合理时间内复现主要结果。