Youtu-VL: 通过统一视觉-语言监督释放视觉潜能 Youtu-VL: Unleashing Visual Potential via Unified Vision-Language Supervision

Youtu-VL的完整方法包含以下步骤：（1）协同视觉分词器构建：使用两个冻结的基础编码器SigLIP-2（提供语言对齐语义）和DINOv3（提供边界一致性局部对应），通过跨注意力融合机制将两者结合。具体地，将DINOv3特征作为Query，SigLIP-2特征作为Key和Value，计算跨注意力得到协同表示。然后与原始结构特征拼接，通过MLP投影后使用IBQ量化为离散token，码本大小K=150,000，嵌入维度D=768。（2）分词器优化：使用复合损失函数，其中LPIPS感知损失确保纹理真实，GAN对抗损失提升视觉质量，VQ损失防止码本坍塌，熵正则化提升利用率。关键设计是故意排除标准像素级L1重建损失，避免纹理偏差。（3）统一自回归监督：给定包含文本token和视觉token的多模态序列，模型优化下一个token的概率，不区分模态。损失函数为文本损失和视觉损失的加权和，其中文本和视觉损失均为标准交叉熵。（4）NTP-M多标签监督：对于视觉token，每个patch可能对应多个语义标签。从单标签扩展到多标签框架，为每个patch构建多热目标向量。将生成目标重新定义为独立伯努利试验的联合概率，使用Sigmoid激活。损失函数采用独立正负样本平均：计算所有正样本的平均损失，对负样本按预测概率排序，仅计算top-k相关负样本的平均损失，防止梯度被大量无关负样本稀释。（5）视觉中心任务实现：文本预测任务（检测、定位）扩展词汇表加入2048个X/Y轴坐标token，使用绝对像素坐标避免归一化误差；密集预测任务（分割、深度）直接从vision token logits获取结果，对多token类别聚合logit均值，reshape为空间网格后双线性插值恢复像素级粒度，通过argmax获得预测结果。

Youtu-VL的技术新颖性体现在以下几个方面：（1）范式创新——首次将VLM的优化目标从纯文本扩展到视觉-语言统一监督，从根本上解决了文本主导优化偏差。这种视觉即目标的范式与传统视觉即输入形成鲜明对比，是VLM训练思想的根本转变。（2）协同视觉分词器设计——创新性地融合SigLIP-2的语义对齐和DINOv3的几何结构，通过跨注意力机制在离散化前形成密集视觉-语言对齐特征。关键设计是故意排除像素级L1损失，迫使码本编码结构语义而非像素统计，实现97.74%的利用率。（3）非对称表示策略——输入使用连续嵌入保留信号保真度，目标使用离散token实现稳定监督，这种设计在信息保留和监督稳定性之间取得最佳平衡。（4）NTP-M损失函数——针对多标签多任务场景，从标准NTP（建模分类分布）扩展为独立伯努利试验的联合概率，并创新性地提出独立正负样本平均和相关负采样策略，防止正样本被海量负样本淹没。（5）原生密集预测——证明标准VLM的logit表示可直接用于密集预测，无需辅助解码器或任务特定token，这是首个在标准VLM架构上实现完整视觉中心任务的工作。

基于对论文的深入分析，识别出以下弱点及改进方向：（1）码本容量与效率的权衡——当前使用K=150,000的码本，虽然实现了97.74%的利用率，但大码本增加了计算和存储开销。改进方向：探索分层码本或多尺度量化，在保持表达能力的同时减小码本规模；或使用哈希技术加速最近邻查找。（2）视觉分词器的训练稳定性——协同视觉分词器使用复合损失函数（LPIPS+GAN+VQ+Entropy），GAN训练的不稳定性可能影响整体训练。改进方向：引入渐进式训练策略，或使用更稳定的对抗训练变体（如WGAN-GP）；探索是否可以移除GAN损失，仅使用感知损失和码本损失。（3）密集预测的后处理依赖——语义分割结果可选择性地使用Dense CRF后处理，深度估计需要反量化恢复真实深度。改进方向：训练模型直接输出连续值而非离散bin，或开发端到端的后处理模块。（4）NTP-M的相关负采样策略——当前使用top-k选择相关负样本，但k值的选择可能依赖于任务。改进方向：开发自适应k值选择机制，根据任务难度和词汇表分布动态调整。（5）多任务训练的梯度冲突——不同视觉任务（分割、深度、检测）的梯度可能相互干扰。改进方向：引入梯度手术（Gradient Surgery）或多任务学习中的动态权重调整策略。

基于本文成果，可延伸以下研究方向：（1）扩展到视频理解——将VLUAS范式扩展到视频领域，使用时间维度的视觉token预测，实现视频中的细粒度时空理解。可以探索时空分层tokenizer，结合帧间运动信息。（2）3D场景理解——将统一视觉词汇表扩展到3D表示（如点云、NeRF），实现2D-3D联合推理。当前的深度估计能力可作为3D理解的基础。（3）多模态Agent——利用强大的视觉定位和GUI能力，开发更强大的多模态智能体。当前OSWorld 38.8%的成功率表明仍有很大提升空间，可通过更长horizon的强化学习和环境反馈机制改进。（4）高效推理优化——探索视觉token的稀疏化或选择性预测，减少计算开销。可以研究何时需要密集预测、何时可以用粗粒度表示。（5）跨模态对齐理论——深入研究视觉即目标范式的理论基础，分析为什么统一监督能提升视觉表示质量。可以建立信息论或学习理论框架来解释实验现象。（6）更大规模的缩放——将VLUAS应用到更大规模的模型（如70B参数），验证范式在不同规模下的有效性。当前的缩放分析显示α约0.1，可以探索是否在更大规模下仍保持这一缩放效率。

从复现角度来看，Youtu-VL的复现难度较高，主要体现在以下方面：（1）开源情况——代码已在GitHub开源（https://github.com/TencentCloudADP/youtu-vl），模型在HuggingFace发布（https://huggingface.co/collections/tencent/youtu），这为复现提供了基础。但技术报告中缺少一些关键实现细节，如NTP-M中相关负采样的具体k值选择、各阶段的详细超参数。（2）数据规模——训练数据规模巨大：Stage 1-2约10T tokens纯文本，Stage 3约1.8T tokens多模态数据，Stage 4约0.6T tokens指令数据。复现需要访问大规模高质量数据集，这对大多数研究团队来说是重大挑战。（3）算力需求——四阶段训练流程需要大量GPU资源。视觉分词器训练、VLUAS预训练、SFT和多阶段RL都需要显著的计算资源。粗略估计，完整复现可能需要数千GPU天。（4）技术复杂度——方法涉及多个创新组件（协同视觉分词器、NTP-M、密集预测机制），每个组件的实现细节都会影响最终性能。多阶段训练流程增加了超参数调优的难度。（5）基座模型依赖——语言骨干基于自研的Youtu-LLM，其训练细节在单独的技术报告中。复现者需要使用替代的LLM基座，可能无法获得完全相同的性能。总体而言，完整复现本文结果对资源有限的研究团队来说极具挑战性，但核心思想（VLUAS范式、NTP-M损失）可以在更小规模上验证。