LongCat-Next：将模态词汇化为离散 Token LongCat-Next: Lexicalizing Modalities as Discrete Tokens

方法的具体步骤可以拆成两条流水线。视觉 dNaViT 流水线（Stage I+II，对应 Fig. 4）：(1) 输入图像经 Qwen2.5-ViT 编码（28× 空间压缩比），得到语义对齐的预量化特征 $z_p \in \mathbb{R}^{n \times d}$；(2) 经可学习投影 $f_{proj}$ 映射到 $r_0$，再通过 8 层 RVQ 逐级量化：第 $l$ 层先对残差 $r_{l-1}$ 做 VQ 得到 $\hat{q}_l$，残差更新为 $r_l = r_{l-1} - \hat{q}_l$，最终 $\hat{z} = \sum_{l=1}^{L} \hat{q}_l$，量化损失为 $\mathcal{L}_{quant} = \lambda_c \mathcal{L}_{commit} + \lambda_s \mathcal{L}_{semantic}$，codebook 用 EMA 更新（$\gamma$ 控制衰减）+ Laplace smoothing + 死码本重生；(3) 训练 tokenizer 时先用固定分辨率 warm-up，再用任意分辨率 + FlashAttention 的可变长序列（最长 8192 token）继续训，语料涵盖 LAION/COYO/DataComp/TextAtlas + MidJourney 合成图，约 50M 图像，最大 1736×1736；(4) Stage II 冻结 encoder 与 codebook，训练 400M ViT 像素解码器 + OmniGen2 初始化的 flow matching refiner，目标 $\mathcal{L}_{dec} = \lambda_1 \mathcal{L}_{pixel} + \lambda_2 \mathcal{L}_{percep} + \lambda_3 \mathcal{L}_{align} + \mathcal{L}_{flow}$，输入侧在 SAM-1B、RenderedText、IDL 等高分辨率数据上原生分辨率训到收敛。原生多模态训练流水线（Fig. 13）：(1) Pre-Align：冻结 LLM 主干，仅训练 codebook embedding + Pre-Buffer（单层 FFN）+ DepthTransformer，让离散 token 嵌入对齐到 LLM 表征空间；(2) Pre-training：在 8K 上下文用 8192 batch size 做全模态联合训练（文本+图像+音频）；(3) Mid-training：升至 32K 上下文、batch size 1024，加入长 CoT 推理数据和任意分辨率生成数据；(4) SFT：64K 上下文、batch size 128，做高质量指令微调。视觉多级 token 在 embedding 层通过 summation 融合；生成时单个 LLM step 后 DepthTransformer 并行解码所有 RVQ 层级。音频侧同时按 Moshi 思路引入 text-guided audio：在 prompt 中插入 AS/AE/TE 三个特殊 token，训练时把段级 text-audio 对齐的 delay 从 1 到 text 长度随机采样，从而串行/并行生成只是这个分布的两个极端。

技术新颖性体现在四个层面。第一，理论上明确提出「semantic completeness」作为离散视觉 token 化的目标函数（$P(A|z,Q) \approx P(A|I,Q)$），并把它分解为 Discriminative Invariance 和 Generative Sufficiency 两个性质，给离散 token 化研究提供了少有的形式化判据。第二，对视觉表征容量瓶颈给出新颖诊断：把视觉 encoder 拆成残差块的累加 $z_p = x_0 + \sum_{l=1}^{L} F_l(x_{l-1})$，指出 identity mapping 本身就是像素级信号的天然传播通路，这为「为什么 SAE 也能支持重建」提供了一种架构层面的解释（区别于把重建能力全部归因于语义监督的传统观点），并通过随机 ViT 实验 PSNR 30.52 > 预训练 ViT 21.86 反直觉结果来佐证。第三，工程上把「text-guided audio」的并行/串行生成统一到「随机 delay 训练」单一框架下，且不依赖两套推理路径，这是对 Moshi 路线的简化与一般化。第四，基础设施层面提出 VHalf 流水线并行（Fig. 16）：把 embedding 层和 modality loss 模块共置到同一物理设备，构造 V 形 schedule，并通过 shared buffer 实现 zero-copy 内部通信，显著降低多模态异构负载下的 pipeline bubble。

独立分析可补充以下弱点与改进方向。弱点 1：离散视觉 token 的「理解-生成」权衡仍非免费。Sec. 3.2.3 显示在 1:1 混合训练下 Unified 比 Pure-Und. 在 loss 上只差 0.006、且比 Pure-Gen. 低 0.02，结论是「生成没有牺牲理解，理解反而帮助了生成」；但这只能保证平均性能，要彻底消除 conflict，可能需要为不同子任务设计不同的路由温度或 token-level curriculum。改进方向：在 DiNA 框架内引入任务感知的 MoE 路由偏置，让生成类样本在初层就路由到「重建专家」，理解类样本路由到「判别专家」。弱点 2：dNaViT 训练对算力非常敏感，Sec. 3.2.1 表明在 0.1B token 下离散版本 OCRBench 598、DocVQA 78.0 与连续版本 779/88.2 有显著差距，要 300B token 之后才能追平。这对中小团队几乎不可复现。改进方向：发布预训练的 SAE + 多分辨率 RVQ checkpoint，让下游用户可以省去 Stage I 的训练成本；同时探索把 SAE 蒸馏到小模型。弱点 3：当前 audio tokenizer 仍依赖 2.5M 小时数据 + Whisper-large-v3 初始化，跨语种能力（特别是低资源语言）很可能受限于英语/中文/部分方言的语料分布，TUT2017 43.09 与 VocalSound 85.91 远未饱和。改进方向：引入多语种 teacher-student 蒸馏，并对 RVQ 各层码本大小按语种使用频次重新分配。弱点 4：RL 中的 entropy 爆炸问题（Sec. 6.1）需要靠序列级熵过滤和 train-infer 差异过滤「事后」剪除噪声样本，治标不治本。改进方向：把这种过滤机制前移到 rollout 阶段，例如用离线 importance sampling 或 rejection sampling fine-tuning（RSFT）直接在策略外做校正。

作者在 Sec. 6.2 明确指出几个开放方向：(1) 升级 vision tokenizer，使其在保持语义解码一致性的同时提升像素保真度与高分辨率表现；(2) 从 image-to-text / text-to-image 走向 any-to-any 任意模态组合的生成与多轮 interleaved 推理；(3) 探索大规模感知预训练与离散 token 建模的协同 scaling law，设计与离散表示更匹配的预训练目标。基于成果可进一步延伸的方向包括：(a) 把 DiNA 推广到视频与 3D 表征，验证离散 token 化在时序模态上的可扩展性；(b) 借助 SAE 与语言模型之间天然的对齐，把 discrete visual token 直接用于 retrieval-augmented 多模态推理（图像当文档）；(c) 借助 modality-agnostic MoE 中专家分化（Sec. 3.2.5）的现象，研究 expert-level modality routing 是否可被显式监督，以进一步提升容量效率；(d) 将 VHalf 流水线推广到具身/agent 场景，处理异步异构的 sensor 流。

复现评估分两层。代码与权重：作者明确开源了模型和 tokenizer（GitHub: meituan-longcat/LongCat-Next，Hugging Face: meituan-longcat/LongCat-Next），但目前发布的是 A3B 规模（68.5B 总参 / 3B 激活）的旗舰模型，backbone 来自已有的 LongCat-Flash-Lite，整体模型权重完整下载。数据：原论文并未公开 50M tokenizer 图像数据、2.5M 小时音频、~2T token 多模态预训练数据的具体来源，依赖大量 in-house 语料（标注脚本、合成数据生成工具、过滤 pipeline 均未公开），这意味着从零复现极难；但如果以「使用开源 SAE + MidJourney 合成图 + LAION/COYO/DataComp/TextAtlas 公开集」的子集进行小规模实验，是可行的。算力：完整训练 2T token + 50M tokenizer 图像 + 1736×1736 高分辨率 + 400M ViT 像素解码器，需要数千张 H100/A100 级别的算力规模；ablation 实验（Fig. 9）显示离散方案要追平连续需要 300B+ token 训练量。复现难度：完整复现该模型的工业级训练需要大规模集群和工程团队，仅复现算法思想（如 dNaViT、Pre-Buffer、DiNA 训练流程）并在小规模数据上验证可在 8×A100 上完成，整体上属于「重资源、但算法透明」的项目。