dNaViT：离散编码即通用视觉表示 dNaViT: Discrete Codes are General-Purpose Visual Representations

训练分三阶段（Fig. 7）。Stage 1 连续像素预训练：输入图像，冻结 ViT 输出多层特征，ResMod 产生 $Z=R(E(x))$，量化器被旁路，仅以像素损失 $\mathcal{L}_{\text{pix}}=\lambda_1\mathcal{L}_1+\lambda_{\text{MSE}}\mathcal{L}_{\text{MSE}}+\lambda_{\text{LPIPS}}\mathcal{L}_{\text{LPIPS}}+\lambda_{\text{perc}}\mathcal{L}_{\text{perc}}+\lambda_{\text{Gram}}\mathcal{L}_{\text{Gram}}$ 联合训练 ResMod 与像素解码器，让残差通路先学会『暴露』重建信息。Stage 2 离散语义重建：冻结 ViT 与 ResMod，量化器与语义解码器用 $\mathcal{L}_{\text{sem}}=1-\cos(\hat{Z},\mathrm{sg}(Z^\star))+\lambda_{\text{sem}}\mathrm{MSE}(\hat{Z},\mathrm{sg}(Z^\star))$ 重建固定目标；同时像素解码器在 detach 的码 $\mathrm{sg}(C)$ 上训练，建立『码→像素』初始映射而互不干扰。Stage 3 联合重建：解冻学生 ResMod，保留其 Stage-2 冻结副本作教师提供目标 $Z^\star$，打开像素梯度，按 $\mathcal{L}_{\text{dual}}=\lambda_{\text{sem}}\mathcal{L}_{\text{sem}}+\lambda_{\text{pix}}\mathcal{L}_{\text{pix}}$ 联合优化。数据从 256² 起步、渐进过渡到 2K 原生分辨率，全程数百 billion token。可选的码条件 Refiner 在冻结图像自编码器潜空间做流匹配训练多步教师，再以潜空间回归+时序感知判别器对抗损失蒸馏为一步学生。下游理解模型冻结 dNaViT-G16，配 Qwen3-8B 依次用约 70B/150B/60B/30B token 完成对齐、预训练、中期训练与 SFT。

技术新颖性体现在四个层面。架构上，与 PAE/RAE 只做连续重建不同，dNaViT 首次把『冻结语义编码器 + 残差调制』推进到离散量化瓶颈，且编码器全程不训练——这把语义保持从『蒸馏约束』升级为『结构保证』。量化上，不同于 UniTok 的双码本（理解与生成各一套码）或 BSQ 的单码本二进制化，分组乘积量化以 $G$ 个通道组因子化容量（$K^G$ 组合），码本跨空间共享，G16/G64 只改变每位置的索引数而非网格密度，序列长度成本为零。目标函数上，论文指出纯余弦损失会因表征各向异性（特征集中在一个窄锥内、共享均值占主导）而虚低，故叠加 MSE 约束绝对幅值；像素侧五项损失互补——VGG LPIPS 管多层感知相似性，ConvNeXt-S 感知损失管高层识别响应，Gram 矩阵损失管纹理与通道相关性。解码上，码条件 Refiner 与 GLM-Image/UniAR/X-Omni 等『RGB 条件 + 文本条件 + 多步』的 refiner 本质不同：直接以离散码为唯一条件（上下文适配器供全局 token、时间感知空间适配器零初始化注入逐层残差），无需文本条件、可一步解码，既避免中间像素解码的信息损失，又保证编辑时不被文本语义先验篡改源内容，还天然支持可变分辨率。

独立分析五个弱点。第一，组数消融不干净：G16/G64 在数据与训练时长上不对齐，无法回答『每增加一组值多少比特』，改进方向是固定数据与步数做 $G\in\{8,16,32,64,128\}$ 的受控扫描，并报告率失真（rate-distortion）曲线。第二，离散表示仍需更多数据：论文引用 LongCat-Next 的发现——离散 embedding 从头学习、需要更多训练数据才能追平连续特征（Table 9 中离散平均 65.05 vs 连续 66.96），改进方向是把码 embedding 初始化为量化后的连续特征或设计余弦对齐课程，缩短收敛差距。第三，32× 压缩下小文字与密集结构必然欠采样（TokBench 1024² 小目标桶 T-ACC 仅 26.79%），改进方向是引入局部 token 密化（对文本/图表区域降低 $f$）或可变码率量化。第四，Refiner 的生成先验是双刃剑：一步蒸馏加对抗损失会『补』出高频细节，但在数值表格、图纸标注、票据等场景可能改写内容，改进方向是给 Refiner 加码—像素一致性约束（如区域级重编码损失），或提供确定性 ViT 解码的 fallback 模式。第五，多组索引使每个空间位置展开为 $G$ 个 sub-token，生成端需要 multi-sub-token head，自回归步数与显存随 $G$ 线性增长，改进方向是层级式预测（先预测粗组、再条件化细组）或对索引元组学习结构化先验以降低有效熵。

作者指向的未来是『完全统一、原生的多模态方法』：既然一套离散词汇已同时支撑重建、理解、生成与编辑，下一步自然是把视频、音频纳入同一词汇表，用纯 next-token 目标统一训练，并检验容量 $K^G$ 随模态与数据规模的 scaling 行为。基于本文成果还可延伸：（1）视频原生分辨率分词——把分组乘积量化扩展到时序维，并研究跨帧码本共享与运动补偿；（2）可控率失真——按任务动态选择 $G$（理解用小 $G$、重建/编辑用大 $G$），实现『一个模型、多档码率』；（3）把 Table 9 的免训练 ResMod 插入（不重训 LLM 即保住 66.48 平均分）推广为即插即用的视觉增强件，服务于存量 VLM；（4）语义—像素权衡的显式解耦——Fig. 9 已证明『码里藏着比 ViT 解码器能画出的更多信息』，可探索从同一份码导出多档保真度的解码器族；（5）让 LLM 直接在视觉码上做规划与想象，与世界模型、强化学习结合，把生成从产品能力变成推理的中间状态；（6）蒸馏更小的 tokenizer 或把 ResMod 并入量化器，降低约 500M 的分词开销，便于端侧部署。

论文首页给出 Project Page、GitHub 与 Hugging Face 链接，表明代码与权重有意开源；作者为美团 LongCat 团队，工程投入充足。复现要点：tokenizer 约 500M 参数（冻结 Qwen3-VL ViT 约 400M + ResMod 约 100M），训练数百 billion token，分辨率从 256² 渐进到 2K；数据混合需要 LAION/COYO/DataComp/Recap-DataComp-1B/CapsFusion、TextAtlas5M 子集、ChartGalaxy、SA-1B 及 in-house 语料，其中 in-house 部分不可得，只能用公开数据近似；理解模型为 Qwen3-8B 加约 310B token 的四阶段训练；生成/编辑模型还需码条件 Refiner，其依赖某个预训练 DiT 生成先验，论文未指明具体是哪个底座模型，这是复现的最大不确定点。总体难度中偏高：完整复现需数百张高端 GPU 量级与数周训练；若只做评估（加载开源权重跑 12 个理解基准、4 个生成基准与 GEdit-Bench）则门槛很低。评测协议在论文里描述得相当细（如 ObjectNet 18,574 张图、113 个重叠类、去红框处理；线性探针 10 epoch、SGD 动量 0.9、峰值学习率 0.1、全局 batch 1024），有利于第三方对齐结果。