离散视觉Token的语义无损表示：因子化向量量化FVQ Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?

训练分四阶段。阶段一（量化器训练，100B tokens）：冻结视觉编码器（主实验为 Qwen3 ViT），只训练码本：特征 $z_i$ 经固定投影得 $L$ 个视图，在大小 $C=16{,}384$ 的码本里最近邻查找 $k_{i,\ell}=\arg\min_j\|u_{i,\ell}-c_{\ell,j}\|_2^2$，再用 $\hat z_i=\frac{1}{\rho}\sum_\ell R_\ell^\top c_{\ell,k_{i,\ell}}$ 重建并优化特征 MSE 损失；投影由固定高斯矩阵 QR 分解构造并乘 $\sqrt{\rho}$，全程不学习。阶段二（对齐，10B tokens）：量化器与 LLM 均冻结，只训练新初始化的视觉 token embedding 和 merger，把离散 ID 对齐到语言嵌入空间。阶段三（预训练，60B tokens，8K 上下文、1024px）：联合优化 LLM、视觉 embedding 与 merger。阶段四（SFT，30B tokens，16K 上下文、2048px）。LLM 用 Qwen3-8B，标准 1D RoPE、去掉 ViT 的 DeepStack，保持纯 next-token 预测。每 patch 输出 $L$ 个索引，主模型 $L=16$，即每 patch 224 bits。

技术新颖性有三点。第一，把量化器的评价标准从重建误差换成有效比特预算与下游理解，这一概念性修正本身是贡献——它解释了为什么单码本 SimVQ（41.9 分）与 RVQ（64.0 分）可以有巨大性能差，也让「加码本」从启发式变成有明确收益边界的缩放维度。第二，紧框架分析-合成对的设计：投影固定为满足 $A^\top A=\rho I_D$ 的列正交矩阵，使量化前的分解零失真、失真全部来自码字量化，且每个特征方向被均匀缩放；相比依赖 straight-through 估计的 VQ-VAE 或查询转换的 SimVQ，它给了多视图量化一个干净的线性代数保证。第三，实证层面首次在工业规模（合计约 200B tokens 训练数据）上证明离散表示可以与 Qwen3-VL 竞争，包括此前被认为离散路线不可能做好的 OCR、图表与文档任务（CharXiv 甚至反超连续模型 86.1 对 83.0）。作者也明确定位 FVQ 是缓解饱和的「一种途径」而非唯一方案，措辞克制、留出设计空间。

独立分析几个具体弱点。其一，计算可扩展性：$L=16$ 意味着视觉 token 序列约 16 倍长，在 2048px 高分辨率文档场景注意力开销巨大，而所有对比均未控制推理算力；改进方向是视图间 token 合并、分组注意力或层次化聚合后再进 LLM。其二，固定随机投影可能次优：QR 分解的高斯矩阵与 $d$、$\rho$ 均为超参数，无数据驱动选择机制；可让投影可学习并保持正交约束（如 Stiefel 流形上的可微优化），或训练中联合微调。其三，码本利用率未报告：$C=16{,}384$ 的大码本有 codebook collapse 风险，论文以「大码本难优化」为由固定 $C$，但未给出各码本的利用率曲线；应补充利用率监控与死码重置。其四，缺少生成与效率基准：离散 token 的卖点是统一理解与生成，本文未测文生图或图像编辑；应把 FVQ 接入统一模型验证双向能力。其五，any-resolution tokenizer 与 2048px 最大分辨率本身可能贡献部分 OCR 增益，应增加同分辨率连续基线的对照消融，剥离量化器与分辨率策略各自的作用。

作者提出的延伸方向隐含在结论中：把离散表示作为大规模原生多模态基础模型的可扩展接口。基于此可延伸的具体方向包括：（1）缩放律研究——系统绘制 $L$、$d$、$C$ 与数据量对理解性能的缩放曲线，寻找 FVQ 自身的饱和点，检验 448、896 bits 时能否继续超越连续表示；（2）统一理解-生成模型——FVQ 的对称码本天然支持从索引经合成算子解码回特征，可接入扩散或自回归图像生成头，验证「同一套 token 既看又画」；（3）视觉思维链——背景中提到离散 token 可作为视觉思维链与中间语义表示，高比特预算是否让中间推理更可靠值得实验；（4）语义压缩下限——既然原始信号冗余高，可研究「每 patch 多少 bits 足够」的信息论下界，反过来指导连续编码器的压缩与蒸馏；（5）端到端联合训练——目前量化器冻结、投影固定，未来可让投影、码本与 LLM 联合优化，或让 LLM 自回归地生成离散视觉 token；（6）更低维度与蒸馏——研究能否用更小的 $d$ 或更少码本蒸馏出同性能 tokenizer，降低部署成本。

复现条件分层评估。代码与项目主页已公开（github.com/hustvl/FVQ），这是复现的基础。核心发现层（第 2 章的比特预算缩放与误差-语义解耦实验）相对便宜：共享设置主要基于公开的 LLaVA-OneVision 数据，量化器训练 50B tokens、对齐约 4B tokens，探索实验用 Qwen3-1.7B，单节点多卡（约 8×A100/H100 量级）数天内可完成，普通实验室可以复现 Table 1/2 的趋势。主结果层（8B 工业模型）成本高：四阶段合计约 200B tokens（100B+10B+60B+30B），训练对象为 Qwen3-8B，需要数百卡周级别的集群资源以及 STEM/OCR/图文交错等混合数据的工程准备，普通团队难以完整复现，只能依赖其公开权重或缩减规模验证。评估侧所有基准（MMMU、MathVista、OCRBench、OmniDocBench、CharXiv 等）均为公开基准，论文标注了哪些对比数字是作者自测（带 *），协议透明。总体判断：趋势可复现、SOTA 数字难复现，开源程度在同级别工作中属于较好水平。