UniSpace：统一视觉表示与可扩展多模态建模 UniSpace: Unified Visual Representation and Scalable Multimodal Modeling

第一步，诊断：在 SigLIP2 上逐层训练相同重建探针，语义准确率随深度从 0.93% 升至 81.29% 而像素可恢复性崩塌；仅把补丁嵌入 $P_s$ 换成随机投影、其余全部冻结，最后层 PSNR 即从 20.96 升至 24.66，证明抑制发生在前向传播中。第二步，构造统一表示：新增由 $P_s$ 初始化的重建感知嵌入 $P_r$，得 $T_r=F_\phi(P_r(I))$，经 $W_r$ 压缩到 128 通道后与冻结的 $T_s$ 沿通道拼接为 $T_u$（SigLIP2/DINOv2 为 896 维，Qwen-ViT 为 1280 维）。第三步，重建训练：ViT-XL 解码器先用 L2+LPIPS 训练 $P_r$、$W_r$ 与解码器（AdamW 2e-4、batch 512），再冻结编码侧、加 GAN 损失精调解码器 20 epochs。第四步，生成训练：以 $Z_1=T_u$、$Z_t=(1-t)Z_0+tZ_1$、目标速度 $V_t=Z_1-Z_0$ 做流匹配，损失按分量维度归一化并以 $\lambda_r=0.75$ 加权重建分量。第五步，系统化：UniSpace 基于 Qwen3-8B MoT，文本与条件图 token 走理解专家、加噪视觉 token 走生成专家；理解样本优化 $\mathcal{L}_{NTP}$，生成与编辑共享同一 BFM 目标，tokenizer 全程冻结；四阶段课程（256→512→1024→SFT）共约 510M 样本实例、470B token，用 256 张昇腾 910B 训练约 142K NPU 时。

与已有路线逐一对比：RAE 直接拿冻结语义特征当生成潜变量，但受制于原始语义补丁嵌入，DINOv2-B 上 rFID 仅 0.57、PSNR 仅 18.86；UniFlow 靠蒸馏训练「理解感知的重建表示」，RAEv2 堆多层 DINO 特征，VA-VAE 把语义对齐塞进 autoencoder——三者都要改动或重训编码侧。UniTok/TokenFlow 等统一 tokenizer 需从头训练骨干；SenseNova-U1 反向去掉外部编码器、端到端学原生像素接口。本文证明存在一条更省的路：完全不修改预训练权重，仅重参数化输入端就让同一骨干服务理解与重建，预训练语义先验被结构性保留（Table 4 中理解分数不降反升）。此外，Fig 5 的纠缠表示诊断（真实潜变量上 rFID 0.069、PSNR 33.83、zero-shot 78.53，但生成潜变量用重建解码器解码 FID 高达 120.9，且约 95% 方差由语义通路解释，$\rho_s\approx 95\%$）首次系统揭示了「理解好 + 重建好 ≠ 可生成」的表示质量与可建模性鸿沟，并给出显式分解 + 平衡流匹配的解法，这一洞察对整个统一 tokenizer 方向都有方法论价值。

弱点一，生成保真度天花板：统一空间必须同时「易解码」与「易建模」，128 维压缩牺牲细节（Table 13：768 维时 rFID 0.085、PSNR 33.61，但 40 epochs 的 FID 从 6.92 恶化到 11.07）。改进方向：对重建分量引入自适应噪声调度或分量级时间步，让生成先验逐步适应更高维细节分布。弱点二，冻结编码器使理解能力无法随下游数据进化（作者已承认），可探索低秩适配（LoRA 仅作用于语义通路）或交替冻结的双速率训练，在不破坏生成的前提下微调理解分支。弱点三，细粒度风格与组合编辑偏弱（ImgEdit Style 2.70、GEdit PQ 7.06），可加大感知损失权重、引入高分辨率区域级编辑监督。弱点四，计数（0.69）与颜色绑定（0.88）落后，属数据与后训练层面问题，可用针对性合成数据与偏好优化纠偏。弱点五，训练需约 142K NPU 时、256 张昇腾 910B，且依赖内部策划数据，社区难以复现完整训练动力学，限制了结论的外部验证。

作者提出的方向是探索统一表示与 UniSpace 模型的联合优化，在保持生成能力的同时提升理解。基于本文成果还可延伸：其一，把补丁重参数化推广到视频 ViT，构建时空统一表示支持视频理解与生成；其二，将显式通道分解思想引入自回归范式，对 $\tilde{T}_r$ 做离散化以兼容 LLM 式 next-token 预测；其三，从理论上解释「随机嵌入暴露细节残差通路」的现象——残差流中的语义无关信息为何会被语义参数化逐层抑制，这关系到表示几何与信息流守恒的基本问题；其四，把 decoder calibration（用早期 DiT 检查点采样潜变量微调解码器）推广为 tokenizer 与生成先验的交替协同训练，进一步收窄生成-重建差距；其五，在更大 LLM（>8B）与更强生成专家上验证统一表示的 scaling 行为，检验其在更大规模下是否仍保持权衡优势。

开源情况较好：项目页（yjb6.github.io/UniSpace）、GitHub 与 HuggingFace（yjb6/UniSpace）均已公开，作者称发布完整 UniSpace 系统，权重可下载推理。Tokenizer 层复现门槛中等：PR-SigLIP2/PR-DINOv2 只需 ImageNet-1K 与单机多卡即可，训练协议在 3.4 节交代得非常细（AdamW lr 2e-4、$\beta=(0.9,0.95)$、batch 512、EMA 0.9978、ViT-XL 解码器配置、两阶段 L2+LPIPS→GAN），DiT 先验遵循公开的 RAE 配方；Fig 5 与附录 C 的诊断实验协议也完整，适合学术复现与消融。8B 系统层复现困难：需约 142K NPU 时（256 张昇腾 910B、64GB），预训练数据为内部策划的生成/编辑/理解数据集，仅公开规模（约 510M 样本实例、470B token）与采样配比；训练用 PyTorch FSDP（SHARD GRAD OP）+ BF16，基于昇腾平台，对 CUDA 用户需额外适配。总体判断：思路与 tokenizer 代码可复现，完整系统适合下载权重做推理与微调，而非从零复训。