← 返回 2026-10-23

Cola2：连续语义压缩与平衡离散生成协同自适应的层次化语言建模 Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation

Hongcan Guo, Yian Zhao, Feng Wang, Shen Nie, Guoqiang Wei, Yan Zeng, Hengshuang Zhao 📅 2026-10-22 👍 17 2026-11-09 18:30
层次化语言建模 扩散语言模型 掩码扩散模型 流匹配 语义压缩 连续潜空间
arXiv HuggingFace PDF

把文本生成拆为连续语义压缩与离散解码，用梯度路由实现表示-生成协同适应，扩展未饱和。

前置知识

自回归（AR）语言模型

当前大语言模型的主流范式：将文本表示为 token 序列，按从左到右的顺序逐个预测下一个 token，训练目标是最大化 $p(y_t \mid y_{<t})$ 的似然。生成长度为 $T$ 的文本需要 $T$ 次串行前向计算，推理存在固有的串行依赖，这正是本文想要突破的限制。

Cola2 的所有实验都以 AR 模型作为受控对照基线（210B token 扩展实验中的 AR 基线、最终对比中的 Llama-3-8B），理解 AR 范式的串行瓶颈才能明白层次化与并行生成路线的动机。

掩码扩散语言模型（MDM）

一类非自回归文本生成范式：训练时把部分 token 替换为可学习的 [MASK] 并让模型并行预测，推理时从全掩码序列出发反复去掩码、按置信度逐步提交 token。本文解码器采用块因果 MDM：块与块之间保持因果性，块内允许双向去噪，掩码查询不能读到当前块的干净副本以防目标泄漏。

Cola2 的离散解码器 $D_\psi$ 直接以块因果 MDM 实例化；论文还系统对比了 MDM 与 AR-MTP 两种分解（Table 3），且逐块生成、置信度解掩码与两轴 CFG 都依赖 MDM 机制。

Flow Matching（流匹配）

一种连续生成建模方法：学习速度场 $v_\theta$，把高斯噪声沿线性插值路径 $z_u = (1-u)\bar{z} + u\epsilon$ 输运到数据分布，训练目标是速度预测的 MSE 损失。它在连续潜空间上天然适用，是本文潜变量生成器 DiT 的训练算法，推理时用 Euler 格式积分。

潜变量 DiT 用 Flow Matching 学习 $p_\theta(Z \mid C)$，而本文核心设计之一——stop-gradient 解耦——正是切断该 $\mathcal{L}_{FM}$ 对编码器的梯度；噪声调度校准（引理 4.3）与速度空间 CFG 也都建立在流匹配之上。

变分自编码器与 ELBO

VAE 用编码器 $q_\phi(z \mid x)$ 近似后验、解码器重建输入，经重参数化采样与 KL 正则训练。证据下界 $\mathcal{L}_{ELBO}$ 给出潜变量模型似然的可优化代理；本文将其推广为条件形式，并把负 ELBO 分解为重建、互信息与聚合后验 KL 三项。

第 3.1 节的整个概率框架（Eq. 3.1–3.4）都建立在条件 ELBO 及其分解之上，这是理解「编码器决定潜变量保留什么、解码器处理残差」这一信息分解视角的数学基础。

分类器无关引导（CFG）

提升条件生成质量的推理技巧：同时计算有条件与无条件分支输出，按 $\hat{v} = v_u + \gamma(v_c - v_u)$ 外推放大条件影响。本文在两级使用：潜 DiT 在速度空间用单轴 CFG，MDM 解码器在 logit 空间用前缀-潜两轴 CFG（四分支线性组合）。

Cola2 的推理质量高度依赖 CFG：DiT 需要很强的引导（最优 $\gamma_{gen}$ 约 14–20），解码器需要负权重的两轴 CFG（$w = -0.9$ 最优），各组件实验的推理设置都围绕这两个引导强度展开。

互信息与信息分解

互信息 $I(X;Z)$ 度量两个变量互相包含的信息量，满足链式法则与数据处理不等式。本文用 $H(Y \mid C) = I(S;Z \mid C) + I(Y;Z \mid S,C) + H(Y \mid C,Z)$ 把文本不确定性分解为语义信息、局部残差与生成残差三部分。

全文的设计原则（压缩什么、生成什么、如何协同）都用这套信息论语言表述，例如「潜变量应保留预测性语义信息」对应最大化 $I(Y^{tar}; Z \mid C, Y^{vis})$，读懂它是理解方法动机的前提。

研究动机

自回归大语言模型在从左到右的固定生成顺序下取得巨大成功，但也使推理带有天然的串行依赖。扩散语言模型与此前的 Cola DLM 尝试把文本生成拆解为「连续潜空间中的语义组织」与「离散 token 空间中的文本实现」两个层次，然而空间划分本身并不会自动带来有效分工，存在三个相互纠缠的问题。其一，潜空间应该压缩什么：单纯缩短潜序列（固定分块、降采样）不等于获得紧凑的语义表示，仅用重建目标训练也无法保证潜变量能预测缺失或未来的 token——在压缩率 $\rho = K/T$ 约束下，若潜变量只编码局部可复制细节，信息密度就很低，论文中纯重建目标在 LAMBADA 上仅 15.7%。其二，离散生成器如何使用潜条件：解码器既要忠实实现潜语义，又须在潜条件被扰动或缺失时靠上下文自主补全，只训强条件重建会过度依赖精确潜变量，只训无条件生成则会让解码器学会忽略潜变量。其三，连续与离散表示如何联合学习：先固定编码器会在离散生成器学成之前锁死潜变量携带的信息；反之若让流匹配先验损失直接改写编码器，潜变量可能被推向「更易拟合但对文本建模无益」的退化方向。

本文的目标是本文的目标是在统一的层次化框架 Cola2 中同时回答三个问题：如何构建既紧凑又具预测性的连续语义潜空间；离散解码器如何在条件重建与自主生成之间取得平衡；连续表示与离散生成如何协同适应。具体而言，作者希望在固定潜容量 $K = \rho T$（实验中平均每潜覆盖 2 个 token、$d_z = 64$）下，让重建与生成的实际需求共同决定潜变量保留的信息，由解码器处理残差不确定性；让 token 预测损失直接塑造编码器，同时把先验拟合与表示学习解耦；推理时保持潜历史与实际文本一致。验证设三组实验：以 LAMBADA 为主的组件分析逐项检验潜空间构建、潜生成器训练与解码器平衡；在 RACE、OBQA、Story Cloze、LAMBADA、SQuAD 五任务上用约 210B token 做受控扩展，与 AR、LLaDA、Cola DLM 及未压缩的 Cola-MDM 对比；最后用 346.03B source token 的独立预训练检验更大规模下的竞争力，与 Llama-3-8B 等七至八 B 模型做八任务对比。

与已有工作不同的是，本文的独特切入角度是从条件信息分解的视角统一处理语义压缩、重建-生成平衡与协同适应。作者用互信息链式法则把文本条件熵分解为 $H(Y \mid C) = I(S;Z \mid C) + I(Y;Z \mid S,C) + H(Y \mid C,Z)$，即语义信息、局部残差与离散生成残差三部分，从而把「潜变量保留什么」与「解码器负责什么」表述为同一信息预算的两种分配：改变编码器就是在 $I(Y;Z \mid C)$ 与 $H(Y \mid C,Z)$ 间重新划分不确定性。由此导出三个与已有工作本质不同的设计。第一，压缩率不用可微辅助损失学习，而用独立于梯度的负反馈控制器（偏置 $b \leftarrow \mathrm{clip}(b - \eta_b(\hat{\rho} - \rho^\star))$）闭环维持目标值，避免率目标与表示学习竞争——同设置下比 DLCM 高 6.6 个百分点。第二，明确梯度路由：token 预测损失回传编码器实现协同适应，DiT 的流匹配损失被 stop-gradient 隔离，并以「潜变量坍缩反而降低 FM 损失」的反例论证解耦必要性——完全解耦在 140k 步反超梯度注入 1.0 点。第三，推理采用 propose–decode–re-encode–commit 事务，在固定 span 布局下重编码已生成文本，使潜历史与真实 token 上下文始终一致。

核心方法

直觉上，Cola2 让模型「先在压缩的语义空间里想清楚，再落实成文字」：把目标文本压缩成平均每 2 个 token 一个潜变量的连续序列，高层次生成在长度 $K \approx \rho T$ 的潜轴上迭代，离散细节由 token 空间解码器恢复。技术路线由三个模块组成：压缩 VAE 编码器 $E_\phi$ 做动态语义分段，段内双向池化、潜轴间因果建模，输出对角高斯后验 $q_\phi(z_k \mid C,Y)$；离散解码器 $D_\psi$ 是块因果掩码扩散模型（MDM），跨块因果、块内双向去噪，由时长头预测每个潜变量覆盖的 token 数并展开成 token 对齐条件；潜生成器 $G_\theta$ 是块因果 DiT，用 Flow Matching 学习 $p_\theta(Z \mid C)$。训练分两阶段：Stage 1 联合训练编码器与解码器，以 clean/noisy/drop 三种潜条件可靠度（0.2/0.4/0.4）混合训练并叠加编码器掩码生成目标，让潜表示与解码能力共同进化；Stage 2 额外训练读取 detached 潜变量的 DiT。推理按 propose–decode–re-encode–commit 的块级事务进行，配合潜 DiT 单轴 CFG 与解码器前缀-潜两轴 CFG 完成生成。

核心创新是把「分层」从静态结构升级为动态协同，有三点本质区别。第一，面向生成的联合监督与协同演化：与先冻结编码器再训生成器、或纯重建式 VAE 不同，Cola2 让 token 预测梯度直接流回编码器（$\nabla_\phi \mathcal{L}_{tok} \neq 0$），并加入编码器掩码目标 $\mathcal{L}_{gen}$——掩掉部分 span 的编码器输入、只监督这些 token，迫使潜变量从上下文编码可预测信息而非可复制细节。引理 4.1 论证只有编码器可训练时该目标才提升潜表示：冻结时 BERT 式目标仅 +2.2 点，解冻达 35.2%；MDM 解码器下从冻结 47.6% 到协同演化 53.5% 再到加生成损失 58.2%。第二，梯度解耦防止潜空间坍缩：DiT 的流匹配损失经 stop-gradient 与编码器隔离（$\nabla_\phi \mathcal{L}_{FM} = 0$），因为 FM 损失可走「把潜分布变简单」的捷径而牺牲语义；Table 2 显示梯度注入仅早期领先 2.2 点，140k 步时反而落后完全解耦 1.0 点。第三，重建-生成连续谱训练：每潜块以 0.2/0.4/0.4 概率接受 clean/加噪/丢弃条件，覆盖从强条件重建到弱条件自主生成的连续谱，推理用两级 CFG 调节平衡；压缩率则由无梯度负反馈闭环控制，不引入辅助损失。

方法步骤详情

流程分训练与推理两部分。Stage 1（编码器-解码器联合训练）：(1) 动态分段——以相邻 token 表示的余弦不连续度 $\delta_t$ 经可学习阈值判界，标量偏置 $b$ 按 $b \leftarrow \mathrm{clip}(b - \eta_b(\hat{\rho} - \rho^\star))$ 反馈调节边界密度，使压缩率稳定在目标值，贪心扫描强制 $L_k \le L_{max}$；(2) span 内块对角双向注意力池化，再沿潜轴过因果 Transformer 输出高斯后验并重参数化采样 $z_k$；(3) 时长头 $p_\psi(L_k \mid z_k)$ 预测 span 长度，把潜变量展开为 token 对齐条件 $H^Z$；(4) MDM 解码器在 [clean | masked] 双布局上训练（掩码查询不能读当前块干净副本以防泄漏），每块独立采样 cond/noise/drop 状态，总损失为三态去噪损失加 KL 与时长损失，编码器掩码分支另计。Stage 2：保留 Stage 1 全部目标，潜序列按块大小 $B$ 分组、块内共享噪声水平，DiT 沿线性路径 $z_u = (1-u)\bar{z} + u\epsilon$ 做速度预测 MSE，但梯度对编码器置零（$\nabla_\phi \mathcal{L}_{FM} = 0$）。推理：编码 prompt 后只提交块对齐前缀，尾部留作首块 clean 前缀；每块由 DiT 做若干步 Euler 提议潜变量，MDM 以两轴 CFG 多步解掩码生成 token，再在固定 span 布局下重编码得修正潜变量 $Z^{corr}_j$ 并原子提交缓存。

技术新颖性

从四个维度看技术新颖性。相对 Cola DLM：前作建立连续-离散分层结构，本文把「结构划分」深化为「功能协同」——用信息分解统一刻画潜变量与解码器的职责边界，用梯度路由（token 损失回传、FM 损失隔离）让表示与生成共同进化，并首次系统量化两个现象：DiT 梯度注入导致「潜变量 hack」（早期领先但后期被反超），以及解码器必须混合训练三种条件可靠度（drop 从 0.2 提到 0.4 带来 2.2–2.4 点；推理时打乱潜变量损失 12.2 点）。相对语义压缩方法（DLCM、字节级聚合、固定分块）：负反馈压缩率控制不引入可微辅助损失，从机制上避免率目标与表示目标的竞争，比 DLCM 高 6.6 点。相对潜空间语言模型：多数工作用重建监督训编码器或先冻结再拟合生成器，Cola2 证明生成式监督必须绑定可训练编码器才能真正提升潜表示，并提出训练-推理一致性不变量——持久潜历史必须等于编码器对已提交 token 的编码，而非 DiT 提议值。此外「解码器分解不是决定因素」（MDM 与 AR-MTP 差距 ≤1.4 点且领先者交替）与两轴 CFG 规则，对后续系统设计均有独立参考价值。

Method overview. Stage 1 jointly trains the compression encoder and the reconstruction–generation balanced decoder; Stage 2 additionally trains a DiT on detached latents; at inference, the DiT generates latents block by block and the decoder decodes them into tokens.
Figure 1: Method overview. Stage 1 jointly trains the compression encoder and the reconstruction–generation balanced decoder; Stage 2 additionally trains a DiT on detached latents; at inference, the DiT generates latents block by block and the decoder decodes them into tokens.

实验结果

组件分析（LAMBADA，2B 级模型）逐项验证了设计。语义潜空间：动态分段 25.0%，比随机/固定分段高 4.4/8.2 点，$L_{max}$ 放宽到 8 达 29.4%、反超未压缩模型的 28.7%；负反馈率控制 25.0% 对 DLCM 的 18.4%；编码器层分配 0+2+2 最优（29.6%），去掉池化层仅 15.7%；span 内双向注意力最佳（26.7%）；潜宽 $d_z$ 有内部最优（64 维 32.3%，512 维 14.5%）；最强压缩下最佳配置仍从 32.3%（span 2）降到 25.2%（span 4）。生成监督：纯重建 15.7%，加生成目标升至 25.2%–26.5%；MDM 解码器下从冻结 47.6% 到协同演化 53.5% 再到加生成损失 58.2%。潜生成器：可训练 VAE + 梯度解耦 32.8% 对冻结 28.7%；DiT 梯度注入早期领先 2.2 点但 140k 步落后 1.0 点；噪声调度均在 loc=2.0 最优；2B DiT 最优块大小 B=4（36.4%）；推理需约 8 步去噪与强 CFG（$\gamma=14$ 达 37.1%）。解码器平衡：noisy/drop/clean=0.4/0.4/0.2 最佳（44.7%），重构精度全程 ≥99.5%；CFG 最优 $w=-0.9$；3B 预算下 2B DiT+1B 解码器最优（44.4%）；打乱潜变量损失 12.2 点。受控扩展（约 210B token）：Cola-MDM 均分约 34.5% 高于 AR 约 33%，LAMBADA 约 64% 比 Cola DLM 高约 15 点；Cola2-MDM 在 LAMBADA 与 AR 持平、RACE 领先（10.5% 对 4.5%），150B 后与 LLaDA 差距缩到 1.5 点且未饱和。最终检查点（346.03B token）八任务平均 60.10，以超 43 倍少数据仅落后 Llama-3-8B 6.15 点，并在 HellaSwag 与 StoryCloze 上反超。

Best configuration at each compression level. Accuracy decreases as compression becomes stronger.
Table 1: Best configuration at each compression level. Accuracy decreases as compression becomes stronger.
Whether the DiT gradient flows into the encoder. Gradient injection leads early, but is overtaken by full detachment in the middle and late stages of training.
Table 2: Whether the DiT gradient flows into the encoder. Gradient injection leads early, but is overtaken by full detachment in the middle and late stages of training.
Decoder factorization. The two decoders perform similarly.
Table 3: Decoder factorization. The two decoders perform similarly.
Post-pretraining evaluation. Accuracy (%) on eight downstream tasks, with tasks grouped by evaluation focus and models by generation paradigm. Cola2 uses 346.03B source tokens; the models are not compute-matched.
Table 4: Post-pretraining evaluation. Accuracy (%) on eight downstream tasks, with tasks grouped by evaluation focus and models by generation paradigm. Cola2 uses 346.03B source tokens; the models are not compute-matched.
Final-checkpoint pretraining budget. Token counts report source-token positions processed in each stage.
Table 5: Final-checkpoint pretraining budget. Token counts report source-token positions processed in each stage.
Segmentation and rate control. Dynamic segmentation outperforms fixed-length and random segmentation; auxiliary-free negative-feedback control outperforms DLCM [39].
Figure 2: Segmentation and rate control. Dynamic segmentation outperforms fixed-length and random segmentation; auxiliary-free negative-feedback control outperforms DLCM [39].
VAE architecture. Left: the allocation of encoder layers matters more than depth, with 0+2+2 performing best. Right: intra-span bidirectional attention is the best pooling operator.
Figure 3: VAE architecture. Left: the allocation of encoder layers matters more than depth, with 0+2+2 performing best. Right: intra-span bidirectional attention is the best pooling operator.
Distribution of the number of tokens covered by each latent. Increasing Lmax reduces the number of forcibly truncated spans.
Figure 5: Distribution of the number of tokens covered by each latent. Increasing Lmax reduces the number of forcibly truncated spans.
Generative supervision. Left: generative objectives substantially outperform pure reconstruction. Middle: the gain is larger when the encoder is trainable. Right: co-evolving the encoder and decoder with the generative loss performs best.
Figure 6: Generative supervision. Left: generative objectives substantially outperform pure reconstruction. Middle: the gain is larger when the encoder is trainable. Right: co-evolving the encoder and decoder with the generative loss performs best.
DiT block size and capacity. Left: moderate block sizes are optimal. Right: larger DiTs yield flatter curves.
Figure 8: DiT block size and capacity. Left: moderate block sizes are optimal. Right: larger DiTs yield flatter curves.
Decoder data partition. Left: varying the noisy-to-clean ratio. Right: varying the drop ratio. Reconstruction accuracy (right axis) stays above 99.5% throughout; 0.4/0.4/0.2 gives the best balance.
Figure 10: Decoder data partition. Left: varying the noisy-to-clean ratio. Right: varying the drop ratio. Reconstruction accuracy (right axis) stays above 99.5% throughout; 0.4/0.4/0.2 gives the best balance.
Decoder guidance and parameter allocation. Left: the balanced decoder is optimal at wdec = −0.9. Right: with 3B total parameters, a 2B DiT with a 1B decoder is optimal.
Figure 11: Decoder guidance and parameter allocation. Left: the balanced decoder is optimal at wdec = −0.9. Right: with 3B total parameters, a 2B DiT with a 1B decoder is optimal.
Scaling the decoder with a fixed DiT. Accuracy improves monotonically with decoder size.
Figure 12: Scaling the decoder with a fixed DiT. Accuracy improves monotonically with decoder size.
Scaling trends with training tokens. Cola-MDM achieves the strongest overall scaling; Cola2-MDM also exhibits strong and unsaturated scaling potential under compression.
Figure 14: Scaling trends with training tokens. Cola-MDM achieves the strongest overall scaling; Cola2-MDM also exhibits strong and unsaturated scaling potential under compression.
Optimal decoder CFG weight during training. For both models, the optimal weight remains within [−1.0, −0.8], consistent with the −0.9 selected in Section 4.4, and drifts slowly toward 0 during training; the drift of Cola2-MDM is more gradual, consistent with its slower convergence.
Figure 15: Optimal decoder CFG weight during training. For both models, the optimal weight remains within [−1.0, −0.8], consistent with the −0.9 selected in Section 4.4, and drifts slowly toward 0 during training; the drift of Cola2-MDM is more gradual, consistent with its slower convergence.
查看结构化数据
任务指标本文基线提升
八任务后预训练对比 八任务平均准确率(%) / 预训练 token 数 60.10 / 346.03B source tokens（未收敛） Llama-3-8B：66.25 / 15T+ tokens 训练数据少 43 倍以上，平均仅落后 6.15 分
HellaSwag（常识推理） 准确率(%) 41.75 Llama-3-8B：39.21 +2.54
StoryCloze（常识推理） 准确率(%) 80.42 Llama-3-8B：79.49 +0.93
LAMBADA（语言建模，组件分析最佳配置） 准确率(%) 32.3（span 2 / dz=64 / Lmax=8） 未压缩同类设置：28.7 +3.6（压缩后反而更高）
生成式监督消融 LAMBADA 准确率(%) 26.5（BERT 式目标）/ 58.2（协同演化+生成损失） 纯重建：15.7 / 冻结编码器+MDM：47.6 +10.8 / +10.6
受控扩展约 210B token 五任务 五任务平均准确率(%) Cola-MDM 约 34.5 AR 约 33；压缩变体 150B 后与 LLaDA 差 1.5 分 +1.5 左右，曲线未饱和

局限与改进

作者明确承认四点局限。第一，模型远未收敛，尤其潜变量 DiT，受算力限制，需更大模型与更长训练才能确立上限。第二，压缩理论上把潜先验主导的线性与注意力 FLOPs 降到 $O(\rho)$ 与 $O(\rho^2)$，但端到端速度还取决于解码器、CFG 分支、潜反馈与硬件利用率，需专用 kernel、缓存管理与并行调度才能兑现。第三，虽证明与 AR 和 MDM 解码器兼容，但二者的协同训练目标、推理权衡与最优分工仍未充分探索。第四，连续潜空间与视觉等模态的结合只是远景。我的补充观察：其一，绝对性能仍有差距，八任务平均 60.10 落后 Llama-3-8B 6.15 点，知识密集任务差距更大（MMLU 51.32 对 63.19、TruthfulQA 54.10 对 63.04），说明 2 token/潜变量的有损压缩可能丢失细粒度事实信息；其二，推理事务复杂，每块需 8 步 DiT 提议、多步解掩码、反馈重编码与原子提交，串行轮次比约为 $\rho_{gen}(S_{gen}+H_D+H_F)/B$，仅当块足够大才可能加速；其三，组件消融几乎都以 LAMBADA 单指标调优，有过拟合特定评测的风险；其四，最终对比与受控扩展使用不同配方，两条实验线结果不能直接互相印证。

独立分析的弱点

独立分析有五个弱点。第一，逐字复现能力受损：与 AR 的差距集中在 SQuAD 和 Story Cloze 这类依赖逐字复现的任务，因为每 2 个 token 才有一个潜变量且潜变量是平滑连续向量，难以精确保留表面词形；改进方向是按不确定性自适应的混合分辨率编码，或允许解码器直接复制 token。第二，推理链路复杂且成本高：8 步 DiT 提议、4–8 步解掩码、反馈重编码，四分支 CFG 即使理想并行也使串行轮次约为 AR 的 $\rho_{gen}(8+H_D+H_F)/B$ 倍；可考虑 CFG 分支蒸馏、提议与解码流水线化、反馈重编码轻量化。第三，组件结论外部效度有限：$d_z=64$、$L_{max}=8$、loc=2.0、B=4 等最优值都在 2B 模型 + LAMBADA 上取得，迁移到 4B DiT 与 4096 长序列未必保持（最终配方就改用了低噪声偏置的 8 步调度）；应在多任务混合指标上做自动超参搜索。第四，压缩级别与容量强耦合：平均 span 从 2 加到 4 时，即使配更大 $d_z$ 与 $L_{max}$，准确率仍从 32.3% 降到 25.2%，更强压缩下扩展性不足；可探索潜变量间更强交互、层级化潜结构或检索增强。第五，训练工程复杂度高：两阶段需恢复参数、优化器、调度器与数据指针，加上 EMA 与块对齐缓存协议，任何不一致都可能破坏训练-推理一致性；应提供参考实现与一致性测试。

未来方向

作者提出四个方向：扩大模型规模与训练时长以确立性能上限（潜 DiT 明显未收敛）；基础设施协同设计（专用 kernel、缓存管理、并行调度）把理论 FLOPs 节省转化为实际加速；深入研究 AR 与 MDM 两种 token 空间生成器与连续潜空间的协同训练目标、推理权衡与最优分工；把连续潜空间作为文本与视觉等连续模态的共享接口，走向统一潜表示、跨模态先验与统一理解生成。基于论文成果还可延伸：其一，语义信息密度 $D_{sem} = I(S;Z \mid C)/(\rho T)$ 目前只是分析量，若能可靠估计，可做压缩率自适应调度乃至潜变量级按需信息分配；其二，潜历史重编码机制天然支持对已生成文本的回溯修正，可发展潜空间上的编辑、插值与受控重写；其三，把潜空间作为跨模态接口可具体化为图文联合预训练，让 DiT 直接在多模态潜序列上做 Flow Matching；其四，结合两轴 CFG 与推理时扩展（更多去噪步、更大块并行）研究质量-速度帕累托前沿；其五，把「梯度路由」思想（哪些损失塑造表示、哪些保持解耦）推广到检索、对齐、工具使用等多目标训练，形成层次化多目标训练的一般原则。

复现评估

复现条件总体较好但工程量大。数据完全开放：组件分析与受控扩展用 OLMo 2 语料（dolma2 分词器），最终检查点用 Qwen3-4B 分词器重切分的 OLMo 2 数据，序列长度 4096；初始化依赖公开的 Qwen3-4B-Base。细节披露充分：附录 G 给出动态分段（斜率 $\alpha$、阈值 $\tau_0$、步长 $\eta_b$）、MDM 双布局注意力掩码、三态条件采样、梯度路由、缓存协议与完整推理伪代码（Algorithm 1）；附录 I 给出三阶段配方——Stage I 52.43B token 训 VAE（各损失权重与掩码比例 0.15 齐备），Stage II 125.83B 联合训练 VAE 与约 4B DiT（34 层、隐宽 2560、20 头、块大小 8，EMA 0.9998，掩码比例 0.30），Stage III 167.77B 冻结 VAE 只训 DiT。算力方面：复现最终检查点需训练约 4B 参数 DiT 处理近 300B token，估计需数十张高端 GPU 周级训练；完整复现十几组组件消融（每组在 2B 级模型上训至 15 万步）总量更大。项目主页为 hongcanguo.github.io/Cola2，正文未明确说明代码开源：若代码未放出，复现难度为高；若放出则属中高难度——流程复杂但描述完备。

论文图表

Figure 4: Latent width and maximum span length. Left: dz has an interior optimum. Right: the effect of Lmax is non-monotonic.

左图显示潜通道宽度的影响：平均 span 2 时 dz=64 达到峰值 32.3%，dz 增至 512 反而跌到 14.5%；右图显示最大跨度与平均跨度之比的影响呈非单调：截断频繁时小 Lmax 更好（如 span 4、Lmax=4 仅 15.2%），截断质量降到约 1% 后保留完整语义跨度占优（span 4、Lmax=18 达 21.7%）。

揭示潜容量与分布复杂性的权衡：更宽的潜变量增加容量但也增加 DiT 需拟合的分布复杂度，是理解「压缩率、潜宽、最大跨度必须联合调优」这一结论的关键证据。

Figure 7: VAE update policy and noise schedule. Left: continuing to train the VAE while detaching the DiT gradient performs best. Right: differences relative to loc = 2.0; all three configurations are optimal at 2.0.

左图比较 VAE 更新策略：继续训练 VAE 并对 DiT 梯度做 detach 达 32.8%，冻结 VAE 仅 28.7%；右图显示三种压缩配置（dz=64/span2、dz=128/span4、dz=256/span4）的噪声调度均在 logit-normal loc=2.0 处最优，偏离要付出 0.3–3.0 点代价。

支持引理 4.2（先验拟合与表示学习应解耦）与引理 4.3（有效噪声由 VAE 后验与扩散腐蚀共同决定），是训练稳定性设计的实验基石。

Figure 9: DiT inference. Left: generator CFG sweep. Right: the DiT saturates at 8 steps.

左图为潜 DiT 的 CFG 扫描：8 步去噪时准确率从 γ=1 的 12.2% 升到 γ=14 的 37.1%，16 步时峰值移到 γ=20（38.5%）；右图显示去噪步数在 8 步即饱和，8 与 128 步差距不超过 0.3 点，而 1 步和 4 步分别损失约 14 和 5 点。

确定潜生成器推理的两个关键设置——很强的历史条件引导与适中的去噪步数，直接决定生成质量与推理成本之间的权衡。

Figure 13: Decoder inference and latent ablation. Left: 8/8 steps are optimal. Right: corrupting the latent substantially degrades performance, with shuffling being the most harmful.

左图为 DiT 步数 × 解码步数网格：8/8 组合最优（49.0%），默认低开销设置 8/4 为 48.2%（仅低 0.8 点），DiT 少于 8 步明显下降；右图为潜变量消融：按训练分布 46.5%，置零 41.2%，重采样 39.3%，打乱 34.3%（损失 12.2 点）。

右图是「解码器确实依赖潜变量内容」的最直接证据——打乱的潜变量统计上真实但语义错位、破坏最大；置零反而因对应训练中的 drop 状态而退化最温和。

相似论文推荐

Cola DLM：连续潜在扩散语言模型 🎯 79.8%
分层连续扩散语言模型 🎯 72.8%
LangFlow：连续扩散在语言建模中可与离散扩散抗衡 🎯 69.9%
TextLDM：基于连续潜扩散的语言建模 🎯 68.3%
AURORA-LM：面向连续潜空间扩散语言建模的自编码统一表示 🎯 67.6%