← 返回 2026-01-06

NextFlow：统一序列建模激活多模态理解与生成 NextFlow: Unified Sequential Modeling Activates Multimodal Understanding and Generation

Huichao Zhang, Liao Qu, Yiheng Liu, Hang Chen, Yangyang Song, Yongsheng Dong, Shikun Sun, Xian Li, Xu Wang, Yi Jiang, Hu Ye, Bo Chen, Yiming Gao, Peng Liu, Akide Liu, Zhipeng Yang, Qili Deng, Linjie Xing, Jiyang Liu, Zhao Wang, Yang Zhou, Mingcong Liu, Yi Zhang, Qian He, Xiwei Hu, Zhongqi Qi, Jie Shao, Zhiye Fu, Shuai Wang, Fangmin Chen, Xuezhi Chai, Zhihua Wu, Yitong Wang, Zehuan Yuan, Daniel K. Du, Xinglong Wu 📅 2026-01-05 👍 64 2026-07-13 08:35

Next-Scale预测图像生成多模态学习统一建模自回归生成

arXiv HuggingFace PDF

统一自回归Transformer通过next-scale预测实现高效多模态理解与生成

前置知识

自回归模型

一种序列建模方法，通过预测序列中的下一个元素来学习数据的分布。在文本生成中，模型根据之前的token预测下一个token的概率分布。传统的视觉自回归生成采用raster-scan方式（从左到右、从上到下逐像素或逐token生成），这种方式在高分辨率图像上计算成本极高，因为序列长度随分辨率平方增长。

NextFlow的核心创新是摒弃传统raster-scan，采用next-scale预测，理解这一背景有助于评估其创新意义。

Next-Scale预测

一种层次化的视觉生成方法，从粗糙的全局布局逐步细化到精细的局部细节。不同于raster-scan的逐像素生成，next-scale先生成低分辨率的结构网格（如2×2、4×4），然后基于之前的尺度生成更高分辨率的细节。这种方法将生成过程分解为多个阶段，每个阶段生成固定数量的token，从而大幅减少序列长度和计算开销。

这是NextFlow实现高效生成的关键技术，使其能在5秒内生成1024×1024图像，比传统AR方法快数个数量级。

向量量化（VQ-VAE）

一种将连续数据压缩为离散码本向量的方法。编码器将输入（如图像）映射到码本中的最近向量索引，解码器从索引重建原始数据。这种方法使连续的视觉数据可以用离散token表示，从而能够用自回归语言模型处理。双codebook tokenizer进一步将语义和像素特征分离到不同的codebook中。

NextFlow的双codebook tokenizer是其实现多模态理解的关键，理解VQ机制有助于理解其设计动机。

GRPO（Group Reward Policy Optimization）

一种强化学习算法，用于直接优化序列生成模型的策略。与传统的PPO（Proximal Policy Optimization）不同，GRPO不需要显式的价值函数，而是通过比较一组生成样本的奖励来计算优势。在NextFlow中，作者引入了prefix-tuning策略，只优化粗尺度的策略（决定全局结构），而冻结细尺度的策略。

这是NextFlow在后训练阶段提升生成质量的核心技术，也是纯自回归架构相比混合架构的优势之一。

研究动机

现有多模态AI系统存在根本性分离问题。大型语言模型在文本理解和推理方面表现卓越，扩散模型在视觉生成领域取得突破性进展，但这两个范式彼此独立，导致交互效率低下。扩散模型虽然擅长像素级保真度，但缺乏LLM固有的逻辑推理和上下文学习能力；而传统的多模态LLM通常仅限于感知任务。同时，纯自回归方法如Chameleon、EMU3等受到两个关键瓶颈的限制：首先，依赖标准raster-scan next-token预测进行视觉生成，在高分辨率下计算成本极高，生成单张1024×1024图像需要超过10分钟，远慢于扩散模型，不适合交互应用；其次，视觉表示通常源自重建导向的VQ tokenizer，这些token优化像素级保真度但缺乏高层语义密度，从根本上限制了模型在多模态理解任务上的性能。

本文的目标是本文旨在构建一个统一的序列建模框架，在单个decoder-only transformer中同时激活多模态理解和生成能力。目标是实现三个核心目标：第一，大幅提高视觉生成的推理效率，使自回归模型能够与扩散模型竞争；第二，通过改进的视觉表示提升多模态理解性能；第三，保持架构的简单性和统一性，避免复杂混合架构带来的表征鸿沟。最终期望统一的模型能够在图像生成、编辑、交织内容生成等任务上达到或超越专业模型的性能。

与已有工作不同的是，本文的独特切入角度在于将next-scale预测范式引入统一的decoder-only架构，并配合双codebook tokenizer解决效率和语义两个核心问题。与现有的AR-Diffusion混合架构（如Transfusion、Bagel）不同，NextFlow保持了纯自回归的统一性，使得整个训练流程（包括强化学习）可以使用一致的优化目标。与Chameleon、EMU3等纯自回归模型相比，本文通过next-scale预测从根本上解决了高分辨率生成效率问题，并通过双codebook tokenizer解决了语义密度不足的问题。这种双管齐下的策略使得统一的AR模型第一次在效率和质量上都能与专业模型竞争。

核心方法

NextFlow的整体思路是构建一个统一的decoder-only transformer，将文本和视觉token视为单一连续序列进行处理。方法的核心创新在于针对文本和视觉模态的不同特性采用不同的预测策略：文本保持传统的next-token预测，而视觉采用next-scale预测。这种分层方法从粗糙结构布局生成到细粒度细节，显著减少推理延迟。为确保视觉token既包含高层语义又保留细粒度细节，作者采用双codebook tokenizer，解耦语义和像素级特征。整个模型在6万亿token的大规模语料上训练，包括纯文本、图像-文本对、编辑数据和交织多模态数据。训练过程中，作者识别并解决了next-scale AR生成的关键不稳定性问题，并提出了一系列技术创新来稳定训练和提升性能。

NextFlow的核心创新点有三方面：第一，在统一decoder-only架构中实现next-scale预测，将视觉生成从传统的raster-scan（逐像素或逐token线性扫描）改为层次化生成，从粗糙网格逐步细化到细节，将1024×1024图像的生成时间从10分钟缩短到5秒；第二，双codebook tokenizer设计，通过语义和像素两个独立的codebook分别捕获高层概念和细粒度视觉细节，在保持重建保真度的同时大幅提升语义密度，解决了传统VQ tokenizers的语义贫乏问题；第三，针对多尺度AR生成的特殊挑战，提出了scale reweighting、self-correction with residual features和prefix-tuning GRPO等技术，在训练和后训练阶段稳定优化过程。这些创新使得统一的AR模型第一次在效率和质量上都能与专业模型竞争。

方法步骤详情

NextFlow的训练流程分为多个阶段。首先是tokenizer训练，采用多阶段策略：先独立训练pixel branch建立强重建能力，然后从预训练checkpoint初始化所有组件进行联合训练，最后加倍pixel decoder容量并单独微调。训练数据包含过采样的人脸样本以提升面部细节保留，随机丢弃50%的VAR scales以增强codebook数值分布的鲁棒性。第二阶段是alignment，将Qwen2.5-VL-7B的原始ViT替换为视觉tokenizer，扩展词汇表以包含视觉code和边界标记，使用1000万图像-文本对进行双向对齐训练。第三阶段是预训练，在6万亿token的语料上分三个子阶段：256级预训练使用约20亿文本-图像样本，混合纯文本和多模态理解数据，加入1.47亿交织样本；512级预训练观察到显著增加的artifacts和结构退化，引入scale reweighting策略（alpha等于0.9）确保所有尺度的稳定损失减少；1024级预训练使用精心策划的4000万高质量样本子集，最小数据量即可启用高分辨率生成。第四阶段是continue-training和supervised fine-tuning，先在高质量数据子集上进行CT以提升美学质量，然后使用小规模高质量对话数据进行SFT。第五阶段是强化学习，采用prefix-tuning策略的GRPO，只优化前8个尺度的策略而冻结剩余细尺度的策略，将有限且高方差的RL信号集中在最关键的决策上。最后是可选的diffusion decoder训练，探索1B参数UNet模型和12B/18B参数Transformer模型，通过视觉条件分支注入离散token。

技术新颖性

NextFlow的技术新颖性体现在多个层面。在架构层面，首次在统一decoder-only架构中实现next-scale预测，将视觉token的生成从传统raster-scan的线性模式改为层次化模式，这种范式转换从根本上改变了视觉生成的计算复杂度。在表示层面，双codebook tokenizer的创新在于通过联合约束重建保真度和语义一致性进行量化，使离散token既封装高层概念又保留细粒度视觉细节，同时支持动态分辨率处理。在训练层面，scale reweighting策略受flow matching强调困难中间时间步的启发，通过尺度依赖权重确保早期尺度预测的重要性，解决高分辨率下token数量不平衡导致的布局退化问题。self-correction with residual features的创新在于直接使用codebook的残差特征而不累积，在decoder-only架构中约束视觉输入特征空间的复杂度。在强化学习层面，prefix-tuning策略针对VAR生成过程的特殊性，将RL更新集中在决定全局结构的粗尺度上，避免对后期细化阶段策略的噪声更新。这些技术创新共同构成了一个完整且鲁棒的训练方案，使得统一的AR模型能够达到前所未有的性能水平。

**Figure 1**: Architecture of NextFlow. NextFlow processes interleaved text-image discrete token sequences as input and generates interleaved multimodal outputs. Text tokens are predicted via next-token modeling, while visual tokens are generated through next-scale prediction.

**Figure 5**: Multi-Scale 3D RoPE for interleaved text-image sequences. Text tokens employ diagonal positions (e.g., position 3 to [3,3,3]), while vision tokens utilize normalized spatial coordinates with augmented scale indices.

**Figure 7**: Overall training pipeline and the evolution of the Geneval score. The plot below tracks the Geneval score against the cumulative number of training tokens (in trillions).

**Figure 12**: Prefix-tuning strategy for RL fine-tuning in NextFlow. Only the policies for the coarse scales are optimized, while policies for the finer scales remain frozen.

实验结果

NextFlow在多个基准测试中取得了突破性成果。在图像生成方面，RL精调模型在GenEval基准上达到0.84分数，在DPG基准上达到88.32分数，超过强扩散基线如FLUX.1-dev（0.82和83.84），并匹配顶级性能者如GPT Image 1 High（0.84和85.15）。在WISE世界知识基准上，NextFlow RL达到0.62整体分数，匹配Qwen-Image并显著超过其他自回归模型如Show-o（0.30）和Janus-Pro-7B（0.35），表明统一架构有效内化了复杂世界知识。在PRISM-Bench上，NextFlow RL达到78.8整体分数，与顶级系统如Seedream 3.0（79.6）和Qwen-Image（79.9）相当，展示竞争美学质量和文本渲染能力。在图像编辑方面，NextFlow RL在ImgEdit基准上达到4.49最高整体分数，超过Qwen-Image（4.27）和Emu3.5（4.41），在Adjust和Remove子任务中表现突出。在OmniContext单主体设置中，NextFlow RL达到9.22 Subject Consistency分数，超过OmniGen2（8.34）甚至GPT-4o（9.03），表明交织预训练在学习鲁棒身份表示方面的有效性。在GEdit-Bench上，NextFlow RL达到7.87最佳整体分数。在EditCanvas基准上，NextFlow RL达到8.04整体分数，在Subject-Driven Generation方面达到8.78。在效率方面，NextFlow需要6倍更少的FLOPs于推理时相比基于MMDiT的扩散模型，达到每张5秒的生成速度。图像重建方面，NextFlow在ImageNet-1K上比原始TokenFlow架构提升+2.08 dB PSNR，达到28.04 PSNR。多模态理解方面，7B模型在0.7M数据上训练就达到与13B LLaVA-1.5 baseline相当的性能，扩展到21M显著提升文档导向任务，40M总数据在所有基准上带来最鲁棒的改进。

**Table 4**: Comparison of text-to-image generation ability on DPG benchmark. For AR Models, the best results are in bold and the second-best are underlined.

**Table 5**: Comparison of text-to-image generation ability on GenEval benchmark. Dagger refer to the methods using LLM rewriter. For AR Models, the best results are in bold and the second-best are underlined.

**Table 6**: Comparison of text-to-image generation ability on WISE benchmark. WISE examines the complex semantic understanding and world knowledge for T2I generation.

**Table 8**: Quantitative comparison results on ImgEdit. All metrics are evaluated by GPT-4.1. 'Overall' is calculated by averaging all scores across tasks.

**Table 11**: Comparison on our proposed EditCanvas benchmark. We report the overall score for each sub-category.

**Table 12**: Tokenizer reconstruction metrics on ImageNet-1K validation set and in-house reconstruction benchmark.

**Table 13**: Quantitative comparison results on multimodal understanding benchmarks. We compare different training data configurations.

**Figure 8**: Tokenizer Comparison. We compare the training loss and generative performance (GenEval) of our dual branch tokenizer against a single branch VQGAN baseline over 40k steps.

**Figure 19**: Qualitative comparison of text-to-image generation with and without reasoning. Left: Baseline outputs generated directly from prompts, often failing to capture implicit constraints or cultural context (e.g., generating a Red Panda instead of a Giant Panda for 'China's national treasure').

**Figure 20**: Visualization of in-context learning. The model can learn the transformation pattern in the first two example pairs and applies a similar modification to the input image.

**Figure 21**: Qualitative comparison of VQ decoder versus diffusion decoders on image reconstruction. The VQ decoder yields satisfactory reconstruction results, although its performance on fine details is moderate.

查看结构化数据

任务	指标	本文	基线	提升
文本到图像生成	GenEval	0.84	FLUX.1-dev 0.82	+0.02
文本到图像生成	DPG	88.32	GPT Image 1 High 85.15	+3.17
世界知识理解	WISE	0.62	Show-o 0.30	+0.32
图像编辑	ImgEdit	4.49	Qwen-Image 4.27	+0.22
图像编辑	OmniContext SC	9.22	GPT-4o 9.03	+0.19
图像编辑	EditCanvas	8.04	Qwen-Image 7.60	+0.44
图像重建	PSNR (512x512)	25.228	TokenFlow 23.147	+2.081

局限与改进

作者承认的局限性包括：双codebook tokenizer虽然显著改善了语义密度，但向量量化的离散性质相比连续潜在空间不可避免地施加了信息瓶颈，偶尔需要可选的扩散decoder进行超真实细化。在共享参数空间中平衡文本生成和视觉合成的目标仍然是一个非平凡的优化挑战，特别是在较低参数计数时。高质量预训练数据的稀缺限制了多模态理解训练，作者在后期预训练阶段最小化了理解训练。作者自己的观察包括：虽然统一架构在多个任务上表现良好，但在超高频细节（如小文本和人脸）方面仍可能不及专门的扩散模型；可选的扩散decoder虽然提升感知保真度，但VQ decoder确保对原始信号更高保真度，避免基于扩散的再合成固有的潜在细节改变。

独立分析的弱点

NextFlow存在几个可以改进的弱点。首先，在超高频细节渲染方面，虽然VQ decoder已经相当不错，但相比最优的扩散模型仍有差距，特别是在小尺寸文本和人脸等挑战区域。改进方向可以是开发更精细的tokenizer或者改进diffusion decoder的整合策略。其次，在多模态理解方面，虽然7B模型在有限数据上就达到不错性能，但相比专门的多模态理解模型仍有差距，特别是在复杂推理任务上。改进方向包括增加更多高质量密集推理数据，特别是复杂交织推理链。第三，在模型容量方面，7B参数需要在多个任务间共享，可能存在容量瓶颈。改进方向是增加模型规模或者采用Mixture-of-Experts架构。第四，在训练稳定性方面，虽然已经引入了多项技术，但scale reweighting的alpha参数和self-correction的概率仍需要精细调优。改进方向可以是开发自适应的权重策略。最后，在推理效率方面，虽然已经比传统AR模型快很多，但仍需要进一步优化以实现实时应用。改进方向包括模型量化、蒸馏等推理加速技术。

未来方向

作者提出的未来工作方向包括四个关键方面：数据规模扩展以实现高级理解，虽然当前预训练语料库广泛，但高质量密集推理数据的比例仍然是复杂多模态理解的限制因素，未来迭代将优先集成更多样化和高质量的理解数据，特别是密集图像标题和复杂交织推理链；模型规模扩展和混合专家，遵循神经扩展定律，预期增加模型容量将在生成保真度和指令遵循方面产生可预测的收益，玩具实验证明从密集架构转向MoE框架显著改善整体生成质量；下一代tokenization，tokenizer仍然是自回归视觉生成性能的基本上限，目标是开发改进的tokenization策略，在不牺牲重建质量的情况下实现更高压缩率，包括探索可变率量化和语义感知压缩，以进一步减少高分辨率图像的序列长度；原生多模态思维链和统一强化学习，decoder-only架构自然将思维链范式扩展到用图像思考，允许模型通过中间视觉生成进行推理，不像Transfusion等混合架构在离散文本和连续视觉潜在空间之间处理不一致的优化目标，完全自回归框架允许跨模态无缝强化学习。基于成果可延伸的方向包括：将next-scale预测扩展到视频生成，利用其层次化特性处理视频的时空结构；将prefix-tuning GRPO策略应用到其他多模态任务，如视觉问答和视觉推理；探索双codebook tokenizer在其他模态（如音频）的应用；开发更高效的多尺度位置编码方案以支持更多样的长宽比和分辨率。

复现评估

NextFlow的复现评估需要考虑多个方面。开源情况：论文提供了官方页面（https://github.com/ByteVisionLab/NextFlow），但没有明确说明是否开源模型权重和代码。数据情况：训练数据使用了大规模语料库，包括开源数据集（如LAION、CommonCatalog等）和内部数据，完整复现需要访问这些数据，特别是内部的高质量数据子集。算力需求：训练在1024 GPU集群上进行，使用了DeepSpeed ZeRO和gradient checkpointing，这表明训练需要大规模计算资源，完整复现预训练阶段的成本极高。代码实现：论文描述了详细的技术细节，包括tokenizer架构、训练流程、损失函数等，但没有提供完整的实现代码。模型架构：基于Qwen2.5-VL-7B初始化，并进行了多项修改，复现需要理解这些修改并在合适的基础模型上实现。训练稳定性：论文描述了训练过程中遇到的挑战和解决方案，这有助于其他研究者在复现时避免类似问题。总体而言，完整复现NextFlow需要大量的计算资源和数据访问，但核心思想（如next-scale预测、双codebook tokenizer、scale reweighting等）可以在较小的规模上进行验证和实验。