AR-Omni：统一的自回归任意模态生成模型 AR-Omni: A Unified Autoregressive Model for Any-to-Any Generation
首个无需扩散解码器的统一自回归多模态模型，支持文本、图像、语音的任意到任意生成
前置知识
自回归建模（Autoregressive Modeling）
自回归建模是一种生成模型范式，通过逐步预测序列中的下一个token来生成数据。在文本领域，GPT系列模型就是典型的自回归模型，它将生成过程建模为条件概率的链式分解：$p(x) = \prod_{t=1}^{T} p(x_t | x_{<t})$。这种建模方式的优势在于：（1）使用单一token流、单一next-token目标、单一解码器，架构简洁优雅；（2）天然支持流式生成；（3）可通过scaling law持续提升性能。AR-Omni将这一范式扩展到多模态领域，将文本、图像、语音统一到同一个token序列中进行自回归生成。
理解自回归建模是理解本文核心思想的基础。AR-Omni的关键创新正是将这种在文本领域验证有效的建模范式，扩展到多模态场景，实现真正的统一生成。
离散多模态分词（Discrete Multimodal Tokenization）
将连续的多模态数据（图像、语音）转换为离散token序列的技术。对于图像，使用VQ-VAE/VQGAN等向量量化编码器将图像压缩为离散码本索引；对于语音，使用SoundStream、EnCodec等神经音频编解码器将波形量化为离散码。AR-Omni采用单码本纯声学分词器（WavTokenizer），而非传统的双码本（语义+声学）方案，从而降低码率并支持流式生成。文本则使用SentencePiece BPE分词器。所有模态的token被整合到一个联合词表中。
离散分词是实现统一自回归多模态生成的基础。不同的分词策略直接影响模型的生成质量、延迟和流式能力。AR-Omni选择单码本语音分词器是一个关键设计决策，直接影响了其实时流式语音生成能力。
模态不平衡（Modality Imbalance）
在统一多模态训练中，不同模态的token序列长度差异巨大（如语音token远多于文本token），导致优化过程中某些模态主导了梯度更新，其他模态学习不足。例如，一段10秒的语音可能产生400个token，而对应的文本描述可能只有20个token。如果不加干预，模型会过度优化语音建模而忽视文本理解。AR-Omni通过任务感知的加权策略（task-aware reweighting）来缓解这一问题，在响应尾部的token上给予不同模态不同的损失权重。
模态不平衡是统一多模态训练的核心挑战之一，直接影响模型在各模态上的均衡性能。理解这一问题有助于把握AR-Omni技术贡献的实际意义。
感知损失（Perceptual Loss）
一种超越逐token交叉熵的损失函数，通过在嵌入空间中对齐隐藏状态与目标码的表示来提升生成质量。传统交叉熵对所有非目标码一视同仁地惩罚，忽略了视觉token之间的语义相似性。AR-Omni的感知损失将最后一层隐藏状态通过可训练投影映射到与冻结图像嵌入矩阵相同的空间，为视觉码提供更平滑的相似性度量，鼓励模型生成视觉上连贯的结构。
感知损失是AR-Omni提升图像生成质量的关键技术。理解这一损失函数的设计动机和实现方式，有助于理解为什么纯自回归图像生成能达到接近扩散模型的效果。
研究动机
现有Omni多模态大语言模型（MLLMs）虽然在多模态理解和生成方面取得了显著进展，但普遍存在一个核心问题：依赖外部专家组件来实现多模态生成能力。具体而言，AnyGPT和MIO等系统虽然支持文本、语音、图像的任意到任意交互，但仍需依赖扩散解码器（如900M参数的latent diffusion UNet）进行图像生成，或使用非自回归的语音生成器。这种依赖带来了三重代价：（1）系统架构复杂，无法实现统一的训练和推理流程；（2）多模态建模的责任仍主要由外部专家模型承担，削弱了统一模型的价值；（3）流式能力受限，如MIO的实时因子高达48.90，远超实时要求。Chameleon虽然提出了无扩散的自回归方案，但仅支持文本和图像，不支持语音。因此，如何构建一个真正统一的、无需外部扩散解码器的任意到任意生成模型，仍然是一个开放问题。
本文的目标是本文的核心目标是探索能否以相同的自回归纯粹性构建Omni模型：一个单一的自回归模型，原生地处理文本、图像和语音的生成，不依赖任何外部专家解码器。具体而言，AR-Omni旨在实现：（1）统一的自回归文本生成、图像生成和流式语音生成，全部在单一Transformer解码器下完成；（2）实时或超实时的流式语音合成（RTF < 1）；（3）在三个模态上都达到有竞争力的生成质量；（4）解决统一自回归建模中的实际挑战，包括模态不平衡、视觉保真度和稳定性-创造性权衡。
与已有工作不同的是，AR-Omni的独特切入角度在于回归自回归建模的纯粹性，用单一token流、单一next-token目标、单一解码器来处理所有模态。与现有方法的根本区别在于：（1）相比依赖扩散解码器的方法（AnyGPT、MIO、NExT-GPT），AR-Omni完全消除外部专家组件，将图像生成也纳入自回归框架；（2）相比Chameleon/Anole仅支持文本和图像，AR-Omni扩展到语音模态，实现真正的tri-modal any-to-any；（3）相比使用双码本语音分词器的方法，AR-Omni采用单码本纯声学分词器，绕过了传统的先完成语义token再解码声学token的瓶颈，从而支持低延迟流式语音生成。这种设计哲学上的回归，使得AR-Omni成为首个同时实现统一I/O、流式生成和实时合成的无扩散Omni模型。
核心方法
AR-Omni的方法设计遵循一个核心直觉：既然自回归建模在文本领域已经证明了其优雅性和可扩展性（单一token流、单一next-token目标、单一解码器），那么能否将同样的范式扩展到多模态场景？技术路线分为三个层次：首先是统一的token化，将文本（SentencePiece BPE）、图像（场景感知VQ分词器）和语音（单码本纯声学分词器WavTokenizer）全部转换为离散token，整合到联合词表中；其次是统一的自回归建模，所有token被串联成单一序列，通过特殊token（boa/eoa标记语音、boi/eoi标记图像）管理模态转换，用单一7B参数Transformer解码器进行next-token预测；最后是针对性的优化策略，包括加权next-token预测损失缓解模态不平衡、感知损失提升视觉保真度、有限状态解码机制平衡稳定性与创造性。
AR-Omni的核心创新在于三个方面。第一，单码本语音分词：与AnyGPT和MIO使用的双码本（语义+声学）分词器不同，AR-Omni采用WavTokenizer这一纯声学单码本分词器，每个语音帧仅产生一个离散token而非一对token。这绕过了传统的语义token先完成、再解码声学token的瓶颈，使得模型可以在生成少量语音token后就开始解码音频，实现真正的流式生成。第二，任务感知的加权损失：不同任务对不同模态的依赖不同（如ASR主要输出文本，TTS主要输出语音），AR-Omni在响应尾部的token上施加不同的损失权重，放大对特定输出模态的监督，防止序列较长的模态主导优化。第三，有限状态解码机制：不同的下游任务需要不同的解码策略（确定性任务如ASR/TTS需要贪心解码，开放生成如T2I需要采样），AR-Omni通过有限状态机自动选择解码策略，避免单一策略的次优问题。
方法步骤详情
AR-Omni的完整流程包括以下步骤：（1）输入处理：文本通过SentencePiece BPE分词器编码；图像通过场景感知VQ分词器转换为1D离散视觉码序列；语音通过WavTokenizer转换为离散声学token序列。（2）序列构建：将所有模态token串联为单一序列，其中语音token被boa和eoa包裹，图像token被boi和eoi包裹，eoh标记输入结束，eom标记多轮对话中当前轮结束，eos标记整个对话结束。（3）自回归训练：使用7B参数Transformer解码器，优化目标为加权next-token预测损失加上感知损失。训练分两阶段：Stage 1预训练（140k步，batch size 480）使用加权NTP+感知损失；Stage 2微调（18k步，batch size 64）使用omni-interleaved指令数据，损失仅应用于响应token。（4）推理时，有限状态解码机制根据任务类型自动选择解码策略：ASR和TTS使用贪心解码，文本到图像生成使用采样解码。
技术新颖性
AR-Omni的技术新颖性体现在多个层面。首先，在架构层面，它是首个同时实现统一I/O（文本+图像+语音）、流式生成和实时合成（RTF=0.88）的无扩散Omni模型，这一点从Table 1的对比中可以清晰看出，现有方法要么依赖扩散解码器（AnyGPT、MIO），要么不支持语音（Chameleon、Anole），要么无法实时流式（USLM不支持图像）。其次，在训练目标层面，加权NTP损失是针对多模态统一训练中模态不平衡问题的创新解决方案，不同于简单的均匀采样或温度调节，它在token级别精细控制不同模态的监督强度。感知损失将视觉生成从离散token匹配提升到嵌入空间对齐，这一设计借鉴了计算机视觉中感知损失的思想，但首次应用于离散自回归图像生成。最后，在解码策略层面，有限状态解码机制是一个实用但新颖的设计，它认识到不同任务对确定性/创造性的不同需求，并通过自动化机制解决这一问题。
实验结果
AR-Omni在三个模态上都展现了有竞争力的性能。在图像理解方面（Table 2），AR-Omni在MS-COCO Karpathy测试集上实现了56.53的CIDEr分数，虽然低于使用扩散解码器的AnyGPT（107.5）和MIO（120.4），但在无扩散自回归设置下显著优于其初始化模型Anole（15.07），提升达275%，证明any-to-any训练不仅不会损害图像理解能力，反而能增强它。在图像生成方面（Table 4），AR-Omni的CLIPscore为0.24，略低于Anole（0.27），但使用仅41M参数的VQGAN解码器，远少于扩散方法的900M参数。在语音识别方面（Table 5），AR-Omni在LibriSpeech test-clean上实现9.4%的WER，与AnyGPT（8.5%）和MIO（6.3%）相当，但使用单码本分词器仅产生40 tokens/s，远少于AnyGPT的50 tokens/s和MIO的200 tokens/s。在语音合成方面（Table 6），AR-Omni表现出色：6.5%的零样本TTS WER（VCTK数据集）、146ms的首token延迟、0.88的实时因子，是唯一实现RTF<1的tri-modal any-to-any系统。消融实验（Table 7）验证了各组件的有效性：移除感知损失导致TTS WER从0.1105恶化到0.1175；移除swin-norm导致TTS WER恶化到0.1633；使用简单NTP（移除所有三个组件）导致ASR WER从0.1535恶化到0.2270，TTS WER从0.1105恶化到0.1589，且训练后期出现损失反弹和模型崩溃（Figure 3）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 图像理解（Image Captioning） | CIDEr | 56.53 | Anole: 15.07, Chameleon: 13.72 | 相比Anole提升275%，相比Chameleon提升312% |
| 图像生成（Text-to-Image） | CLIPscore | 0.24 | Anole: 0.27, AnyGPT: 0.65 | 使用41M解码器参数vs扩散方法900M，保持无扩散纯粹性 |
| 语音识别（ASR） | WER | 9.4% | AnyGPT: 8.5%, MIO: 6.3% | 使用单码本40 tok/s，远少于AnyGPT 50 tok/s和MIO 200 tok/s |
| 语音合成（TTS） | WER | 6.5% | AnyGPT: 8.5%, MIO: 12.0% | WER优于AnyGPT 23%，优于MIO 46% |
| 语音合成延迟 | First Token Latency (ms) | 146 | AnyGPT: 6602, USLM: 11611 | 相比AnyGPT延迟降低45倍，相比USLM降低80倍 |
| 语音合成实时性 | Real-Time Factor | 0.88 | AnyGPT: 2.92, MIO: 48.90 | 唯一实现RTF<1的any-to-any系统 |
局限与改进
AR-Omni存在几个明确的局限性。首先，无扩散自回归图像生成质量仍落后于扩散方法：在MS-COCO T2I任务上，AR-Omni的CLIPscore（0.24）远低于使用扩散解码器的AnyGPT（0.65）和MIO（0.64），这表明纯自回归范式在图像生成的保真度和多样性方面仍有显著差距。其次，语音识别性能略有妥协：AR-Omni在LibriSpeech test-clean上的WER（9.4%）略高于AnyGPT（8.5%）和MIO（6.3%），这可能与单码本分词器的语义信息损失有关。第三，图像理解CIDEr分数（56.53）也低于使用扩散解码器的AnyGPT（107.5）和MIO（120.4），表明统一训练在某些任务上仍有性能折损。此外，论文未提供与最新闭源模型（如GPT-4o）的直接对比，也未展示在更复杂场景（如长视频理解、多轮复杂交互）中的表现。从我的观察来看，论文的定性示例（Figure 4-10）展示的图像生成结果虽然视觉上可接受，但细节丰富度和语义准确性仍有提升空间，特别是复杂场景和细节表达方面。
独立分析的弱点
AR-Omni的弱点可以从几个具体场景来分析。第一，图像生成质量的瓶颈：纯自回归图像生成在MS-COCO上的CLIPscore仅为0.24，而扩散方法达到0.64-0.65，差距约62%。这表明当前的VQ分词器和自回归解码策略在捕捉图像细节和语义一致性方面仍有根本性不足。改进方向可以考虑：引入更高质量的图像分词器（如更高码率的VQ模型），或者在自回归框架中融入轻量级的细化模块。第二，语音识别的精度损失：单码本分词器虽然降低了延迟，但WER（9.4%）相比双码本方案（MIO 6.3%）高了约49%。改进方向可以探索：在单码本框架中引入额外的语义监督信号，或者设计混合码本策略。第三，训练数据的模态混合比例（0.5:1:2的文本:图像文本:语音文本）是手动设定的，缺乏自适应调节机制。改进方向可以考虑：基于模态梯度动态调整采样比例。第四，有限状态解码机制虽然实用，但仍然是基于规则的，缺乏学习能力。改进方向可以考虑：训练一个轻量级元策略网络来预测最优解码参数。
未来方向
作者在结论中明确指出，未来工作将聚焦于提升无扩散图像生成质量，同时保持统一AR范式的纯粹性。基于本文的成果，可以延伸出几个有前景的研究方向：（1）更高保真度的自回归图像生成，探索更高分辨率、更长序列的视觉token建模，或者结合自回归与非自回归的混合生成策略；（2）扩展到更多模态，当前支持文本、图像、语音，可以扩展到视频、3D、触觉等模态；（3）更高效的流式生成，当前的单码本语音分词器已经实现了RTF=0.88，可以进一步探索更低延迟的分词方案；（4）多模态对齐的深入研究，感知损失展示了在嵌入空间对齐的潜力，可以探索更精细的跨模态对齐策略；（5）规模效应研究，当前使用7B参数模型，探索更大规模（如70B、100B+）的AR-Omni是否能缩小与扩散方法在图像生成上的差距；（6）实际应用部署，探索在边缘设备上的高效推理，利用AR模型的流式特性实现实时多模态交互。
复现评估
从复现角度来看，AR-Omni的可复现性较好。论文明确说明了训练细节：使用8块NVIDIA A100 GPU，基于Chameleon代码库实现，提供了完整的超参数配置（Table 8）和数据集描述（Table 9）。预训练数据全部来自公开数据集：Ultra-FineWeb用于文本、LAION-2B和JourneyDB用于图像文本、GigaSpeech/MLS/Common Voice用于语音文本。微调数据基于AnyInstruct重构。论文提供了详细的prompt模板（Table 10）和任务格式。然而，复现也面临一些挑战：（1）算力需求，8块A100训练140k预训练步+18k微调步，需要显著的计算资源；（2）初始化模型，从Anole初始化，而Anole本身是基于Chameleon的，需要访问这些预训练权重；（3）数据预处理，语音数据需要使用CosyVoice2进行音色合成和增强，这增加了额外的依赖；（4）评估标准，论文使用了多种评估指标（CIDEr、CLIPscore、WER、RTF等），需要安装多个评估工具。总体而言，有足够算力的研究团队应该能够复现本文结果。
论文图表
展示了两个纯语音多轮对话场景：(1)关于如何选择容易阅读的书籍的建议对话；(2)如何开始与朋友的困难谈话的建议。模型在多轮语音交互中保持上下文，提供连贯的建议。
这些示例展示了AR-Omni在纯语音多轮对话中的能力，证明其流式语音生成在实际对话场景中的可用性。
展示了AR-Omni在多种提示词下生成的图像，包括场景（雾蒙蒙的工业地下室、日落时的冬日道路、下午的干净庭院、夜晚的沙漠道路）、物体（书架上的泰迪熊、毯子上的狗）等。图像质量总体可接受，展示了模型在不同风格和主题上的生成能力。
这些定性结果直观展示了AR-Omni无扩散图像生成的实际质量，让读者对模型的视觉生成能力有具体感知，同时也揭示了与扩散方法的差距。
展示了更多样化的生成结果，包括海滩小路、巧克力蛋糕、蓝色莓果、红色机器人等。图像涵盖了食物、玩具、自然景观等多种类别，展示了模型的生成多样性。
这些示例展示了AR-Omni在物体细节和纹理方面的生成能力，为评估模型的视觉保真度提供参考。
详细描述了7个预训练数据集的规模、语言、内容来源和预处理说明。LAION-2B-en包含23.2亿图像-文本对；JourneyDB约440万图像-提示对；GigaSpeech 10,000小时；Common Voice 33,150小时；MLS 44,500小时；Ultra-FineWeb包含约1万亿token。所有数据集均为公开数据。
这个表格为复现研究提供了完整的数据集信息，包括规模、来源和预处理细节，是评估研究可复现性的重要参考。