Qwen3.5-Omni 技术报告：千亿参数全模态大模型的Thinker-Talker架构与ARIA对齐 Qwen3.5-Omni Technical Report
千亿参数全模态MoE模型，256k上下文，ARIA实现文本-语音对齐
前置知识
Thinker-Talker 架构
将全模态对话拆分为两个模块：Thinker 负责跨模态理解与文本生成，Talker 接收 Thinker 表征并以流式方式合成语音。两模块串联训练但职责解耦，使文本思考与语音发声可以异步优化。
是 Qwen3.5-Omni 的主干框架，决定了文本推理与语音合成如何解耦与协同，是理解全部后续改进的认知起点。
混合注意力 MoE (Hybrid Attention MoE)
在 Transformer 中把全注意力层与线性注意力（Gated Delta Net）按层交替堆叠，并将 FFN 替换为稀疏激活的专家路由 MoE，从而兼顾长序列效率与模型容量。
Qwen3.5-Omni 的 Thinker 与 Talker 均基于此架构，是支撑 256k 长上下文与高并发流式推理的核心结构。
RVQ 多码本语音分词
使用残差矢量量化将 16 kHz 波形编码为多层码本序列，每帧同时预测多个残差码本从而精细控制音色与韵律；解码端用因果 ConvNet 实时恢复波形。
是 Talker 输出空间的物理基础，决定了语音合成的质量、压缩率与流式首包延迟，本文 MTP 多步预测即作用于该码本序列。
ARIA 自适应速率交错对齐
对前缀中累计的语音-文本 token 比值施加单调约束，使其不超过全局 item 级比值，把双通道生成统一为单通道交错流，从而自适应处理不同语种的 token 化效率差异。
解决流式 TTS 中跳过词、错发音、数字歧义等不稳定现象，是本文最具代表性的算法创新。
On-Policy 蒸馏 (OPD)
对同一条音频-文本配对查询，让模型先在文本条件下生成高质量回答，再把该回答作为音频输入下的蒸馏目标，使学生模型在音频条件下逼近自己的文本表现。
解释了音频条件下对话质量如何逼近文本条件，是后训练第二阶段的核心机制。
研究动机
现有全模态模型普遍存在三方面局限：第一，被动感知-响应范式使模型缺乏可扩展的代理行为、实时交互、跨模态推理与自主工具调用能力，难以实用部署；第二，主流双通道文本-语音生成依赖 MFA 等强制对齐，在流式解码中文本与语音 tokenizer 的编码效率不一致时容易出现跳词、错发音、数字歧义等不稳定现象，自然度欠佳；第三，长上下文能力受限，10 小时音频或数分钟 720P 音视频难以端到端建模，限制了多语种场景（113 种识别、36 种合成）与可控音视频描述等任务的应用空间。
本文的目标是构建千亿参数规模、支持 $256k$ token 长上下文的原生全模态大模型 Qwen3.5-Omni（Plus 与 Flash 双规格），统一文本、图像、音频与音视频的理解、推理、生成与代理行为。具体目标包括：在 $215$ 个音频与音视频理解、推理、交互基准上对标或超越 Gemini-3.1 Pro，在零样本 TTS（SEED-zh/en WER 0.99/1.26）、跨语种声音克隆（zh→ko CER 由 14.4 降至 4.03）等关键任务上达到 SOTA；同时不损伤同规模 Qwen3.5 的文本与视觉能力（MMLU-Pro 85.9 vs 86.8）；并把端到端首包延迟压到 Flash 235 ms 音频 / 426 ms 视频，使长上下文全模态模型真正可部署。
与已有工作不同的是，本文的独特切入点是同时在架构、训练策略与生成机制三个层面发力：架构上为 Thinker/Talker 都换上 Hybrid Attention MoE；训练上引入三阶段预训练 + 三阶段 Thinker 后训练 + 四阶段 Talker 后训练；生成上首次提出 ARIA 单通道自适应对齐，替代 Qwen3-Omni 的双通道硬交错，从而一次性解决稳定性、自然度与多语种泛化问题，并以“原生全模态代理”为目标让模型直接由音视频指令生成代码（Audio-Visual Vibe Coding）。
核心方法
整体延续 Thinker-Talker 双塔架构，输入侧由 AuT 音频编码器（6.25 Hz token，40M 小时训练）和 SigLIP2 视觉编码器把波形/视频转成统一表示，融合显式时间戳文本后送入 Hybrid MoE Transformer 的 Thinker；Thinker 输出文本与隐表征驱动同样为 MoE 的 Talker，Talker 通过 MTP 模块并行预测 RVQ 多码本残差，再由因果 ConvNet 的 Code2Wav 实时恢复波形。后训练上 Thinker 走“专家蒸馏 → OPD → 交互对齐 RL”，Talker 走“通用预训练 → 长上下文 CPT → DPO/GSPO → 说话人微调”，并通过 ARIA 约束文本-语音前缀比值。
三个互相耦合的核心创新点区别于以往工作：其一，把 Hybrid Attention MoE 同时塞进 Thinker 与 Talker，GDN 模块显著降低长音视频的 KV-cache I/O；其二，抛弃双通道硬交错，提出 ARIA——以全局 item 级文本-语音 token 比率为单调上界，将两路生成统一为单流，从而稳定支持多语种与零样本声音克隆；其三，On-Policy Distillation 把同一模型在文本条件下的强回答蒸馏回音频条件，系统缩小音-文响应质量差距。这三点使模型在自然度、长上下文、代理能力三方面同时取得突破。
方法步骤详情
（1）感知端：音频经 AuT 4 个 Conv2D 下采样 16 倍 → 自注意力得到 $6.25\text{ Hz}$ token；视频由 SigLIP2 动态帧率采样，每个音视频 patch 前插入 "s" 时间戳。（2）Thinker 三阶段预训练：S1 冻结 LLM 训音/视编码器；S2 解冻全部参数，约 4T token 多模态数据在 32k 长度训练；S3 长度扩到 262k。（3）Thinker 后训练：多领域专家 SFT/RL 做 Specialist Distillation → 以文本条件回答为目标做 On-Policy Distillation → 多轮轨迹上做 Interaction-Aligned RL。（4）Talker 四阶段：20M+ 小时多语种预训练 → Captioner 清洗后 CPT（扩到 64k）→ DPO + GSPO → 轻量说话人微调支持零样本声音克隆。（5）流式生成：Talker 在 ARIA 单调比值约束下逐帧预测多码本 RVQ，Code2Wav 因果解码 $3\sim5\text{ ms}$ 出音频。
技术新颖性
技术新颖性体现在四个方面：一是把 Hybrid MoE + GDN 首次用于全模态双塔，Thinker/Talker 同时享受长序列效率红利；二是显式文本时间戳替代纯 TMRoPE，使模型对任意时长流式输入更鲁棒；三是 ARIA 用单调比值约束统一文本-语音流，规避了 MFA 对齐误差，且无需语言相关工程；四是把 On-Policy 蒸馏和交互对齐 RL 引入全模态后训练，使音频条件响应逼近文本条件，并稳定多轮人设与指令遵循。综合下，模型在 Plus 规格下取得 SOTA，Flash 规格下把音频首包延迟压到 235 ms、视频首包 426 ms。
实验结果
Qwen3.5-Omni-Plus 在 215 项音视频基准上达到 SOTA，关键音频任务全面超越 Gemini-3.1 Pro。文本→文本（Table 4）与 Qwen3.5-Plus-Instruct 持平：MMLU-Pro 85.9 vs 86.8，IFBench 52.6 vs 51.1。音频→文本（Table 5）MMAU 82.2、MMSU 82.8 领先 Gemini 81.1/81.3；VoiceBench 93.1 vs 88.9；Fleurs WER 6.55 vs 7.32。视觉→文本（Table 6）MLVU 86.8、LVBench 71.2 高于文本基线；SLAKE 84.7 优于 82.8。音视频→文本（Table 7）DailyOmni 84.6 优于 Gemini 82.7；Qualcomm IVD 68.5 vs 66.2。零样本 TTS（Table 8）SEED-zh/en WER 0.99/1.26 业界最低；跨语种 zh→ko CER 从 14.4 降至 4.03（-72%）；延迟：Plus 音频首包 435 ms、Flash 235 ms。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 文本→文本 (MMLU-Pro) | 准确率 ↑ | 85.9 (Qwen3.5-Omni-Plus) | 86.8 (Qwen3.5-Plus-Instruct) | 几乎持平，差距 0.9 |
| 指令遵循 (IFBench) | 分数 ↑ | 52.6 | 51.1 | +1.5，OPD 与交互对齐 RL 的正向贡献 |
| 音频理解 (MMAU) | 准确率 ↑ | 82.2 | 81.1 (Gemini-3.1 Pro) | +1.1 |
| 端到端语音对话 (VoiceBench) | 分数 ↑ | 93.1 | 88.9 | +4.2 |
| 音视频理解 (DailyOmni) | 准确率 ↑ | 84.6 | 82.7 | +1.9 |
| 视频理解 (MLVU M-Avg) | 分数 ↑ | 86.8 | 85.1 (Qwen3.5-Plus-Instruct) | +1.7，联合音视频训练红利 |
| 零样本 TTS SEED zh/en | WER ↓ | 0.99 / 1.26 | CosyVoice3 0.71/1.45，Qwen3-Omni 1.07/1.39 | test-en 业界最优，test-zh 与最优可比 |
| 跨语种 TTS zh→ko | CER ↓ | 4.03 | 14.4 (CosyVoice3) | -72% 相对降幅 |
| 音频首包延迟 Flash/Plus | ms ↓ | 235 / 435 | Qwen3-Omni 等同规格基线 | Hybrid MoE + 流式 + ARIA 协同优化 |
| OmniGAIA 工具使用 | 成功率 ↑ | 57.2 (Plus) / 33.9 (Flash) | 68.9 (Gemini-3.1 Pro) | Plus 略低于 Gemini；Flash 因规模差距较大 |
局限与改进
作者明确承认的局限：报告未公开训练数据细节、参数量、专家数等核心超参，复现难度大；Thinker 与 Talker 的相对规模与 Plus/Flash 的差异化策略未充分说明，横向对比 Flash 与 Plus 的延迟/吞吐并不严格公平；表 9-12 商用对比系统（MiniMax-Speech、ElevenLabs 等）依赖第三方 API，可能受版本漂移影响；评测中对长上下文（>1h 音频）、多说话人重叠、低资源语种等细粒度场景的报告有限。我们观察到的额外限制：模型对极端嘈杂、远场多人会议场景的鲁棒性未单独评估；ARIA 的理论单调约束虽优雅，但极端编码效率差异下是否仍单调有界未给出形式化证明；Agent 工具调用的错误恢复与多步规划能力仅通过 OmniGAIA 反映；Audio-Visual Vibe Coding 作为涌现能力，缺乏标准基准与失败率分析。
独立分析的弱点
（1）文档化不足：未列出 Thinker/Talker 的参数量、专家数与训练 FLOPs。改进方向：发布 architecture card。（2）多说话人/重叠语音薄弱：对鸡尾酒会、远场会议场景未充分报告。改进方向：引入说话人 diarization 头，构建更难的会议基准。（3）ARIA 缺乏形式化保证：单调比值约束对极低编码效率语种可能不可达。改进方向：增加比值上限的自适应松弛与语言先验，并做形式化分析。（4）Agent 错误恢复不足：OmniGAIA 上 Plus 仅 $57.2\%$，低于 Gemini-3.1 Pro 的 $68.9\%$。改进方向：构建带失败回退的轨迹数据，加入过程奖励 RL。（5）Audio-Visual Vibe Coding 未量化：缺乏标准基准与失败模式分析。改进方向：建立基于 GUI/IDE 视频的代码生成基准。（6）安全性与幻觉控制不充分：超长上下文与多语种叠加下幻觉检测更困难，报告未单独讨论。改进方向：补充红队与多语种安全评测。
未来方向
作者明确的下一步方向：把 Audio-Visual Vibe Coding 系统化，提供 GUI/IDE 操作视频→可执行代码的标准化基准与工具栈；扩展可控音视频描述到电影级长视频；继续把模型推向更多低资源语种，并探索 Code2Wav 的端侧部署。基于成果可延伸的方向：（a）ARIA 的单调约束可推广到视频/音乐等多模态生成，用统一 item-level 比值约束替代硬交错；（b）On-Policy 蒸馏思路可推广到任意“强条件→弱条件”对，例如图像→草图、视频→关键帧蒸馏，进一步统一模态质量；（c）Hybrid MoE + GDN 在全模态长上下文下的优越性提示可探索稀疏注意力 + 线性注意力的层级混合策略；（d）把原生全模态代理与端到端 GUI 操作结合，构建真正的“感知-推理-执行”闭环 agent；（e）研究 256k 长上下文中音视频与文本的检索-压缩机制，降低在线服务成本。
复现评估
复现评估：论文仅声明模型“公开提供 API”，未开源权重或训练代码，也未发布预训练数据、训练超参与算力消耗，因此完整复现几无可能。可复现的部分：（a）评测基准均为公开（SEED-TTS、Fleurs、LibriSpeech、VideoMME、MMLU-Pro 等），可基于公开 API 复现大多数报告数字；（b）架构描述足够清晰，单模块（AuT 编码器、Thinker/Talker、MTP、Code2Wav）的局部实现可行；（c）ARIA 思路明确，可基于 PyTorch 在小模型上重现单调比值约束。不可复现的部分：4T 多模态 token 预训练数据、40M 小时 AuT 训练语料、专家路由策略、Thinking vs Instruct 路线细节、Plus/Flash 的差异化部署并行策略等。整体复现难度极高，估算训练需要数千至上万卡时，且缺少关键工程细节，第三方团队短期内难以端到端重现 SOTA 数字。
论文图表
示意图展示模型作为一个统一端点接收多种输入流并输出文本/语音，覆盖语音对话、视频对话、音视频工具调用等典型任务。
帮助读者快速建立对全模态模型“感知-推理-生成-行动”闭环的直觉，是论文封面级的总览图。