TaoMate-HD：渐进分辨率自回归音视频生成 TaoMate-HD: Progressive-Resolution Autoregressive Audio-Video Generation
两步粗分辨率加一步精修的渐进去噪与阶段级历史复用，实现每小时高分辨率流式音视频生成
前置知识
流匹配与少步去噪
流匹配把去噪建模为学习一个速度场：噪声水平为 $\sigma$ 的潜变量满足 $u_\sigma = (1-\sigma)x_{\text{clean}} + \sigma\epsilon$，网络预测的速度 $\hat{v}$ 实际估计的是 $x_{\text{clean}} - \epsilon$。给定速度后，既可做一步 Euler 更新推进到下一噪声水平，也可直接外推出干净预测 $\hat{x} = u + \sigma\hat{v}$，即零噪声端点估计。
本文的核心机制——把每一步的干净预测当作下一分块的历史——正是建立在流匹配「一步外推干净端点」这个性质上的。
分布匹配蒸馏（DMD）
DMD 用一个可学习的 fake score 拟合学生生成分布、一个冻结的 real score 表示教师真实分布，两者的差定义学生的更新方向，从而把多步教师压缩成少步生成器。配合 Self Forcing 式的学生自生成 rollout 训练，能让少步模型学会条件于自己先前生成的历史。
TaoMate-HD 只有 3 步去噪，全部靠 DMD 蒸馏达成；它的续播训练也是在 DMD 框架上通过改文本条件实现的。
KV 缓存与阶段本地历史
Transformer 注意力会把已处理 token 的键/值（KV）缓存下来供后续 token 查询，避免重复计算。本文把这一机制推广为「每个去噪阶段各有独立的历史 bank」，bank 内容由前一分块同一阶段的音视频预测编码而成，长期推理时固定容量，只保留初始锚点和最近两个分块。
分块间能否重叠执行、语音能否跨文本窗口续播，都取决于 KV 历史的组织方式，这是全文调度的关键。
分块自回归流式生成
把长音视频流切成若干 5 秒的分块（chunk），逐块生成并把已生成内容作为历史传给下一块，从而支持随文本到达实时输出。挑战在于块间依赖：通常下一块要等上一块的最终输出完成才能开始。
本文要同时解决「块内算得快」（渐进分辨率）和「块间不等」（阶段并行）两件事，都发生在分块流式的框架内。
字符错误率（CER）
把生成语音用 ASR（本文用 Whisper-small）转写回文本，与目标对话对比，统计替换、删除、插入错误占参考字符数的比例，是衡量「说的话对不对」的直接指标。CER 高意味着复读、漏说或说错。
本文续播训练的效果主要用 CER 衡量（30.75%→19.57%），读懂实验部分必须理解这个指标。
研究动机
交互式数字人需要在对话文本不断到达的同时持续输出语音和画面，这给音视频联合生成模型带来双重约束：既要保住人脸、手部与前景物体的高分辨率细节，又要保证语音不中断。现有方法的瓶颈集中在两处。其一是算力：以 MiniMax-H3 为代表的基座模型每个 5 秒片段要做 49 步去噪，且每一步都在完整高分辨率网格上计算——即便早期步骤只负责确定场景布局和大致运动，也要为精细网格支付全额算力；少步蒸馏和固定分辨率的流式系统（如 TaoMate，11.1 FPS）虽快，却停在低分辨率，细节不足。其二是流式调度：如果一个分块必须等前一分块的高分辨率精修全部完成才能拿到历史，块间就无法重叠计算；而文本窗口常在句中切换，模型若不知道哪些话已经说过，就会从头复读（基线配置字符错误率 CER 高达 30.75%）或在窗口边界戛然而止。
本文的目标是本文要让自回归音视频模型在 768×1376 高分辨率、24 FPS、32 kHz 立体声的规格下持续生成一小时以上，同时显著降低时延与算力。目标可量化为三件事：第一，把每分块的去噪从「全程高分辨率」改为「两步低分辨率定结构、一步高分辨率精修」，在完全相同的模型与硬件下相对直接高分辨率生成取得 1.6× 加速；第二，让分块间可以重叠执行（stage-parallel 阶段并行），在串行渐进生成基础上再获得 1.9× 的部署级加速；第三，当文本窗口在句中从 $A+B$ 切换到 $B+C$ 时，模型能依靠保留的音频历史推断已说到哪里并自然续播，把 CER 从 30.75% 压到 20% 以下，同时在小时级生成中保持角色外观、音画同步与色彩连续性不崩坏。
与已有工作不同的是，作者的独特切入是：历史不必等到最终精修完成才可用。已有渐进分辨率方法（Matryoshka Diffusion、Pyramidal Flow、PyramidalWan）只在单条生成轨迹内部变换分辨率，中间结果只服务于自己这一条轨迹；已有的阶段并行推理框架则要求历史用「该阶段输出噪声水平」表示，跨阶段可用性受限。TaoMate-HD 注意到流匹配去噪的每一步都能近乎免费地外推一个干净预测 $\hat{x}$，于是把每个阶段的干净音视频预测在零噪声、原生网格上编码成 KV 历史，直接供下一分块的同一阶段读取——粗阶段不必等精阶段收工即可开工，天然构成沿反对角线流水线执行的调度。另一处被忽视的点是续播本身：模型其实可以从保留的音频隐状态里「听出」说话进度，不需要 ASR、文本指针或对齐模块，只要蒸馏时的文本条件设计得当（非对称条件）就能学会。
核心方法
直觉上这像雕塑创作：先用小样快速定出大体块和姿态（低分辨率粗去噪），最后才上细部（高分辨率精修）；而且小样一出来就可以作为下一件作品的参考，不必等细部雕完。技术上，每个 5 秒分块执行 $N=3$ 次去噪评估：前两次在低分辨率视频网格 $L$（480×864）上做 Euler 更新，同时在流参数化下外推干净预测；最后一次通过耦合噪声的提升算子 $\Lambda_\sigma$ 升到高分辨率网格 $H$（768×1376）完成精修。音频潜变量全程保持同一几何结构，因此音视频始终在同一条联合轨迹里共同去噪。每个阶段得到的干净音视频预测在 $\sigma=0$、各自原生网格上被编码为该阶段的 KV 历史库，供下一分块的同一阶段读取。训练从 MiniMax-H3 FL2VA 出发，用 rank-128 LoRA 在 1 万条自建蒸馏对上做分布匹配蒸馏（DMD），并在学生自己生成的 rollout 中模拟文本窗口切换，用非对称文本条件监督续播与语音完结行为。
核心创新是「阶段本地 KV 历史 + 干净预测作为统一历史表示」。每个阶段不共享一个历史库，而是各自维护一个由前一分块同阶段预测构成的 KV bank。关键在历史的表示形式：不是某一步的噪声中间态，而是该阶段在零噪声、原生网格上的干净音视频估计。干净预测是流匹配轨迹里现成的副产物——$\hat{x}_m^{b,\ell} = \hat{u}_m^{b,\ell} + \sigma_m^\ell \hat{v}_m^{b,\ell}$——无需额外前向即可得到。它提供了跨阶段统一的表示：即便下一分块查询的噪声水平和空间网格都不同，同一阶段的 bank 依然语义对齐。这解开了「分块必须串行等待」的死结：分块 $b+1$ 的粗阶段只需分块 $b$ 阶段 1 的干净预测，而后者在分块 $b$ 开始后不久就已产生，于是反对角线式的阶段并行流水线成为可能，带来 1.92× 的整体加速。配合非对称文本条件蒸馏，模型在文本窗口切换时靠音频历史续播，无需 ASR、文本指针或对齐模块。
方法步骤详情
完整流程分五步。第一步（渐进去噪）：给定分块 $b$ 阶段 $\ell$ 的噪声潜变量 $u_m^{b,\ell}$、文本条件 $c_G^b$ 与历史 $\mathcal{H}^{b,\ell}$，生成器输出速度，每次评估同时产出 Euler 更新 $u_m^{b,\ell+1} = \hat{u}_m^{b,\ell} + (\sigma_m^\ell - \sigma_m^{\ell+1})\hat{v}_m^{b,\ell}$ 与干净预测 $\hat{x}_m^{b,\ell}$，前者推进当前分块，后者作为历史，最终阶段二者重合。第二步（分辨率提升）：低网格到高网格用 $\Lambda_\sigma(u^L) = U(u^L) + \sigma(\epsilon_H - U(\epsilon_L))$，其中 $\epsilon_H \sim \mathcal{N}(0,I)$、$\epsilon_L = P\epsilon_H$ 且 $PP^\top = I$，用耦合噪声替换双线性插值后的残噪，保住信号/噪声分解。第三步（历史写入）：每个阶段的干净音视频预测在 $\sigma=0$ 原生网格上编码进各自 KV bank；长期推理时每个 bank 保留初始分块视频作视觉锚点，加最近两个分块的音视频对，KV 与文本投影缓存分开存放。第四步（文本窗口切换）：先在旧窗口下提交挂起的干净估计，再激活新窗口并只刷新文本投影，保留 KV 与时间位置不动，Algorithm 1 给出该更新顺序。第五步（训练）：学生完整执行全部 $N$ 个阶段并自更新历史，在随机分块边界把窗口从 $A+B$ 切到 $B+C$；DMD 的 fake score 用 $W_1=A+B$、real score 用源转写前缀，三角色共享场景与说话人条件；每个 rollout 抽一个阶段，将其干净预测双线性放大到 $H$ 网格拼成统一监督画布，梯度只流过当前分块区域；另有辅助教师目标监督最终阶段细节，以及带「说完就停」示例的语音完结训练。
技术新颖性
与已有工作的本质区别有三处。对比 PyramidalWan 等渐进空间方法：它们在单条轨迹内变分辨率，本文把每个阶段的中间干净预测变成下一分块可直接读取的历史，使渐进分辨率与自回归流式真正兼容。对比 Self Forcing 的学生 rollout 训练：本文允许生成器的文本窗口在 rollout 中前进，而两个蒸馏分数从序列开头评估整段（fake score 保留 $W_1$、real score 用源转写前缀），这种「生成向前看、评分从回头」的非对称条件是新设计。对比 TaoMate 与既有阶段并行推理：TaoMate 固定分辨率、有持久记忆但无渐进；先前阶段并行框架的阶段历史用该阶段输出噪声水平表示，本文改用零噪声干净预测加耦合噪声提升，让不同噪声水平、不同网格的阶段共享语义一致的历史。此外，显式的语音完结训练（教模型何时停止说话）在流式音视频生成中也较少见。
实验结果
实验在 100 段自建 1–10 分钟序列上评测（每段由连续 5 秒文本请求构成），输出 768×1376、24 FPS、32 kHz 立体声。与音视频生成器对比（Table 1）：串行 TaoMate-HD 在流式组拿到最高 Temporal 0.913（OmniForcing 0.786、TaoMate 0.843）和最高 AudioAes 4.407（OmniForcing 3.571、TaoMate 3.889），CER 19.57% 为该组最低（TaoMate 103.74%、Lynn 86.70%、Lynn-Flash 88.37%），VisualRealism 5.00 与 Desync 0.000 和 Lynn-Flash 并列最佳；8 张 H20 上吞吐为串行 4.68 FPS、并行 8.99 FPS，而 MiniMax-H3 仅 0.40 FPS，吞吐比约 22.4×。空间消融（Table 2）：同一生成器与输入下，直接 768p 生成 2.93 FPS，串行渐进 4.68 FPS，平均生成时间从 491 秒降到 307 秒，即 1.60× 空间加速（分析上的视频线性工作量比为 0.595，其余开销来自上下文编码、音频、通信与解码）；渐进输出的手部轮廓与商品表面细节接近直接 768p（LSE-C 6.34 vs 6.62，Video 0.85 vs 0.87）。部署优化（重叠执行、低阶融合、KV 复用、W8A8 量化投影、编解码调度）把均值生成时间进一步压到 160 秒，相对串行渐进 1.92×，总吞吐 8.99 FPS，质量基本持平（AudioAes 4.367、CER 21.28%）。消融（Table 3）：去掉非对称蒸馏 CER 为 30.751%，完整方法 19.570%，其中替换错误降 12.64、删除错误降 1.28 个百分点、插入错误升 2.74；端点 5 秒 MFCC 余弦从 0.971 升至 0.979，LSE-C 从 6.239 升至 6.341。模型还展示了两个 60 分钟、1376×768 的完整流，全程保持角色外观与场景构图。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 长视频流式音视频生成 | CER (%)，Whisper-small 转写对比 | 19.57（串行）/ 21.28（并行） | TaoMate 103.74；Lynn 86.70；Lynn-Flash 88.37 | 流式组最低，较基线训练配置降低 11.18 个百分点 |
| 生成吞吐（单流） | FPS（8×H20，768×1376） | 8.99（并行）/ 4.68（串行） | MiniMax-H3 0.40（同吞吐口径） | 约 22.4× |
| 空间调度效率 | 平均生成时间（100 段均值，秒） | 307（渐进 480→768p 串行） | 491（直接 768p） | 1.60×，质量持平（LSE-C 6.34 vs 6.62） |
| 部署级吞吐 | FPS | 8.99（TaoMate-HD 阶段并行） | 4.68（串行渐进生成） | 1.92×（160 秒 vs 307 秒） |
| 时序稳定性 | Temporal（帧差稳定性） | 0.913 | TaoMate 0.843；OmniForcing 0.786 | 流式组最高 |
| 音频质量（消融） | 端点 5 秒 MFCC 余弦 / LSE-C | 0.979 / 6.341 | 无非对称蒸馏：0.971 / 6.239 | 端点声学一致性提升，CER 同步降 11.18 个百分点 |
局限与改进
作者承认或暗示的局限：每路流需要 8 张 H20 GPU，即便做了 W8A8 量化投影等优化，硬件门槛依然很高；CER 19.57% 虽大幅改善，但离字幕级准确尚远，且插入错误反而上升 2.74 个百分点；并行配置质量略有折损（AudioAes 4.407→4.367、CER 19.57%→21.28%）；长范围色彩/亮度连续性输给 TaoMate（0.930 vs 0.983）；与对比方法的计时口径不同（本文区间不含在线条件与编码/封装）。我的独立观察：评测集与 1 万条蒸馏对全部自建，缺少公开基准上的可比数字，VABench 类质量分主观性较强；演示内容以中文讲解/带货式单人独白为主，多说话人、强情绪、大幅运镜场景未验证；外观锚点是初始分块的固定视频，遇到场景切换或服饰变化可能失效；固定 2+1 的调度与 $L/H$ 网格是手工设定的，未探索自适应分配。
独立分析的弱点
第一，8×H20 的单流成本让多数团队无法落地：改进方向是把量化扩展到注意力与更多投影层，并研究少卡部署下渐进调度的降级策略。第二，续播完全依赖隐式音频推断，CER 19.57% 且插入错误上升 2.74 个百分点，说明模型偶尔会多说；可引入轻量在线 ASR 或文本时间戳作为软约束，或把「说到哪个词」作为辅助预测头显式监督。第三，调度固定为 $N=3$ 且 $L/H$ 网格手工选定，对不同内容（静态讲解 vs 大幅运动）未必最优：可学习逐分块自适应的步数与分辨率分配，甚至允许简单镜头跳过精修。第四，历史只保留最近两个分块加固定锚点，长对话中回指早期内容或切换场景时无能为力：可引入可检索的场景级记忆或动态锚点更新。第五，评测全自建、计时口径与对手不同，公平性存疑：应补充公开基准并统一端到端延迟定义。
未来方向
作者未单列未来工作章节，但结论指向自然延伸：把渐进分辨率推进到更高规格（1080p/2K），或将因果超分（Ultra Flash 式「先生成后精修」）与阶段并行结合，进一步压低高分辨率的边际成本；把续播训练推广到多语言、多说话人与可中断交互（用户随时改稿、插话）。基于成果可延伸的方向包括：自适应 $N$ 步与分辨率调度；把干净预测历史与检索式长期记忆结合以支持小时级以上的回指；蒸馏掉 memory attention 等重模块以降低推理开销；以及把「生成器向前看、评分回头看」的非对称条件范式迁移到其他流式多模态蒸馏任务，如实时翻译配音、直播助理等场景。
复现评估
复现难度偏高。项目页 https://taoliveaigc.github.io/TaoMate-HD 提供演示，但论文正文未提及开源代码或权重；方法建立在 MiniMax-H3 FL2VA 这一内部基座模型之上，外部研究者难以获得同款起点。数据为 1 万条自建蒸馏对，外加用转写、时间戳 ASR 与 VAD 离线确认端点的语音完结样本，构造流程论文写得可复述但无法直接下载。算力上训练用 rank-128 LoRA 已算克制，但推理评测基于 8 张 H20，单流成本高。算法本身（Euler 加干净预测、耦合噪声提升、阶段 KV bank、非对称 DMD）在论文中描述得相当完整，工程能力强的团队若能找到相近的开源流式音视频基座，可以尝试复现核心思想，但要完全对齐论文数字基本不现实。
论文图表
上半部分对比三代系统的调度：MiniMax-H3 每个片段 49 步高分辨率去噪并只传一帧，TaoMate 用 3 步固定分辨率加持久记忆，TaoMate-HD 用「低-低-高」三步渐进且每个阶段都向下一分块传干净音视频预测；下半部分展示两个 60 分钟、1376×768 流在整点时刻的完整帧。
这是全文的总览图，一图讲清三代的范式差异和「一小时不崩」的核心卖点，看懂它就理解了论文要解决的问题空间。