基于可执行计划与自蒸馏 Transfusion 的空间音频生成与编辑 Spatial Audio Generation and Editing with Executable Plans and Self-Distilling Transfusion

整个系统分五步搭建。第一步，VAE 预训练：在约 100 万条 FOA 片段（含 Spatial LibriSpeech，4 秒裁剪）上训练 Oobleck 风格 VAE，总损失 $\mathcal{L}_{\text{VAE}} = \mathcal{L}_{\text{base}} + \mathcal{L}_W + \mathcal{L}_{\text{KL}} + \lambda_{\text{SCM}}\mathcal{L}_{\text{SCM}}$（式 7，$\lambda_{\text{SCM}}=0.015$），$\mathcal{L}_W$ 把 $z_R$ 置零后复用同一解码器只重建 $W$，KL 用分组惩罚 $\mathcal{L}_{\text{KL}} = \beta_W K_W + \beta_R K_R$。第二步，AMBIT CLAP 训练：用 100 万编辑对，损失 $\mathcal{L}_{\text{align}} = \mathcal{L}_{\text{sem}} + \lambda_{\text{scene}}\mathcal{L}_{\text{scene}}$ 加绑定/配对/事件项（式 17），训练后冻结、只输出全局与时序特征 $F(z_s)$。第三步，联合监督训练：数据为 160 万生成样本 + 100 万编辑对；先做规划器 warm-up（渲染器冻结，只训 LoRA 与规划头，LoRA 秩 8），再做联合优化 $\mathcal{L}_{\text{joint}} = \mathcal{L}_{\text{AR}} + \mathcal{L}_{\text{RF}} + \lambda\mathcal{L}_{\text{struct}}$（式 4，$\lambda=0.1$），AdamW 学习率适配器/头 $10^{-4}$、共享块 $2\times10^{-6}$，共 332.6M 可训练参数，8 张 L40S。第四步，OPSD 后训练：先用 1000 次 AR 更新 + 3000 次 DiT 更新（batch 128）从同一监督模型准备两个冻结教师；随后每轮 batch 64，学生语法约束贪心解码得 $\hat{S}$ 与非强制决策前缀 $\{h_i\}$，规划教师给出目标分布 $q_i$，学生计划编译后驱动 DiT rollout（$R=3$ 条噪声轨迹、各 $K=20$ 步 Euler、四个时间分层各采样一次，共 $4R=12$ 个查询状态），渲染教师在这些状态上给出干净 latent 目标，总损失 $\mathcal{L}_{\text{OPSD}} = \lambda_{\text{AR}}\ell_{\text{AR}} + \lambda_{\text{DiT}}\ell_{\text{DiT}} + \lambda_{\text{ref}}\ell_{\text{ref}}$（式 10，权重 0.1/1/0.1）。第五步，推理：生成用 100 步 Euler、guidance 3.0、rescaling 0.4；编辑用 20 步、guidance 1.0。

技术新颖性体现在四层。（1）架构层面：Transfusion 此前用于文本+图像，本文是它首次承载"语言→符号计划→原生 FOA 声场"的完整管线，且 AR/DiT 两模式的条件在编辑时共享同一份源 latent（输入 384 通道 = 64 噪声 latent + 256 空间控制 + 64 参考 latent），共享表征使渲染梯度能反过来塑形规划。抽象层面，"可执行计划 + 确定性编译"把 LLM 工具调用的可靠性工程引入音频生成，Table 13 证明这让 0.8B 规划器达到 100% 可执行率，超过提示 27B LLM 的效果。（2）表征层面：SCM 是把 DirAC/FOA Tokenizer 的空间一致性思想搬进连续 VAE 的逐对通道 STFT 协方差监督，能量、相干、相位三项都用参考能量加权并做了数值稳定化（式 12-14），与逐通道相位监督正交。（3）后训练层面：这是首个针对离散-连续耦合模型的联合 OPSD——已有工作要么只蒸 LLM token（Zhao et al., 2026b），要么只蒸扩散模型连续状态（DiffusionOPSD），本文的关键洞察是学生的计划误差会传播为渲染的条件误差与轨迹误差，必须在学生自己生成的计划和访问的状态上同时蒸馏，并给出了有限步教师追踪误差上界 $\delta_K^2 \le C_{K,L}\ell_{\text{full}}$（式 32）作为分析支撑。（4）评估层面：提出区分"重建目标场景"与"保留原始源"的双视角编辑评估，以及目标级方向误差协议。

独立分析可指出五个具体弱点。第一，15 秒时长上限：沉浸式声景（如环境音设计）常需分钟级素材，当前模型无法流式或分块生成，改进方向是引入分块自回归 + 跨块 latent 记忆（类似 SwanSphere 的流式 DiT 思路），并让 SCENEPLAN 支持章节级结构。第二，运动模型过于简化：线性关键帧插值无法表达圆弧、加减速或遮挡导致的遮挡式变化，且通道内没有衰减/衍射建模，改进方向是样条或物理引导的轨迹参数化（可借鉴 PhysWave 的方向-距离一致性先验），并在编译器中加入遮挡计算。第三，编辑语义覆盖窄：不能"把钢琴换成吉他""把声音调小 6 dB""改成户外"，而增益字段在规划编解码中恒为 0 dB，改进方向是扩展计划 schema 支持源级增益/替换/房间属性编辑，并相应扩展 AMBIT CLAP 的场景头负样本。第四，语音质量瓶颈：渲染器对语音的韵律建模不足（UTMOS 3.52 vs 4.18），可为语音模式增加专用适配器或在渲染损失中加大语音活动帧权重（现有 $w_t=3$ 的加权可再强化），或接入专用语音声码器。第五，OPSD 的教师天花板与稳定性：两教师源自同一监督模型，教师偏好的渲染误差会被学生继承；且在线 rollout + 12 次教师查询带来可观算力开销，改进方向是引入外部更强教师（如更大的 FOA 渲染模型）做异源蒸馏，或用 EMA 学生作为自举教师降低成本，并对计划-渲染耦合误差做显式课程（先固定真值计划蒸渲染，再逐步放开计划）。

作者提出的方向：把 AMBIT 扩展到更长时长的声景创作，并评估连续多次编辑下的声学一致性。基于其成果可自然延伸的方向包括：（1）视频条件 FOA 生成——把 SCENEPLAN 的源字段与视觉检测/跟踪绑定，实现 ViSAGe 类任务但带显式可编辑计划；（2）实时/流式版本——结合因果空间声码器（如 CSAVocoder）把 20 步 Euler 渲染进一步压缩到少步蒸馏，服务 VR/游戏引擎；（3）交互式创作代理——SCENEPLAN 天然是 JSON，可让 LLM 代理多轮调用生成/编辑/查询接口，构建"音频版剪辑软件"；（4）把联合 Transfusion OPSD 推广到其他双模式统一模型（如视频+音频、图像+文本的可控生成），其"学生计划驱动连续渲染轨迹"的设计是通用的；（5）评估与奖励升级——用空间理解 MLLM（Spatial-Omni 类）替代仅语义的 CLAP 奖励，使 GRPO/ReFL 能感知方向与时间误差；（6）更长程的空间一致性——引入房间脉冲响应的显式latent或可微房间声学模型，让多次编辑后的混响与距离衰减保持物理一致。

复现评估：中等偏难但信息充分。论文提供了项目页 https://wjm-george.github.io/AMBIT/（含音频示例），正文未明确给出代码开源链接，若不开源则需要自行实现编译器、语法约束解码与规划头等工程细节。数据方面全部组件可重建：合成场景基于公开资产（LibriTTS、Hi-Fi TTS、HiFiTTS-2、AudioCaps、AudioSet、FSD50K、PicoAudio、VGGSound、MusicCaps）用 Pyroomacoustics 渲染，伪标注用 Qwen3-Omni 与 Qwen3.5 生成，管线在附录 A 写得很具体（房间分布、RT60、增益目标 $-23$ dBFS 等）；但总量大——160 万生成样本 + 100 万编辑对 + 100 万 VAE 片段 + 100 万 CLAP 对。算力方面：主干模型 332.6M 可训练参数，冻结 Qwen3.5-0.8B 文本骨干，训练用 8 张 NVIDIA L40S（约 384 GB 显存总量），OPSD 教师准备 1000+3000 次更新、精炼阶段每条请求 3 条轨迹 × 20 步 Euler + 12 次教师查询——中等规模实验室可以负担，但完整复现所有消融（Table 1 的从零训练 VAE 变体、Table 6 的六种后训练）工作量不小。超参数披露非常完整：学习率、batch、OPSD 权重 $\lambda_{\text{AR}}/\lambda_{\text{DiT}}/\lambda_{\text{ref}} = 0.1/1/0.1$、采样设置（生成 100 步/guidance 3.0，编辑 20 步/guidance 1.0）、SCM 的数值稳定化与加权公式均在附录 B/C/E 给出，评估协议（KEMAR 双耳解码、方向误差掩码规则）也可照抄。综合判断：有代码则复现主要结果是可行的，从零实现约需数周工程量，主要风险在语法约束编解码器与规划头这些未附伪代码的组件。