聆听立体世界：面向沉浸式联合视频-音频生成的动态空间对应学习 Hear the World in Stereo: Learning Dynamic Spatial Correspondence for Immersive Joint Video-Audio Generation

第一步，条件构造：输入文本 $c$ 与轨迹 $P\in\mathbb{R}^{T_p\times 2}$，把轨迹渲染成视觉参考图输入视频分支（经冻结的 Motion Track IC-LoRA），使生成视频的主体沿轨迹运动。第二步，VMB：每层用 $N_{VMB}=64$ 个可学习 token $S^0_\ell$，依次做参考聚合、目标关联、残差拼接 $[S^r_\ell, S^t_\ell, S^t_\ell - S^r_\ell]$ 经 MLP 得 $S^\ell$，音频读出 $D^s_\ell$ 送入 Joint VA Cross-Attention。第三步，STE：$H = \text{LN}(\text{TemporalTransformer}(\text{Linear}_p(P)))$ 为全层共享表示；逐层查 Track-Adaptive 表得 $[\beta_\ell, \gamma_\ell, g_\ell] = U_3(U_u(\text{SiLU}(H)) + B_\ell)$，按 $\tilde{X}^a_\ell = \text{RMSNorm}(X^a_\ell)\odot(1+\gamma_\ell) + \beta_\ell$ 调制后再加门控更新。第四步，RT-RoPE：把轨迹线性重采样到音频 token 长度并归一化到 $[-1,1]^2$，每个注意力头的旋转对均分为水平/垂直子集，用对数间隔频率网格 $\omega^k_d = \frac{\pi}{2}\theta_{track}^{k/(n_{rp}/2-1)}$（$\theta_{track}=2$，匹配归一化轨迹范围），残余相位 $\varphi^h_{j,r} = \tanh(a_x)\,\omega^x_r \bar{x}_j$ 加到时间相位上，$a_x, a_y$ 可学习，音频自注意力配 rank-32 Stereo LoRA 协同适配。第五步，数据构造：VAS 管线对真实视频（VGGSound、OpenHumanVid、FoleyBench、LU-AVS）先两阶段过滤（时长/分辨率/信噪比 + Qwen3-Omni 运动感知语义过滤），再用 Qwen3-Omni 定位声源并做候选级音视一致性验证，Grounded-SAM 取掩码，AllTracker 全程跟踪得 2D 轨迹，VGGT 估计深度与相机参数后反投影为 3D 轨迹，把相机当虚拟听者、左右放置固定间距虚拟接收器，用 gpuRIR 沿轨迹渲染 RIR 并与单声道音频卷积得到立体声；SDS 管线由 Qwen3.5 采样立体声配置（静态/动态运动类型、运动族、语义族），分对象中心（配持续更新的 Scene Distribution Bank 控制多样性）与人类中心（GPT-5.6 预定义 47 个说话人档案 × 41 个环境目录）两分支生成提示，Stage 1 高温度求多样、Stage 2 低温度忠实执行，最终由 LTX-2.3 合成场景。第六步，训练：8K 迭代、每样本 121 帧 640×384，仅训练音频分支 LoRA 与新模块。

技术新颖性体现在四个层面。任务层面：这是首个轨迹条件化的立体 VA 联合生成框架，配套首个显式空间监督数据集与首个空间一致性基准，把“动态空间对应”从被忽略的属性变成可训练、可评测的任务。结构层面：VMB 的“参考-目标-音频”三段通路与显式残差 $S^t_\ell - S^r_\ell$ 是新的跨模态绑定机制，不同于 AV-DiT 的轻量 VA 模块、Ovi/LTX-2 的对称双流联合注意力，也不同于 JavisDiT 的时空先验——它把“哪个实体在发声”作为一阶问题求解。位置编码层面：RT-RoPE 对 RoPE 的扩展方式非常规且有细节——用对数间隔低频网格（$\theta_{track}=2$）匹配归一化轨迹范围、tanh 参数化限制对预训练相位的扰动幅度、并明确意识到旋转几何被改变后需要 LoRA 协同优化注意力投影，这组设计在此前工作中未出现。条件注入层面：STE 的“共享表示 + 逐层 Track-Adaptive 表 $B_\ell$ + 门控残差 $g_\ell$”组合解决了“同一轨迹嵌入在逐层演化的音频表示之间失配”的问题，同时把新条件限制在 VMB 通路内，是“冻结骨干加空间能力”的干净方案。数据层面：VAS 管线的候选级音视验证（用 Qwen3-Omni 逐候选判断音画一致性后再跟踪）是对 AVS 模型泛化差这一痛点的针对性工程创新。

独立分析的弱点及改进方向：(1) 单源假设——真实沉浸场景中多声源并存且各自运动，改进方向是把轨迹条件扩展为“轨迹集合 + 逐源注意力掩码”，在 VMB 中为每个源维护独立 token 组，最后做空间混音，类似 ISDrama 的多说话人思路。(2) 静态听者——VR 第一人称头部转动是刚需，改进方向是把 RIR 渲染扩展为“源-听者相对轨迹”，或在 RT-RoPE 中加入听者运动相位项，使 $\tanh(a)\omega(\bar{x}_j - \bar{x}_i)$ 中编码相对位姿而非仅源位姿。(3) 评测循环风险——参考立体声由自家 VAS 管线生成，改进方向是引入真实双耳录音（如 binaural 剧场/街采数据）做外部验证，并报告 ITD/ILD 的直接物理测量而非仅学习型指标（AST 基于 Spatial-AST，天然偏向学习型模型）。(4) 空间维度粗糙——轨迹只有水平/垂直两轴的归一化坐标，缺少距离轴与混响感控制，改进方向是加入深度条件与近距离 ILD 非线性效应建模。(5) 计算开销——每层 64 个 VMB token 引入三次额外交叉注意力，可探索跨层 token 共享、剪枝或仅在部分层启用。(6) 短片段限制——121 帧训练窗口内空间一致，长视频需研究轨迹分段拼接时的相位与声像连续性。

作者提出的方向：把动态空间对应扩展到更丰富的 3D 场景、多声源，以及更复杂的源-听者动态。基于本文成果可自然延伸的工作：(1) 与一阶高保真立体声（FOA/ambisonics，如 ViSAGe 方向）结合，从左右双耳扩展到全方向声场生成；(2) 面向互动游戏与 VR 的流式/实时立体声生成，以及用户可拖拽轨迹的交互式控制界面——轨迹条件天然适合作为用户控制信号；(3) 把 StereoWorldBench 扩展为包含真实双耳录音的公开榜单，消除自建管线的循环偏好；(4) 空间音频编辑：利用同一轨迹条件框架对已有视频重新声像化（改变声源位置而不改内容），与 V2SA 模型形成互补；(5) 源分离与空间化的级联：先用分离模型拆出各源，再逐源绑定轨迹后空间混音；(6) 距离与混响解耦控制，把 STE 的绝对位置条件从 $(x,y)$ 扩展到 $(x,y,z)$ 并显式建模房间声学参数；(7) 用更大规模 SDS 合成数据研究空间条件下的 scaling 行为。

项目页为 https://vivocameraresearch.github.io/Stereo-Bind-Project/，正文未逐条声明代码与数据全部开源，需以项目页实际发布为准。复现要素已充分披露：骨干 LTX-2.3；训练 8×NVIDIA H20、8000 迭代、约两天，AdamW 学习率 $2\times10^{-4}$（$\beta_1=0.9$，$\beta_2=0.999$）线性调度，LoRA rank 32 / scaling 32，每样本 121 帧、640×384；训练目标沿用 LTX-2.3 不改。难点在数据与评测资产：VAS 管线依赖 Qwen3-Omni-30B、Grounded-SAM、AllTracker、VGGT、gpuRIR；SDS 管线依赖 Qwen-3.5-35B-A3B、GPT-5.6（闭源）与 LTX-2.3 生成，完整重建 StereoWorld-29K 成本高且含非确定性大模型调用。若项目页发布数据集与 SWBench，则模型训练（本质是 LoRA 微调）与评测复现相对直接；否则复现难度中偏高。整体评估：算力门槛不高（单机 8 卡两天），主要障碍是数据管线的工程链条与闭源依赖。