JoyAI-Echo-1.5：面向持久故事与交互世界的长时程音视频生成 Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds

长视频变体流程：数据上，从影视与网页视频做身份发现、场景分组与质量过滤（感知质量、拉普拉斯方差清晰度、OCR、光流、DINOv2 去重），得到身份组 $G_k = \{S_{k,n}\}$；每次迭代选一个目标镜头并采样 $K$ 个其余镜头做记忆，视觉取一帧过视频 VAE，音频取整段过语音过滤 $F_{speech}$（MSST 实现）再过音频 VAE；记忆与首帧图像的有无独立随机化，形成 T2AV/I2AV/MT2AV/MTI2AV 四配置；RoPE 上目标低于 500，第 $i$ 个记忆的视听分量共享中心 $\mu_i = 500+50(i-1)$，音频坐标整体平移对齐中心，预置记忆放 $\rho_j \geq 5000$；训练目标是带掩码的整流流联合速度回归（公式 17）。蒸馏上，DMD 转成 8 步学生：先大 timestep-shift 大学习率立视频结构，再小 shift 细化音频；视频全参微调、音频与跨模态注意力走 LoRA；视觉记忆先做低层统计校准、训练中随机退化（学生与 fake score 同看退化记忆、real score 看原记忆）；音频权重按任务取 $\lambda_a = 0.25$（T2AV/I2AV）或 $0.10$（MT2AV）；另加对数域 RMS 能量损失与复用冻结教师特征的扩散判别器。世界模型变体：UE 数据同步记录 RGB、键盘、内参与度量位姿（1 个第一人称 + 4 个第三人称相机随机采样）；内部游戏从视频反解位姿并对齐动作日志；网络视频以约 1 分钟窗口用度量深度辅助的 ViPE 管线重建轨迹，旋转 SLERP、平移线性插值回帧率；全部按 $s_{global} = Q_{0.9}(\max_k \|\Delta t_{i,k}\|_2)$ 做全局尺度校准；UCPE 以 $G_i = I_d/8 \otimes D_i$ 缩放平行注意力头、零初始化投影加回主自注意力；课程为全骨干 AV-CPT（禁用轨迹）→ 冻结骨干只训 $\phi$ 的 Action-SFT（视觉去噪、删运动叙事与音频字段防信息捷径）→ 低学习率 Joint-FT。自回归化：teacher forcing 用 FlexAttention 块级因果掩码（公式 28）+ LoRA；SGF Forward 1 无梯度跑完整 rollout 记录退出步与噪声 latent，Forward 2 在五条注意力通路（视频/音频自注意力、A2V、V2A、UCPE）上并行可微重建并做 DMD（公式 31）；长视程将多段 rollout 首尾帧共享拼接，KV 用 sink-plus-FIFO 缓存（$|H_i^m| \leq S_m + R_m$），每段 DMD 损失求和（公式 35），并用稀疏背景时间正则（公式 36-38）抑制灰斑伪影；因果记忆取严格早于当前块的泄漏自由前缀 $C_i$，块级状态空间扫描 $s_t = \sigma(\delta) \odot s_{t-1} + (1-\sigma(\delta)) \odot e_{u_t}$、$y_t = g_t \odot s_t$ 以限幅残差写入。SR 阶段：Wan2.1 VAE 潜空间通道拼接低清条件 $y = (1-\alpha)z_{LR} + \alpha\epsilon_y$（$\alpha \sim U(0.3, 0.6)$），AIGC 时序一致退化、文本条件退火；MeanFlow 用中心有限差分估 $du/dt$（约 2.0 倍步时），零初始化区间分支无损热启动，推理按 shift 2.0 网格任意 $K$ 步采样。

技术新颖性可从四个维度评估。(1) 记忆表示：以「身份组 + 场景不相交观测」组织监督信号，明确抑制内容复制、强迫模型抽取持久身份证据，这比常见的「时间相邻帧延续」更难也更有泛化价值；语音过滤整段音频相对能量选窗，消除了背景音乐泄漏这一隐蔽失败模式，且视觉-音频槽位保序使外观与音色证据天然配对。(2) 训练目标的模态定制：对数域 RMS 能量约束直接对治 DMD 在稠密音频信号上的潜空间能量漂移（响度失控、削波、金属音），基于冻结教师特征的轻量判别器以极低成本获得局部对抗信号；任务自适应音频权重（MT2AV 取 0.10 而非 0.25）承认了记忆条件下音频目标更易学这一不对称事实，属于少见细粒度的模态/任务级蒸馏调参。(3) 长视程 SGF 的「多跳上下文梯度」是论文最有理论趣味的点：sink+FIFO 只约束单层直接可见的 K/V 集合，堆叠层间梯度可沿 $\mathcal{L}_i \to KV_j^{(\ell)} \to KV_h^{(\ell-1)}$ 传播到直接窗口之外，在计算量有界的前提下监督远距离记忆写入，且生成 latent、采样决策与串行 KV 轨迹全程 detach，与完整 rollout 反传有本质区别。(4) 工程化的 SR：把 MeanFlow 区间平均速度与零初始化分支结合得到「无损热启动 + 任意步数」组合，并明确论证对 $u_\theta$ 再接 ODE 校正器既冗余（减法已是精确区间积分）又不正确（校正器假设预测瞬时速度）。局限在于这些组件多为已知技术（RoPE 分区承袭 ShotStream、UCPE/SGF/DMD/MeanFlow 均有出处）的系统性组合与调优，单点算法突破相对有限。

独立分析如下。弱点一：长 rollout 的几何漂移。Hard split 60 秒旋转误差 12.05° 意味着相机轨迹与指令逐渐脱钩，根因是误差在自回归中单向累积而无闭环校正；改进方向是引入重定位感知的训练信号，或在推理时周期性做位姿再锚定（利用已知轨迹与生成帧做轻量特征对齐并反馈修正）。弱点二：记忆的容量与形式太薄。每个身份只存一帧视觉 latent 加一段音频 latent，几何布局、物体状态、多角色关系都没有持久表示，长故事中道具连续性、门的开合等状态必然漂移；改进方向是把场景级记忆升级为轻量 3D/语义图或物体中心状态表，并配合视场（FoV）检索写入。弱点三：语言控制与轨迹控制的失衡。为迫使模型跟随轨迹，Action-SFT 阶段删掉运动叙事文本且 Joint-FT 也不恢复该字段，这很可能是人评中语义遵循（13.63%）大幅落后的直接原因；改进方向是在 Joint-FT 中以小比例恢复运动描述，并显式学习文本-轨迹冲突消解策略。弱点四：few-step 蒸馏的一致性代价。WBench Consistency 从 89.8 掉到 77.5，说明 4 步采样在多轮世界状态保持上有实质损失；可探索把 MeanFlow 式任意步思想用于世界模型本体，让交互场景用 1-2 步、关键镜头用更多步，而不是训练时绑死步数。弱点五：系统复杂度过高。训练横跨两阶段数据课程、三阶段世界模型课程、DMD、双 SGF、SR 师生等七八个阶段，任何一环的分布偏移都会向下游传导，复现与调试门槛极高；改进方向是模块化消融与更紧凑的课程设计。

作者明确提出的方向：更强的几何一致性、持久的世界状态表示、更可靠的开放交互。基于本文成果可自然延伸的方向包括：其一，把 5.5 节的因果记忆 $M_i$ 与世界模型结合实现「回访不重置」——相机绕一圈回到原地时场景保持一致，这需要记忆模块支持空间索引与 FoV 检索，作者已列出这些替代方案但尚未展开；其二，将 MeanFlow 任意步思想反哺主生成器，替代当前 DMD 固定 8 步/4 步蒸馏，让同一套权重同时服务交互延迟与离线质量；其三，让 Director Agent 与世界模型闭环——Agent 不仅规划镜头，还在生成世界内探索、收集记忆并改写剧本，走向真正的生成式开放世界；其四，多说话人对话记忆：当前语音过滤记忆以单说话人场景为主，群像剧需要说话人分离与音色-角色归属；其五，把 SGF 的 rollout 感知训练推广到更广的模态对（音乐视频、配音动画）与更长的训练 rollout；其六，建立并公开 WMB 与 3000 镜头长视频基准的统一评测协议，缓解该领域评测碎片化问题。

开源情况：代码仓库 github.com/jd-opensource/JoyAI-Echo 与项目页已公开，但截至论文撰写未见完整的训练权重与数据发布承诺；论文未披露主干模型参数量、总训练 GPU 时与数据规模，只给出了零散数字（如 SR 教师约 10.4k 优化步、WBench 158 例、WMB 200 例）。数据方面：影视/网页视频身份组、内部游戏数据、UE 渲染数据均不可外部复现，但关键工具链是公开的——语音过滤用 MSST（Music-Source-Separation-Training）工具包，位姿恢复用度量深度辅助的 ViPE 管线，评测基准 WBench 与 SANA-WM-Bench 均公开可得。算力方面：视频分支全参微调加上多阶段课程、DMD、双 SGF 与 SR 师生训练，估计需要大规模 GPU 集群与数周量级训练。复现难度评级：推理复现中等（若开源权重，可直接在公开基准上验证 WBench/SANA-WM 数字）；训练复现困难——FlexAttention 块级掩码、分片数据并行下手工中心有限差分 JVP（含双精度差分与随机状态钉扎等细节）、逐阶段数据混合比例与退化校准等大量实现依赖内部基础设施。对研究者更现实的路径是基于开源代码复现评测，或在公开骨干上重新实现记忆条件化、SGF、UCPE 等核心思想做受控比较。