LayerRecall：面向视频生成长时程一致性的状态条件化记忆路由器 LayerRecall: A State-Conditioned Memory Router for Long-Horizon Consistency in Video Generation

第一步，建立记忆基础设施：384 帧 latent 序列切成 48 个 8 帧 chunk；每层 $l$ 对每个历史 chunk 池化归一化 pre-RoPE keys 得到摘要 $m_i^l$（detached，仅打分用），连同 chunk 元数据与指向物理缓存切片的指针写入逐层 Layer Bank；物理 K/V 缓存按 sink 保护滑窗更新（8 帧 sink + 最长 80 帧）。第二步，构造检索查询：当前 chunk 在层 $l$ 的 pre-attention hidden state 均值池化为 $c_t^l$，令 $z_t^l=\mathrm{LN}(c_t^l)$，查询为 $q_t^l = q_{global} + \alpha\,\gamma^l\,\sigma(W_g z_t^l + b_g)\,\mathrm{MLP}(z_t^l)$；$q_{global}$、LayerNorm、MLP、门控 $W_g$ 与标量 $\alpha$ 跨层共享，仅 $\gamma^l$ 逐层可学；MLP 末端零初始化使路由器初始退化为全局查询，训练平滑起步。第三步，打分与硬选择：计算 $s_i^l=\cos(q_t^l, m_i^l)$，保留 top-8 候选，逐槽位取 $i^*=\arg\max_i s_i^l$ 且已选 chunk 被掩码，把该 chunk 的完整缓存 K/V 注入注意力。第四步，层选择性前向：仅 $L_{mem}$ 内 10 层注意 sink + 至多 2 个历史 chunk（16 帧）+ 当前 8 帧；其余 20 层只看 sink+滑窗+当前。第五步，CHPM 训练：teacher（可见全部 384 帧）与 student（32 帧可见预算）共享冻结骨干；每 64 帧设锚点 $a\in\mathcal{A}$，两边输入相同噪声 latent、prompt 与扩散时间步，损失 $\mathcal{L}_{pred}=\frac{1}{|\mathcal{A}|}\sum_{a\in\mathcal{A}}\|\hat{x}_S^{0,a}-\mathrm{sg}(\hat{x}_T^{0,a})\|^2$，总目标 $\mathcal{L}_{CHPM}=\lambda_{pred}\mathcal{L}_{pred}+\lambda_{reg}\mathcal{L}_{reg}$；非锚点 chunk 无梯度去噪后 detached 写回上下文。AdamW，学习率 $10^{-5}$，16 张 H100（SP=2，DP=8），1 epoch 共 200 步，约 128 GPU 小时。

新颖性有四点。其一，实证发现本身：论文首次系统量化了自回归视频 DiT 的层间时间注意力偏好（当前/近期/远期三种 context 的注意力质量分布），并在三个骨干（LongLive-2.0、LongLive、Self-Forcing）上验证该模式跨 prompt 稳定但骨干特异（Figure 9），把“层”提升为记忆管理的显式维度，这在此前的长视频记忆工作中没有被当作决策变量。其二，监督范式：CHPM 属于“行为蒸馏”——teacher 不暴露自己的记忆使用、不匹配注意力矩阵，仅凭 denoised latent 预测差就把长上下文能力转写成路由监督，绕开了记忆分配标注缺失的困境，这在视频扩散记忆方法中是新做法。其三，工程效率上的巧思：硬预算检索 + STE 软梯度使“推理零额外注意力开销、训练可微”兼得；共享全局查询先验 + 门控残差 + 零初始化设计保证训练从骨架原有行为平滑启动；仅 1.65M 参数与 128 H100 GPU 小时的成本远低于任何骨干微调方案。其四，可移植性：路由器权重可跨 1.3B/5B、Wan2.1/Wan2.2 家族零训练迁移，只需替换 10 层的层白名单，暗示“what to retrieve”策略具有一定骨干无关性，而“where to use”需按骨干剖析。

弱点一：检索查询仅来自当前 chunk 均值池化的 hidden state，语义上是被动响应——若提示词已明确声明“Shot 3 该物体会回来”，模型并未显式利用这一先验主动预约记忆。改进方向：把 prompt 中的重现承诺解析为检索先验，或在跨 chunk 维护一个文本条件化的查询缓存。弱点二：固定 2-slot、全局统一的硬预算，在多物体密集重现时会互相挤占，且 10 个敏感层共享同一组选中 chunk；检索粒度是 8 帧整块，帧级或 token 级细粒度检索可能更省预算更精准。可按层或按内容自适应分配槽位数。弱点三：where-to-use 是训练前冻结的静态白名单，与状态条件化的 what 形成不对称——理论上不同去噪步、不同内容应激活不同层组合，可探索轻量的动态层门控或低秩层混合。弱点四：评估协议绑定特定 VLM（gemini-3-flash-preview）与自建 prompt 库，社区横向比较困难，应补充人工评估或对齐标准化基准。弱点五：CHPM 的 MSE 预测匹配对各扩散时间步一视同仁，可能偏向低频结构而忽略细粒度纹理的恢复（Identity 是唯一随机层策略反而更高的维度，或与此有关）；可引入时间步加权或多步 rollout 一致性目标。弱点六：记忆库仅限当前生成视频内部自引用，无法跨视频积累，对系列化内容生成场景需要持久化记忆设计。

作者在结论中点名两个方向：自适应层激活（让 where-to-use 也变成动态决策，而非训练前冻结的白名单）与压缩记忆（在更大时程下降低缓存与检索成本）。在此基础上可以延伸：其一，把 CHPM 推广到动作控制与交互式世界模型——Agent 操作类长视频中“物体被移走后放回原处”本质上是同一类远期一致性问题；其二，双重自适应：用可微松弛或轻量强化学习同时学习 slot 数量、chunk 粒度与层激活，替代静态超参；其三，量化“记忆引导自纠错”现象——统计其触发条件与纠正率，若足够可靠，可设计显式的记忆一致性正则主动触发纠错；其四，探索层 profile 的结构可预测性：三个骨干的敏感层分布能否由宽度/深度/头数等架构量预测，从而免去逐骨干剖析；其五，与状态空间记忆（VideoSSM）、对象中心记忆（SlotMemory）正交结合——用 LayerRecall 决定“注入到哪层”、用它们决定“以什么形式存”；其六，把评估扩展到分钟级、多主体、跨视频的更难基准；其七，蒸馏目标从单步预测匹配扩展到多步 rollout 行为一致性，进一步对齐长时程动态。

复现友好度在视频生成论文中属于相当高的档次。训练配置在 Table 6 完整披露：骨干为公开的 LongLive-2.0（Wan2.2-TI2V-5B 架构），仅训练 1,648,416 个路由器参数（11 个张量：全局查询、LayerNorm、两层 MLP、门控、30 个层缩放、1 个全局残差缩放）；数据为 1,600 条多镜头 prompt（480 条 3-shot、480 条 4-shot、320 条 5-shot、320 条 6-shot，主体/颜色/位置/场景四轴各 400 条），384 latent 帧 rollout，锚点 [7,15,23,31,39,47]，AdamW 学习率 $10^{-5}$、betas (0.0, 0.999)，16 张 H100（SP=2、DP=8）跑 1 epoch 共 200 步，合计 128 H100 GPU 小时，所有 seed 固定为 0——单机 8 卡约两天即可完成训练。附录还给出路由器逐组件初始化（$q_{global}\sim N(0,0.02^2)$、MLP 末端零初始化、$\alpha=0.1$、$\gamma=1$、$\tau=1.0$）、数据三划分互斥原则、基线 prompt 适配规则与评估脚本细节。风险点：评估依赖 gemini-3-flash-preview API（有成本与版本敏感性）；首页 Webpage/GitHub/HuggingFace 在正文提取中为占位链接，代码与训练 prompt 库是否完整开源有待验证；复现 13 个基线对比还需各自环境。总体判断：若代码与数据如期开源，复现难度中等偏低。