记忆越多，视频越好吗？长视频生成中视觉记忆的受控研究 More Memory, Better Videos? A Controlled Study of Visual Memory in Long-Video Generation
受控实验表明视觉记忆提升召回与外观连续性，却降低精确率并固化过时外观
前置知识
自回归长视频生成与身份漂移
长视频生成系统按时间顺序逐段（如每段5秒）产出视频，并把过去生成的帧或KV缓存携带进后续生成以保持连贯。若缺乏对历史的记忆，同一角色在几段之后可能换了脸、换了衣服颜色，这就是身份漂移（identity drift）。为此，LongLive、MemFlow、LongLive-RAG 等系统都会从历史中检索参考帧或压缩记忆作为生成条件。
本文研究的正是"把历史带进来"这一机制是否总是有益，必须先理解长视频生成的基本闭环结构。
历史检索（RAG 式视觉记忆）
在生成第 $n$ 段前，用当前指令在历史帧库中检索最相关的参考，组成上下文 $\tilde{C}_n$ 交给生成器 $x_n=\mathcal{G}(g_n,\tilde{C}_n)$。本文比较四种策略：Text-frame（逐帧文本相似度排序）、Seg+uniform（检索片段后均匀抽帧）、Seg+DINO-key（片段内选视觉多样的 DINOv3 关键帧）、Seg+frame（片段内重排帧），统一取 $K=3$。
Track-A 评测的对象就是这些策略选出的参考证据质量（精确率/召回率/F1），是全文实验的主线。
召回率、精确率与 Avoid-OK
召回率 $R$ 是必须出现的实体中被渲染出的比例；精确率 $P$ 是出现的实体中确被要求的比例；Avoid-OK $A$ 是被禁止出现（死亡、被毁、已移除）的实体确实缺席的比例，$F1$ 为 $R,P$ 的调和平均。论文用策略相对无记忆的差向量 $\Delta^\pi=(R^\pi-R^\varnothing,\,P^\pi-P^\varnothing,\,A^\pi-A^\varnothing)$ 刻画净效应。
全文核心结论就是"召回上升、精确率与避免率下降"的权衡，读不懂这三个指标就读不懂表3。
闭环 rollout 与配对 story-bootstrap 置信区间
每个记忆策略把自己生成的视频回写历史再继续生成，称为闭环（closed-loop）rollout，各条件的历史会随时间分叉，因此比较的是"完整策略"而非单步替换某帧的干预。不确定性用按故事聚类的配对 bootstrap 95% 置信区间刻画（30 个故事、每条件各一次 rollout）。
论文所有表格中的 +/− 标记和灰色的 CI 宽度都基于此，不理解它会误读统计结论的适用范围。
DINOv3 嵌入相似度与 VLM 判分器
用自监督视觉模型 DINOv3 对裁剪出的实体区域提取特征并以余弦衡量外观相似度，辅以 ArcFace（人脸）和 MegaLoc（场景）。判分则用钉住的多模态大模型（主判分器 Qwen3-VL-32B，副 InternVL3.5）对照盲化的 gold 逐段判定实体出现与否，两个判分器在"必须出现"判定上仅 70–75% 一致（$\kappa=0.43$–$0.52$）。
论文用 DINOv3 余弦度量"历史外观连续性"并指出它可能奖励过时外观；绝对数值高度依赖判分器，是理解表5、表9的前提。
研究动机
现有长视频生成系统普遍通过压缩帧/KV 历史、历史检索或实体索引记忆来携带过去的视觉观察，以对抗身份漂移，直觉是"能访问的历史越多，未来视频越一致"。但一张图可能忠实于过去却对当下错误：角色换了装束、道具已被销毁、已死角色仅被提及却因一件夹克而"复活"。已有评测（VBench 测感知质量、MovieBench/EntityBench 测跨镜头一致性、MBench 测记忆能力）都无法回答"视觉记忆是否真正有用"，因为它们混淆了至少三个因素：其一，当前提示词可能已描述了回归实体的外观——论文统计 62 个长间隙（≥30 段）角色回归中有 61 个的提示词都写明了新外观，无记忆基线在长间隙上的召回高达 0.984；其二，历史匹配可能固化过时的外观（旧围巾盖掉新披风）；其三，相关的参考帧可能携带现在被禁止出现的实体（亡者、已毁物件），导致避免率下降。此前没有任何受控研究把"历史保真"与"当前剧情正确"分开测量。
本文的目标是本文的目标是把记忆的价值从单一一致性分数拆解为可分离的测量维度，系统回答三个问题：第一，历史在当前提示词之外究竟增加了多少信息（信息增量）；第二，检索到的参考对应哪个时间点的状态，是否是当前剧情要求的状态（时间有效性）；第三，有用的参考是否夹带了不被希望出现的内容（非干扰性）。为此构建 VMem-Bench 双轨诊断基准：Track-A 在 92 部真实电影（16,548 段、44.91 小时、2,803 个实体）上于生成之前评分参考选择，不引入生成器混淆；Track-B 在 30 个人工编写故事（2,824 段 5 秒片段、重现间隙最长 77 段）上用统一生成器闭环比较四种检索策略与无记忆、gold-ID Last-seen 两种对照，覆盖 9 类记忆压力测试，并对每个策略报告 $(R,P,A)$ 三元组差与置信区间。
与已有工作不同的是，本文的独特切入角度有四点。第一，双轨分离：Track-A 在揭示下一真实片段之前给参考打分且全程不跑生成器，Track-B 用共享生成器（FLUX.2 关键帧合成 + Wan2.2-TI2V-5B）闭环评分最终视频，从而把"选了什么证据"与"生成器拿证据做了什么"分开测量，两轨互为边界而非配对。第二，主动干预暴露提示词混淆：设计外观剥离实验，把 62 个长间隙角色回归提示词中的外观描述删掉，观察无记忆基线召回从 0.984 跌到 0.565，证明此前看似"记忆无用论的反例"其实主要靠提示词。第三，把"必须缺席"作为一等公民指标（Avoid-OK、间接指涉、false friend），首次量化召回增益所掩盖的干扰成本。第四，明确声明因果契约（不访问未来片段）并冻结 gold（SHA256 manifest），让记忆评测第一次具备受控实验的严谨性，而不是又一项一致性排行榜。
核心方法
直觉上，给生成器看历史就像给人看旧照片：能认出老朋友，但也可能把旧发型当成现状。技术路线是把第 $n$ 步形式化为 $M_n \xrightarrow{\mathcal{R}(g_n)} \tilde{C}_n \xrightarrow{\mathcal{G}(g_n)} x_n$，即记忆 $M_n$ 经检索器 $\mathcal{R}(g_n)$ 选出参考 $\tilde{C}_n$，再由生成器产出 $x_n$，并在两个观测点分别测量。Track-A 重放 92 部真实电影：系统只看当前指令与自身历史，选好参考后按冻结的实体级 gold 打分（预算上限 $B=16$ 帧），然后才揭示下一真实片段用于更新记忆，全程不运行生成器，因此得分纯粹反映检索证据质量。Track-B 用 30 个人工编写故事逐段闭环生成：共享流水线为 FLUX.2 关键帧合成加 Wan2.2-TI2V-5B 五秒视频生成，比较 Text-frame、Seg+uniform、Seg+DINO-key、Seg+frame 四种 $K=3$ 检索策略，与无记忆（$K=0$）和 privileged 的 gold-ID Last-seen 诊断对照；用钉住的 Qwen3-VL-32B 判分器对盲化 gold 打 $R/P/A$ 分，报告 $\Delta^\pi$ 与按故事聚类的配对 bootstrap 95% 置信区间。
核心创新是把"记忆的价值"拆成三个互相独立的测量问题并分别设计实验：信息增量、时间有效性与非干扰性。与已有工作的本质区别在于：VBench/EntityBench 等只测最终一致性分数，无法区分记忆贡献与提示词贡献；SubjectAnchor 等用自己训练的记忆条件架构自证有效，生成器与记忆耦合；MBench/NarraStream-Bench 测记忆或叙事一致性但不做受控策略对比。本文固定生成器只变动检索策略，配合无记忆对照，第一次在闭环条件下给出"检索相关性不等于下游效用"的受控证据：Seg+DINO-key 在 Track-A 的参考召回最高（0.923/0.849），其生成视频召回增益也最大（+0.133），却同时带来精确率 $-0.057$、Avoid-OK $-0.114$ 的显著损失；而配合外观剥离干预，又证明长间隙成功很大程度上是提示词信息的功劳。结论不是一个新模型，而是一套可复用的评测契约与检查清单。
方法步骤详情
第一步，构建 Track-A gold：S1 用 VLM 为每部真实电影起草分段、实体与状态事件；S2 确定性规范化 schema、标识符、时间戳并去重；S3 用 Qwen3-VL-8B 复核，低置信度判定触发确定性提示词修复；S4 所有 BLOCK 单元加分层抽样样本送人工阻断审查，最后确定性冻结（16,104 段指令被改写，补充 5,177 个场景地点与 98 个角色/道具）。第二步，Track-A 评估：系统读当前指令 $g_n$ 与记忆 $M_n$，输出参考集 $\tilde{C}_n$；按冻结 roster 的必须记忆实体集 $C_n$ 计算精确率、召回率、$F1$、重复率 $R_V$ 与选择效率 $\text{SelEff}=\text{Prec}\,(1-R_V)$，之后才揭示真实片段并写入记忆。第三步，编写 Track-B 故事：人工只写语义骨架（实体、状态机、相似对、场景），所有 gold 标签与提示词流由代码推导，冻结要求字节级可重建；30 个故事共 2,824 段，九类压力全覆盖。第四步，闭环生成与打分：每段由 $g_n$ 加参考经 FLUX.2 与 Wan2.2 生成 $x_n$，判分器对照盲化 gold 标注应出现/不应出现/相似对/诱饵实体，身份连续性另用 DINOv3 crop 余弦、ArcFace、MegaLoc 度量，阈值在打分前的对照对上校准。第五步，统计与稳健性：计算 $\Delta^\pi$ 与 story-bootstrap 95% CI，并做换判分器重评、换 MiniMax-H3 后端（8 个匹配故事）、剔除 4.6–5.1% 不可解析判定等检查。
技术新颖性
技术新颖性体现在五个方面。其一，双轨测量边界的设计本身是方法论贡献：Track-A 是 generator-free 的证据阶段评测，Track-B 是 generator-in-the-loop 的结果阶段评测，作者明确声明两轨使用不同实例、不做配对推断，避免了常见的"检索分高所以视频好"的越界推断。其二，外观剥离干预是一个精巧的混淆暴露实验：把无记忆召回从 0.984 压到 0.565，使检索增益缩水到 +0.016（CI 跨零），为"长间隙召回主要来自提示词"提供了因果方向的证据。其三，把禁用实体类指标（Avoid-OK、间接指涉避免、false friend）与召回并列报告，发现召回增益掩盖了 0.845–0.898 的避免率。其四，224 单元的阶段性归因审计把漏召失败分配到 writing 29%、selection 36%、synthesis 7%、judge 27%，把禁用渲染的 71% 归因于参考夹带，给出了可操作的改进靶点。其五，全流程确定性冻结与可复现契约（SHA256 manifest、字节级重建、表10 评估清单、表25 可证伪设计假设），把一次基准测量升级为可积累的评测方法论。
实验结果
核心发现可以逐条对应实验。第一，总体权衡（表3、图3）：共享生成器上检索把池化角色/道具召回从 0.559 提升到 0.628–0.693（Seg+DINO-key +0.133，95% CI +0.111~+0.155），但精确率从 0.977 降到 0.915–0.938（Seg+DINO-key $-0.057$，CI $-0.066$~$-0.048$），Avoid-OK 从 0.968 降到 0.845–0.898（$-0.114$，CI $-0.132$~$-0.098$）。第二，间隙分层（表4a）：短间隙（1–4 段）角色回归无记忆 0.553，四种检索升到 0.698–0.749 且 CI 全部为正；长间隙（≥30 段）角色无记忆已达 0.984，四种检索全部无正增益。第三，外观剥离（表4b）：删掉外观描述后无记忆降到 0.565，Seg+DINO-key 仅 +0.016（CI 跨零），证明长间隙成功主要靠提示词。第四，外观连续性（表5）：回归实体 DINOv3 crop 相似度从无记忆的 0.35 升到 0.49–0.57；在 61 个状态已变化的回归上，相似度从 0.19 上升 +0.15~+0.20——即记忆把外观拉回过时的旧样子。第五，压力族细节（表3）：状态持久化 0.689→0.772–0.802（四策略 CI 均正），但弃用避免 0.964→0.829–0.889，间接指涉避免 0.852→0.628–0.705，false friend 0.980→0.893–0.920；Last-seen 的 temporal reference 仅 0.740（显著为负）。第六，Track-A 证据（表7、图5、图6）：Text-frame 的 F1 最高（0.817/0.670），Seg+DINO-key 召回最高（0.923/0.849）但精确率最低（0.579/0.484）；F1 随预算上升但边际递减；发布系统 LongLive-RAG F1 0.647/0.441、MemFlow 0.422/0.302 远低于测试床。第七，质量不等于正确性（表8）：无记忆的 subject/background 一致性反而更高（0.935/0.941 对 0.929/0.931），六项质量指标与逐段实体召回的相关均不超过 $\rho=0.17$。第八，稳健性（表9）：InternVL3.5 重评保留方向（+0.123/−0.028/−0.050），8 个匹配故事换 MiniMax-H3 后端保留全部三效应；但绝对数值随判分器大变（无记忆召回 0.559 对 0.361）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Track-B 池化角色/道具召回（30 故事闭环生成） | Recall | 0.628–0.693（四种检索策略区间） | 无记忆 0.559 | +0.069 ~ +0.134；Seg+DINO-key +0.133（95% CI +0.111~+0.155） |
| Track-B 精确率（不请自来的实体） | Precision | 0.915–0.938 | 无记忆 0.977 | 负向变化 −0.039 ~ −0.062；Seg+DINO-key −0.057（CI −0.066~−0.048） |
| Track-B 禁用实体避免（死亡/被毁/已移除） | Avoid-OK | 0.845–0.898 | 无记忆 0.968 | 负向变化 −0.070 ~ −0.123；Seg+DINO-key −0.114（CI −0.132~−0.098） |
| 短间隙（1–4 段）角色回归召回 | Recall | 0.698–0.749 | 无记忆 0.553 | +0.145 ~ +0.196，四种检索策略 CI 均为正（可靠增益） |
| 长间隙（≥30 段）角色回归召回（原提示词） | Recall | 0.952（Seg+DINO-key） | 无记忆 0.984 | −0.032，CI 跨零（无可靠增益，提示词已给出外观） |
| 外观剥离后的长间隙角色回归（62 例） | Recall | 0.581（Seg+DINO-key） | 无记忆（剥离后）0.565 | +0.016，95% CI 宽 0.307、跨零（增益消失） |
| 历史外观连续性（61 个状态变化的长间隙回归） | DINOv3 crop 余弦相似度 | +0.15 ~ +0.20（四种检索策略增量） | 无记忆 0.19 | 相似度上升但对应的是被剧情淘汰的旧外观（负向含义） |
| Track-A 参考选择质量（BlenderOpenMovies / LSMDC） | F1 | Text-frame 0.817 / 0.670（测试床最优） | LongLive-RAG 0.647 / 0.441；MemFlow 0.422 / 0.302 | 测试床领先发布系统约 +0.17 / +0.23（F1） |
| 视频感知质量与实体正确性的关系（2,824 段） | VBench 式六指标与逐段实体召回的相关系数 | 所有条件下最高 $\rho=0.17$ | 无正相关基线（质量指标间彼此可比） | 无正向相关——质量分不能替代实体正确性评测 |
局限与改进
作者明确承认的局限包括：每个故事每条件只跑一次 rollout，story-clustered CI 不覆盖生成种子间的方差；判分器高度敏感，Qwen3-VL 与 InternVL3.5 的绝对率差异大，"必须出现"判定一致性仅 70–75%（$\kappa=0.43$–0.52），部分家族级显著性换判分器后消失；身份相似度以"两次出现均被检测定位"为条件，且可能奖励违反当前状态的旧外观；Last-seen 参考数可变（1–3 个），不是预算匹配的 oracle；Track-B 只有 30 个实体标注的人工故事、不含电影类型分布；两轨使用不同实例，不能做配对的检索-生成相关推断；外观剥离只是暴露提示词混淆，并不构成可靠检索增益的证明；失败归因是单一作者对更早一次 rollout 的 224 单元审计，不是总体因果分解。我自己的观察还有几点：检索预算统一 $K=3$，缺少策略内单参考替换的分支干预，无法回答"换掉这一帧会怎样"；共享流水线用的 Wan2.2-TI2V-5B 是较小的模型，结论向更大或更强生成器的迁移性未知（后端检查仅 8 个故事）；发布系统块（MemFlow/LongLive-RAG/IAMFlow）因生成器不同只能旁观、无法与测试床公平比较；九类压力标签虽由代码冻结推导，但语义边界由同一团队的人工骨架决定，标签体系的构造效度未经外部检验。
独立分析的弱点
独立分析出的弱点及改进方向：第一，判分器是最大瓶颈——审计显示 27% 的"漏召"其实是判分器漏检（图4、表23），且两个判分器在必须出现判定上 $\kappa$ 仅 0.43–0.52，意味着家族级绝对数值噪音很大；改进方向是构建人工校准的分层评测子集、多判分器集成加人工仲裁，并强制报告判分器一致性。第二，每条件仅一次 rollout 使方差估计受限，表9 的后端检查只有 8 个故事；改进是同一故事多种子重复 rollout，代价是算力线性增长。第三，$K=3$ 统一预算与 Last-seen 的可变预算（1–3 参考）不可比（表6），无法回答"多一条参考到底值不值"；改进是作者在 H.2 提出的分支干预——固定故事前缀、提示词、种子后只替换或增删单条参考。第四，30 个故事全部由同一团队编写且每个故事都包含全部九类压力，这种"全家桶"式构造可能偏离自然叙事分布；改进是引入多作者、类型分层的剧本甚至真实影视脚本。第五，测试床只测了四种相似度检索，未覆盖任何状态感知记忆——例如按指令有效状态过滤检索、读入门控、写回前校验，而审计已显示 29% 的漏召源于历史里写错的旧外观，这类机制本可测试；改进是按表25 的五个可证伪假设逐一实现并检验。第六，Track-A 的精确率整体只有 0.48–0.69，说明即便最优策略也有约三分之一的参考是错的，本文止步于诊断，没有探索任何修复机制。
未来方向
作者在附录 H.2 与表25 提出了五个可证伪的设计假设：其一，读入门控——只在历史包含提示词之外信息时才接入记忆，用门控收益对照"门控丢失必需外观"的失败标准检验；其二，按指令有效状态检索——允许显式闪回使用更早状态，检验状态匹配参考能否提升当前状态正确性而不伤害身份连续性；其三，减少参考数量或抑制未请求内容——检验干扰成本是否随预算下降；其四，写回前拒绝或修复错误观察——针对审计中 29% 的 writing 错误；其五，预算匹配的单参考分支干预——真正隔离单条参考的因果效应。基于论文成果还可延伸的方向：把 $(R,P,A)$ 三元组直接纳入记忆条件生成架构的训练目标（如 StoryMem、SubjectAnchor 类模型）；几何感知的场景记忆——作者指出 MegaLoc 只度量场景相似度，视角与布局变化需要几何线索（引用 Group Editing 思路）；构建提示词信息量的自动度量以决定何时读记忆；把评测扩展到更多生成器、种子与交互式/用户在环故事；以及为判分器建立人工校准的开放协议，缓解 27% 判分器漏检造成的系统性低估。
复现评估
复现条件很好：数据集在 huggingface.co/datasets/Suchenl/VMem-Bench，代码在 github.com/Suchenl/VMem-Bench，项目页为 suchenl.github.io/VMem-Bench。Track-A gold 经 S1–S4 流水线确定性冻结并带 SHA256 manifest，Track-B 故事由人工骨架代码推导、冻结要求字节级重建，附录 A–H 提供了评估清单（表10）与可证伪假设模板（表25）。算力方面：Track-A 不需要生成器，只需运行检索并调用判分器，成本很低；Track-B 每个条件要生成 30 故事 × 约 94 段 × 5 秒视频，六个 seed-2026 条件合计约 1.7 万段，流水线为 FLUX.2 关键帧合成加 Wan2.2-TI2V-5B（5B 级开源模型，单张高端 GPU 可跑但总时长可观），判分用 Qwen3-VL-32B。需要注意：论文明确说明"新 rollout 是新的测量轨迹"，像素不会逐字节复现，复现者应报告自己的判分器一致性；判分器与视频后端都敏感，换组件后绝对数值会移动，但主权衡方向（召回升、精确率与避免率降）在两组检查中均保留。总体难度中等：协议文档极其详尽，主要成本在闭环生成的算力与判分器部署工程。
论文图表
三列并排展示每次生成链路：历史外观、检索到的参考帧、合成关键帧、生成片段。三个失败案例：顶部，已死角色柴大爷仅因一件夹克被提及而重新出现（该忘的忘了）；中部，记忆返回一艘白色相似船替换了要求的橙色小艇（读错了对象）；底部，指令已把 Axi 的围巾改成短披风，参考与输出仍保留旧围巾（读了过时状态）。✓/×/! 分别标记必需实体命中、漏检与禁用出现。
一图点题：相关的历史可能对当下是错的。它直观呈现论文要分离的三种失败（写入错误、选择错误、状态过时），是理解全部量化结论前最好的直觉锚点。