← 返回 2026-01-01

TinyHistory: 通过两阶段上下文学习的轻量级视频历史嵌入 Pretraining Frame Preservation in Autoregressive Video Memory Compression

Lvmin Zhang, Shengqu Cai, Muyang Li, Chong Zeng, Beijia Lu, Anyi Rao, Song Han, Gordon Wetzstein, Maneesh Agrawala 📅 2025-12-29 👍 25 2026-07-13 08:35
上下文学习 历史压缩 自回归模型 视频生成
arXiv HuggingFace PDF

提出轻量级历史嵌入，通过两阶段学习在自回归视频生成中保持一致性

前置知识

Diffusion Transformers (DiT)

DiT 是一种结合扩散模型和 Transformer 架构的生成模型，它使用 Transformer 替代传统的 U-Net 骨干网络来处理扩散过程中的噪声预测。在视频生成中，DiT 接收带噪声的潜在表示 X_t 和条件信息（如文本提示、历史帧），通过自注意力机制预测去噪方向。DiT 的内部隐藏状态（如 3072 或 5120 通道）是其特征表示的核心流形，TinyHistory 直接连接到这些内部状态而非 VAE 潜在空间。

理解 DiT 对于理解 TinyHistory 的关键创新：TinyHistory 的编码器输出直接注入 DiT 内部隐藏状态，绕过了 VAE 的通道瓶颈，这是与传统视频压缩方法的核心区别。

Low-Rank Adaptation (LoRA)

LoRA 是一种高效的参数微调方法，它冻结预训练模型的权重，并通过添加可训练的低秩分解矩阵来注入新能力。具体来说，对于权重矩阵 W，LoRA 引入分解 W + AB，其中 A 和 B 是低秩矩阵。训练时只更新 A 和 B，大大减少了可训练参数量。TinyHistory 在两个阶段都使用 LoRA 来适配 DiT 模型。

TinyHistory 在两阶段训练中都使用 LoRA（秩 128）来适配基础模型（Wan 2.1 14B 和 HunyuanVideo 12.8B），这使得在有限计算资源下进行大规模预训练和微调成为可能。

Flow Match Scheduling

Flow Match 是一种替代传统扩散模型的训练目标，它通过匹配向量场来实现从噪声到数据的变换。给定干净潜在 X_0，带噪声潜在 X_t，其中 epsilon 是噪声，目标是最小化预测向量场与真实向量场之间的差距。TinyHistory 使用的 Wan 2.1 和 HunyuanVideo 都采用 rectified-flow 调度，训练目标为最小化生成器预测与真实去噪方向的差距。

理解训练目标有助于理解 TinyHistory 如何与基础扩散模型集成：两阶段训练都使用相同的 flow match 损失，只是条件输入不同（第一阶段是 masked history，第二阶段是完整历史嵌入）。

研究动机

自回归视频生成在处理长视频历史时面临严峻的内存和计算挑战，这对商业系统和个人用户都是瓶颈。现有方法各有缺陷：朴素滑动窗口（Sliding Window）丢弃远处帧以维持固定上下文长度，虽然简单但丢失了长程历史信息，实验显示该方法在人物一致性（Char）上仅得 46.65 分，在人脸识别（FaceID）上仅得 57.87 分，是所有基线中最低的；压缩 VAE（如 LTXV）和混合方法（如 FramePack）虽然能产生更紧凑的上下文，但代价是损失高频图像细节；稀疏或线性注意力方法减少了计算开销，但内存占用不变；Token 合并方法（如 ToMe）的合并率越高，细节损失越大。这些方法在平衡历史覆盖、视觉保真度和内存成本方面仍存在显著差距，难以同时满足内容一致性、上下文连续性和内容查询能力的三个核心需求。

本文的目标是本文旨在开发一种轻量级的视频历史嵌入方法，能够在有限的内存和计算预算下编码更长的视频历史，同时保持与更重替代方案相当的内容一致性和身份保持能力。具体目标包括：设计一个历史编码器，将视频历史 H 映射到轻量级嵌入 phi(H)；通过两阶段学习框架，第一阶段在大规模视频数据上预训练编码器以建立查询能力和历史覆盖，第二阶段在自回归视频扩散模型中重新调整编码器以建立内容级一致性；在保持或提升一致性的同时减少训练开销并扩展给定内存预算内的可编码历史长度。实验目标是在 Wan 2.1 14B 和 HunyuanVideo 12.8B 等大规模模型上，以远低于完整基线（6240 tokens/s）的上下文速率（如 195 或 780 tokens/s）实现竞争力的性能。

与已有工作不同的是，本文的独特切入点是识别并系统解决了自回归视频生成对历史嵌入的三个核心需求：内容和身份一致性、最大化视频上下文连续性、内容查询和解释能力。与现有方法的关键区别在于 TinyHistory 的两阶段学习框架：第一阶段通过随机帧查询目标在百万级视频上预训练，这是部分监督策略，允许编码器学习密集历史覆盖而无需一次处理整个历史；第二阶段将预训练编码器集成到自回归系统中并通过 LoRA 重新调整，使编码器特征从帧级查询目标转向学习内容级一致性。另一个关键创新是编码器输出直接连接到 DiT 内部隐藏状态（3072 或 5120 通道）而非 VAE 潜在空间瓶颈（4、16 或 64 通道），这避免了学习外部 VAE 潜在空间映射时的局部最小值和质量退化。这种设计允许模型从训练数据分布中学习如何在受限特征流形中优先处理不同需求：例如，在游戏画面上训练的模型可能优先场景外观，而在电影数据上训练的模型可能优先面部和角色一致性。

核心方法

TinyHistory 的整体思路是学习一个历史编码器，通过两阶段上下文学习将视频历史 H 压缩成轻量级嵌入 phi(H)，用于条件化自回归 DiT 生成器。直觉上，历史嵌入需要回答两个问题：过去发生了什么（内容一致性）和我需要知道过去的哪些部分（查询能力）。两阶段框架分别解决这两个问题：第一阶段在大规模视频数据上预训练编码器，使用随机帧查询目标让编码器学会密集覆盖整个历史；第二阶段在自然视频数据上联合训练编码器和 DiT 生成器（通过 LoRA），让编码器学会内容级一致性。技术路线上，编码器采用双分支设计：低分辨率分支复用 DiT 的 VAE 和 patchifier 处理下采样输入，高分辨率分支通过轻量级模块（3D 卷积、SiLU 激活、注意力层）处理原始分辨率帧，两分支在 DiT 第一层投影后逐元素相加。编码器输出直接连接到 DiT 内部隐藏状态而非 VAE 潜在空间，这是与传统视频压缩方法的核心区别。由于编码器几乎全卷积，推理时新增帧的嵌入可以独立计算并拼接到现有嵌入，无需重新处理整个历史，大大减少了每步编码成本。

TinyHistory 的核心创新点有三个：第一，两阶段学习框架将历史嵌入问题分解为查询能力预训练和内容一致性微调两个子问题，通过随机帧查询目标实现部分监督，避免了一次处理整个历史的巨大计算开销；第二，编码器输出直接连接到 DiT 内部隐藏状态（如 3072 或 5120 通道）而非 VAE 潜在空间瓶颈（如 4、16 或 64 通道），这使得编码器可以操作深层 DiT 特征而非潜在空间，避免了学习外部 VAE 潜在空间映射时的局部最小值和质量退化，实验显示 TinyHistory (2x2x2) 在人物一致性上达到 85.90 分，而使用相同 token 速率的 LTX-VAE+Proj 仅得 62.70 分；第三，编码器在第二阶段保持可训练而非冻结，这允许编码器特征从帧级查询目标（第一阶段）转向学习内容级一致性（第二阶段），训练数据分布自然塑造编码器在受限特征流形中的优先级分配，这是与视频压缩和重建研究（如 VAEs、Codec）的本质区别，后者的编码器训练一次后就锁定。

方法步骤详情

TinyHistory 的方法包含四个完整步骤。步骤一是历史编码器架构设计：编码器采用双分支设计，低分辨率分支通过 DiT 的 VAE、patchifier 和第一层投影处理低分辨率、低帧率版本，产生粗糙特征序列；高分辨率分支通过轻量级模块（3D 卷积、SiLU 激活、注意力层）处理原始分辨率帧，产生残差特征；两分支在 DiT 第一层投影后逐元素相加，输出连接到 DiT 内部隐藏状态。可选的交叉注意力细化从编码器最后隐藏状态到 DiT 隐藏状态在消融研究中讨论。步骤二是第一阶段预训练：给定视频历史 H，随机采样帧索引集合 Omega，选中的帧保持干净，其余帧用噪声掩蔽，得到 masked history。DiT 学习通过条件映射查询选中帧，训练目标为最小化预测与真实帧的差异，其中生成器是带 LoRA 的 DiT。Omega 的随机性很重要，避免编码器通过作弊捷径将所有容量 dedicated 到固定位置。步骤三是第二阶段重新调整：预训练编码器集成到自回归视频扩散模型中，现在历史 H 完整且无噪声，不涉及帧索引 Omega。DiT 生成器学习基于历史嵌入生成下一个视频段 X，通过映射生成下一个段，扩散目标为最小化生成器预测与真实去噪方向的差距，其中新初始化的 LoRA 参数用于适配生成器。编码器在第二阶段不冻结，而是与 LoRA 适配的 DiT 联合优化。步骤四是自回归推理：视频以自回归方式生成，模型生成段 X，将其附加到历史 H，然后基于更新后的历史嵌入生成下一段。由于编码器几乎全卷积，新附加帧的嵌入可以独立计算并拼接到现有嵌入，无需重新处理完整历史，减少了每步编码成本。

技术新颖性

TinyHistory 的技术新颖性体现在多个方面。首先，随机帧查询预训练是一种新颖的部分监督策略，它通过要求编码器查询随机时间位置的帧来确保密集覆盖，同时避免一次处理整个历史，这为分钟级历史的训练提供了可扩展且预算友好的预训练策略。其次，两阶段框架中编码器保持可训练而非冻结，这使得编码器特征可以从帧级查询目标重新调整为学习内容级一致性，训练数据分布自然塑造编码器在受限特征流形中的优先级分配，这是与视频压缩和重建研究的本质区别。第三，编码器直接连接到 DiT 内部隐藏状态而非 VAE 潜在空间，这避免了学习外部 VAE 潜在空间映射时的局部最小值，实验显示这种设计比 LTX-VAE+Proj 更有效（人物一致性 85.90 vs 62.70）。第四，双分支架构提供了互补特征：低分辨率分支通过 DiT 流形对齐贡献整体特征结构，高分辨率分支提供原始分辨率的残差特征，消融显示移除任一分支都会降低性能。第五，编码器的近全卷积设计使得新增帧的嵌入可以独立计算并拼接，无需重新处理整个历史，这是自回归推理的关键效率优势。最后，方法具有模块化特性：滑动窗口重叠、交叉注意力、多编码器和 KV-caching 可以各自独立添加，消融显示每个扩展都有可衡量的增益。

Overview of TinyHistory. (a) In Stage I, the history encoder is pretrained on large-scale video data: random frame indices are selected as query targets, and the DiT learns to query these frames conditioned on the encoded history. (b) In Stage II, the pretrained encoder is integrated into an autoregressive video diffusion model and repurposed jointly via LoRA with natural video data to establish content-level consistency. Since the encoder is almost fully convolutional, new segments can be concatenated to the history embedding without recomputation.
Fig. 1: Overview of TinyHistory. (a) In Stage I, the history encoder is pretrained on large-scale video data: random frame indices are selected as query targets, and the DiT learns to query these frames conditioned on the encoded history. (b) In Stage II, the pretrained encoder is integrated into an autoregressive video diffusion model and repurposed jointly via LoRA with natural video data to establish content-level consistency. Since the encoder is almost fully convolutional, new segments can be concatenated to the history embedding without recomputation.
History encoder architecture. The LR branch reuses the DiT's VAE, patchifier, and first-layer projection on a downsampled input. The HR branch encodes the original-resolution frames through a lightweight module. The two branches are summed after the DiT's first-layer projection, so the output operates in the DiT's inner hidden states rather than passing through the VAE channel bottleneck. Alternative architectures are discussed in ablation studies.
Fig. 2: History encoder architecture. The LR branch reuses the DiT's VAE, patchifier, and first-layer projection on a downsampled input. The HR branch encodes the original-resolution frames through a lightweight module. The two branches are summed after the DiT's first-layer projection, so the output operates in the DiT's inner hidden states rather than passing through the VAE channel bottleneck. Alternative architectures are discussed in ablation studies.

实验结果

TinyHistory 在多个维度上取得了显著成果。在主实验中，TinyHistory (2x2x2) 在 780 tokens/s 的上下文速率下，在人物一致性（Char, 85.90）、对象一致性（Obj, 85.45）、语义对齐（Semantic, 26.84）、人脸识别（FaceID, 73.05）和用户偏好（ELO, 1332）五个维度上领先所有基线，在场景一致性（Scene, 87.11）和服装一致性（Cloth, 87.74）上排名第二，仅分别落后于 FOV Retrieval（88.17）和 CLIP Vision（93.73）。与相同 token 速率的 LTX-VAE+Proj 相比，TinyHistory 在所有维度上都有更高分数（Char 85.90 vs 62.70, Scene 87.11 vs 69.72, Obj 85.45 vs 64.69, Cloth 87.74 vs 66.82, Semantic 26.84 vs 22.98, FaceID 73.05 vs 67.01），验证了直接连接 DiT 内部隐藏状态而非 VAE 潜在空间的优势。TinyHistory (4x4x2) 以 195 tokens/s（比完整基线减少 32 倍）仍在外部基线的五个维度上领先（Char 80.19, Obj 74.38, Semantic 25.74, FaceID 70.71, ELO 1262），仅在 Scene（72.21）和 Cloth（77.40）上有妥协，编码率权衡的消融显示 2x2x2 vs 4x4x2 的 Scene 差距说明了空间压缩率的权衡。消融研究确认了每个组件的贡献：移除第一阶段预训练导致 Char 从 80.19 降至 52.64，FaceID 从 70.71 降至 58.38；冻结编码器导致 Char 降至 61.42；移除低分辨率分支导致 Char 降至 67.73，移除高分辨率分支导致 Char 降至 74.29，双分支设计优于两者，说明两路径提供互补特征。编码率扫描显示边际递减：2x2x2 在 780 tokens/s 达到与 2x2x1 在 1560 tokens/s 相当的质量（ELO 1332 vs 1342），但在一半上下文成本下。扩展实验显示添加滑动窗口使 Scene 增加 10.3 点；添加交叉注意力使 Obj 增加 6.4 点，Char 增加 6.8 点；使用双编码器使 Char 增加 8.1 点，Obj 增加 9.0 点，FaceID 增加 2.7 点。

Comparison with baselines on content consistency. CTX/s denotes the history context length per second on Wan 2.1 at 480p. Best results in bold, second best underlined.
Table 1: Comparison with baselines on content consistency. CTX/s denotes the history context length per second on Wan 2.1 at 480p. Best results in bold, second best underlined.
Ablation study. All variants use Wan 2.1 as the base model and are trained for 100k steps. CTX/s denotes the history context length per second on Wan 2.1 at 480p. Best results in bold, second best underlined.
Table 2: Ablation study. All variants use Wan 2.1 as the base model and are trained for 100k steps. CTX/s denotes the history context length per second on Wan 2.1 at 480p. Best results in bold, second best underlined.
Extensions and compatibility. Each row adds one extension to the base TinyHistory (4x4x2). All extensions are orthogonal and can be combined.
Table 3: Extensions and compatibility. Each row adds one extension to the base TinyHistory (4x4x2). All extensions are orthogonal and can be combined.
Qualitative results on storyboard generation. Each row shows frames sampled from an autoregressively generated video driven by a storyboard of text prompts. This batch of results uses HunyuanVideo as base model. The history encoder maintains character identity, clothing, and scene layout across shots with diverse prompts. Storyboards are written by external language models.
Fig. 3: Qualitative results on storyboard generation. Each row shows frames sampled from an autoregressively generated video driven by a storyboard of text prompts. This batch of results uses HunyuanVideo as base model. The history encoder maintains character identity, clothing, and scene layout across shots with diverse prompts. Storyboards are written by external language models.
Influence of Stage I pretraining on generation consistency. Given the same video history, the model with Stage I pretraining maintains facial features, clothing, scene layout, and camera coordination, while the model without pretraining fails to attend to relevant history content, resulting in identity and object inconsistency. Both models are trained for 100k steps.
Fig. 4: Influence of Stage I pretraining on generation consistency. Given the same video history, the model with Stage I pretraining maintains facial features, clothing, scene layout, and camera coordination, while the model without pretraining fails to attend to relevant history content, resulting in identity and object inconsistency. Both models are trained for 100k steps.
Adding a small sliding window (3 latent frames). Without the sliding window, consecutive generation steps may exhibit camera shot shifts. The sliding window provides a short overlap that encourages temporal continuity.
Fig. 5: Adding a small sliding window (3 latent frames). Without the sliding window, consecutive generation steps may exhibit camera shot shifts. The sliding window provides a short overlap that encourages temporal continuity.
Using two history encoders with different encoding patterns (4x4x2 and 2x2x8). The second encoder prioritizes spatial detail over temporal coverage, enabling fine-grained features such as text on newspapers to be maintained across generation steps, at the cost of a longer context.
Fig. 7: Using two history encoders with different encoding patterns (4x4x2 and 2x2x8). The second encoder prioritizes spatial detail over temporal coverage, enabling fine-grained features such as text on newspapers to be maintained across generation steps, at the cost of a longer context.
查看结构化数据
任务指标本文基线提升
人物一致性评估 Gemini-3.1-pro VLM 判断分数（0-100） TinyHistory (2x2x2): 85.90 LTX-VAE+Proj: 62.70, FramePack: 57.92, Sliding Window: 46.65 相比 LTX-VAE+Proj 提升 37.0%，相比 Sliding Window 提升 84.2%
对象一致性评估 Gemini-3.1-pro VLM 判断分数（0-100） TinyHistory (2x2x2): 85.45 LTX-VAE+Proj: 64.69, FramePack: 67.09, FOV Retrieval: 59.38 相比 LTX-VAE+Proj 提升 32.1%，相比 FramePack 提升 27.4%
语义对齐评估 ViCLIP 视频和文本嵌入的余弦相似度 TinyHistory (2x2x2): 26.84 LTX-VAE+Proj: 22.98, FramePack: 23.65, QwenEdit+I2V (K=2): 25.46 相比 LTX-VAE+Proj 提升 16.8%，相比 FramePack 提升 13.5%
人脸识别评估 ArcFace 嵌入余弦相似度超过阈值的帧比例 TinyHistory (2x2x2): 73.05 LTX-VAE+Proj: 67.01, QwenEdit+I2V (K=2): 68.81, FOV Retrieval: 65.78 相比 LTX-VAE+Proj 提升 9.0%，相比 QwenEdit+I2V 提升 6.2%
用户偏好评估 Bradley-Terry ELO 评分（基准 1200） TinyHistory (2x2x2): 1332 QwenEdit+I2V (K=2): 1205, FramePack: 1182, LTX-VAE+Proj: 1147 相比 QwenEdit+I2V 提升 10.5%，相比 FramePack 提升 12.7%
场景一致性评估 Gemini-3.1-pro VLM 判断分数（0-100） TinyHistory (2x2x2): 87.11 FOV Retrieval: 88.17, CLIP Vision: 60.37, LTX-VAE+Proj: 69.72 相比 LTX-VAE+Proj 提升 25.0%，略低于 FOV Retrieval 的 88.17
服装一致性评估 Gemini-3.1-pro VLM 判断分数（0-100） TinyHistory (2x2x2): 87.74 CLIP Vision: 93.73, FramePack: 63.83, LTX-VAE+Proj: 66.82 相比 LTX-VAE+Proj 提升 31.3%，略低于 CLIP Vision 的 93.73

局限与改进

作者在论文中承认了几个局限性。首先，TinyHistory 在场景一致性和服装一致性上没有达到最优，TinyHistory (2x2x2) 的 Scene 87.11 落后于 FOV Retrieval 的 88.17，Cloth 87.74 落后于 CLIP Vision 的 93.73，这可能表明编码器在处理环境布局、光照条件和服装纹理等细节方面仍有改进空间。其次，编码率存在权衡：更高的压缩率（如 4x4x2 的 195 tokens/s）会牺牲一些一致性（Scene 72.21 vs 87.11），而更低的压缩率（如 2x2x1 的 1560 tokens/s）虽然达到更高的质量但增加了上下文成本。第三，实验主要集中在 480p 分辨率，方法在更高分辨率（如 720p 或 1080p）下的表现尚未验证，这可能限制了方法在高保真视频生成场景中的应用。第四，编码器的轻量级设计可能无法完全捕捉所有高频细节，这对于需要精细视觉保真度的应用可能是限制。第五，方法依赖大规模训练数据集（约 500 万互联网视频），这可能限制了在数据稀缺领域或专业领域的应用。此外，作者的观察也揭示了一些潜在限制：编码器的卷积特性使得 KV-Cache 可行但以质量下降为代价；编码器的特征分配依赖于训练数据分布，这可能限制方法在分布外数据上的泛化能力；方法的自回归性质意味着错误可能在长时间生成中累积，尽管论文没有系统分析这一点。

独立分析的弱点

TinyHistory 存在几个可改进的弱点。首先，场景一致性和服装一致性相对较弱：TinyHistory (2x2x2) 的 Scene 87.11 落后于 FOV Retrieval 的 88.17，Cloth 87.74 落后于 CLIP Vision 的 93.73，改进方向可以是引入场景特定的特征提取模块（如深度估计、表面法线预测）或增强服装纹理的编码能力（如纹理感知注意力机制）。其次，编码率权衡需要更精细的控制：当前的固定压缩率可能不适合所有视频内容，改进方向可以是自适应编码率，根据场景复杂度动态调整压缩率（如复杂场景使用 2x2x2，简单场景使用 4x4x2），或者使用可学习的内容感知压缩策略。第三，长视频中的错误累积问题：自回归生成可能在长时间生成中累积错误，虽然论文没有系统分析这一点，改进方向可以是引入错误检测和纠正机制，或者使用混合方法结合短期高保真编码和长期轻量级编码。第四，对训练数据的依赖性：方法依赖大规模训练数据集（约 500 万互联网视频），改进方向可以是数据高效训练策略（如自监督学习、对比学习）或域适应技术，使方法在数据稀缺领域也能有效工作。第五，分辨率限制：实验主要集中在 480p 分辨率，改进方向可以是扩展编码器架构以支持更高分辨率，或者设计分辨率自适应的编码策略。第六，计算效率仍有优化空间：虽然 TinyHistory 已经比完整基线减少 8-32 倍的上下文成本，但在实时应用中可能仍需进一步优化，改进方向可以是模型蒸馏、量化或更高效的注意力机制。

未来方向

作者提出了几个有前景的未来研究方向。首先，跨模态一致性优化：虽然 TinyHistory 在人物和对象一致性上表现出色，但在场景和服装一致性上仍有改进空间，未来可以探索跨模态对齐（如音频-视频、文本-场景）来增强一致性。其次，自适应编码率：当前使用固定压缩率（如 2x2x2 或 4x4x2），未来可以探索根据内容复杂度、生成任务或用户偏好动态调整编码率，这可能涉及学习内容重要性权重或使用强化学习优化编码策略。第三，任务特定的编码器：论文提到了使用双编码器的扩展，未来可以探索为不同任务设计专门的编码器（如一个编码器优先场景外观，另一个优先角色一致性），或者根据用户请求动态选择编码器配置。第四，与其他技术的正交结合：论文展示了滑动窗口、交叉注意力、多编码器和 KV-caching 的扩展可以独立添加，未来可以探索这些技术的更深度集成，或者与其他加速技术（如 CausVid、Self-Forcing）结合。第五，更高分辨率的支持：当前实验主要集中在 480p 分辨率，未来可以扩展到 720p、1080p 甚至更高分辨率，这可能需要重新设计编码器架构或采用分层编码策略。第六，数据效率和域适应：当前方法依赖大规模训练数据集，未来可以探索数据高效训练策略（如自监督学习、对比学习）或域适应技术，使方法在数据稀缺领域或专业领域也能有效工作。第七，错误累积和纠正：自回归生成可能在长时间生成中累积错误，未来可以探索错误检测和纠正机制，或者使用混合方法结合短期高保真编码和长期轻量级编码。第八，可解释性和控制性：未来可以探索如何使编码器的特征表示更具可解释性，或者如何让用户更精细地控制编码器优先处理的内容。

复现评估

TinyHistory 的复现性评估需要考虑多个方面。开源情况方面，论文没有明确提及是否开源代码或模型，这是复现性的一个潜在障碍。数据方面，训练集包含约 500 万互联网视频，经过质量过滤后使用 Gemini-2.5-flash 和 QwenVL 生成带时间戳的故事板格式标题，测试集包含 1300 个故事板提示和 4096 个独立于训练数据的未见视频，数据规模庞大且涉及专有模型，这增加了复现难度。算力方面，第一阶段预训练使用 8xH100 GPU，第二阶段 LoRA 训练使用 1xH100 或 A100，在单个 8xA100-80G 节点上，较小模型在 480p 分辨率下，窗口大小 8 时批次大小约为 64，窗口大小 16 时批次大小约为 32，LoRA 秩为 128，这需要相当的硬件资源。实现细节方面，论文提供了较为详细的技术描述，包括编码器架构（隐藏通道模式 64 到 128 到 256 到 512，最终保持在 512，直到最后的 1x1 卷积投影到 DiT 内部隐藏维度）、超参数（编码率表示为 HxWxT，如 4x4x2 表示潜在高度减少 4 倍、宽度减少 4 倍、时间长度减少 2 倍）、训练策略（纯 PyTorch with Accelerate，预计算潜在和条件，无梯度累积）和评估指标（VLM 判断的四个一致性维度、VBench 的三个算法指标、用户偏好 ELO），这些细节有助于复现。然而，一些关键细节可能缺失或不完整，如第一阶段预训练的确切训练步数、学习率调度、数据增强策略等，这可能是复现性的潜在障碍。总体而言，TinyHistory 的复现难度中等偏高，主要障碍在于大规模数据集、昂贵的硬件需求和可能缺失的源代码。

论文图表

Fig. 6: Adding cross-attention from the history encoder's last hidden states to the DiT. In detail-oriented scenarios, cross-attention provides additional consistency at the cost of increased computation.

图 6 展示了添加从历史编码器最后隐藏状态到 DiT 的交叉注意力的效果。左侧显示历史帧，中间显示 TinyHistory (4x4x2)，右侧显示 TinyHistory (4x4x2) 加交叉注意力，展示了添加交叉注意力后细节（如架子上的物品）的一致性改善。图注强调在细节导向的场景中，交叉注意力提供额外的一致性，但以增加计算为代价。

这张图对理解论文很重要，因为它直观展示了交叉注意力扩展的效果。图显示添加交叉注意力可以提高细节一致性，这解释了为什么添加交叉注意力使 Obj 增加 6.4 点和 Char 增加 6.8 点。这张图帮助读者理解交叉注意力如何允许在历史特征上执行空间查询，提高细粒度一致性。