Moving Alphabet：文本到视频生成训练数据的受控研究 Moving Alphabet: A Controlled Study of Training Data for Text-to-Video Generation
受控合成测试床揭示：数据均衡与字幕精确率主导T2V生成上限
前置知识
文本到视频生成（Text-to-Video, T2V）与 MMDiT
文本到视频生成是根据自然语言描述合成对应视频的任务，通常用扩散模型在潜在空间逐步去噪得到视频帧。现代系统（Sora、Movie Gen、HunyuanVideo）多采用 MMDiT（Multimodal Diffusion Transformer）架构：把冻结的文本编码器（T5、CLIP）输出的 token 序列与视频潜在 token 拼接，联合做自注意力，再用 flow matching 目标训练，并用因果 3D VAE 把视频压到紧凑潜在空间。
本文不提出新架构，而是用标准 MMDiT 作为探针来研究数据。理解 T2V 的训练流程才能看懂实验设置和评估口径。
Flow Matching（流匹配）
Flow matching 是扩散模型的一种变体，把生成过程建模为从噪声分布到数据分布的连续流，模型学习这个流的速度场。对目标样本 $z_1$ 和噪声 $z_0$，在其线性插值 $z_\tau = \tau z_1 + (1-\tau)z_0$ 上预测速度，回归目标为真实速度 $z_1 - z_0$。相比传统 DDPM，它的目标更简单、训练更稳定，是目前主流 T2V 模型的默认目标。
本文 800M 模型用 flow matching 训练，理解它才知道模型是如何从随机噪声一步步生成字母动画的。
无分类器引导（Classifier-Free Guidance, CFG）
CFG 是扩散模型推理时的常用技巧：训练时按一定概率（本文为 10%）随机丢弃文本条件，使模型同时学会条件和无条件生成；推理时把条件预测与无条件预测按引导强度外推，近似为 $\hat{\epsilon} = \epsilon_{\text{uncond}} + s\cdot(\epsilon_{\text{cond}} - \epsilon_{\text{uncond}})$，其中 $s$ 为 CFG scale。$s=1$ 即纯条件生成，$s$ 越大越忠实于文本但可能损害像素质量。
本文大量实验围绕 CFG 能否弥补差字幕展开，理解 CFG 的作用机制才能读懂恢复实验的不对称结论。
字幕的精确率与召回率（Precision α 与 Recall β）
本文把字幕质量拆成两个正交维度：精确率 $\alpha\in[0,1]$ 表示字幕中已写出的属性有多少是正确的（模拟幻觉、错写），召回率 $\beta\in[0,1]$ 表示真实存在的属性有多少被写进字幕（模拟遗漏）。$\alpha=0.7$ 意味着 30% 的陈述被换成随机错误值，$\beta=0.3$ 意味着只有 30% 的属性出现。破坏按属性独立施加。
这是全文最核心的概念创新——把模糊的字幕好坏分解成可独立控制的两个轴，所有字幕实验都建立在此之上。
前景 PSNR 与逐属性准确率
PSNR（峰值信噪比）衡量像素级保真度，单位 dB，越高越好；本文只在字母所在的前景区域计算，记为 FG PSNR，其上限受 VAE 重建能力制约（本文测得上限约 22–23 dB）。由于每个视频都有精确的 ground-truth 元数据，可用校准过的分类器从生成像素读出每个属性（颜色 $A_{\text{color}}$、大小 $A_{\text{size}}$、方向 $A_{\text{dir}}$、速度相关 $\rho_{\text{speed}}$）并与真值比对，得到精确的属性准确率。
理解这些指标才能看懂所有结果表格，以及为什么作者强调模型距 VAE 上限还差 9–10 dB、并未被 VAE 卡住。
研究动机
文本到视频生成在过去五年通过扩大模型规模、数据和算力取得了长足进步，但研究界几乎把所有注意力放在模型架构（扩散模型、Transformer、scaling law）上，对训练数据这个同样关键的因素研究甚少。真实的视频数据流水线通常包含两步：先用模型驱动的启发式从原始视频里切出 10–20 秒的短片段，再用视觉语言模型给每个片段打字幕。问题在于，真实数据里「内容复杂度」「字幕质量」「视觉保真度」三者纠缠在一起、无法单独归因——根本说不清一个差结果究竟来自内容太单一、字幕写错了、还是画面本身糊。已有的大规模系统（Sora、Movie Gen、HunyuanVideo）对数据配方只做高层描述，而 SVD、VideoCrafter2 等数据消融工作又只能在真实数据上做筛选与缩放，无法分离各因素。于是几个对从业者至关重要的问题悬而未决：训练数据里的内容复杂度和时长该怎么配比？字幕质量到底影响多大、又如何影响训练效率？推理时的 CFG 或事后在小量干净数据上微调，能不能把差预训练数据造成的损失补回来？
本文的目标是本文的目标是为 T2V 训练数据的策划给出可量化、可操作的指导原则，而不是再做一个更强的模型。具体而言，作者要系统地回答三个问题：第一，什么样的视觉内容复杂度和片段时长分布最适合泛化；第二，字幕质量（拆成精确率和召回率两个轴）如何影响生成质量和训练效率；第三，推理时 CFG 和事后微调能否、以及在多大程度上能弥补低质量预训练数据。为保证结论可信，他们要求每个变量都能被独立、精确地控制，并且评估是「精确」而非「感知」的——每个属性都能和已知 ground truth 逐项比对。最终输出是一组带具体数字的策略建议，例如精确率比召回率更关键、混合训练要均衡、微调最多只能找回 55% 的损失。
与已有工作不同的是，本文的独特切入角度是用可控合成测试床做受控实验，把数据科学问题变成可测量的实验科学问题。和所有在真实数据上做筛选与缩放的工作不同，作者构造了 Moving Alphabet——字母在近黑背景上运动的程序化数据集，每个属性都从已知分布采样，因此可以任意拼出目标数据分布、沿精确的轴（精确率 $\alpha$、召回率 $\beta$）破坏字幕、并用精确的逐属性 ground truth 做评估。这把 CLEVR、dSprites、TinyStories、Physics of Language Models 这类用合成数据带已知 ground truth 理解模型的方法论第一次延伸到了视频生成。正因为评估是精确而非感知的（FVD 等基于 I3D 的指标在合成域迁移性很差），作者才能把「字幕错了」和「字幕漏了」这种过去无法分离的失败模式拆开量化。
核心方法
整体思路可以用一个类比概括：与其在 messy 的真实视频里和纠缠不清的因素搏斗，不如搭一个实验室——里面每样东西的 ground truth 你都知道，于是「数据质量如何影响模型」就变成了可控、可重复的实验。这个实验室就是 Moving Alphabet：在近黑背景上渲染 1 到 3 个字母，每个字母的字体（8 种）、颜色（10 种）、大小（3 级，32/56/80 像素）、旋转（8 角）、起始位置、速度（每帧 3–10 像素）、方向（0–360°）都独立采样，字母匀速运动并在画布边界反弹、每次反弹都记入元数据；视频时长可配置为约 2/4/8 秒（对应 17/33/65 帧，8 fps，256×256，因因果 VAE 需 4n+1 帧）。技术路线上，用模板把元数据渲染成自然语言字幕，再用标准 MMDiT（800M 参数、36 层、隐维 1024、16 头，flow matching，冻结的 T5-XXL 与 CLIP ViT-L/14 文本编码器拼接，因果 3D VAE 做 8× 空间与 4× 时间压缩）从头训练，最后用前景 PSNR/MSE 和逐属性分类器做精确评估。
全文最核心的创新是方法论本身：把字幕质量这个模糊概念分解成两个正交、可独立控制的轴——精确率 $\alpha$（字幕里写出来的属性有多少是对的，模拟幻觉）和召回率 $\beta$（真实属性有多少被写进字幕，模拟遗漏）——并在 7×5 共 35 个 $(\alpha,\beta)$ 网格上各训一个模型。这一步直接把过去无法分离的失败模式拆开了：「说错」和「没说」是两种根本不同的病。配合精确评估（每个生成视频都能和已知 ground truth 逐属性、逐像素比对，而不是依赖 FVD 这种迁移性差的感知指标），数据质量问题第一次变成了可测、可复现的实验。和 DALL·E 3 那种「用更好的字幕器整体改善对齐」的做法相比，本文能分别回答「是准确更重要还是覆盖更重要」「差字幕要多花几倍算力」「事后能不能补救」这些过去只能靠直觉判断的问题。
方法步骤详情
实验分四步。第一步数据生成：程序化渲染器产出 1L/2L/3L 场景，每个字母 7 个属性独立采样，字母重叠时按固定索引用 alpha 合成（高索引遮低索引），同时生成模板化字幕，含全部外观属性、归一化起止坐标、精确方向角、速度与每次反弹事件。第二步数据分布实验：固定字幕为 ground truth，构造 6 种复杂度混合（Pure 1L/2L/3L、Mix Equal、Heavy-1L、Heavy-3L）与 6 种时长混合，各用 150K 视频训 100 个 epoch，在三个复杂度与三个时长上评估。第三步字幕质量实验：在 50K 子集（2 秒、复杂度均衡）上训 35 个 $(\alpha,\beta)$ 模型、共 200 个 epoch，破坏方式是对每个属性独立地以概率 $1-\alpha$ 换成随机错值、以概率 $1-\beta$ 从字幕删掉；同时每 epoch 用 ground-truth 字幕算验证 loss，统计达到 loss=0.035 所需算力，归一化到 ground-truth 基线 66×10³ PFLOPs。第四步恢复实验：对每个损坏模型扫 CFG scale 1–10；并取每个模型用 1K/5K/10K 干净分层样本、学习率 $10^{-4}$ 微调 200 个 epoch，在 epoch 100 与 200 评估。所有评估在 6000 个留出视频（每复杂度 2000 个）上、默认 CFG=1.0 进行，训练在 8×A100 上约两天收敛。
技术新颖性
新颖性体现在三点。其一，首个面向视频生成数据策划的受控测试床：把 CLEVR、dSprites、TinyStories 这类「合成数据加已知 ground truth」的方法论第一次带到 T2V，让内容、字幕质量、视觉保真度得以解耦。其二，把字幕质量分解为精确率与召回率两个可独立控制的轴，使「说错」与「漏说」第一次能分开量化——这是 DALL·E 3 recaptioning 等工作没做到的。其三，用精确的逐属性加前景像素评估取代 FVD：因为 FVD 依赖在自然视频上预训练的 I3D 特征，迁移到合成域效果很差；而本文每个视频都有精确元数据，可用校准过的分类器（在真值视频上准确率 0.956–1.000）从像素读出属性直接比对，并预先测出 VAE 重建上限（FG PSNR 22–23 dB）作为天花板，证明模型距天花板还差 9–10 dB、并非被 VAE 卡住。
实验结果
发现一：数据分布要均衡多样。单复杂度专家在分布外直接崩——Pure 1L 在 3L 评估上方向准确率仅 0.357、FG PSNR 仅 4.1 dB；Mix Equal 不仅跨复杂度泛化，在专家自己的数据上还更强，3L 评估达 12.9 dB 对 Pure 3L 的 10.1 dB（领先 2.8 dB），平均 FG PSNR 12.9 dB 全面最优。偏置混合也不行：Heavy-1L 即便含更多 1L 数据，在 1L 上仍比 Mix Equal 低 3.2 dB。时长上结论一致：Mix Equal（39.7B token）平均 12.2 dB，优于 Pure 8s（65.3B token，3.4 倍算力）；Heavy-8s 虽在 8s 上拿全场最高 12.5 dB，却在 2s 上灾难性跌到 6.6 dB。发现二：字幕质量极关键，精确率比召回率更致命。FG PSNR 沿两轴都悬崖式下跌：召回率 $\beta$ 从 1.0 降到 0.3 损失 7.6 dB（12.3→4.8），精确率 $\alpha$ 从 1.0 降到 0.3 损失 8.1 dB（12.3→4.3），其中 5.8 dB 集中在 $\alpha=0.99$ 到 0.95——仅 4% 下降就引发断崖，安全区仅存于 $\alpha\geq0.99$。颜色准确率在 $\alpha\leq0.5$ 崩到随机（0.95→0.21→0.08）。等预算下把更高质量分给精确率，四属性全获益。字幕差还拖累效率：$\beta=0.3$ 时所有条件需 2.08–>3.91 倍基线算力，$(\alpha=0.3,\beta=0.3)$ 永不收敛。发现三：事后补救只能部分奏效。CFG 在字幕好时有甜蜜点（GT 模型 CFG=2 峰值 12.6 dB），对中度损坏（$\alpha=\beta=0.7$）能把方向 0.94→0.97、大小 0.66→0.80，但像素质量几乎不动（5.0→6.3 dB，离 GT 差 7.3 dB）。微调方面：$\alpha=0.9$ 配 5K 样本 1L 恢复 55%（基线 11.7 dB），3L 仅 11%；$\alpha\leq0.5$ 微调几乎无效。召回率则易补救：$\beta=0.9$ 微调能完全恢复。结论是漏说可修、说错难修。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 内容复杂度混合（平均 FG PSNR） | FG PSNR (dB)↑，CFG=1.0 | Mix Equal 12.9 dB（3L 上 12.9 dB） | Pure 3L 专家 10.1 dB；Heavy-1L 在 1L 上 9.6 dB | 在专家自身分布上领先近 2.8 dB（3L）；Heavy-1L 在 1L 上落后 Mix Equal 3.2 dB |
| 时长混合（平均 FG PSNR） | FG PSNR (dB)↑，CFG=1.0 | Mix Equal 12.2 dB（39.7B token） | Pure 8s 10.9 dB（8s 上，65.3B token，3.4× 算力）；Heavy-8s 8s 上 12.5 dB 但 2s 仅 6.6 dB | 以远低于长视频专家的算力取得整体最优；揭示重仓长视频会让短片段灾难性崩溃 |
| 字幕精确率断崖（FG PSNR） | FG PSNR (dB)↑ | $\alpha$ 从 1.0 降到 0.3：12.3→4.3 dB | 召回率 $\beta$ 从 1.0 降到 0.3：12.3→4.8 dB | 精确率更致命；仅 $\alpha$ 0.99→0.95（4%）就砸出 5.8 dB 断崖，安全区仅在 $\alpha\geq0.99$ |
| 字幕质量对训练效率 | 达到 loss=0.035 的相对算力（基线=1.0×） | $\beta=0.3$ 全列需 2.08–>3.91×；$(\alpha=0.3,\beta=0.3)$ 永不收敛 | ground-truth 字幕 1.0×（66×10³ PFLOPs） | 差字幕导致 2–4 倍算力浪费，固定预算下投资字幕质量回报更高 |
| 微调恢复（精确率损坏） | FG PSNR 恢复比例 | $\alpha=0.9$ 配 5K 样本 1L 恢复 55%；$\alpha=0.7$ 时 1L 43%/2L 21%/3L 11% | 完美字幕基线 11.7 dB（1L） | 最多找回 55%；$\alpha\leq0.5$ 微调几乎无效，重度损坏不可逆 |
| CFG 恢复不对称 | 属性准确率 vs FG PSNR | 中度损坏下方向 0.94→0.97、大小 0.66→0.80，但 FG PSNR 仅 5.0→6.3 dB | GT 模型 CFG=2 峰值 12.6 dB | CFG 能修属性准确率但无法恢复像素质量；重度损坏下完全无效 |
局限与改进
作者坦承若干局限。首先是合成测试床过于简单：字母在近黑背景上运动远不能代表自然视频（没有纹理、没有复杂运动、没有镜头），所以效应的量级（如 7.6 dB 的断崖）未必能直接搬到真实场景，作者自己也强调结论是方向性的指导而非精确数值。其次，用单一净位移方向来概括运动在长视频上会退化（多次反弹让字母回到原点附近），所以时长实验只报像素指标、不报方向准确率，这在一定程度上削弱了时长结论的说服力。第三，绝对质量偏低：最好模型 FG PSNR 约 13 dB，距 VAE 重建上限 22–23 dB 还有 9–10 dB，虽然作者以此证明未被 VAE 卡住，但也说明模型远未逼近天花板，部分指标差异可能仍处在大误差区间。我额外观察到两点：模型固定在 800M 一种规模，数据与质量的关系是否会随规模变化未作检验；字幕损坏是对每个属性独立施加的，而真实 VLM 的错误往往是结构化、相关联的（一个把颜色搞错的模型往往也搞错相关属性），这种相关性噪声本文未触及。
独立分析的弱点
第一个弱点是合成域与真实域的鸿沟。字母加黑背景是一个极端简化的世界，这里精确率仅 4% 的下降就能砸出 5.8 dB 的断崖，可能部分源于属性取值离散、每字母只有 7 个属性、模型对单个错误属性格外敏感；真实视频属性连续且数量巨大，断崖位置很可能不同。改进方向：在 Moving Alphabet 之外再构造一两个半真实层级（如带纹理的卡通物体、简单 3D 场景）做标定，量化结论随真实度如何漂移。第二个弱点是损坏模型过于理想：独立、均匀、按属性施加的 $(\alpha,\beta)$ 损坏无法刻画真实字幕的相关性噪声与系统性偏差（如 VLM 倾向把暖色错认成冷色）。改进方向：引入基于真实 VLM 错误模式的结构化损坏。第三个弱点是评估指标：净位移方向在长视频退化已削弱时长结论，且只评估了 4 个属性，缺少对组合与关系（如两字母相对位置、碰撞）的指标。改进方向：设计分段运动指标和关系型属性指标。第四个弱点是规模单一：只在 800M 一种规模做实验，scaling law 视角缺失。改进方向：补一组小规模 scaling 扫描，看均衡混合优于专家是否随规模增强或减弱。
未来方向
作者明确提到两个方向：如何把这里的均衡多样原则在真实场景里可度量地落地（真实视频没有离散复杂度标签），以及把条件扩展到非文本模态（如空间布局 spatial layouts）。基于成果可延伸的方向包括：把受控框架扩展到未研究的轴——分辨率、宽高比、音频、运动模糊等；研究结构化、相关的字幕噪声而非独立的均匀噪声；用不同模型规模做 scaling-law 风格的扫描，检验精确率主导、均衡混合优于专家等结论是否随规模稳定；把 Moving Alphabet 当作数据质量诊断套件，用来给真实 T2V 流水线的字幕器打分（即为真实 VLM 的输出估计等效的 $\alpha,\beta$）；探索主动学习或课程学习，在固定预算下自动维持均衡混合；以及把漏说可修、说错难修的发现转化为字幕器训练目标，优先保证精确率。
复现评估
复现性整体偏好但有缺口。最大优势是测试床为程序化生成，数据可任意复现、规模可伸缩。架构用标准 MMDiT 加 flow matching 加因果 3D VAE 加冻结的 T5-XXL 与 CLIP，都是公开组件；训练超参（AdamW、主学习率 $5\times10^{-4}$、500 步线性 warmup、每 GPU batch 24、bf16、grad clip 1.0、10% 文本 dropout、8×A100、约两天收敛、epoch 100 检查点）在正文和附录 B 给齐。评估指标定义在附录 C 详尽给出，包括前景掩膜、ROI 定位、各属性分类口径，并提供了校准表与 VAE 重建上限，可信度高。主要缺口是：文中未提及代码或数据生成脚本是否开源，这是全量复现的最大障碍；其次是算力需求巨大——35 个字幕模型加 12 个分布模型加 CFG 扫描加 1K/5K/10K 微调矩阵意味着数百次从头训练，每次 8×A100 约两天，个人或小团队难以全量复现；不过复现单条核心定性结论（如精确率比召回率更致命、均衡混合优于专家）在小规模子集上是可行的。
论文图表
