Stream-T1：面向流式视频生成的测试时 scaling 框架 Stream-T1: Test-Time Scaling for Streaming Video Generation
首次把测试时 scaling 引入流式视频生成，三机制协同提升长视频时空一致性。
前置知识
扩散模型 (Diffusion Model)
通过学习逐步去噪过程来生成数据的生成模型。前向过程往真实数据上加高斯噪声直到变成纯噪声，反向过程学习从噪声逐步恢复出数据。在视频生成中常配合 Transformer 实现时空联合建模。
Stream-T1 基于 Wan2.1-T2V-1.3B 这种自回归视频扩散模型构建，理解 chunk-level 去噪机制是阅读方法部分的基础。
测试时 scaling (Test-Time Scaling)
在不重新训练模型的前提下，在推理阶段增加计算预算以提升输出质量的技术。常见形式包括 Best-of-N、Beam Search 等候选搜索，以及过程奖励模型引导的细粒度控制。该技术在大语言模型中已被广泛证明有效。
Stream-T1 把 TTS 从 LLM 成功迁移到流式视频生成领域，需要理解测试时 scaling 的基本假设和评估方式。
流式视频生成 (Streaming Video Generation)
将长视频切成 chunk，每个 chunk 以自回归方式顺序生成，依赖先前 chunk 的上下文条件化当前 chunk。能够突破传统全局并行去噪模型的长度上限，但每个 chunk 仍需多步去噪与 KV-cache 上下文管理。
Stream-T1 建立在 LongLive 这类流式生成框架之上，chunk-by-chunk 的稀疏搜索树是其核心结构假设，需要理解为何流式生成天然适合 TTS。
KV 缓存与注意力汇聚点 (KV-Cache & Attention Sink)
Transformer 在自回归推理中缓存历史 token 的 Key/Value 张量以避免重复计算。但随序列变长缓存会爆炸，因此引入滑动窗口与 sink 机制——把被踢出窗口的早期 token 的 KV 保留为'锚点'，保证注意力分数分布稳定。在长视频生成中 sink 设计直接决定时间一致性。
Stream-T1 的第三大创新正是动态管理 KV-cache 中被淘汰的 chunk 的命运，需要理解现有静态 sink 与 EMA-sink 的局限性。
Beam Search 与奖励模型
Beam Search 在每步保留 top-K 最优候选以扩展搜索树，配合奖励函数挑选分支。视频场景中需要 image reward (评估单帧美学) 与 video reward (评估时序一致性) 分别承担短期和长期评估职责。
Stream-Scaled Reward Pruning 正是把 beam search 的思想引入 chunk 级视频生成，并设计长短融合奖励解决单奖励失效的问题。
研究动机
现有视频测试时 scaling 方法（如 ImagerySearch、EvoSearch、Video-T1）均建立在全局并行扩散模型上，存在三个结构性瓶颈：其一，需要对整段视频同时去噪，每个候选都要多步迭代，导致候选搜索成本极高；其二，搜索空间是全局高维 latent，全局并行去噪几乎无法注入细粒度时间轴引导，任何局部时序瑕疵都只能整段拒绝，无法做动态时间修正；其三，长视频面临上下文爆炸：Self-forcing 用滑动窗口会丢弃早期帧引发主体漂移，LongLive 静态汇聚点忽略中间语义突变易出现主体变形，Reward Forcing 的 EMA-sink 在场景切换时把差异化特征平滑糊掉。
本文的目标是本文的核心目标是设计一个专为流式视频生成打造的测试时 scaling 框架，把搜索与生成的细粒度对齐到 chunk 维度，让 TTS 的成本与可控性真正落到长视频上：一方面把每个 chunk 的 4 步去噪纳入候选池，把搜索空间从高维全局压缩到 chunk 级稀疏树；另一方面把剪枝信号同时用于引导当前 chunk 的噪声初始化与被淘汰 KV-cache 的去向，让 chunk 级主动优化闭环起来。
与已有工作不同的是，本文的独特切入角度是主动式 (active) 而非被动式 (passive) 的测试时 scaling：现有方法只对完整生成的候选做打分再挑选，输出集一旦确定就难以修改生成轨迹；Stream-T1 则在三个时间点主动干预——预合成阶段用历史高质量 chunk 的噪声做球面插值初始化当前噪声，建立时序依赖；合成后用长短融合奖励做 beam search 剪枝；剪枝后再用奖励反馈指导被淘汰 KV-cache 的去向（丢弃 / EMA-sink / 追加-sink）。这套设计让 chunk 级流式生成天然形成'浅而宽'的搜索树，把 TTS 算力花刀刃上。
核心方法
Stream-T1 基于 LongLive 流式视频扩散模型（Wan2.1-T2V-1.3B）构建，整体框架围绕自回归 chunk 生成的三阶段流水线展开。直觉上，它把传统被动挑选式的测试时 scaling 改造为一种主动引导式的优化过程：先用历史最优 chunk 的噪声'暗示'当前 chunk 的初始方向，生成后用兼顾短期美学与长期连贯性的奖励把搜索树修剪到 top-K，最后再用同一套奖励信号决定被淘汰 KV-cache 该彻底丢弃、EMA 平滑还是追加到全局 sink，从而让全局记忆与局部上下文动态协调。技术上每个 chunk 走完三步即完成一次主动优化，全视频就以 chunk 为节点串成一条高质量轨迹。
Stream-T1 相对于已有方法的本质区别体现在三点：第一，把噪声初始化从独立高斯采样改成基于前一个最优 chunk 的球面插值 $x_n^T = \beta x_{n-1}^T + \sqrt{1-\beta^2}\,\epsilon$，保留边界分布仍是标准高斯的同时为相邻 chunk 建立强时序相关；第二，把 beam search 奖励拆成 image reward 与 video reward 的动态加权融合（按 chunk 序号线性增长短项权重直到阈值 $\tau$），避免单一奖励导致帧重复或主体漂移；第三，把 KV-cache 中被淘汰的 chunk 用双条件（质量门 + 转场检测）三元路由（Discard / EMA-Sink / Append-Sink），第一次把'何时保旧信息'细化成可学习的语义边界检测机制。
方法步骤详情
Stream-T1 生成第 $n$ 个 chunk 顺序执行三阶段。(1) Noise Propagation：取前一轮最优 chunk 噪声 $x_{n-1}^T$，按 $x_n^T = \beta x_{n-1}^T + \sqrt{1-\beta^2}\,\epsilon$（$\epsilon\sim\mathcal{N}(0,I)$）初始化当前 chunk 噪声，送入 LongLive 4 步去噪器得 $K\times M$ 个候选。(2) Reward Pruning：用 image/video reward 分别算 $S_n^{short}$ 和 $S_n^{long}$，按 $S_n^{final}=\min(1,n/N)S_n^{short}+(1-\min(n/N,\tau))S_n^{long}$ 融合，保留 top-K。(3) Memory Sinking：用质量门与转场检测把被踢出 chunk 路由到 Discard / EMA-Sink / Append-Sink。注意力阶段把更新后 sink 与滑窗 KV 拼接形成全局上下文。
技术新颖性
Stream-T1 的技术新颖性可以从结构、机制、奖励三个层面综合评价。结构上，它第一次系统论证 chunk-level 稀疏搜索树相比全局深度搜索树在 TTS 上的算力优势：4 步去噪 vs 全段多步去噪，使单位候选评估成本降低一个数量级。机制上，球面插值保持边界分布不变的初始化方式在数学上严谨（保 $\mathcal{N}(0,I)$），相比直接拼接或加性扰动更安全；KV-cache 三元路由机制把已有研究中的'静态 sink'与'均一 EMA-sink'合并成一套基于奖励信号的判别式策略，理论上能同时解决主体漂移与语义模糊。奖励上，short-score 随 chunk 序号线性增长的动态加权相较于固定加权更鲁棒：当 $\tau$ 设得当时可避免全程过度依赖长项导致的帧级模糊。整体而言，'噪声传播 + 奖励剪枝 + 记忆下沉'形成了一个闭环自洽的主动式 TTS 框架，区别于过去 Best-of-N / Beam Search 等被动式算法。
实验结果
5 秒 VBench 上 Stream-T1 击败所有基线：Subject Consistency 97.25（+0.26%）、Background Consistency 97.05（+0.28%）、Aesthetic Quality 65.98（+1.07%）三项第一；VideoAlign MQ 由 0.350 升至 0.629（+79.71%），验证 chunk 级 TTS 对动态质量撬动最大。30 秒 VBench-long 三项第一：Subject Consistency 98.43（+0.54%）、Background Consistency 97.18（+0.37%）、Aesthetic Quality 62.11（+0.89%）；MQ 由 -0.002 升至 0.226（由负转正）、VQ 由 -0.169 升至 -0.073、TA 由 1.073 升至 1.170。TTS 对照中同时击败 Best-of-N 与 Beam Search（后者 MQ 仅 0.165）。消融显示去掉 Reward Pruning 让 MQ 由 0.226 暴跌至 0.014。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 5s 视频生成 - Subject Consistency | VBench Subject Consistency (%) | 97.25 | 97.00 (LongLive) | +0.26% |
| 5s 视频生成 - Aesthetic Quality | VBench Aesthetic Quality (%) | 65.98 | 65.28 (LongLive) | +1.07% |
| 5s 视频生成 - MQ | VideoAlign MQ | 0.629 | 0.350 (LongLive) | +79.71% |
| 5s 视频生成 - TA | VideoAlign TA | 1.305 | 1.193 (LongLive) | +9.39% |
| 30s 视频生成 - Subject Consistency | VBench-long Subject Consistency (%) | 98.43 | 97.90 (LongLive) | +0.54% |
| 30s 视频生成 - Background Consistency | VBench-long Background Consistency (%) | 97.18 | 96.82 (LongLive) | +0.37% |
| 30s 视频生成 - Aesthetic Quality | VBench-long Aesthetic Quality (%) | 62.11 | 61.56 (LongLive) | +0.89% |
| 30s 视频生成 - VQ | VideoAlign VQ | -0.073 | -0.169 (LongLive) | +56.8% |
| 30s 视频生成 - MQ | VideoAlign MQ | 0.226 | -0.002 (LongLive) | 由负转正，绝对提升 0.228 |
| 30s TTS 对照 - MQ | VideoAlign MQ | 0.226 | 0.165 (LongLive + BeamSearch) | +36.97% |
| 30s 消融 - TA (去掉 Reward Pruning) | VideoAlign TA | 1.170 | 1.035 (w/o Stream-Scaled Reward Pruning) | Reward Pruning 贡献关键 TA 提升 (+13%) |
局限与改进
作者在文中未明确列出 limitation，但根据实验设计与结果可观察出几个边界。其一，所有基线对比与 Stream-T1 均建立在 LongLive（Wan2.1-T2V-1.3B）单一底模之上，未在更大规模底模或其他流式架构上验证，可移植性存疑。其二，奖励模型用了 HPSv3、ImageReward、MHP、VisionReward、VideoAlign、VideoLLaMA3 多版本，但未针对每个组合做对齐分析，难以判断奖励偏好是否被复制到剪枝中。其三，5s/30s 实验只评估 946/128 条 prompt，未覆盖极端 prompt 长度、罕见主题或摄像机剧烈运动场景。其四，TTS 本质代价（$K\times M$ 候选生成）随 chunk 数线性放大，论文未给出 GPU hour、latency、显存等明确扩展性数据。其五，球面插值的 $\beta$、融合阈值 $\tau$、记忆路由的 $\tau_{short}$、$\tau_{long}$、$\alpha$ 都未做超参敏感性分析。其六，每 chunk 仅 4 步去噪，对极端复杂运动的可生成性理论上仍不如全段多步去噪。
独立分析的弱点
独立分析我观察到几个可改进之处。第一，球面插值初始化仅保证前两个 chunk 的局部相关性，未显式建模噪声随 chunk 推进的全局漂移，建议引入基于历史 chunk 的多步协方差估计。第二，奖励融合的线性加权在 $N=\tau$ 处被截断，超参敏感，可改为可学习门控网络或基于奖励方差的自适应权重。第三，三元记忆路由的两个条件门是硬阈值，对噪声波动敏感，建议改为连续概率门（sigmoid 或 softmin），并用强化学习端到端优化。第四，方法只在 1.3B 小模型上验证，14B 或商业级 T2V 模型上的可迁移性未知。第五，奖励模型的偏好会自动放大到剪枝结果，可引入 reward ensemble 去偏或多目标 Pareto 筛选。第六，论文缺乏 negative case 分析，应补充复杂动作与多主体交互场景下的失败诊断。
未来方向
作者明示的下一步是把 TTS 与流式生成扩展到音频/语音/3D 等更长时长模态。我们基于成果可进一步延伸：第一，把'噪声传播+奖励剪枝+记忆路由'三组件抽象成插件化框架，横向验证 Self-forcing、Reward Forcing、LongRoPE。第二，引入可学习 reward 与 chunk-level policy，让 TTS 不再依赖手工 $\tau$ 阈值。第三，结合 RLHF/DPO 在 Stream-T1 上做端到端偏好对齐，把 video reward 与 human preference 显式耦合。第四，探索 chunk-level speculative decoding，把多步去噪压缩到一步并兼容 TTS。第五，研究 latency-quality Pareto 曲线指导算力分配。第六，把记忆路由扩展到分层 memory（视觉/语义双层 sink），推动超长视频（1 小时乃至更长）生成走向现实。
复现评估
复现性方面论文提供信息中等。代码与模型见项目页 https://stream-t1.github.io/；底模 LongLive 基于 Wan2.1-T2V-1.3B，权重公开。所有视频基于 random seed 42、16 FPS、832×480 生成。奖励模型包括 HPSv3/ImageReward/MHP（image）与 VisionReward/VideoAlign/VideoLLaMA3（video），公开但集成工作量较大；评估数据集 VBench（946 prompts）与 MovieGen 前 128 prompts 为公开标准。超参 $\beta$、$\tau$、$\tau_{short}$、$\tau_{long}$、$\alpha$、beam size $K$、候选数 $M$ 在 Implementation Details 中给出但未列最优搜索脚本。整体难度为'中等偏上'：算法清晰但需自行对齐多奖励模型与 KV-cache 修改；单卡 A100/A800 可应付 5s 视频，但 30s 视频的 $K\times M$ 候选搜索需要多卡并行。
论文图表