PhysStream：基于结构化场景记忆与细粒度运动控制的流式物理视频生成 PhysStream: Streaming Physics-Grounded Video Generation with Structured Scene Memory and Fine-Grained Motion Control
用稀疏速度增量与在线场景记忆实现物理合理、可中途交互控制的多物体自回归视频生成
前置知识
自回归视频扩散模型
将视频生成拆成逐帧（或逐隐变量块）的因果链式分解 $p_\theta(x_{1:N}|x_0,y)=\prod_i p_\theta(x_i|x_0,x_{<i},y)$，每步用扩散或流匹配去噪一帧，并把之前已生成的帧作为干净上下文。相比一次性双向去噪整段视频，它天然支持流式输出与生成中途干预，但存在训练-推理分布差距和误差累积问题。
PhysStream 的整体框架就是一个因果自回归 I2V 模型，所有条件设计与两阶段训练都是为了解决"如何在自回归设定下注入控制并保持物理一致"这一核心问题。
Teacher-Forcing 与 Causal-Forcing
训练自回归扩散模型的范式之一：第 $i$ 帧去噪时只关注前 $i-1$ 帧的干净真实隐变量作为上下文，而非模型自己的采样结果，从而避免在训练循环里跑完整 rollout。Causal-Forcing 进一步先把双向模型改成因果注意力架构再训练，消除结构差距。与之相对的还有 Diffusion-Forcing（独立噪声）与 Self-Forcing（自 rollout 蒸馏）。
Stage 2 采用 Teacher-Forcing 训练，论文 Table 14 显示它在本任务 8 项指标中 5 项最优；理解这一选择及与其他两种范式的对比是读懂方法与消融部分的前提。
通道级条件拼接与时序偏移
把条件图（速度、位置、跟踪图）经 VAE 编码成与噪声隐变量同形状的隐条件，沿通道维拼接送入 DiT，并沿时间轴向前平移一帧（首槽置零）：$\tilde{z}=\mathrm{Concat}(z_{noisy},\mathrm{Shift}(z_{\Delta v}),\mathrm{Shift}(z_{pos}),\mathrm{Shift}(z_{track}))$。偏移保证对齐第 $\ell$ 帧的条件只来自前一帧内容，在因果注意力下不会把本帧信息泄漏进自己的条件。新分支零初始化，使微调起点等价于预训练模型。
这是论文中全部三种条件的注入机制，也是"首帧掩码""位置图窗口大小"等设计讨论的技术基础，不理解时序偏移就看不懂防泄漏论证。
位置图与单目深度反投影
用 Depth-Anything-3 对最近 $L=4$ 像素帧估计度量深度 $\hat{D}_t$ 与内参 $K_t$，将每像素 $p=(u,v)$ 反投影为相机坐标系 3D 点 $P^t(p)=\hat{D}^t(p)K_t^{-1}[u,v,1]^\top$，再以第一帧的逐轴极值 $P_{min},P_{max}$ 与各向同性尺度因子 $\rho$ 归一化到 $[0,1]^3$，得到三通道"位置图"，把场景几何以规范形式喂给生成器。
位置图是结构化场景记忆的一半；消融显示它对深度位移最大的前 10% 物体带来 15.5% 的 Traj-ADE 改善，是几何一致性的关键条件。
SAM2 目标跟踪与跟踪图
SAM2 是带记忆库的视频分割模型，可从首帧实例掩码出发联合传播多个物体掩码并处理遮挡与重叠，单步代价恒定。PhysStream 把每个物体涂上从 $K=10$ 色调色板中不重复取色的调色板颜色、背景涂黑，构成三通道"跟踪图"，让生成器知道每个物体现在在哪、是谁。
跟踪图是场景记忆的另一半：zig-zag 消融表明只有带跟踪图的模型能完成多次急转弯的长程控制，长时程基准上去掉它会使 100 帧后的事件响应率从 90.3% 掉到 85.0%。
FVD/FVMD 与轨迹评测指标
FVD 用 I3D 网络特征计算生成与真实视频分布间的 Fréchet 距离，衡量整体相似度；FVMD 用点跟踪的速度/加速度直方图特征计算运动分布距离，专注物理运动模式；Traj-ADE 用 CoTracker3 在生成视频中追踪每个动态物体上的 32 个查询点并与真值轨迹计算像素误差；Failure Rate 统计跟踪丢失或偏离超过 30px 的点比例。
论文核心结论全部建立在这些指标上：FVMD 降低 33%、轨迹误差降低 12% 是摘要级卖点；同时需要理解论文自己指出的一致性指标可被"近静止退化生成"刷高的陷阱。
刚体物理仿真与合成数据管线
用 PyBullet 求解多刚体动力学（碰撞、摩擦、翻倒），Blender Cycles 渲染图像。合成数据的优势是能拿到完美的实例掩码、深度与速度真值用于训练和评测；代价是存在 sim-to-real 域差。PhysStream 基于 SAGE 的 1 万个室内场景渲染约 10 万条 49 帧、832×480 视频，并用"多帧踢击系统"在 $t\in\{0,4,\ldots,44\}$ 共 12 个节点随机注入速度扰动。
训练与评测数据全部来自这条管线，kick 采样规则（kick-A 水平 0.5-1.0 m/s、kick-B 加向上分量 1.0-1.5 m/s）决定了模型学到的速度语义与 $V_{max}$ 边界，直接影响控制信号的可用范围。
研究动机
现有可控视频生成方法存在两个结构性缺陷。其一是非自回归的交互瓶颈：DragAnything、Tora、FlashMotion、Force Prompting 等方法要求用户在生成开始前一次性给全所有时间步的控制信号，整段视频一次去噪完成，用户无法看到中间结果再决定下一步操作，彻底排除了"边看边改"的交互式创作流程。其二是信号语义问题：主流方法注入的是像素空间信号——深度图、光流、密集点轨迹、拖拽路径、关键点序列——这些信号直接规定了物体每一帧应该在哪里，模型只是在"照着轨迹描画"，从未被要求理解重力、摩擦、碰撞与动量守恒等底层动力学，遇到控制信号未覆盖的物体交互时只能产生幻觉。虽然 Force Prompting、PhysCtrl 已改用力等物理量，但都不支持流式交互与场景级多物体控制。唯一在四个属性（稀疏、物理、交互、场景级）上接近完备的并行工作 RealWonder 依赖外部 3D 重建加物理仿真器做中介：重建出的场景状态可能与实际生成画面发生偏离（例如物体位置在重建场景中漂移），且未被建模的背景物体无法参与物理交互。
本文的目标是本文目标是构建 PhysStream——一个物理合理的自回归图像到视频生成模型，同时满足四个此前无法兼得的属性：(1) 稀疏控制：用户只需在选定物体上标注一个速度向量，而不是逐帧绘制密集轨迹或深度图；(2) 物理基础：控制信号编码"速度增量"这一物理量，物体被踢之后如何滑动、碰撞、翻倒完全交给模型从数据中学到的动力学决定，而不是被轨迹牵着走；(3) 交互式：逐帧生成，用户可以在任意中间帧观察已生成内容并即时注入新控制（论文强调交互指可用性而非实时吞吐）；(4) 场景级：在多物体桌面对象场景中针对单个物体施加控制并引发符合物理的多物体连锁反应。此外还要验证一个关键假设：把模型自身生成历史在线提炼为结构化场景记忆（位置图+跟踪图）并反馈给生成器，能否提升几何一致性与物理合理性，从而不依赖任何外部仿真器。
与已有工作不同的是，本文的独特切入是把"物理落地"完全交给模型而非外部系统。与 WonderPlay、RealWonder、PSIVG 在推理时调用物理仿真器不同，也与 PhysCtrl 训练轨迹预测器不同，PhysStream 不依赖任何推理时仿真器或轨迹，而是显式条件化于从模型自己生成的历史帧上在线估计出的场景记忆——形成"模型观察自己的输出再决定下一步"的反馈回路。第二个独特设计是两阶段训练配方：作者识别出速度控制、场景记忆、双向转因果是三个分布偏移，且场景记忆在双向注意力下必然泄漏未来场景状态，因此必须先让双向骨干学会速度控制，再在其上联合学习场景记忆与因果注意力，每次转型只保持单一小跳变而非 multiplying 训练阶段。第三个是被消融实验验证的"首帧掩码锚定"约定：所有速度事件画在物体第一帧掩码位置而非当前位置，切断训练时的轨迹泄漏路径，使两阶段的条件分布保持一致，这在小节 C 的对照实验中得到量化证实。
核心方法
直觉上，PhysStream 想让视频模型表现成一个"能被推一把的物理世界"：用户在某个物体上施加一个瞬时速度增量 $\Delta v$（相机坐标系三向量，每轴不超过上限 $V_{max}$），之后物体如何滑动、翻倒、撞飞别的物体完全由模型学到的动力学决定。为了让逐帧生成的模型"记得"场景的三维布局和各物体身份，系统在每生成一帧后在线运行两个估计器——Depth-Anything-3 估深度并反投影成归一化位置图，SAM2 从首帧掩码传播出调色板着色的跟踪图——把二者作为下一帧条件喂回去。技术路线上，模型以 Wan2.2-TI2V-5B 为骨干，所有条件经 VAE 编码后与噪声隐变量做带一帧时序前移的通道级拼接；训练分两阶段：Stage 1 对双向模型全量微调只学速度增量条件；Stage 2 按 Causal-Forcing 转成块级因果注意力的自回归模型，以 Teacher-Forcing 方式训练并引入场景记忆两个新分支。推理时每提交一个隐变量帧（对应 Wan VAE 时序上采样的 4 个像素帧）就解码、跑估计器、再编码回隐空间，全部组件增量运行，每步开销与视频总长无关。
核心创新有三点，本质区别于已有方法。第一，结构化场景记忆作为自回归条件的反馈回路：现有自回归可控方法（DragStream、MotionStream）把每个生成帧独立对待，不向生成器回传任何历史衍生的几何或物体信号；PhysStream 首次把模型自身预测提炼出的位置图与跟踪图在线回流为条件，使模型能利用生成历史改善物理一致性——跟踪图让已远离首帧位置的对象仍能被重新定向，位置图帮助模型应对大深度位移的几何困难运动。第二，控制信号是编码物理量的稀疏速度增量而非规定位置的轨迹，模型必须自己学会"被踢之后怎么动"；踢击语义是加性的（$v_{new}=v_{current}+\Delta v$），二次踢击与已有动量叠加，且天然支持中途交互——用户看到物体当前状态后再决定下一步踢向哪里。第三，训练约定层面的"首帧掩码"设计：速度事件始终画在物体第一帧的掩码上，即使物体已移开；LoRA 消融显示逐帧掩码在 Stage 1 双向训练下更优（ADE 30.8 对 46.3），但转入 Stage 2 因果训练后急剧反转为更差（47.8 对 43.1），证实逐帧掩码会把物体轨迹泄漏进条件通道、造成两阶段条件分布突变。
方法步骤详情
流程分四步。第一步，任务形式化：给定首帧 $x_0$ 与文本 $y$，因果分解 $p_\theta(x_{1:N}|x_0,y)=\prod_i p_\theta(x_i|x_0,x_{<i},y)$，条件扩展为速度增量 $c_{\Delta v}$、位置图 $c_{pos}$、跟踪图 $c_{track}$ 三组严格历史信号（公式 2）。第二步，构造控制输入：用户给出事件集 $\mathcal{U}=\{(t_j,o_j,\Delta v_j)\}_{j=1}^{J}$，每个 $\Delta v_j\in[-V_{max},V_{max}]^3$ 线性映射到 $[0,1]^3$（$1/2$ 编码零速），涂在物体首帧掩码 $M(o_j)$ 上，其余像素填中性值 $1/2$（公式 4-5）；推理时用户点选物体、由现成分割模型提取掩码。第三步，在线估计场景记忆：$\Phi_{pos}$ 用 Depth-Anything-3 处理最近 $L=4$ 像素帧，反投影为相机系 3D 坐标并以首帧锚点 $\rho$ 各向同性归一化（公式 6-8），已提交帧的条件不变以保留 KV 缓存；$\Phi_{track}$ 用 SAM2 从首帧实例掩码联合传播并以 $K=10$ 色调色板着色。第四步，两阶段训练与注入：条件经 Wan VAE 编码后做一帧前移通道拼接（公式 11），新分支零初始化；Stage 1 全量微调双向模型学 $c_{\Delta v}$（新 patch 层 lr $10^{-4}$、注意力块 $5\times10^{-5}$、预训练 patch/输出头 $2\times10^{-6}$）；Stage 2 冻结已有分支，转块级因果注意力，Teacher-Forcing 训练$c_{pos},c_{track}$ 分支（lr $10^{-4}$，其余 $10^{-5}$），两阶段各在 8×H100 训练约 30 小时。推理循环：去噪一个隐变量帧→VAE 解码 4 像素帧→更新记忆→编码回隐空间→下一帧。
技术新颖性
技术新颖性体现在四个层面。架构层面，首次把"从模型自身输出在线估计的显式结构化记忆"引入自回归视频扩散：区别于 GEN3C 等世界模型的外部 3D 缓冲、WonderPlay 类的外部仿真器中介，也区别于 Diffusion Forcing 系列只拿隐变量本身当历史；位置图表示借鉴 WCVD 但改为流式最小窗口估计（$L=4$ 与全序列 $L=49$ 视觉不可区分，仅 0.90% 像素被首帧锚点裁剪）。训练配方层面，作者明确诊断出三种分布偏移（速度控制、场景记忆、因果化）不能一锅学——场景记忆在双向注意力下会泄漏未来场景状态，必须与因果化绑在同一阶段引入；这一"两阶段最小跳变"论证有 Table 11 与附录 C 的泄漏实验支撑，对后续可控 AR 模型的训练设计有普遍参考价值。控制语义层面，加性速度增量比 Force Prompting 的一次性力脉冲表达力更强：与已有动量叠加可合成翻滚与多物体碰撞等复杂轨迹。实证层面，系统比较 Teacher/Diffusion/Self-Forcing 三种 AR 范式在同一算力预算下的表现（Teacher-Forcing 5/8 指标最优），并给出 Self-Forcing 光度一致性骤降（75.4 对 81.7）的分析，这一负结果对社区很有价值。
实验结果
合成基准上 PhysStream 在物理敏感指标全面领先。多物体交互测试集(ii)：FVMD 787.0，比最强基线 RealWonder 的 1183 降低约 33%；Traj-ADE 40.24，比最强的 FlashMotion 45.67 降低约 12%；FVD 413.7 优于 Tora 的 428.1；失败率 43.15 全场最低；场景一致性 96.57 接近满分。单物体首帧控制测试集(i)优势更大：FVMD 846.0 对 Force Prompting 的 2142，Traj-ADE 49.37 对 105.3。野外评测（20 张真实图像，GPT-4o 打分加 25 人用户研究）：SA 5.00 满分、PC 4.15 均为最高，人类偏好胜率达物理合理性 91.8%、运动准确性 88.4%、视觉质量 91.2%，远超 20% 均匀基线。真实数据：OCID 上 SA 5.00/PC 4.06；Physics-IQ 实体力学子集官方分 47.86，运动方向与碰撞时机与真实视频一致。非刚体迁移：各用 10k 片段微调约 5k 迭代，弹性球 SA/PC 4.20/4.20、布料 5.00/5.00。长时程（301 帧、6 倍训练窗口、231 个事件）：一致性 95.53 缓降至 87.18，但响应率 100%→87.7%、方向准确率 95.2%→73.7%，漂移只损外观不损可控性。消融：位置图对深度位移前 10% 物体带来 15.5% 的 Traj-ADE 改善（全量仅 2.1%）；去掉跟踪图后长时程后段响应率 90.3%→85.0%；所有因果 AR 配置显著优于已收敛的双向 Stage 1（FVMD 1015→879.8）。运行时：未加速 66.3s/49 帧（0.74 FPS，56.8GB），50 步去噪占 68.1%、DA3 占 19.2%；DMD 蒸馏到 4 步加小深度模型后 19.3s（2.54 FPS，提速 3.4 倍），指标平均损失小于 1%。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 合成多物体交互控制（测试集 ii，64 视频） | FVMD（运动分布距离，↓） | 787.0 | RealWonder 1183.0 | 降低 33.5% |
| 合成多物体交互控制（测试集 ii） | Traj-ADE（像素轨迹误差，↓） | 40.24 | FlashMotion 45.67 | 降低 11.9% |
| 合成多物体交互控制（测试集 ii） | FVD（↓） | 413.7 | Tora 428.1 | 降低 3.4% |
| 合成单物体首帧控制（测试集 i，64 视频） | Traj-ADE（↓） | 49.37 | Force Prompting 105.3 | 降低 53.1% |
| 野外图像人类偏好评估（20 案例 × 25 评估者） | 物理合理性胜率 | 91.8% | 均匀随机 20% | +71.8 个百分点 |
| 野外图像 MLLM 评测（GPT-4o） | Physical Commonsense（1-5 Likert） | 4.15 | FlashMotion 3.65 | +0.50 |
| Physics-IQ 真实视频基准（实体力学子集） | 官方得分 | 47.86 | 无直接可比（首次报告该设定） | 方向与碰撞时机与真实视频一致 |
| 长时程控制（301 帧，201-300 帧段） | 控制方向准确率 | 73.7% | 自身 1-100 帧段为 95.2% | 衰减 21.5pp 但保持较高可用性 |
局限与改进
作者承认的局限：一是极复杂运动仍然困难，特别是翻滚（tumbling）类动力学；二是已验证范围限于刚体动力学，布料、弹性体等更丰富材料需要为每种材料构建 10k 片段数据集额外微调，而非零样本泛化；三是实时生成留作未来工作，当前 50 步去噪占 68.1% 延迟。我自己的观察：其一，失败率绝对值仍高达 43.15%，即在严格的 30px 阈值下近半数被跟踪点丢失或偏离，细粒度物理保真度距"可仿真替代品"尚远；其二，一致性指标可被退化生成（近静止或刚性像素漂移）刷高，论文自己用 Fig. 4 承认这一点（DragStream 近静止却拿最高一致性分），Table 2 的一致性列需谨慎解读；其三，整个方法建立在静态相机假设上——位置图归一化锚点取自首帧、速度在相机系定义，相机运动场景完全未验证；其四，长时程控制准确率从 95.2% 衰减到 73.7%，且依赖 SAM2 跟踪质量，SAM2 跟丢的事件被排除出统计，真实劣化可能被低估；其五，速度语义受 $V_{max}$ 截断（kick 速度 0.5-1.5 m/s 量级），高速碰撞与弹道运动不在训练分布内。
独立分析的弱点
弱点一：在线估计器误差闭环反馈。位置图依赖 Depth-Anything-3 的深度质量，跟踪图依赖 SAM2 的传播稳定性，两者在长时程、遮挡、外观漂移下的误差会作为条件污染后续生成，形成"误差滚雪球"，Table 13 中响应率衰减可能部分源于此；改进方向是给记忆通道加不确定性加权，或在估计质量下降时回退到首帧锚定。弱点二：静态相机加桌面刚体的设定过窄，相机系速度定义与首帧归一化锚点都和该假设强耦合；改进方向是引入相机位姿条件（如 CameraCtrl II 的世界系表示），在世界坐标系中定义物理量。弱点三：速度增量只覆盖中低速交互（kick-A 0.5-1.0 m/s、kick-B 1.0-1.5 m/s），高速冲击、破碎、弹道运动未涵盖；改进方向是扩展 $V_{max}$ 并引入多尺度速度分桶与课程学习。弱点四：扩展新材料需每材质 10k 片段微调（球与布各 5k 迭代），可扩展性成本高；改进方向是材质条件化（单一模型加材质 token）或利用真实视频物理伪标签做弱监督。弱点五：Teacher-Forcing 有暴露偏差，长时程外观漂移与此相关，而 Self-Forcing 式 rollout 训练又因在线估计器无法进入 rollout 而不可用；改进方向是把 DA3/SAM2 搬进训练图或用缓存近似估计器实现低成本 rollout。弱点六：失败率 43% 表明在生成视频上维持精确点跟踪仍困难，可引入物理感知损失或与可微仿真器做一致性蒸馏。
未来方向
作者明确提出的方向：实时化——DMD 蒸馏已实现 4 步生成（延迟减半且指标损失小于 1%）、换 4 倍小的度量深度模型并利用静态相机只在首帧估内参、最终转向 VAE-free 或高效 VAE 架构消除编解码往返（当前 VAE 占 8.3% 延迟）；扩展到更丰富材质——"只需扩数据集"的结论暗示了可行路径。基于成果可延伸的方向：把结构化场景记忆升级为显式 3D 表示（点云或 3D 高斯），使同一记忆支持新视角渲染与重光照，打通与可探索世界模型的桥梁；在世界坐标系定义物理量并加入相机控制，验证动态相机下的物理一致性；与机器人操作结合，用 PhysStream 生成带物理一致性的预演数据用于策略训练；量化模型对控制信号的物理不确定性，主动提示用户哪些踢击无法可靠执行；研究场景记忆与蒸馏训练的兼容方案（如何在 rollout 中高效运行在线估计器）；把 231 事件的长时程基准扩展为社区标准，并引入翻滚等复杂动力学的专门评测；探索把未被建模的背景物体纳入交互（这是论文批评 RealWonder 的点，PhysStream 自身同样依赖首帧分割出的物体集合 $\mathcal{O}$）。
复现评估
复现条件总体较好但工程量大。依赖组件全部公开：Wan2.2-TI2V-5B 权重、Depth-Anything-3、SAM2、PyBullet、Blender、SAGE 场景库（基于 3D-Front）。数据完全合成、无需真实采集，附录 B 披露了完整管线参数：物体过滤（最小包围盒边 0.15m、每表面至多 10 个）、踢击系统（12 个节点、kick-A/B 速度范围与采样概率、每物体至多 3 次且最小间隔 8 帧、80% 可见性遮挡检查）、相机放置（俯角 30°-60°、墙边距 1.0m）。算力为两阶段各 8×H100 约 30 小时（合计约 480 GPU 时），5B 模型全量微调属中等偏高预算。评测细节充分：CoTracker3、RAFT-Large、I3D、PIPs++ 均公开，GPT-4o 评测的完整系统提示词、用户研究引导文本、长时程指标公式（响应阈值 0.3px/帧、SSIM 判据、方向余弦公式 17）全部给出。论文未明确承诺开源代码与数据，仅提供项目网站；考虑到在线估计循环等工程胶水（KV 缓存维护、增量 VAE 编解码），从零复现预计需数周工程投入，难度中高。
论文图表
三个端到端示例：一个陶瓷盘以 zig-zag 路径穿过桌面并精确撞倒边缘的花瓶；折纸青蛙连续跳上石桌上的三个木桩；市场摊位上的杂物被一次或几次扫落。每行展示用户计划、初始交互与中间帧交互的可视化，说明控制可在生成过程中注入。
作为 teaser 概括了论文全部核心能力——稀疏速度控制、生成中途干预、多物体物理连锁反应，其中 zig-zag 案例还在后续消融（Fig. 9）中作为最严苛的测试用例反复出现。
对比展示一致性指标的退化漏洞：FlashMotion 分数与本文相当但产生明显伪影和幻觉物体；DragStream 生成几乎静止的场景却拿到最高的一致性分数。
揭示一致性指标可被"近静止退化生成"刷高的根本缺陷，提醒读者正确解读 Table 2 中的一致性列，也体现了作者评测上的诚实与严谨。