VideoCoCo：以代码作为思维链、借助智能体双引擎系统实现物理一致的视频生成 VideoCoCo: Code-as-CoT for Physically-Consistent Video Generation via an Agentic Dual-Engine System

完整管线分四步。(1) 代码合成：编码智能体把提示 $p$ 转成自包含 Blender 程序 $c=A_{code}(p)$，显式声明场景、物体、物理属性与时序演化，获得显式、可执行、可检查三性。(2) 沙箱渲染：在隔离环境 $B$ 中执行 $d=B(c)$，得到低保真『白泥』草稿；沙箱强制确定性，渲染错误作为诊断信号驱动代码修订而非静默失败。(3) 指令构造：因 $p$ 抽象、$d$ 稠密，指令智能体 $e=A_{edit}(p,d)$ 综合两者，专门描写主体、材质、光照、电影感风格，被显式禁止重新定义 $d$ 已含的运动，于是 $d$ 决定『发生什么』、$e$ 决定『长什么样』。(4) 草稿条件编辑：把 $d$ 与 $e$ 喂给编辑器 $\hat{v}=G_\theta(d,e)$，$d$ 锚定时空结构、$e$ 指定外观。为训练 $G_\theta$，对每个提示让两引擎产出 $(d_i,e_i)$，再用高保真教师 $G_T$（取为 Seedance 2.0，能保真出帧又忠实保留运动）生成目标 $y_i=G_T(d_i,e_i)$，得到 $D_{\text{VideoCoCo-3K}}=\{(d_i,e_i,y_i)\}_{i=1}^{3000}$ 共 3000 个三元组，并排除评测基准及近似重复。训练用条件去噪 $\mathcal{L}(\theta)=\mathbb{E}_{(d,e,y),t,\epsilon}[\|\epsilon-\epsilon_\theta(z_t,t,d,e)\|_2^2]$，从 OmniWeaving 基座初始化，对比全量与 LoRA 微调。推理仅需 $p$，全程自动、可检查、可复现。

技术新颖性体现在三处互锁的设计。第一，首次把可执行 Code-as-CoT 从单图预览推广到完整时间过程：用代码智能体写出 Blender 程序并在沙箱运行，得到时间稠密、逐帧对应物理状态的草稿，突破了既有视频 CoT 中间表示稀疏或不可执行的限制。第二，提出『双引擎』分工：仿真引擎外化过程、视频引擎负责写实，二者职责不相交（$d$ 管时空结构、$e$ 管外观），把生成器从『想象过程』降级为『重绘既定过程』，问题被显著简化。第三，提出基于教师的代理式数据构造管线 VideoCoCo-3K：因公开视频编辑数据只含自然视频对、几乎没有『白泥草稿—写实视频』配对，作者用强教师 Seedance 2.0 自动生成三元组，并保留原始提示与 Blender 程序作为元数据以便检查、扩展、再生成。消融还揭示一个反直觉现象：LoRA 以远少于全量微调的参数反而更好（0.558 vs 0.535），说明该适配是窄技能迁移，低秩子空间能保留基座视觉先验并抑制过拟合。

独立分析有四处弱点。第一，对编码智能体的强依赖：草稿质量完全取决于程序是否物理正确且能编译，而论文未报告代码合成成功率与渲染失败重试统计。改进方向是引入仿真自反馈（如物理守恒量校验、渲染错误驱动的自动调试）或对程序做形式化校验，提升鲁棒性。第二，仿真器覆盖面有限：Blender 对湍流、流体、复杂接触等难处理，影响『过程级正确性』这一卖点的适用范围。改进方向是可插拔接入 Taichi 等专用引擎，或为不同物理类别路由到不同仿真器。第三，教师蒸馏的单点偏差：VideoCoCo-3K 的目标全由 Seedance 2.0 生成，且仅 3000 条，学生易继承教师偏差并在分布外退化。改进方向是用多教师或真实视频对齐、扩大并多样化三元组，并对分布外提示做显式评估。第四，延迟与可部署性：四阶段串行管线带来较高延迟，且需沙箱环境。改进方向是知识蒸馏把可执行先验内化进端到端模型（作者也提到），或并行化/缓存草稿。此外，论文未在更多样化基准（如长时序、多物体交互、复杂因果关系）上验证，泛化边界仍需补强。

作者明确指出两条未来方向：(1) 集成 Taichi 等专用物理引擎，以突破 Blender 在湍流等复杂现象上的表达瓶颈；(2) 用知识蒸馏把推理时的可执行先验内化进端到端视频模型，最终消除推理时仿真、降低延迟。基于本成果还可延伸多个方向：把 Code-as-CoT 推广到更长时序、多物体交互与因果推理场景；研究草稿作为可解释控制接口的用途（如交互式编辑过程、对物理过程做反事实修改）；引入多教师或真实视频对齐以缓解 VideoCoCo-3K 的教师偏差并扩展数据规模；探索『仿真器路由』让不同物理类别调用最合适的引擎；以及把可执行中间表示迁移到机器人操作、具身世界模型等同样需要过程级物理一致性的领域。

复现前景中等偏上但需较多工程投入。有利条件：作者从 OmniWeaving 公开基座初始化 $G_\theta$，训练目标 $\mathcal{L}(\theta)=\mathbb{E}[\|\epsilon-\epsilon_\theta(z_t,t,d,e)\|_2^2]$ 为标准条件去噪，并给出项目页 https://github.com/micky-li-hd/VideoCoCo。VideoCoCo-3K 保留原始提示与 Blender 程序作为元数据、支持检查与再生成，三元组由教师 Seedance 2.0 自动产出，理论上可重建；评测协议清晰：PhyGenBench 用 GPT-4o 作 MLLM 评判，VBench-2.0 用官方逐维度合理性百分比。主要障碍有三：其一，需搭建可执行 Blender 沙箱并依赖代码智能体的程序合成质量，论文未给合成成功率/重试统计；其二，依赖商业级教师 Seedance 2.0 生成 3000 条目标，算力与 API 成本不低；其三，论文未公布训练超参（学习率、LoRA 秩、步数、GPU 配置）与三元组原始数据，端到端多组件管线完整复现仍需相当工程量。