Code2Video-Compass：覆盖文本/图像/视频三种输入的通用代码生成视频评测基准 Code2Video-Compass: A Comprehensive Benchmark for General-Purpose Code-Based Video Generation across T2V, I2V, and V2V

流程分四步。第一步，独立任务集：T2V 从 VidProM 和 Shot2Story 采样 54,443 条文本，经嵌入筛选与人工复核，收窄到 720 个候选、最终 145 个文本种子；I2V 从 LICA、SciDraw-6K、SynthChartNet、PD12M 每子类筛 15 选 5，得 120 张参考图；V2V 从 YouTube 同法得 120 段视频并各裁出 2–10 秒关键片段。第二步，配对任务集：从 YouTube 收 197 条记录、Bilibili/REDnote/X 收 2,473 个候选 URL，Gemini 3.8 Flash 辅助筛查得 979 个视频；经 URL 加 SHA-256 去重、SSCD 嵌入加 FAISS 查近重复剩 915 个；按质量评分并人工复核后保留 573 个完整视频，为每个视频选关键帧、裁 2–10 秒参考片段，派生三种任务共 1,719 个。第三步，为每个任务撰写自包含指令（视觉元素、空间关系、精确文字数据、运动与事件序列），标注主体、事件、运动类型与三维度复杂度，并构建最多 16 问的 QA 清单。第四步，评估：固定 1,054 任务子集（360/347/347，抽样经统计检验验证代表性），各模型单次调用生成代码、无执行反馈修复，渲染后按 17 项指标打分。

技术新颖性集中体现在度量设计与任务结构的一一对应上。文视频对齐分两层：L-TVA 用 ViCLIP-L 对八帧滑窗与文本块计算窗口级对齐再聚合，捕捉事件级对应；G-TVA 用 Qwen3-VL-Embedding-8B 计算全指令与全视频嵌入的余弦相似度，捕捉整体语义。参考保真按模态分别设计：I2V 考虑到关键帧可出现在任意阶段，用 DINOv3 特征在全视频中检索最近帧计算感知保真 PF，并在同一帧上用 SSIM 计算结构保真 SF；V2V 的 SA 用子序列 DTW 对齐嵌入路径取平均余弦相似度，AF 用 DreamSim 距离的约束 DTW，MF 用 CoTracker3 点轨迹在时空归一化后比较位移方向与幅度并双向最优匹配——这是首个能在时间伸缩与空间变换下稳健衡量“运动模式是否被复现”的指标。运动平滑度用 AMT 插值中间帧、跳切处不计误差；技术质量取 DOVER++ 技术分支。主观侧的 IF 用逐任务 QA 清单（最多 16 问、六维度）把模糊的“遵循指令”变成可计算的通过率。这些设计都不是搬运视频生成基准的现成指标，而是围绕代码生成范式特有的失败模式定制的。

独立分析的弱点与改进方向：(1) 无反馈单次生成低估实际可用性——真实工作流会执行代码、读报错、迭代修复，而 Claude Opus 5.5 的失败恰恰 75.0% 是最易被反馈循环修复的运行时异常，建议增加带执行反馈的 agentic 设置作为对照榜。(2) 评委同源风险：Gemini 3.8 Flash 既当评委又参与数据筛查，IF 清单由 GPT-6.1 Sol 辅助生成，建议引入多评委集成或扩大人类重评样本。(3) 参考定位的鲁棒性：I2V/V2V 先检索匹配帧或区间再算保真，若模型对参考做合理的风格化重绘，DINOv3/SSIM 类指标会误罚，可补充语义级保真度量。(4) “失败即零分”规则对平均分影响巨大（GPT-6 Astra 全集均值从 4.19 跌至 3.62），单一标量掩盖了“高质量但偶发失败”与“低质量但稳定”两种截然不同的模式，建议报告成功率-质量联合分布。(5) 1,054 子集约为全集一半，24 个子类级别的结论统计功效不足，可扩充评测规模或报告置信区间。(6) 成本分析只用 API 报告的输出 token 与标价估算，未计入 reasoning token 定价差异、缓存与批量折扣等真实成本结构，跨厂商比较需谨慎。

作者展望：以该基准为诊断测试床，推动可靠、连贯、可控的代码生视频研究，重点在执行可靠性、指令遵循、参考保真和复杂度扩展。基于其成果可延伸的方向：(1) 从 benchmark 到 agent：引入执行反馈、自修复、多文件项目规划的 agent 框架，在配对任务上量化修复增益，尤其是针对运行时异常占主导的失败模式；(2) 状态依赖是全场最痛的维度（S2→S3 全部 15 项指标下滑），可研究显式状态机、时间线表示、跨场景变量绑定等代码结构先验；(3) 运动保真（MF 最高 0.445）表明模型难以复现运动模式，可探索从参考片段提取关键帧加缓动曲线的中间表示再生成代码；(4) 利用三维度复杂度标注做课程式训练或难度自适应推理，让复杂任务分配更多 token；(5) 扩展技术栈到 Manim、Blender、游戏引擎，乃至音频-视频联合生成；(6) 利用配对任务三模态同源的性质，定量分解视觉参考对模型行为的贡献，例如 I2V 相比 T2V 在哪些维度带来增益。

复现评估：项目主页为 code2video-compass.github.io，论文未逐项说明代码与数据集的完整开源状态，实际可得性需以仓库发布为准。数据方面，任务源自公开数据集（VidProM、Shot2Story、LICA、SciDraw-6K、SynthChartNet、PD12M）与 YouTube/Bilibili 等平台视频，视频类参考的再分发可能受平台条款限制，自行重建数据管道工程量不小。评估管线依赖的工具与模型均为公开可得：Remotion 渲染、DOVER++、Aesthetic Predictor V2.5、AMT、ViCLIP-L、Qwen3-VL-Embedding-8B、DINOv3、SSIM、DreamSim、CoTracker3、SSCD 加 FAISS。主观评估需要 Gemini 3.8 Flash API；被测 15 个模型多为商业 API，完整复现 15 模型×1,054 任务需要可观预算——仅 Claude Opus 5.5 在 T2V 上平均每任务就消耗约 29.4k 输出 token。方法本身无需训练，复现门槛中等，主要成本在数据清洗工程与 API 费用；只复跑单模型单设定的评估则相对轻量。