AVGen-Bench：面向文本生成音视频任务的多粒度评估基准 AVGen-Bench: A Task-Driven Benchmark for Multi-Granular Evaluation of Text-to-Audio-Video Generation
首个任务驱动的T2AV基准，覆盖11类真实场景与10维细粒度评估。
前置知识
Text-to-Audio-Video (T2AV) 生成
T2AV 指输入文本提示词，模型同时输出视频画面与同步音频流（环境音、对白、音乐），代表 AIGC 视频最新形态。代表系统：Sora 2、Veo 3.1、Kling 2.6。与 T2V 的本质区别是必须在像素与波形两条轨道上同时保持语义、时间与因果的一致性。
理解 T2AV 必须先理解它是「双模态联合生成」而非「视频+音频后期合成」，这决定了评估时必须做模态间一致性检验，而不是分别打分再相加。
Multimodal Large Language Model (MLLM) 评估
MLLM 评估指以 GPT-4o、Gemini 等多模态大模型充当「AI 裁判」，直接观看/收听生成结果并按自然语言指令打分或判断合规性。相比 CLIP/CLAP 余弦相似度，MLLM 能做高阶语义推理（如「钠是否浮在水面」），但代价是不稳定、贵、对提示词敏感。
AVGen-Bench 的核心方法论正是「轻量专家模型 + MLLM」的混合评估，读者必须理解 MLLM 既能补足语义推理又有随机性，才能看懂其稳定性子实验的设计意图。
音频转录与音乐信息检索（AMT/MIDI）
AMT 是从音频波形自动还原出 MIDI 音符事件的技术，Basic-Pitch 是当前主流轻量 AMT 模型。它输出 note onsets、pitch、duration 等符号化表示，可与乐谱约束（如「C 大调和弦」）做精确比对。
本文揭示所有 T2AV 模型在「指定音高」上几乎全部失败，正是依赖 AMT 把连续音频离散化才能自动验证音乐理论约束，没有这一环就只能靠人耳。
光流-音频同步度量（Syncformer / SyncNet）
Syncformer 基于稀疏视觉线索（动作发生时刻）测量与音频起音的时间偏差，常用于通用音视频同步；SyncNet 是更早的工作，专门用于检测说话人唇形与对白是否对齐，输出单位为帧的偏移误差。这两个指标都是「越低越好」（↓）。
它们是 AVGen-Bench 跨模态对齐模块的两大支柱，决定了基础同步分数（AV Sync 与 Lip Sync），也是衡量「模型是否能生成可信对话场景」的关键。
DBSCAN 密度聚类与身份一致性
DBSCAN 是一种基于密度的无监督聚类算法，可以在不预设簇数的情况下，根据面部 embedding 余弦相似度把帧间的人脸轨迹自动归并成若干「主角身份」。在 T2AV 中常用于量化「同一个角色是否始终长一样」。
AVGen-Bench 的面部一致性模块 Detect-Track-Cluster 流水线核心就是 DBSCAN，理解它才能理解论文如何不依赖外部参考图就量化身份漂移（Identity Drift）。
研究动机
当前 Text-to-Audio-Video 生成的评估生态存在两大结构性缺陷。第一，绝大多数基准（如 VBench 2.0、TTA-Bench）只评估单模态——要么只看视频，要么只看音频，把音视频割裂评估。一个画面完美但配错音乐的广告和音画完美同步的版本，在这种评测体系下可能得到几乎相同的分数。第二，现存的多模态联合基准（HarmonyBench、UniAVGen、VerseBench、JavisBench）只能给出 3-6 个粗粒度指标，且严重依赖 CLIP/CLAP 等 embedding 余弦相似度，无法验证「角色说的是『Reload』而非其他词」「子弹应打出 C 大调和弦」「钠应该浮在水面」这类具体的语义正确性。结果就是用户在真实业务场景中频繁遭遇「画面挺好但语义一塌糊涂」的隐性失败：对白听不懂、乐音走调、文字变乱码、物理违背常识，而这些恰恰是商业可用性的决定项。本文在 Figure 2 中给出了六类典型失败的可视化，包括显式/隐式文字渲染崩溃、乐音音高失控、对白与唇形错位、多镜头叙事漂移、物理定律违背（钠不下沉、克莱尼瓶图样错误）、人脸身份跳变与人群退化，这些都是当前粗粒度评估完全捕捉不到的。
本文的目标是本文的目标是构建 AVGen-Bench，一个任务驱动（task-driven）的 T2AV 评估基准，其核心要解决三件事：(1) 用 235 条经过人工精选的真实场景提示词覆盖 11 个日常细分类目，平均 prompt 长度 88.54 tokens，显著高于 VerseBench 的 68.00 和 JavisBench 的 65.00，把评测从「凑指标」拉回到「模拟用户真实需求」；(2) 设计 10 维细粒度评估维度（含场景文字渲染、人脸一致性、音高精度、语音可懂度、物理可信度、整体语义对齐），每个维度有可解释的判据与协议；(3) 用「轻量专家模型 + MLLM 推理」的混合管线把基础审美、跨模态同步、细粒度语义三层都量化，并通过 10 位专家人工标注验证自动分数与人类判断的 Pearson 相关性（其中文字渲染高达 0.9657），最终给出 12 个 SOTA 模型的统一 Total 分数排名。
与已有工作不同的是，本文的独特切入角度是「prompt 设计与指标解耦」。以往基准为了迁就现有检测器而反向裁剪提示词（例如有 TTS 指标就专门攒对白集），AVGen-Bench 反过来——先按 11 类真实用户场景写提示词，再去配指标。这种「需求驱动」思路让基准天然具备可扩展性。同时，本文首次系统性地把音乐理论约束（音名、和弦、调式）作为一等公民加入音视频联合评估，揭露了所有 T2AV 模型在「按指令弹奏 C 大调和弦」上的彻底失败，填补了「视觉-音乐精确对齐」这一空白。另外，作者用「Hybrid Annotation」（绝对打分 + 配对盲测）的混合人评协议去验证自动化指标本身，让基准具备「自描述」能力，这在以往 T2AV 工作中也是缺的。
核心方法
AVGen-Bench 的整体思路可以类比为「给 T2AV 模型出一场高考」：先按现实需求设计一套考题（提示词），再为每道题设计严谨的阅卷标准（指标），最后让 12 个考生统一答卷、按统一标准评分。具体技术路线由两大部分组成：第一部分是「任务驱动提示词」，通过自顶向下的需求分类（专业媒体、创作者经济、世界模拟三大域 11 个子类）由 GPT-5.2 起草 + 人工筛选得到 235 条平均 88.54 token 的复杂提示词，平均 1.6 个镜头、44% 含对白、88% 含环境音。第二部分是「多粒度混合评估管线」，即把基础审美（Q-Align + Audiobox-Aesthetic）、跨模态同步（Syncformer + SyncNet）做粗筛，再用 6 个细粒度管线（场景文字、人脸、音高、语音、物理、整体语义）做精筛。每个细粒度管线都遵循「轻量专家模型抽取硬证据 → MLLM 做语义裁决」的两段式设计，例如音高精度先用 Basic-Pitch 转 MIDI，再用 Gemini 比对是否符合「C-G-Am-F」的和弦约束。
核心创新点是把「指标的可解释性」和「评测的现实性」同时拉满。具体有三个本质区别于已有工作的设计：(1) 解耦的 prompt 设计——提示词来自用户意图而非现有检测器的能力范围，这意味着即便未来换了检测器，prompt 集合仍可复用；(2) Hybrid Evaluation 把信号级精度（OCR 框、AMT 音符、SyncNet 帧差、InsightFace embedding）与语义级推理（Gemini 的乐理判断、物理因果判断、叙事一致性判断）拼装成一条流水线，既避免单纯 MLLM 评分的不稳定，又补足传统 embedding 评估无法触及的语义细节；(3) 引入「Underspecified Prompting」（欠指定提示）让模型必须调用其世界知识：例如描述牛顿摆却不指定反弹球数，让评估者真正测模型对物理常识的内化程度，而非仅测其顺从文字的能力。综合来看，它把 T2AV 评测从「美学打分」推进到「意图合规性审计」。
方法步骤详情
完整的 AVGen-Bench 构建与使用流程包含四个阶段。第一阶段是提示词构造：首先定义 3 大域（Professional Media 含新闻、广告、电影预告片；Creator Economy 含 ASMR、烹饪、游戏、音乐教学；World Simulator 含物理、化学、动物、体育）共 11 个子类的需求图谱，然后用 GPT-5.2 生成候选，再用人工筛选剔除含糊、过短、过模板化的样本，最终得到 235 条高质量 prompt，其中音乐教学子集刻意注入了「C Major scale」「C-G-Am-F」等精确音高约束，物理/化学子集则采用「欠指定」策略（如描述钠投入水却不交代结果）。第二阶段是模型推理：在统一到 720p、10s（个别模型按 API 限制调整）下生成 12 个模型的音视频，包括 Veo 3.1 (Fast/Quality)、Sora 2、Wan 2.6、Seedance-1.5 Pro、Kling 2.6、LTX-2.3、LTX-2、Ovi、级联管线 Wan2.2+HunyuanVideo-Foley、Emu3.5+MOVA、NanoBanana2+MOVA。第三阶段是三层评估：(a) 单模态质量用 Q-Align 打视觉分，Audiobox-Aesthetic 的 PQ 子项打音频分；(b) 跨模态用 Syncformer 算 AV 同步（秒）、SyncNet 算唇形同步（帧误差）；(c) 六个细粒度管线，每条管线都先用专家模型抽硬证据，再用 Gemini 3 Flash 推理——场景文字用 PaddleOCR 提取 → 时空聚类 → Gemini 校验「显式合规」与「隐式连贯」；人脸用 InsightFace 检测 → IoU+余弦相似度连轨迹 → DBSCAN 聚类 → 按 40% 数量准确率 + 60% P50 内部相似度聚合；音高用 Basic-Pitch 转 MIDI → 80ms 窗口聚合为「和弦帧」→ Gemini 做乐理校验；语音用 Faster-Whisper 带 VAD 转写 → Gemini 按 Verbatim（逐字一致）或 Contextual（语义连贯）两种模式评分；物理用 VideoPhy2-AutoEval 做低层运动合理性 + Gemini 做高层因果推理；整体语义用 Gemini 做 Constraint Decomposition 把 prompt 拆成叙事节拍、视觉属性、音频事件、镜头语言四类约束，再 Evidence-based 扫描证据。第四阶段是分数聚合：Total = 0.2·S_basic + 0.2·S_cross + 0.6·S_fine，其中细粒度项被赋予最大权重（60%），正是为了突出「真语义 vs 假美学」的核心价值主张。
技术新颖性
相比已有 T2AV 基准，本文的技术新颖性体现在三处。第一处是方法论层面，混合评估管线中明确把「专家模型的输出」作为 MLLM 推理的「事实依据」，而不是让 MLLM 直接看像素打分，这显著降低了随机性（重复运行标准差最小 0.00，最大仅 1.70）；第二处是协议设计层面，针对 Text Rendering 用 3-point Pointwise 评分、针对其他维度用 Pairwise 盲测，对应于「客观正确性」与「主观相对偏好」的本质差异，文中报告的 inter-rater κ 在 Speech Intelligibility 上达到 0.9272，证明协议与维度的匹配是有效的；第三处是评测哲学层面，首次在 T2AV 领域把 Underspecified Prompting 作为一种「世界知识探针」，让评测脱离「服从指令」的浅层，触及「是否真正理解物理」的深层能力。
实验结果
核心结论是一句话：「当前 T2AV 模型在『美学层』已接近天花板，在『语义层』却普遍塌方」。具体数据如下：在基础单模态质量上，Seedance-1.5 Pro 视觉分最高 0.970，Veo 3.1-fast 紧随 0.960，所有模型视觉都在 0.83 以上；音频 PQ 方面 Seedance-1.5 Pro 拿到 7.48、Wan 2.6 拿到 7.11，但整体音频仍明显落后于视觉。在跨模态同步上，AV 偏移最低是 Veo 3.1-fast 和 Kling 2.6 并列的 0.21 秒，最高 NanoBanana2+MOVA 的 0.44 秒；唇形同步误差最低是 LTX-2.3 的 2.00 帧、最高 Wan2.2+HunyuanVideo-Foley 的 5.38 帧——意味着对话场景中观感仍会「卡帧」。在六个细粒度维度上分项看：场景文字渲染最佳 Veo 3.1-quality 76.53，但 Kling 2.6 暴跌至 14.52；人脸一致性最佳 Kling 2.6 57.33，整体停留在 36-57 区间；音高精度最惨烈，所有模型均未超过 12 分，Ovi 以 11.25「领跑」，Veo 3.1-quality 5.00、Wan 2.6 仅 1.75；语音可懂度 Veo 3.1 双雄达到 96.09/94.53，但 Wan2.2 级联管线只有 53.40；低层物理（VideoPhy2）无模型达到 4.0 通过线，Ovi 4.05、LTX-2 4.05 属最高；高层因果物理 Sora-2 78.95 一枝独秀，其他多在 60-69；整体语义对齐 Sora-2 88.89 最强，但当 prompt 要求「背景音乐+脚步+对白」同时叠加时，所有模型都会丢失部分音轨。最终 Total 排名 Veo 3.1-fast 67.87 > Veo 3.1-quality 66.28 > Sora-2 64.16 > Wan 2.6 62.97 > Seedance-1.5 Pro 62.55 > Kling 2.6 61.82 > LTX-2.3 59.97 > NanoBanana2+MOVA 58.10 > LTX-2 56.62 > Emu3.5+MOVA 56.12 > Wan2.2+HunyuanVideo-Foley 53.29 > Ovi 52.02，前三名差距很小（<4 分），表明顶尖模型间真正瓶颈不在审美而在细粒度语义。此外，人类一致性验证显示五个维度的 Pearson ≥ 0.82（最高文字渲染 0.9657），仅音高精度 0.5544——作者归因为「所有模型都崩在同一低分区间」的 floor effect 而非指标失效（同时 weighted Cohen's κ 在 Pitch 上也只有 0.3156，吻合）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 整体 T2AV 排名（Total） | 0.2·S_basic + 0.2·S_cross + 0.6·S_fine | Veo 3.1-fast 67.87 / Sora-2 64.16 / Kling 2.6 61.82 / LTX-2.3 59.97 / Ovi 52.02 | 见 12 个模型的完整排名（同表中其余 7 项） | Veo 3.1-fast 比 Ovi 高 15.85 分（约 30%） |
| 视觉质量 | Q-Align (↑) | Seedance-1.5 Pro 0.970, Veo 3.1-fast 0.960 | LTX-2 0.828 (最低), Ovi 0.839 | Top vs bottom 差距约 0.14 分（17%） |
| 音频质量 | Audiobox-Aesthetic PQ (↑) | Seedance-1.5 Pro 7.48, Wan 2.6 7.15 | Ovi 6.31 (最低), Sora-2 5.91 | Top vs bottom 约 1.2 分（19%） |
| 音视频同步 | Syncformer 时偏秒数 (↓) | Veo 3.1-fast / Kling 2.6 同为 0.21s | NanoBanana2+MOVA 0.44s | Top 比 worst 少 0.23s |
| 唇形同步 | SyncNet 帧误差 (↓) | LTX-2.3 2.00 帧 | Wan2.2+HunyuanVideo-Foley 5.38 帧 | Top 仅为 worst 的 37% |
| 场景文字渲染 | PaddleOCR + Gemini (↑, 满分100) | Veo 3.1-quality 76.53 | Kling 2.6 14.52 | Top 是 worst 的 5.3 倍 |
| 人脸一致性 | Detect-Track-Cluster (↑) | Kling 2.6 57.33 | Wan2.2+HunyuanVideo-Foley 36.23 | Top 比 worst 高 21.10 分 |
| 音高精度（音乐指令遵循） | Basic-Pitch + 乐理校验 (↑) | Ovi 11.25, Sora-2 7.81, LTX-2 5.75 | NanoBanana2+MOVA 0.59 (最低) | 即便最优也未超过 12 分，全行业崩盘 |
| 语音可懂度 | Whisper + Gemini (↑) | Veo 3.1-quality 96.09 | Wan2.2+HunyuanVideo-Foley 53.40 | Top 比 worst 高 42.69 分（80%） |
| 低层物理（运动合理性） | VideoPhy2-AutoEval (↑, 通过线 4.0) | LTX-2 / Ovi / Sora-2 同为 4.05 | Veo 3.1-fast 3.68 (最低) | 仅 3 个模型勉强过线，其余均未达 |
| 高层因果物理 | Two-Stage Semantic Verification (↑) | Sora-2 78.95 | Ovi 52.92 | Top 比 worst 高 26 分（49%） |
| 整体语义对齐 | Decompose-and-Verify (↑) | Sora-2 88.89, Veo 3.1-fast 86.27 | Ovi 57.45 | Top 比 worst 高 31.44 分 |
| 人机一致性（Text Rendering） | Pearson (↑) | 0.9657 | 随机基准约 0 | 近乎完美相关 |
| 人机一致性（Pitch Accuracy） | Pearson (↑) | 0.5544 | 同领域其它维度 0.82-0.84 | 低于其他维度，因 floor effect |
| MLLM 评估稳定性 | 重复 3 次标准差 (↓) | Veo 3.1-fast Holistic Std 0.28, Speech 0.02 | Hi-Phy Std 1.70 为最高 | 大多数维度 Std < 1，稳定性优良 |
局限与改进
作者在论文中明确指出三点局限：(1) 提示词规模仅 235 条，相比 VBench 的 1.6k+ 偏小，可能不足以覆盖长尾用户意图，但子集重采样实验（200 次重抽、20%-80% 比例）证明小样本下模型排名依然稳定，Total 分波动 < 2 分；(2) 评估管线严重依赖 MLLM（Gemini 3 Flash / Pro），虽然稳定性实验显示波动小，但若底层 MLLM 升级或下架则需要重做校准；(3) 音高精度维度的 Pearson 仅 0.5544，inter-rater κ 仅 0.3156，作者归因为「所有模型都崩在同低分区」的 floor effect，意味着该指标在「普遍失败」场景下分辨力弱，需要等模型能力上升后才能可靠使用。我个人的额外观察包括：(a) 评估时长未在论文中披露，全量 12 模型 × 235 prompt × 10 维评估意味着 Gemini 调用数千次，时间与费用成本不容忽视；(b) 评估完全依赖自动管线，没有引入人工 spot-check 来发现 MLLM 漏检的边角案例；(c) 评分公式 Total = 0.2·S_basic + 0.2·S_cross + 0.6·S_fine 中细粒度项权重占 60%，这一加权选择虽然凸显了语义重要性，但掩盖了基础审美差异，且未做加权稳健性分析；(d) 部分模型（如 Wan 2.2 流水线）受限于原生 5 秒生成，难以与 10 秒模型直接比较。
独立分析的弱点
独立分析观察到四个具体弱点与改进方向。第一，提示词的语言偏英语单一文化，主要源自 YouTube Bumper Ads 与英语电影预告片，导致中文/小语种场景下模型表现未知；改进方向是引入多语种 prompt 集，并对非英语 TTS 做方言/口音评估。第二，评估管线在多人长对话场景下表现欠佳，因为 SyncNet 默认单人脸假设，多角色对话的唇形错位常常被「平均掉」；改进方向是对每条 tracklet 单独跑 SyncNet 并按身份聚合。第三，人脸一致性模块用「InsightFace 数量 vs Gemini 预测」做硬比对，但当 prompt 没显式指定人数时，Gemini 自身的预测不稳定，会造成 Identity Count Accuracy 抖动；改进方向是引入显式字符计数 prompt 或限制 prompt 必须带「N people」字样。第四，整体语义对齐维度只评估「事件是否发生」，未评估「事件时序」是否符合 prompt（如「先 whistle 后 mug 落地」）；改进方向是用 VideoPhy2 那种时间窗口事件检测器输出做时序一致性评分。
未来方向
作者在结论中暗示的下一步是「从粗对齐训练范式过渡到细粒度监督」——即需要把乐理知识、物理常识、字符级 OCR 损失引入到 T2AV 训练目标中。基于论文结果可延伸的方向还包括：(1) 把欠指定提示（Underspecified Prompting）发展为系统性的「世界知识探针库」，覆盖经典物理、化学、生物实验，专门测模型对科学现象的内部表征；(2) 将现有 10 维指标做成在线 dashboard，让模型迭代时实时反馈；(3) 引入「对抗性提示」自动生成器（用 Gemini 找现有模型的失败模式生成新 prompt），让 benchmark 能自我进化；(4) 与可控生成结合，让 prompt 同时指定「特定和弦」与「特定文字」并观察模型能否联合满足；(5) 把 TTA-Bench、VBench 等的指标迁移到多模态设置，统一一个跨模态美学指标。
复现评估
复现评估总体友好但有门槛。资源层面，作者承诺开源 benchmark 代码与资源（aka.ms/avgenbench），提示词全集 235 条、评估脚本应可获取；GPT-5.2 用于 prompt 起草、Gemini 3 Pro/Flash 用于 MLLM 推理，需要对应 API key 与费用预算。算力层面，所有 12 个待评估模型中只有 6 个开放权重（LTX-2.3、LTX-2、Ovi、Emu3.5、MOVA 及其级联组合），其余 6 个（Sora 2、Veo 3.1、Wan 2.6、Seedance 1.5 Pro、Kling 2.6、NanoBanana2）只能通过商业 API 调用，单次 720p 10s 生成按行业均价 $0.5-$2 计，全量 235 prompt × 12 模型成本约 $1.4k-$5.6k；推理时间预计数十小时。难度层面，Hybrid 评估管线需要串起 PaddleOCR、Basic-Pitch、InsightFace、VideoPhy2、Faster-Whisper、Syncformer、SyncNet、Q-Align、Audiobox、Audiobox-Aesthetic、Whisper 等十余个第三方工具，每个都有版本兼容性问题（特别是 Basic-Pitch、InsightFace 的 ONNX 推理），实际跑通管线预计需要 2-3 名熟练工程师 1 周时间。综合判断：评估代码复现 ★★★★（开源友好），被评估模型复现 ★★☆☆（依赖商业 API 且昂贵）。
论文图表
对比图：左侧 Others 区块显示既有基准「单模态评估 + 简单提示词 + 粗粒度指标」，右侧 AVGen-Bench 区块突出「联合音视频评估 + 复杂提示词 + 10 维细粒度指标」
这是论文核心卖点的可视化总览，读者一张图即可理解为什么需要 AVGen-Bench
六张失败案例拼图：(a1)(a2) 文字渲染崩溃如 Veo 3.1 Fast 把 CITY OF GLASS 渲染成乱码；(b) 音乐提示词要求 C/G/Am/F 四个和弦但所有模型输出随机音符；(c) Ovi 生成对白"Thank you science-tavator wassupkitsignsolivo"完全不可懂；(d) Kling 2.6 把 Reloading-cover me 错说成 Cover me；(e) 钠投入水却画成下沉、Chladni plate 几何图案错误；(f) 人脸身份在镜头切换后漂移、多人场景脸崩
具象展示「美学达标但语义崩盘」的六类典型失败，是支撑论文核心结论的关键证据