OmniVChat：面向原生音视频对话的数据合成、基准评测与强化学习训练 OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue

单轮流水线（以例 2 的“用户相对左右”测试为例）：先由属性与语料采样模块按配置抽属性（语言、场景、机位、干扰强度等）和三篇语料段落，采样用 Gumbel top-k 式的指数竞赛（式 7）保证覆盖；Director 据此写故事描述、细化规划并自审左右映射；Script Generation 产出 11.3 秒的时间轴结构化脚本（走路、说话、静默等待分段），确定性 Validator 检查格式、语速、时间线连续性，Validation Review 裁决误报；Script Review 确认脚本真能测到目标子类别（如视觉必要性——纯听音频能答的问题会被拒）。随后 Video Plan 选择兼容的渲染指令（连续镜头、写实、无字幕），Renderer 渲染出 1080P、44.1kHz 立体声片段；Reviewer 写 caption 和七项质量报告（剪辑、写实度、语速、肢体、外观、伪影、屏幕文字），必要时 Video Q-A 补充取证，Video Review 决定接受、换种子或改写。最后 Reply Plan 基于已证实的门状态规划简短回复，Reply Generation 写出参考回复和分层 rubric，Reply Review 核对语言、接地、层级顺序与口语风格后定稿。多轮子系统把脚本与视频规划合并为逐轮 Prompt Generation，用已接受片段/音频/末帧的媒体 ID 作占位符保持跨轮依赖（如 Turn 2 用 reference_video 链接 Turn 1），联合 Plan 与 Plan Review 分离审查。交付前还有音频尾部伪影检测修复（宽带咔哒声与突然截断，修复 695 个片段，中位瞬态分数从 86.6 降至 0.02，13kHz 以上能量中位下降 53.1dB）和人工抽检。RL 阶段：每次迭代采样 32 个输入、每个采 4 个回复，按 $R(y)=r(y)+0.5f(y)+0.1e(y)+0.5s(y)$ 计算总奖励（范围 $[0,2.1]$），GSPO 目标（式 3）下以学习率 $1\times10^{-6}$ 训练 1,000 步，每 20 步存检查点，用 560 条开发集 Subcategory Mean 选检查点。

技术新颖性体现在四个层面。数据层面：以往音视频数据要么来自真实录制（受长尾条件限制），要么是“配音频的图库视频”（Daily-Omni 等），本文首次用“文本语料→剧本→音视频联合生成→证据接地审查”的全合成路径生产对话训练数据，且 Flexible/Fixed 架构让 17 个子类别共享同一引擎。标注层面：参考回复基于渲染证据而非剧本生成，配合 Reviewer/Director 观察与判断分离的设计（Reviewer 只报告所见，Director 对照计划决策），系统性防止了合成数据常见的“标签虚构”。评估层面：分层门控 rubric（式 1 中 $\prod_{s=0}^{t-1}\mathbf{1}[K_s\subseteq H(y)]$ 的乘积门）把“答对关键事实优先、锦上添花靠后”编码进评分函数，比单点准确率或开放式 LLM 打分更细粒度且可解释；附录还用六个评委交叉验证了稳定性（Cohen's $\kappa$ 0.532–0.845，方差分解显示 95.7% 方差来自子类别难度而非评委严格度）。训练层面：把 rubrics-as-rewards 从纯文本扩展到音视频对话，效率奖励用组内相对归一化回避固定长度目标、按字词计数而非 token 计数以对齐人类感知的长度，并借助 GSPO 的序列级裁剪稳定 MoE 训练——这些组合在音视频对话领域均属首次。

第一，合成-真实迁移缺乏因果性验证：论文用成绩一致性（Human 0.632 vs 中文合成 0.634）暗示分布对齐，但这是必要非充分证据，可能因为两者共享同一套子类别定义、rubric 形式和判分器而人为趋同。改进方向：收集每个子类别数百条真人录音做消融——分别用合成数据与同等量级真人数据训练，直接量化合成数据的相对价值，或引入仿真到真实（sim-to-real）的域适应技术。第二，效率与正确性直接冲突：去掉效率项正确性更高（0.697 vs 0.652），说明 $\lambda_{eff}=0.1$ 的权重把模型推向了过度精简，可能牺牲对用户有帮助的细节。改进方向：把固定权重改为随训练进度退火（先学正确性再学简洁），或改用 Pareto 前沿上的检查点选择，或把 RE 从奖励改为早停指标。第三，判分链路单一且与训练同源：全部主结果依赖 qwen3.7-max 一个裁判，训练奖励也用它，虽有六评委敏感性分析，但缺人类金标准。改进方向：发布人类评分子集做校准，训练时与评测时使用不同系裁判。第四，质量控制的丢弃式设计成本高：任何预算耗尽的 run 整体丢弃，视频渲染又是流水线最贵环节，例 3 里 Turn 1 渲染了 4 次才通过。改进方向：引入视频局部修复（只重渲问题片段）或轻量代理渲染器做预筛，降低每实例的渲染预算。第五，多轮评测规模太小（每子类别 50 实例），Table 3 的配对检验功效不足，很难支撑“多轮能力”的可靠结论。

作者层面：论文承诺开源 OmniVChat-Bench 与训练代码，未来自然延伸是把评测从“返回文本”推进到全双工语音输出——目前 Talker 生成的语音质量、时延、打断处理都不在评测范围内，Full-Duplex-Bench、Talking Turns 等工作提供了现成方向；真人录制 probe 也应扩展到多轮对话和更多语言。基于成果可延伸的方向：一是把 OmniVChat-Studio 引擎泛化为通用“交互数据工厂”，为具身智能、主动式助手（OmniPro 式的“何时该说话”）等任务合成带 rubric 的训练数据；二是用世界模型或游戏引擎替代/混合视频生成模型，降低渲染成本的同时获得像素级可控的物理一致性，缓解合成偏见；三是深入研究模型自我意识（MSA）与反幻觉（AH）这两个基线模型得分极低的能力类别（Qwen2.5-Omni-3B 的 MSA 仅 0.056、AH 仅 0.056），它们与 AI 安全直接相关；四是学习型 rubric 生成——目前 rubric 由 Director 人工规则设计，让模型从对话中自动归纳评分标准可进一步扩大规模；五是把效率奖励与真实用户偏好对齐，研究“每千词学分”这类代理指标与人类满意度的一致性。

复现友好度总体较高但有明确的资源门槛。开源情况：作者承诺公开发布 OmniVChat-Bench（含 2,800 实例与 rubric）和 OmniVChat-RL 训练代码（Code and Data Release 章节），附录文档化非常充分——Table 4 给出全部训练超参（LoRA r=64、$\alpha=256$、学习率 $1\times10^{-6}$、无 KL 惩罚、熵系数 $1\times10^{-5}$、视频 2 FPS 且每片段最多 16 帧），附录 E.4 给出 1,296 字符的完整策略 prompt、rubric 判分 prompt 和七条风格判分 prompt 原文，附录 C 给出采样公式（式 7）和修复规则。算力需求：训练侧相当可控——LoRA 只训 325M 参数（30B MoE、3B 激活），1,000 步、每步 32 prompt × 4 回复 = 128 个 completion，单节点多卡 A100/H100 可行。真正的门槛在数据合成：Renderer 依赖商用级音视频联合生成模型（论文提及 Sora 2、Veo 3.1、Seedance 系列），批量渲染 1080P 对话片段的预算不菲，且 Director/Reviewer/qwen3.7-max 判分都需要大模型 API；OmniVChat-Bench-Human 的 360 条录音涉及签约演员与知情同意，几乎不可能原样复现，但作为固定评测集随基准发布即可直接使用。综合评估：复现“训练+评测”部分难度中等（有开源数据与代码即可跑通），从零复现“数据引擎+基准构建”难度高，主要卡在视频生成算力与多次迭代的审查成本。