VEFX-Bench：面向通用视频编辑与视觉特效的整体性基准 VEFX-Bench: A Holistic Benchmark for Generic Video Editing and Visual Effects
提出视频编辑领域首个三维解耦的人工标注奖励模型与基准数据集
前置知识
Instruction-Guided Video Editing
指给定一段源视频与一段自然语言指令，让模型生成满足指令修改、同时尽量保留非目标区域内容的视频。其核心难点是要在'理解语义意图'、'保持视觉/时间一致性'与'局部化编辑'三件事之间同时做好。
本文要解决的就是这类系统的评估问题，论文中所有示例和实验都以这一任务为前提。
Reward Model / RLHF
用人类偏好数据训练的评分模型，给定模型输出预测其'像不像人喜欢的好结果'，常用于 LLM 对齐。图像/视频领域有 ImageReward、HPS、PickScore、VideoScore 等先驱工作。
VEFX-Reward 本身就是面向视频编辑的专用奖励模型，需要理解通用奖励模型的设计动机（学习人类偏好信号、做评测、做策略优化）才能体会其设计取舍。
Ordinal Regression（序数回归）
将离散有序标签（如 1–4 分）建模为一系列有序阈值的二元分类（如 score>1, score>2, score>3），用累计概率或期望值还原连续分数。相比 L2 回归更能利用标签的顺序结构。
VEFX-Reward 的关键设计正是用序数回归代替 L2/分类损失，论文核心公式 (2)(3) 即是其训练和推理方式。
IQA / VQA 标准指标（SRCC, KRCC, PLCC, RMSE）
图像/视频质量评估中衡量模型预测与人类打分一致性的标准指标。SRCC/KRCC 关注排序，PLCC/RMSE 关注线性校准后的数值精度，常配套四点 logistic 校准一起使用。
本文第 5.2 节沿用这套标准协议报告所有模型性能，是论文最核心的定量证据。
VL Backbone 与特殊 Token（Qwen3-VL）
Qwen3-VL 是 Qwen 系列的多模态大模型，能同时处理图像/视频与文本。本文用它的 hidden state 加三个可学习的特殊 reward token (<|IF_reward|>, <|RQ_reward|>, <|EE_reward|>) 来分别查询三个维度的质量分数。
VEFX-Reward 的整体架构建立在这个 backbone 之上，理解它才能明白三个维度如何共享一个 backbone 又独立预测。
研究动机
视频生成模型（如 Kling、Wan、UniVideo、VACE 等）近几年可以端到端地从文本指令生成或修改视频，但行业内仍普遍依赖人工目视检查或通用视觉-语言模型（VLM）做裁判，导致两个突出瓶颈。第一，缺乏大规模、带完整三元组（源视频+编辑指令+编辑结果）且含人工细粒度质量标签的数据集——已有资源如 EditBoard、FiVE-Bench、IVE-Bench 只给指令不给编辑结果，OpenVE-3M 虽大但靠自动筛选无人工标注，VE-Bench 虽有人工打分却把质量压成单一标量且依赖 2024 年的老模型。第二，缺乏专门为视频编辑设计的自动评估器——传统 CLIP、SSIM、LPIPS 只能反映窄面相似度，VBench/VBench++ 是为视频生成设计的，EditReward 来自图像编辑、VE-Bench 只输出单标量，都无法同时回答'指令是否被正确执行、视觉是否清晰稳定、是否误改了非目标区域'这三个本质问题。
本文的目标是构建一个面向通用视频编辑与视觉特效的整体性评测资源，发布三件套：(1) VEFX-Dataset——5,049 个由人工标注的视频编辑样本，覆盖 9 大类 32 个子类，沿 IF/RQ/EE 三个解耦维度用 4 分制打分；(2) VEFX-Reward——首个专门为视频编辑设计的奖励模型，能同时处理源视频、编辑指令与编辑结果，并以序数回归方式输出三个维度的质量分；(3) VEFX-Bench——300 组精选（视频, 提示）对，作为标准化比较套件。最终在标准 IQA/VQA 指标与组内偏好一致性两个层面都显著优于通用 VLM 与先前的奖励模型，并用其系统化地评测 10 个代表性商业和开源编辑系统。
与已有工作不同的是，切入点是把'指令执行'、'视觉保真'与'编辑局部性'作为正交解耦的质量维度来同时建模。已有工作要么只评一个标量（VE-Bench），要么只评图像编辑（EditReward、ImageReward），要么根本没有编辑结果只给指令。本文独特之处在于：用同一套人工标注协议保证三维度相互独立（IF=1 但 RQ=EE=4 的例子恰恰是协议设计要保留的），并通过可学习特殊 token + 共享 backbone + 序数回归 loss 把这种解耦结构植入模型。同时引入覆盖度调整的加权几何聚合（GeoAgg, $\text{GeoAgg} = \frac{1}{|\Omega_m|}\sum_{i\in\Omega_m}(1+3\, i_m^{\alpha} r_m^{\beta} e_m^{\gamma})^{\frac{1}{\alpha+\beta+\gamma}}$，取 $(\alpha,\beta,\gamma)=(2,1,1)$）来抑制'单维度强、其它维度崩'的系统在算术均值下被高估的问题。
核心方法
整体思路分两条线并行推进。数据线：从开源视频库（Open-Sora、OpenVid-1M）和自有素材筛选出 1,419 段 720p 以上、无 NSFW、无场景切换、无变速的源视频，按 9 大类编辑任务自动生成匹配的提示，再用 4 个商业 API（Grok Imagine、Kling Omni、Wan 2.6、Luma Ray2）+ 开源专用模型（VACE、UniVideo、ROSE、PISCO、ReCamMaster、Wan-Animate 等）+ Agent 流水线组合生成编辑结果，最终由训练后的标注员对 5,049 个三元组在 IF/RQ/EE 三轴上独立打分。模型线：在 Qwen3-VL 的 4B 和 32B 变体上加入三个可学习的特殊 reward token，分别接向共享 reward head，用序数回归 loss 在 4,200 条训练样本上做两阶段微调，849 条做测试，目标是让模型在 IQA/VQA 指标和组内偏好一致性两个口径上同时超过通用 VLM 与之前的奖励模型。
核心创新在于'三维解耦+多模态联合推理+序数回归'三者合一。与 EditReward 把任务当成图像编辑、VE-Bench 只输出单一标量不同，VEFX-Reward 把三个质量轴做成三个相互独立的 token，让同一个 VL backbone 在一次前向里同时关注源视频、编辑指令和编辑结果，并对每个维度单独预测一组阈值概率；标签侧用 4 分制而不是 MOS 连续值，迫使网络学习阈值而非绝对数值。配合 Inverse-Propensity Weighting（IPW）调整不完整覆盖、按 $(\alpha,\beta,\gamma)=(2,1,1)$ 加权的几何聚合来排序系统，最终形成一条从数据集、模型到评测协议的完整闭环。
方法步骤详情
具体流程可拆为四步。步骤一：源视频筛选。从 Open-Sora、OpenVid-1M 与私有素材中过滤得到 1,419 段满足分辨率 $\ge$ 720p、帧数 $\ge$ 40、无 NSFW、无场景切换与变速处理的视频，分布到 Nature、People、Street 等 10 个场景类别（图 3c）。步骤二：提示与编辑结果生成。用 Gemini 3 Flash 分析视频内容、匹配合适的 9 大类编辑任务并生成指令，每对（视频, 指令）由商业 API、开源专用模型或 Agent 流水线编辑得到 1–4 个候选结果。步骤三：人工标注与质控。标注员按 4 分制在 IF/RQ/EE 三个轴独立打分；550 条样本做独立小组二次标注，验证得到 within-1 一致性 IF 93.5%、RQ 97.2%、EE 91.7%，exact 一致性 75.2%、87.2%、72.2%。步骤四：模型训练与评测。在 Qwen3-VL 上引入 `<|IF_reward|>`、`<|RQ_reward|>`、`<|EE_reward|>` 三个特殊 token，其 hidden state 送入共享 reward head，对每个维度预测 $K-1=3$ 个有序阈值概率 $P(s_d>k)$，训练目标 $\mathcal{L}=\frac{1}{D}\sum_d \sum_{k=1}^{K-1} \text{BCE}(\sigma(z_d^k),\mathbb{1}[y_d>k])$，推理时还原为 $\hat{s}_d = 1 + \sum_{k=1}^{K-1}P(Y>k)$；视频采样 4 FPS、约 632×632 分辨率、序列长度 32,768 token；优化分两阶段（1 epoch 冻结 + 49 epoch 解冻 LM/merger），AdamW、$1\times10^{-5}$（LM）/$5\times10^{-5}$（reward token）、cosine、15% warmup、bf16、8 卡、有效 batch size 8。
技术新颖性
技术新颖性体现在四点。1）数据层面：唯一同时满足'含编辑结果 + 人工标注 + 多维解耦'三个属性的视频编辑数据集，规模 5,049 也明显大于 VE-Bench 的 1,170。2）建模层面：首个在共享 VL backbone 上用可学习特殊 token 联合预测 IF/RQ/EE 三轴的奖励模型，三个 token 既解耦又共享表征，避免了'多独立模型开销大'与'单标量头信息混叠'的两个极端。3）损失层面：用阈值条件化的序数回归 $\mathcal{L}=\frac{1}{D}\sum_d \sum_{k=1}^{K-1} \text{BCE}(\sigma(z_d^k),\mathbb{1}[y_d>k])$ 替代 L2，捕获 4 分制标签的天然顺序，且 ablation 显示 REG/CLS/ORD 中 ORD 最优。4）评测层面：用 $(\alpha,\beta,\gamma)=(2,1,1)$ 的加权几何聚合降低维度间完全可补偿性，并对覆盖不全的商业模型用 IPW 加权的线性混合效应模型 $y_{m,i,d}=\mu_{m,d}+u_i+\epsilon_{m,i,d}$ 估计调整后均值，规避了缺失覆盖下的偏倚比较。
实验结果
实验分三块，结论都偏向 VEFX-Reward 但分层清楚。第一块是标准 IQA/VQA 指标（表 4）：VEFX-Reward-32B 在 Overall 上 SRCC 0.780、KRCC 0.616、PLCC 0.790、RMSE 0.475，VEFX-Reward-4B 紧随其后 SRCC 0.760、KRCC 0.595、PLCC 0.771、RMSE 0.493；与 EditReward（Overall SRCC 0.558）和 VE-Bench（Overall SRCC 0.214）相比有大幅提升，且优势跨四个指标同时成立。逐维度看，32B 主要提升 IF（0.754 SRCC）和 EE（0.717），4B 在 RQ（0.690 SRCC）上略强，说明放大模型主要帮助语义和局部性推理，渲染质量在 4B 时已接近饱和。通用 VLM 裁判中 Gemini-3.1-Pro Overall SRCC 0.752 接近 32B 但 RQ/EE 不稳，Seed-2.0-Lite 在 Overall SRCC 0.720 上也较强，但它们跨维度的一致性远不如 VEFX-Reward。第二块是组内偏好（表 5）：VEFX-Reward-32B Pairwise Accuracy IF 0.9366、RQ 0.9111、EE 0.9196、Overall 0.8723，4B 紧随其后 0.9120/0.9309/0.9167/0.8628，远高于 EditReward 的 0.8283/0.5629/0.5317/0.7919 和 VE-Bench 的 0.7351/0.8127/0.7143/0.6651。第三块是系统评测（表 7）：10 个编辑系统排序后 GeoAgg 前三是 Kling o3 omni 3.057、Kling o1 2.985、Runway Gen-4.5 2.912；开源 UniVideo 2.516 接近多款商业系统，而 VACE 仅 1.775、Luma ray 2 1.804。失败模式上看，所有系统的 RQ 普遍在 3.0–3.6 之间拉不开差距，但 IF（2.012–3.040）与 EE（1.180–3.376）差异巨大，且 Grok Imagine 在 EE 3.376 上最强、UniVideo 在 EE 3.091 紧随其后，二者均属'编辑局部性较好'的范式。任务雷达图（图 6）显示 Camera Angle Editing 是公认最难（IF 1.76，详见表 9），Style Editing IF 最高 2.87 但 EE 仅 2.23，体现'全局风格化与严格局部化不可兼得'。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Overall Reward Alignment | SRCC / KRCC / PLCC / RMSE | VEFX-Reward-32B: 0.780 / 0.616 / 0.790 / 0.475 | EditReward 0.558 / 0.411 / 0.580 / 0.631; VE-Bench 0.214 / 0.150 / 0.238 / 0.752; Gemini-3.1-Pro 0.752 / 0.608 / 0.726 / 0.546 | VEFX-Reward-32B 相对 EditReward 的 SRCC 绝对提升 +0.222，相对 VE-Bench 提升 +0.566，且跨四个指标同时更优。 |
| Group-wise Preference (Within-group Pairwise Accuracy) | Pairwise Accuracy Overall | VEFX-Reward-32B: 0.8723 | VEFX-Reward-4B 0.8628; EditReward 0.7919; VE-Bench 0.6651 | 32B 相对 EditReward +0.0804，相对 VE-Bench +0.2072，说明模型在组内候选排序上也明显优于既有奖励模型。 |
| Per-dimension IF | SRCC | VEFX-Reward-32B IF SRCC 0.754 | Gemini-3.1-Pro 0.731; EditReward 0.453; Seed-2.0-Lite 0.545 | 比最强通用 VLM 高 +0.023，比 EditReward 高 +0.301。 |
| Per-dimension EE | SRCC | VEFX-Reward-32B EE SRCC 0.717 | Gemini-3.1-Pro 0.681; EditReward 无 EE 维度 | EditReward 没有 EE head 无法直接对比，但 VEFX-Reward-32B 在 EE 维度也能匹敌甚至超过通用 VLM，验证专用 head 的价值。 |
| Editing System Ranking on VEFX-Bench | Overall (GeoAgg) on 1–4 scale | Kling o3 omni 3.057, Kling o1 2.985, Runway Gen-4.5 2.912 | 开源 UniVideo 2.516、VACE 1.775；商业 Wan 2.6 2.146、Luma ray 2 1.804 | 最强商业系统 Kling o3 omni 相对开源 UniVideo 高 +0.541 GeoAgg，相对 VACE 高 +1.282；商业-开源最大差距约 1.3 分。 |
局限与改进
作者承认的局限与潜在隐忧有三点。其一，4 分制粒度有限，对边缘样本区分能力受限，作者通过 within-1 一致性 91.7–97.2% 来论证稳定，但少数中间分（IF=2 或 EE=2）的样本仍可能存在主观偏差。其二，编辑系统的覆盖不均，部分商业 API（如 Runway Gen-4.5、Seedance 2.0）拒绝部分请求，作者用 IPW+线性混合效应做调整，但这一调整依赖 'missing at random' 假设，若拒绝与难度相关则仍可能有偏。其三，奖励模型规模最大只到 32B，没法保证在更大规模下边际收益是否递减；且 backbone 固定为 Qwen3-VL，没在其他 VL 系列上验证泛化性。从我自己的观察来看，还有一个明显短板：5,049 个样本在 32 个子任务下均摊后每类只有 ~150 条，少量子任务的标注噪声可能放大；此外，奖励模型只在 4B/32B、bf16、8 GPU、有效 batch 8 的设定下做了训练，没有公开在更小 batch 或单卡下能否复现。最后，VEFX-Reward 推断时是离线三轴独立打分，并未与策略优化（如 PPO/DPO）做端到端联调闭环，因此作为训练信号的鲁棒性尚未在本文内被验证。
独立分析的弱点
从独立分析角度，可以指出四点可改进的方向。第一，标注粒度过粗。4 分制虽然稳定，但 IF=2 与 IF=3、EE=2 与 EE=3 的边界仍存在 10–25% 的主观分歧（exact 一致性 IF 75.2%、EE 72.2%），建议对 32 子类引入更细粒度的中间分或者 fine-grained 多标签（如局部定位框、目标追踪一致性曲线）。第二，EE 维度仅靠目视打分。Edit Exclusivity 缺乏显式的非目标区域检测模块，可以引入自动 SAM-2 分割+图像差分作为初筛，再由人工校正，能显著降低主观噪声。第三，覆盖调整模型的可解释性不足。IPW 的 propensity 估计完全依赖任务类型、prompt 长度等观测协变量，对'模型选择性拒绝困难样本'的潜在机制缺乏检验；可以加一个敏感性分析报告调整前后排序的 Spearman 差。第四，奖励模型与策略优化脱节。本文没把 VEFX-Reward 接进 PPO/DPO/GRPO 做闭环，因此只能用作离线评估器而非 RL 信号；建议下一步直接用它作为 RL 微调的奖励源，验证其是否能反向提升 UniVideo、VACE 等开源模型的编辑质量。
未来方向
作者明确提到的方向有三：一是把 VEFX-Reward 直接接到 RL 微调里做闭环优化；二是扩到更多 backbone 与更大规模；三是在更复杂的视觉特效类别（如多步骤合成、光照重打）上扩展标注指南。基于成果还可以延伸出几条值得探索的研究方向：把三轴解耦设计推广到通用 RLHF 中作为'多维度偏好对齐'的通用范式；在视频编辑以外的领域（音频编辑、3D 场景编辑）复用这套协议做对照实验；把 IF/RQ/EE 三个分数联合起来作为 safety/quality 双约束，用于在线过滤商业 API 输出；或者反向利用数据集中高方差视频（图 15 中展示的 cross-pipeline variance 大的样本）做主动学习，自动筛选最具信息量的样本给标注员。
复现评估
复现难度中等偏上，作者公开了项目主页 https://xiangbogaobarry.github.io/VEFX-Bench/，但论文中明确说数据与模型权重未在正文给出下载链接。数据规模 5,049 条三元组，单条需要 4 FPS 抽帧 + 32,768 token 序列，在 8 张 GPU 上以 bf16 训练，第一阶段 1 epoch 冻结、第二阶段 49 epoch 解冻 LM/merger，单卡显存占用按 Qwen3-VL-32B 估算需要至少 40–60 GB；4B 版本门槛显著更低，单卡 A100 80G 即可完整复现。代码框架明确（Qwen3-VL backbone + 三个 special token + BCE 序数回归），超参与采样策略（4 FPS、632×632、max seq 32768、AdamW、$1\!\times\!10^{-5}$/ $5\!\times\!10^{-5}$、cosine、warmup 15%、eff. batch 8）都已写清，可复现性较好。但商业 API 部分（Grok Imagine、Kling Omni、Wan 2.6、Luma Ray2、Kling o1/o3、Runway Gen-4.5、Seedance 2.0、Luma ray 3）随时间变化、覆盖可能漂移，第三方要复现表 7 的具体排名几乎不可能，只能复现开源子集（UniVideo、VACE）的相对名次。
论文图表
