← 返回 2026-10-14

PhyProbe:重新思考生成视频的物理一致性评估 PhyProbe: Rethinking Physical Consistency Evaluation in Generated Videos

Max Ku, Jiaojiao Fan, Zekun Hao, Francesco Ferroni, Heng Wang, Wenhu Chen, Ming-Yu Liu, Prithvijit Chattopadhyay 📅 2026-09-29 👍 13 2026-11-11 18:30
成对排序学习 物理一致性 视频生成评估 视频表征 评估器/奖励模型

冻结时空编码器加轻量打分头,以排序、回归、锚定三重监督学习连续且刻度稳定的物理违和度评分

前置知识

Bradley-Terry 模型与成对排序损失

把每个物品的'实力'建模为潜标量分数,两者分数差经 logistic 函数 $\sigma(s_i - s_j)$ 给出 i 胜过 j 的概率。训练时用交叉熵最大化观测到的偏好概率,使分数差自动反映胜负强弱,是从成对比较恢复出标量评分的经典方法。

PhyProbe 的第一项损失 $\mathcal{L}_{rank}$ 就是 Bradley-Terry 形式:人类偏好标注天然是'A 比 B 更违和'的相对判断,比绝对打分更抗噪,模型借此学到可靠的相对排序。

Spearman 与 Pearson 相关系数

Spearman $\rho$ 衡量两组评分排序的一致性(对单调变换不敏感),Pearson $r$ 衡量线性相关(对数值刻度敏感)。同时报告两者可以区分'模型排对了顺序'与'模型分数在数值上与人打分线性对齐'这两件不同的事。

论文用 $\rho$ 检验排序质量、用 $r$ 检验分数锚定质量:PhyProbe 在 VF2 上 $\rho/r=0.596/0.604$ 几乎相等,正是'既有序又锚定稳定'的证据,这也是本文的核心卖点。

冻结预训练编码器 + 轻量探针(linear probe 范式)

保留大规模预训练骨干网络参数不动,只在其输出特征上训练一个很小的头(本文约 1M 参数的 MLP)。这样做训练成本极低、不易过拟合,且性能上限完全取决于骨干表征是否已隐含编码了目标任务所需的信息。

PhyProbe 全部增益建立在'冻结的时空表征已经隐式编码物理动态'这一假设上;骨干消融(Table 5)显示 PE-Core-G14-448 与 V-JEPA2 明显优于重建导向的 VAE,是该范式成败的关键证据。

V-JEPA2 与 Perception Encoder(自监督/弱监督视频表征)

V-JEPA2 是 Meta 的掩码预测式自监督视频模型,学习预测被遮挡时空块的表征;Perception Encoder (PE) 是 NVIDIA 的大规模弱监督视觉-语言对齐编码器。两者都不依赖人工标签的具体语义,却能产出对物体结构、运动连续性和交互动态敏感的特征。

本文的核心论点是'物理一致性评估是表征层面的问题':正是这类时空预训练表征(而非 VLM 的语言推理)让 1M 参数的小头就能回归出可靠的违和分数,Table 5/7 的对比直接验证了这一点。

Huber 损失

回归损失函数:误差小时用二次项 $\frac{1}{2}(s-y)^2$ 保证平滑,误差大时退化为线性 $\delta(|s-y| - \frac{1}{2}\delta)$,从而抑制离群标注对梯度的支配,常用于标签带噪声的回归任务。

人类给出的物理违和标量标注天然噪声大且跨数据集刻度不一,PhyProbe 用 Huber($\delta=0.5$)做回归目标 $\mathcal{L}_{mag}$,正是为了让模型从这些'近似幅度'中学习而不被坏标注带偏。

研究动机

视频生成模型(Sora、Veo、Wan2.1 等)在视觉质量和时间连贯性上已取得长足进步,但物理一致性仍是顽固短板:生成的视频可以纹理清晰、运动平滑,却出现物体违反重力、穿过固体表面、凭空变形等错误。改进的前提是先能测量,而可靠测量至今是开放问题。现有两条路线各有具体缺陷。第一条是直接用现成 VLM(如 Gemini-3.1)零样本评估:这类模型对物理动态'近视',往往要等错误变得明显才察觉——论文 Figure 1 展示了三段视觉质量都很高的视频,人/VLM 对前两段都回答'看起来没问题',完全无法感知 0.20~0.60 区间的细微违和。第二条是在人类标注上微调的评估器(如 VideoPhy2-AutoEval、VideoScore2):它们过拟合各自数据集的标注分布,跨基准表现失衡——VP2-AutoEval 在 VP2 上相关系数最高($\ ho=0.359$)但在 VF2 上仅 0.235,VideoScore2 正好相反(VF2 $\ ho=0.462$、VP2 $\ ho=0.197$),两者实际上都校准到了各自标注分布而非可迁移的物理测量。更深层的问题是监督源本身不稳定:认知科学研究表明人类只可靠地检测显著违和、对细微不一致不敏感;物理违和又常与渲染伪影混杂,标注者实际响应的是整体感知质量;随着生成质量提升,绝对分数还会随时间漂移。

本文的目标是本文要造的不是'是否违和'的二分类器,而是一台物理一致性'测量仪':输入任意单个视频,输出连续、有界($[0,1]$)、刻度稳定的违和严重度分数 $s(v)$,能区分'物体稍微漂离表面'与'物体在半空爆炸成碎片'这类程度差异。为此作者明确提出三条设计准则(desiderata):其一,可靠的相对排序——即使绝对打分不完美,稳定的'视频 A 的物理违和比视频 B 更严重'的判断已足以支撑测量;其二,分数锚定在固定参考刻度上,使绝对值跨数据集、跨时期可比,不随标注时的数据分布漂移;其三,推理时只需单个视频,不需要成对参照或提示对齐,因为许多物理违和仅从时间动态本身即可识别。满足这三条的评估器才能真正服务于'测量问题'对精度、稳定性和刻度的要求,而不是又一个在特定基准上刷分的偏好模型。

与已有工作不同的是,独特之处在于把物理一致性评估从'语义推理问题'重构为'表征层面的测量问题'。已有方法要么依赖 VLM 的语言中介推理,要么在单一数据集上微调大模型去拟合标注模式,本质上都在语义代理信号上打转,分布偏移下容易退化;基于预测误差的无监督指标(V-JEPA surprisal)则与人类判断相关极低($\ ho$ 仅 0.065~0.121)。本文主张:强时空自监督/弱监督预训练表征已经隐式编码了物体结构、运动连续性与交互动态,在其上用轻量打分头即可回归出违和分数,无需 VLM 或语言中介。第二个独特切入是监督的组织方式:与其让单一数据源的标注既当排序又当刻度,不如把 7 个异构来源(真实-生成对、生成-生成对、真实-真实对、合成失败案例、人类 Likert 标注)重新组织成三种互补的监督形式——成对排序管'相对序'、噪声标量回归管'幅度'、锚定校准管'绝对刻度'——每种监督由最适合它的数据源提供,统一进一个训练目标。这直接回应了论文摘要点出的核心矛盾:现有监督要么只能提供相对排序、要么只能提供不可靠的绝对分数,而无法在不同设置下同时可靠地提供两者。

核心方法

直觉上,判断视频是否违反物理规律未必需要语言推理:在一个对时空动态敏感的表征空间里,正常运动与违和运动本身就位于不同区域,问题只是如何把它们映射到一个有序、有界的标量上。技术路线因此非常克制:冻结一个预训练时空编码器 $f(\cdot)$(主实验用 Perception Encoder PE-Core-G14-448,约 2B 参数),输入视频按 16 fps 均匀采样 48 帧,letterbox 到固定分辨率并用中灰填充空白;每帧的 patch token 先做空间均值池化得到帧级描述子,再跨帧做统计池化——把时间维度上的均值、标准差、最大值拼接起来,兼顾整体内容、时间变化幅度与显著事件,且对视频长度不变;得到的描述子送入一个三层 GELU MLP 打分头 $g_\theta(\cdot)$,输出标量分数 $s(v) = g_\theta(f(v))$,全程只训练约 1M 参数。训练目标将三类监督统一为 $$\mathcal{L} = \mathcal{L}_{rank} + \lambda_{mag}\mathcal{L}_{mag} + \lambda_{cal}\mathcal{L}_{cal}$$($\lambda_{mag}=10$,$\lambda_{cal}=100$),分别对应 Bradley-Terry 成对排序、Huber 回归和锚定 MSE。推理时输出 $s(v) = \mathrm{clip}(\ ilde{s}(v), 0, 1)$,把无约束的原始打分裁剪到 $[0,1]$ 区间。

核心创新有三层。第一,'冻结表征+轻量头'的范式选择:与微调 7B 级 VLM 的评估器(VideoPhy2-AutoEval 基于 VideoCon、VideoScore2 基于 Qwen2.5-VL)本质不同,PhyProbe 不做语言中介的物理推理,而是直接在预训练时空表征空间上学习标量测量函数,绕开了语义捷径并把训练成本压到 4 张 H100 跑一天。第二,监督解耦与异构化:把约 37.1 万视频对重新组织为排序/回归/锚定三种监督,每种由最适合的数据源提供——有语义对应与无对应的真实-生成对及生成-生成对共同提供排序(刻意混合两者,防止模型依赖共享 prompt 的语义线索做判断),1–5 分 Likert 人类标注经违和 flooring 映射后提供噪声幅度目标,真实视频锚向 0、合成失败案例锚向 1 提供绝对刻度的端点参考。第三,锚定校准损失 $\mathcal{L}_{cal} = \mathbb{E}_v \| s(v) - I(v) \|_2^2$ 显式解决跨数据集的刻度歧义,这是以往评估器从未显式处理的问题:消融显示去掉它后分数范围爆炸到 $[-0.40, 4.13]$,且 ImplBp 配对精度从 98.0% 崩到 84.9%——没有锚点,模型连'什么算明显一致/明显违和'都定不准,只剩排序能力。

方法步骤详情

步骤一,数据构建:汇聚 7 个来源共约 37.1 万对视频——PAI-Bench 42K(真实参照视频对 I2V 生成,图像+文本对应,参照恒为胜者,重采样至多 50 个负例);VideoPhy2 19K(同动作类内按 PC 分配对);VideoFeedback2 31K(无对应,仅保留 PC 分差 $\geq 1$ 的对);BrokenVideos 14K(以 $s = 0.6\cdot\ ext{mask\_area} + 0.3\cdot\ ext{center\_proximity} + 0.1\cdot\ ext{mask\_presence\_ratio}$ 计算复合异常分,分差 $\geq 0.4$ 才配对,该启发式与人类多数判断一致率 80.6%);ImpossibleVideos 27K 与 TRAVL 98K(真实-生成无对应配对,真实为胜者,两端的视频同时用作锚点);Kinetics-700 140K(真实-真实平局对,锚定 0)。步骤二,标签归一:1–5 Likert 按违和 flooring 映射——PC=5→0.0、PC=4→0.5、PC=3→0.667、PC=2→0.833、PC=1→1.0,在高违和端压缩、低违和端保留分辨率;BrokenVideos 分数映射到 $[0.5, 0.9]$。步骤三,训练:冻结编码器提特征,统计池化+MLP 输出无约束的 $\ ilde{s}(v)$;联合优化三损失,AdamW 学习率 $3\ imes 10^{-4}$、权重衰减 0.01、500 步 warmup 后 cosine 退火、共 10K 步、batch size 8;排序损失按标注分差做自适应标签平滑($\epsilon \in [0.05, 0.095]$,分差越大平滑越弱),回归用 Huber($\delta = 0.5$),锚定用高权重 MSE;数据集级采样权重(VF2 0.294、VP2 与 TRAVL 各 0.176 等)防止大数据集主导,配对池每 2.5K 步重采样;评估用 EMA(衰减 0.9999)权重。4 张 H100 上约 24 小时训完。步骤四,推理:单视频前向一次,$s(v) = \mathrm{clip}(\ ilde{s}(v), 0, 1)$。

技术新颖性

技术新颖性可归纳为五点。(1)问题形式化:把'评估'升级为'测量',提出精度(可靠排序)、稳定性(锚定刻度)、单视频推理三条 desiderata,并一一映射到对应的损失项,这种测量学视角的问题重构在视频物理评估文献中是首次。(2)违和 flooring 归一化:受人类感知阈值化研究启发,在低违和区保留分辨率、在高违和区压缩(PC=4 映射到 0.5 而非线性插值到 0.25),Table 10 显示比线性归一化在四个基准上提升 1.3~6.1 个百分点,30 对盲测中 73.3% 的标注者偏好新方案。(3)异构监督统一框架:同一目标函数下兼容有/无语义对应、R-G/G-G/R-R、偏好/标量/二值锚点等完全不同的标签形态,并让每个数据源只贡献它最可靠的信号。(4)严格归因:Table 7 用完全相同的 V-JEPA2-H/16 骨干对照,PhyProbe 比 surprisal 基线在四个基准上高 13.9~48.1 点,证明增益来自训练目标而非骨干更强。(5)极简设计:统计池化(mean+std+max)以 1.02M 参数击败 6.92M 参数的注意力池化(VP2p 66.1% vs 63.7%),说明关键在表征质量与监督组织,而非头部容量或参数规模。

Overview of PHYPROBE.
Figure 2: Overview of PHYPROBE.
Illustration of the supervision regime for physical plausibility evaluation.
Figure 10: Illustration of the supervision regime for physical plausibility evaluation.

实验结果

逐项分析。① 配对精度(Table 2):PhyProbe 在四个物理基准中的三个夺冠——ImplBp(图像+文本对应,R-G)98.0%、PhyDEx(无对应,R-G)98.9%、VF2p(无对应,G-G)75.2%,加权平均 82.4%,超过最强基线 Gemini-3.1-Pro 的 78.1%;R-G 对上达到 98.0~98.9%,更难的 G-G 对上 66.1~75.2%;唯一失守的是 VP2p(66.1% vs Gemini Pro 70.5%)。值得注意的是各基线在不同对应设置下波动巨大(VP2-AutoEval 在 28.0~36.3% 之间),而 PhyProbe 全面稳健,最大优势恰恰出现在以往评估器退化最严重的'无对应'与'生成-生成'场景。② 人类相关性:VF2 上取得最强 $\ ho/r = 0.596/0.604$(VideoScore2 为 0.462/0.430),VP2 上 $\ ho = 0.293$ 居中(VP2-AutoEval 0.359 最高),Fisher-z 加权平均 0.458/0.466 为全场最高,且排序指标与线性指标高度接近,说明分数既有序又稳定锚定;Figure 5 的小提琴图显示基线预测堆积在离散标注档位上,PhyProbe 给出更平滑的类内分布。③ 同骨干对照(Table 7):换用 V-JEPA2-H/16 时 PhyProbe 仍比 surprisal 基线高 +48.1/+13.9/+21.7/+30.8 点、相关系数提升最高 +0.502。④ 消融(Table 4):去 $\mathcal{L}_{rank}$ 排序退化(PhyDEx 98.9→94.7),去 $\mathcal{L}_{mag}$ 分数范围爆炸至 $[-1.89, 3.45]$,去 $\mathcal{L}_{cal}$ 范围爆至 $[-0.40, 4.13]$ 且 ImplBp 崩到 84.9%。⑤ 骨干(Table 5):PE-Core-G14-448 最佳,重建导向的 Wan2.2 VAE 最弱(ImplBp 仅 71.7%)。⑥ 头部(Table 6):统计池化以 2.8 倍参数成本达到最优权衡。⑦ 泛化(Table 3):未用任何通用偏好标签,却在 MonetBench(w/ tie)拿到 72.7%(VisionReward 68.2%、VideoReward 56.1%)、Rapidata-I2V 以 62.7% 领先、RewardBench Overall(w/o tie)65.3% 有竞争力。⑧ 稳健性与分离度:LODO(Table 9)显示去掉 VF2 训练后 VF2p 掉 17.2 点,存在部分数据集依赖;Figure 9 中 PhyProbe 在 ImplBp 的 AUC=0.980、Cohen's d=3.26,远超 VP2-AutoEval 的 0.587/0.34。

Training datasets used for PHYPROBE.
Table 1: Training datasets used for PHYPROBE.
Core results on physical video benchmarks.
Table 2: Core results on physical video benchmarks.
PHYPROBE aligns with broader human preference beyond physical consistency.
Table 3: PHYPROBE aligns with broader human preference beyond physical consistency.
Importance of individual loss components in PHYPROBE.
Table 4: Importance of individual loss components in PHYPROBE.
Effect of backbone representations on PHYPROBE.
Table 5: Effect of backbone representations on PHYPROBE.
Ablation of projection head designs.
Table 6: Ablation of projection head designs.
We compare PHYPROBE with V-JEPA2 surprise.
Table 7: We compare PHYPROBE with V-JEPA2 surprise.
Leave-one-dataset-out (LODO) analysis.
Table 9: Leave-one-dataset-out (LODO) analysis.
Effect of score normalization on PHYPROBE.
Table 10: Effect of score normalization on PHYPROBE.
Train/test overlap between each evaluation benchmark and the complete training corpus used by PHYPROBE.
Table 14: Train/test overlap between each evaluation benchmark and the complete training corpus used by PHYPROBE.
Qualitative comparison of physical plausibility assessment across videos.
Figure 3: Qualitative comparison of physical plausibility assessment across videos.
Qualitative results across correspondence levels.
Figure 4: Qualitative results across correspondence levels.
Distribution of evaluator predictions conditioned on human rating levels on VideoPhy2 (VP2) and VideoFeedback2 (VF2).
Figure 5: Distribution of evaluator predictions conditioned on human rating levels on VideoPhy2 (VP2) and VideoFeedback2 (VF2).
Predicted score distributions for plausible and implausible videos.
Figure 9: Predicted score distributions for plausible and implausible videos.
查看结构化数据
任务指标本文基线提升
物理一致性配对判断(图像+文本对应,R-G,ImplBp) Pairwise Accuracy (%) 98.0 Gemini-3.1-Pro: 95.2;VideoScore2: 68.7 +2.8(vs 最强基线 Gemini-3.1-Pro)
物理一致性配对判断(文本对应,G-G,VP2p) Pairwise Accuracy (%) 66.1 Gemini-3.1-Pro: 70.5;VP2-AutoEval: 28.5 -4.4(唯一未夺冠的基准,仍远超微调类基线)
物理一致性配对判断(无对应,R-G,PhyDEx) Pairwise Accuracy (%) 98.9 Gemini-3.1-Flash-Lite: 89.0;V-JEPA Surprise: 49.0 +9.9
物理一致性配对判断(无对应,G-G,VF2p) Pairwise Accuracy (%) 75.2 Gemini-3.1-Flash-Lite: 74.5;VideoScore2: 65.0 +0.7(vs 最强基线);vs VideoScore2 +10.2
四基准加权平均配对精度 Pairwise Accuracy (%) 82.4 Gemini-3.1-Pro: 78.1 +4.3
VF2 人类评分相关性 Spearman ρ / Pearson r 0.596 / 0.604 VideoScore2: 0.462 / 0.430 +0.134 ρ / +0.174 r
VP2 人类评分相关性 Spearman ρ 0.293 VP2-AutoEval: 0.359 -0.066(但在 VF2 上不塌陷,实现跨基准平衡)
通用人类偏好 MonetBench(w/ tie) Pairwise Accuracy (%) 72.7 VisionReward: 68.2;VideoReward: 56.1 +4.5(无任何通用偏好标签训练)
通用人类偏好 Rapidata-I2V Pairwise Accuracy (%) 62.7 VideoReward: 51.5;VisionReward: 47.1 +11.2
同骨干对照(V-JEPA2-H/16,四基准) Pairwise Accuracy 提升(百分点) PhyProbe(同一骨干) V-JEPA2 Surprise +48.1 / +13.9 / +21.7 / +30.8(ImplBp/VP2p/PhyDEx/VF2p)
ImplBp 上合理 vs 违和视频的分数分离度 AUC / Cohen's d 0.980 / 3.26 VP2-AutoEval: 0.587 / 0.34 AUC +0.393

局限与改进

作者承认的局限:当前时空表征对长程因果依赖建模不完善,只在较长时间跨度上才显现的违和可能被欠编码;极短暂或瞬时的违和(如物体突然出现/消失、状态突变)可能持续太短,无法在聚合表征中留下足够信号;真实视频中罕见但物理成立的运动可能被打出偏高的违和分(Figure 8 的失败案例:瞬时变化被判 0.00、时间不同步只判 0.20,而一些无违和的真实视频反而得到 0.38~0.68);更深层的局限是定义本身——PhyProbe 逼近的是'人类感知到的物理合理性'这一操作性定义,而人类判断与整体感知质量纠缠,模型可能部分捕获质量因素;目前没有任何基准能在固定质量、场景、提示、生成器的同时只变物理一致性,因此无法严格验证解耦。我自己的观察:其一,VF2 测试集与训练集共享全部 prompt 和生成器(Table 14/15 披露 500/500 重叠),其上的相关性数字可能偏乐观,VideoPhy2 的官方划分也共享 43% 生成器;其二,$[0, 0.5)$ 低违和区间没有任何直接严重度标注(Figure 10),该区间的分数解释性未经校验;其三,clip 到 $[0,1]$ 只是推理时的事后处理,打分头本身无界;其四,VP2p 上不敌 Gemini-3.1-Pro(66.1% vs 70.5%),说明细粒度物理常识(流体、碰撞细节等)仍非纯表征聚合所能覆盖;其五,48 帧@16fps 的固定窗口对长视频和慢过程物理现象不友好。

独立分析的弱点

独立分析的弱点与改进方向。(1)数据集特异性依赖:LODO 显示每剔除一个训练源,对应基准就明显退化(去 VideoFeedback2 后 VF2p −17.2、去 VideoPhy2 后 VP2p −7.8、去 TRAVL 后 VP2p −7.4),且所有设置下 VP2p 都下降,说明跨源迁移只是部分的,模型仍带有源特定线索;改进方向是引入更多生成器与域的多样性,或在训练中加入对抗去偏/域不变正则,显式抑制源判别特征。(2)低违和区间无监督:$[0, 0.5)$ 的分数缺乏直接验证,可在真实视频上施加参数化的小幅物理扰动(如局部微小的重力/碰撞系数修改)生成亚阈值受控监督,验证并 sharpen 低分区的分辨率。(3)时间盲区:固定 48 帧窗口加统计池化对瞬时违和不敏感、对长时程违和欠编码,可引入多尺度时间聚合、事件级检测头或流式评分,并对'最大值'之外加入分位数等更丰富的统计量。(4)物理与质量纠缠:训练目标没有显式解耦项,模型在质量类基准上的意外强势(MonetBench 72.7%)反而暗示分数混入了质量信号;可构建'固定场景与质量、只变物理参数'的合成数据做解耦训练与受控评估。(5)对罕见但真实的运动误报:可在锚定集中补充'罕见但物理成立'的真实视频并锚向 0,扩宽真实端的分布覆盖,降低对新颖运动的误伤。(6)G-G 无对应仍是最难场景(66.1~75.2%),跨场景比较依赖更抽象的物理表征,可探索把动力学预测误差(世界模型 rollout 偏差)作为辅助监督信号。

未来方向

作者提出的方向:改进长时程时间表征,使跨较长 horizon 才显现的因果违和可被编码;构建更全面的物理监督来源;设计'固定质量只变物理'的受控评估基准,以严格检验物理与质量的解耦。基于本文成果可自然延伸的工作:(1)把 $s(v)$ 直接用作强化学习奖励或测试时搜索(best-of-N、噪声引导)的信号,反哺视频生成器的物理一致性——这正呼应论文'改进物理一致性需要先能测量它'的核心立场,且低成本推理使其适合在生成循环中大规模调用;(2)与 VLM 协同做可解释归因:PhyProbe 负责'违和程度'的连续测量,VLM 负责'哪里违和、违反什么定律'的解释,结合时间显著性定位违和片段;(3)把'锚定+排序+回归'的三重监督范式推广到美学、文本对齐、安全等其他评测维度,构建统一的多维视频测量框架,各维度共享同一骨干而各有打分头;(4)利用锚定刻度做跨时期漂移监测:追踪生成模型迭代中物理一致性的绝对变化,而非只看相对排名;(5)扩展到世界模型与具身仿真输出的物理评估、长视频一致性,以及 3D/4D 生成内容的物理合理性检验。

复现评估

复现条件总体友好。训练数据全部来自公开数据集(PAI-Bench、VideoPhy2、VideoFeedback2、BrokenVideos、ImpossibleVideos、TRAVL、Kinetics-700),附录 B.1 逐数据集给出配对规则、标签构造(含违和 flooring 映射表、BrokenVideos 复合分公式及其分差阈值 0.4 ≈ 2.9×IQR 的保守性论证),连启发式标签都做了 4 名标注者、85 对的人类验证(与人类多数一致率 80.6%,与人类-人类一致率 77.5% 相当,Fleiss' κ=0.42)。训练成本中等偏低:冻结 2B 编码器、仅训约 1M 参数,4 张 H100 约 24 小时,batch 8、10K 步;优化器配置、EMA、自适应标签平滑公式、全局种子 42、评估中预计算 A/B 交换以消除位置偏置等细节均有披露,评估的 tie 处理(20 分位阈值)也附了敏感性分析(Table 12)。基线对比中 Gemini-3.1 需调用 API(有一定费用),其余基线用官方开源代码与提示模板。论文正文未给出代码或权重的发布链接,若官方不开源,复现的主要工作量在 7 个数据集的下载、清洗与配对管线搭建;好在所有评估协议(配对精度、Spearman/Pearson、Fisher-z 平均)都定义明确,整体复现难度评估为中等,有工程能力的小团队一周内可完成核心复现。

相似论文推荐