多模态领域泛化真的在进步吗？一项综合性基准研究

首个统一多模态领域泛化基准，揭示专门方法相对ERM基线仅有微弱提升。

前置知识

领域泛化 (Domain Generalization, DG)

DG 研究模型在未见目标域上的泛化能力。给定 $N_s$ 个源域与目标域 $D^{tgt}$,学 $f: X \to Y$ 在 $D^{tgt}$ 上表现良好。多模态记作 $f: X^{m_1} \times \cdots \times X^{m_K} \to Y$。

MMDG-Bench 本身是 DG 基准在多模态场景下的扩展，必须先理解单模态 DG (DomainBed) 的 leave-one-domain-out 范式和 ERM 基线为何能反超专门方法，才能理解 MMDG-Bench 想要在多模态世界复现的核心实验逻辑。

经验风险最小化 (Empirical Risk Minimization, ERM)

Vapnik 经典准则: $\mathcal{L}_{\text{ERM}} = \frac{1}{N_s}\sum \mathbb{E}_{D_i^{src}}[\ell(f(x), y)]$,不显式建模域不变性。DomainBed 揭示它能反超专门方法。

ERM 在本文中作为强基线参与全部 95 个跨域任务的对比，专门方法 (RNA-Net/SimMMDG/MOOSA/CMRF/NEL/JAT/MBCD/GMP) 的相对提升都必须和 ERM 比才有意义，这是 MMDG-Bench 第一个最关键的发现 (1) 的实验基础。

模态竞争与模态不平衡 (Modality Competition / Imbalance)

多模态学习里不同模态对联合表示贡献不对称:某些模态 (视频) 主导梯度方向,另一些 (音频) 被抑制甚至负迁移。SimMMDG/CMRF/MBCD/GMP 的核心是缓解这种竞争。

本文化验的第二个发现 'no single method dominates' 实质上反映了模态竞争在不同任务上有不同表现：CMRF 专为 modality competition 设计，在 HUST motor 上能比 ERM 高 +8.3 个百分点，但在情感分析 (CH-SIMS) 上反而低于 ERM，说明模态竞争本质上是一个任务相关而非任务无关的现象。

多模态数据集 (EPIC-Kitchens / HAC / HUST Motor / CMU-MOSI/MOSEI / CH-SIMS)

MMDG-Bench 统一 6 数据集:EPIC-Kitchens (8 类,3 厨房) 与 HAC (人/动物/卡通) 用于动作识别;HUST Motor (4 工况) 用于故障诊断;CMU-MOSI/MOSEI/CH-SIMS 用于跨语言情感分析。

理解这 6 个数据集各自的'域'语义 (kitchen / 卡通人物 / 电机转速 / 中英语料) 才知道作者做的是 leave-one-domain-out 的真实难度——例如 H,A→C 实际是让模型在人类动作上训练后到卡通动作上测试，这是巨大的视觉外观偏移。

鲁棒性评估:损坏与缺失模态 (Corruption Robustness & Missing-Modality)

鲁棒性评估含两类扰动:(1) 输入损坏——对测试时一个模态施加 wind/defocus blur,比较与 clean 的精度差;(2) 缺失模态——训练时用 V+A,推理时只给 V 或 A,量化传感器失效下的衰减。

MMDG-Bench 第五个关键发现 (5) 直接源于这两类实验：音频风噪带来 0.77–4.22 pp 下降，视频散焦造成 7.97–12.82 pp 暴跌；移除音频只损失 0.32–3.20 pp，但移除视频就掉 36.50–43.93 pp。理解这些'非对称崩塌'才能体会为什么 video 是 dominant modality、为什么作者呼吁把 corruption resilience 列为 first-class objective。

可信度:误分类与分布外检测 (Misclassification & OOD Detection)

可信度评估模型'知道自己不知道'。误分类检测 (MisD) 衡量能否给错样本打低分,指标 AURC/AUROC/FPR95。分布外检测 (OOD) 衡量能否识别不同语义的输入,常用 HAC 为 ID、EPIC-Kitchens 为 OOD。

这是 MMDG-Bench 第一次把 trustworthiness 纳入 MMDG 评估，揭示了一个反直觉结论：分类精度最高的 CMRF 在 MisD 上排末位但 OOD AUROC 排第二；MOOSA MisD FPR95 最佳却 OOD 排末位，说明 MisD 与 OOD 是非冗余维度，对应论文发现 (3) 中关于 trustworthy MMDG 的方法论建议。

研究动机

多模态领域泛化 (MMDG) 是近年热门方向，每年都涌现出 RNA-Net、SimMMDG、MOOSA、CMRF 等宣称比 ERM 强 5–10 个百分点的'专门方法'。但实际研究现状十分混乱：(1) 数据集选择碎片化——大多工作只跑 EPIC-Kitchens 或只跑 PACS，缺乏跨任务可比的统一基线；(2) 模态配置不一致——有的用 V+A，有的用 V+A+F，融合策略难以对齐；(3) 训练协议各异——batch size、优化器、模型选择准则、超参搜索次数都各自定义；(4) 评估维度单一——95% 以上的论文只报 clean 跨域精度，忽略真实部署中必然遇到的输入损坏 (雨天、雨滴、风噪、defocus) 和传感器失效 (音频掉线、视频遮挡)；(5) 完全没有 trustworthiness 评估——分类精度高的模型是否在校准和 OOD 检测上也强，从未被系统检验。这种评估碎片化导致一个根本问题：现有 SOTA 是真正的算法进步还是对自家评估协议的过拟合？单模态领域泛化已经有 DomainBed (Gulrajani & Lopez-Paz, 2021) 揭穿 ERM 的故事，但 MMDG 至今没有对应的'裁判员'。

本文的目标是本文核心目标只有一个：构建 MMDG-Bench——第一个统一、综合、可复现的 MMDG 基准。具体子目标包括：(a) 在 6 个数据集 (EPIC-Kitchens, HAC, HUST motor, CMU-MOSI, CMU-MOSEI, CH-SIMS)、3 大任务 (动作识别、机械故障诊断、情感分析)、6 种模态组合 (4 种动作 + 1 种故障 + 1 种情感)、9 个代表方法 (ERM, RNA-Net, SimMMDG, MOOSA, CMRF, NEL, JAT, MBCD, GMP) 之上建立标准化的训练与评估流程；(b) 覆盖多源、单源、损坏鲁棒、缺失模态、MisD、OOD 检测 6 维评估；(c) 训练 7,402 个神经网络，对每种方法进行 10 次随机超参搜索 + 2 个额外种子复训以降低方差；(d) 报告 95 个 unique cross-domain 任务的详细结果，量化 'ERM vs 专门方法' 的真实差距与各方法在不同任务/模态/域之间的可复现性。

与已有工作不同的是，MMDG-Bench 的独特切入角度是'做减法'——不发明新方法，而用超大规模、统一协议的实验去质疑现有方法学进展。这种'复现性危机'式的基准研究在单模态领域 (DomainBed) 已经取得显著影响 (迫使后续 DG 工作都按 ERM 公平协议报告)，但在多模态领域一直没有先例。论文以 DomainBed 为模板，但把维度扩展到 3 倍 (任务 × 模态 × 域) 并加入 trustworthiness 维度。作者的另一个差异化设计是'反共识'的批判态度：他们假设专门方法应有显著优势，但实验结果发现'专门方法对 ERM 的提升仅在 HUST motor 上明显 (MOOSA +8.3 pp)，在大多数动作识别配置上仅 +1–3 pp，在情感分析上几乎与 ERM 持平 (MOOSA 66.60% vs ERM 65.63%)'，这种'挖自家祖坟'的发现正是 MMDG-Bench 对该领域最大的贡献。

核心方法

MMDG-Bench 的整体思路是'先标准化、再大规模、再多维度评估'。第一步是定义 4 种 MMDG 范式 (multi-source, single-source, corruption robustness, missing-modality)，用数学语言写清楚源域、目标域、扰动算子的形式化定义；第二步是选定 9 个代表方法 + 1 个 Oracle 上界 (用目标域数据训练，给出理论可达精度)，其中 ERM 作为强基线、其它 8 个是各代表技术路线 (模态均衡、对比学习、自监督预文本、梯度调制、协作蒸馏等) 的最新工作；第三步是统一 6 个数据集的预处理、训练域验证、模型选择、超参搜索协议 (AdamW + 10 次 random search + 2 额外种子)；第四步是按 6 维评估生成结果。整个研究路径可以理解为：复现 9 个方法 → 锁定最优超参 → 跨任务/跨模态/跨域报告 → 引入 corruptions 和 missing-modality → 跑 MisD 和 OOD → 总结 5 个关键发现。

本工作不是新方法而是'新基线裁判员'。其核心创新在于把 DomainBed 的思想扩展到多模态场景：所有方法共享相同的 95 个跨域任务，相同的数据 split、batch size、优化器、超参预算、模型选择 (训练域验证) 准则，并且使用相同的 backbone (MMAction2 for action, 1D-CNN for fault, BERT+LibROSA+OpenFace for sentiment)。这样一来，任何方法在某个任务上的相对提升都可以归因于算法本身，而非评估协议的差异。本质区别于以往 MMDG 工作的实验设计：(1) 超参搜索次数从 1-2 次扩到 10+2 次，消除随机种子噪声；(2) 把 corruptions (wind/defocus) 和 missing-modality 列为强制评估项；(3) 首次在 MMDG 框架下做 MisD (AURC/AUROC/FPR95) 和 OOD (HAC vs EPIC-Kitchens) 检测，揭示'精度高不等于可信'。

方法步骤详情

MMDG-Bench 的实验设计可拆为 5 步。第一步是数据集与域划分标准化：EPIC-Kitchens (D1/D2/D3 为 3 个厨房)，HAC (H/A/C 为人/动物/卡通)，HUST motor (D1–D4 为 4 个电机工况)，情感分析 (MOSI/MOSEI/SIMS 为 3 个数据集互为域)。第二步是模态组合设计：动作识别覆盖 V+A, V+F, A+F, V+A+F 4 种融合，机械故障用 vibration+acoustic，情感分析用 V+A+T。第三步是方法实现与超参搜索：对每个 (方法, 数据集, 模态组合) 三元组跑 10 次 random search + 2 个额外种子，按 DomainBed 训练域验证集挑选最优超参后重训 2 个 seed 取均值；4 任务 × 95 cross-domain 任务 × 平均约 20 训练 = 7,402 个网络。第四步是基线结果评估：multi-source 跑 leave-one-domain-out (3 个 LODO 划分平均)，single-source 跑所有 source-target 对 (6 对/任务)，情感分析额外报 MAE/F1/ACC2。第四步扩展是鲁棒性评估：在 HAC 上引入音频 wind noise 与视频 defocus blur，比较 clean vs corrupted 的精度差 (Figure 3)；在 HAC 上做 missing-modality (去掉 video 或 audio)，量化精度损失 (Figure 4)。第五步是可信度评估：以 HAC 为 ID、EPIC-Kitchens 为 OOD 跑 AUROC/FPR95；以 HAC 的 V+A 配置跑 MisD 的 AURC/AUROC/FPR95。

技术新颖性

MMDG-Bench 的方法论新颖性不在模型创新，而在协议创新与发现价值。技术上它实现了几点以往 MMDG 基准没做过的事：(1) 训练域验证 (training-domain validation) 作为统一的模型选择准则——以往工作多用 leave-one-domain-out 内部验证或 source-domain validation，DomainBed 已证明前者更公平，本文直接继承；(2) 多模态 backbone 解耦——动作识别用 MMAction2 把 video/audio/flow 拆成 3 个独立编码器，sentiment 用 BERT+LibROSA+OpenFace 三套独立特征，避免某一种 backbone 隐性地偏向某种方法；(3) Oracle 模型作为上界——直接把目标域数据喂给 backbone 训练，给出 '如果能用上 target 信息能到多少' 的硬上限。论文的发现价值则是反共识的：HAC trimodal 任务上 Oracle 92.81% vs 最佳方法 MOOSA 70.17%，相差 22.6 个百分点，证明 MMDG 还远未被解决；HUST motor 上 MOOSA 78.23% vs ERM 69.90% 是真正显著提升的少数场景之一 (mean +8.3 pp)；情感分析上 MOOSA 仅以 66.60% vs ERM 65.63% 险胜 (ACC2)，几个专门方法 (SimMMDG 64.68%, MBCD 62.34%, GMP 62.35%) 还不如 ERM，提示 negative transfer 风险。

实验结果

MMDG-Bench 给出 5 大核心发现，每个都有量化支撑。**发现 1 (ERM 是强基线)**：在 6 数据集 × 6 模态组合下，专门方法相对 ERM 的提升普遍 < 3 pp；HAC trimodal (V+A+F) ERM 67.89% vs 最佳 MBCD 71.30% (+3.4 pp)，HAC V+A ERM 68.93% vs 最佳 MOOSA 70.95% (+2.0 pp)；在 HUST motor 上才出现 +8.3 pp 显著差异 (MOOSA 78.23% vs ERM 69.90%)。**发现 2 (没有一致赢家)**：MBCD 在 EPIC-Kitchens V+A 上平均 64.87% 第一，但在 HUST motor 上跌到 69.14% 倒数第二；MOOSA 在 HUST motor 第一却在 HAC V+A trimodal 中只排第三。**发现 3 (与 Oracle 巨大差距)**：HAC V+A Oracle 92.81% vs MOOSA 70.95% (-21.9 pp)，HAC V+A+F Oracle 91.67% vs 最佳 CMRF 71.41% (-20.3 pp)，HUST Oracle 99.87% vs MOOSA 78.23% (-21.6 pp)，证明 MMDG 远未解决。**发现 4 (三模态融合未必更优)**：在 HAC 9 个方法中只有 5 个方法 V+A+F 优于 V+F；MOOSA 从 V+A 的 71.29% 跌到 V+A+F 的 70.17%，SimMMDG 同样在 trimodal 下退化；只有 CMRF, MBCD, GMP 这类专门处理 modality competition 的方法在 trimodal 上稳定提升 (+1.36, +0.59, +0.92 pp)，说明 modality competition 是关键优化瓶颈但还没有完美解。**发现 5 (鲁棒性严重脆弱)**：HAC V+A 上加音频风噪导致 0.77–4.22 pp 下降，加视频 defocus blur 导致 7.97–12.82 pp 暴跌；clean 下表现强的 SimMMDG 在 defocus 鲁棒性上从第 2 跌到第 7；缺失模态时移除音频损失仅 0.32–3.20 pp，但移除视频暴跌 36.50–43.93 pp，揭示 video 是 dominant modality、audio 是 auxiliary。**补充发现 (MisD vs OOD 非冗余)**：SimMMDG 在 MisD AURC 121.35 (最佳) 同时 OOD AUROC 61.83 (最佳) 一致强；CMRF MisD 排末位但 OOD AUROC 排第二；MOOSA MisD FPR95 最佳 (66.87) 但 OOD AUROC 倒数第一 (55.39)，证明'分类精度高 ≠ 可信'。**Single-source 退化**：HUST 上 D1→D4 single-source transfer 精度仅 1.75–18.14%，相比多源下降 60+ pp，说明现有方法高度依赖源域多样性。

**Table 1**: Multimodal multi-source DG with different modality combinations on EPIC-Kitchens and HAC datasets for action recognition task.

**Table 2**: Multimodal multi-source DG on HUST motor dataset with vibration and acoustic modalities for fault diagnosis task.

**Table 3**: Multimodal multi-source DG on MOSI, MOSEI, and SIMS datasets with video, audio, and text modalities for sentiment analysis task.

**Table 4**: Multimodal single-source DG with video and audio on EPIC-Kitchens dataset.

**Table 5**: Multimodal misclassification detection on HAC with video and audio modalities.

**Table 6**: Multimodal out-of-distribution detection with video and audio modalities, where HAC is the ID dataset and EPIC-Kitchens as OOD dataset.

**Figure 3**: Multimodal multi-source DG with corruptions on HAC dataset.

**Figure 4**: Multimodal multi-source DG with missing modalities on HAC dataset.

查看结构化数据

任务	指标	本文	基线	提升
多源 MMDG 动作识别 (HAC, V+A)	跨域平均准确率	MMDG-Bench 9 个方法的均值/最佳 (MOOSA 70.95%)	ERM 68.93% (强基线), Oracle 92.81% (上界)	最佳方法比 ERM +2.0 pp, 但比 Oracle -21.9 pp; 没有方法跨任务/跨模态稳定超越 ERM
多源 MMDG 机械故障诊断 (HUST motor, 振动+声学)	4 工况平均准确率	MOOSA 78.23% (最佳), GMP 77.47%, CMRF 74.94%	ERM 69.90%, MBCD 69.14% (最差)	MOOSA 比 ERM +8.3 pp, 是全部任务中专门方法相对 ERM 提升最显著的场景
多源 MMDG 情感分析 (MOSI/MOSEI/SIMS, V+A+T)	ACC2 (二分类准确率)	MOOSA 66.60% (最佳 ACC2), CMRF 66.48%, MBCD 62.34% (低于 ERM)	ERM 65.63% (ACC2), Oracle 75.22%	MOOSA 仅比 ERM +0.97 pp; SimMMDG 64.68%, NEL 59.98%, MBCD 62.34%, GMP 62.35% 全部低于 ERM, 提示 negative transfer
单源 MMDG (EPIC-Kitchens, V+A)	6 个 source-target 对平均准确率	MBCD 57.00% (最佳), SimMMDG 55.22%, MOOSA 54.98%	ERM 51.25% (基线), Oracle 71.05% (上界)	MBCD 比 ERM +5.8 pp, 是 single-source 上专门方法相对 ERM 较明显的提升; Oracle 仍领先 ~14 pp
损坏鲁棒性 (HAC, 视频 defocus blur)	vs clean V+A 的精度变化 (百分点)	MBCD 平均 -8.21 pp (最鲁棒), GMP -7.97 pp, CMRF -9.91 pp	ERM -8.79 pp, SimMMDG -12.82 pp (最差)	modality competition-aware 方法 (MBCD/GMP/CMRF) 抗损坏更强; clean 排名 vs 损坏排名不一致
缺失模态 (HAC, 仅 audio)	vs V+A 满模态的精度变化	平均 -40 pp 暴跌 (区间 -26.56 至 -53.75)	V+A baseline (0), 移除 video 后 ERM 损失 -40.39 pp, SimMMDG 损失 -41.66 pp	揭示 video 主导 / audio 辅助的非对称模态层级, 所有方法在缺 video 时几乎崩溃
误分类检测 (HAC V+A, MisD)	AURC (Area Under Risk-Coverage curve, 越低越好)	SimMMDG 121.35 (最佳), MOOSA 130.86, JAT 133.21	ERM 140.03, CMRF 170.71 (最差)	SimMMDG AURC 比 ERM 改善 18.7 点, 体现 modality-shared/specific 分解有助于置信度校准; CMRF 虽分类精度高但 MisD 排末位
分布外检测 (HAC ID, EPIC-Kitchens OOD)	AUROC (越高越好)	SimMMDG 61.83 (最佳), CMRF 59.45, JAT 59.18	ERM 56.77, MOOSA 55.39 (最差)	SimMMDG 比 ERM +5.1 pp; MOOSA MisD 强但 OOD 弱, 证明 MisD 与 OOD 是非冗余维度

局限与改进

作者在 Conclusion 中坦承本研究有 4 点局限。第一, **场景覆盖有限**: 6 个数据集集中在动作识别/故障诊断/情感分析, 没有覆盖医学影像、自动驾驶、遥感等同样需要多模态融合的关键领域; 数据集数量也少于大型基础模型评测 (如 LAION, ImageNet 1k+), 限制结论的广度。第二, **损坏类型单一**: 只引入音频 wind noise 与视频 defocus blur 两类扰动, 没有覆盖雨雪、压缩伪影、传感器漂移、对抗扰动等真实部署中的常见故障。第三, **多源域数量受限**: 情感分析只有 2 个源域 (MOSI+MOSEI→SIMS 等), 没有 4+ 源域的 leave-one-out 设置, 难以严格检验多源融合的边际收益。第四, **单源评估仅限 3 域任务**: HUST motor 的 D1→D4 single-source transfer 跌到 1.75–18.14%, 但作者没有深入分析为何不同方法在此场景下集体失效。我的额外观察: (a) 9 个方法的实现可能存在细节差异 (官方代码 vs 重新实现), 即使在相同协议下, 公平性仍受作者工程实现质量影响; (b) 缺少训练成本报告——7,402 个网络的训练算力、时间、碳足迹均未量化, 阻碍可持续性讨论; (c) trustworthiness 评估只在 HAC 数据集, 结论是否可推广到其他任务未知; (d) 缺少 ablation of Oracle 训练样本量——若用 10% 目标域精度曲线能告诉业界'还需多少数据才能把 MMDG 变成有监督学习'。

独立分析的弱点

独立审视后, 以下弱点值得改进。第一, **缺少对 ERM 优势的机理分析**——为什么精心设计的专门方法在 fair comparison 下频繁输给简单 ERM？论文只观察现象 (专门方法对 modality competition 假设过强或对超参敏感) 但没给出可证伪的数学解释。改进方向是对 9 个方法的 loss landscape 做可视化 (类似 Li et al. 2018 的可视化工具), 比较 ERM vs CMRF vs MOOSA 在 HAC 上的 loss 曲率, 量化 '专门方法的复杂归纳偏置是否真的带来更平坦的极小值'。第二, **缺少对 modality importance 的因果分析**——HAC 上 video 主导、audio 辅助是观察性结论, 没有反事实实验。改进方向是引入 'leave-one-modality-out training' 消融, 训练时只用 video、只用 audio、只用 flow, 看 V+A+F 相对 single-modality 的真实增益是来自互补还是噪声平滑。第三, **损坏鲁棒性协议不完整**——只有 clean vs corrupted 两点对比, 没有 corrupt severity curve (wind 强度、defocus 半径扫描)。改进方向是引入连续损坏强度曲线, 报告 mCE (mean Corruption Error) 之类的聚合指标。第四, **没有可扩展性测试**——所有实验在固定 9 个方法上, 新方法接入 MMDG-Bench 的工程成本多大、是否会有新的发现未知。改进方向是把 MMDG-Bench 抽象成可插拔的 '方法即插件' 框架, 类似 timm 的 model zoo, 鼓励社区持续提交新方法。第五, **缺乏对失败案例的 case study**——哪些样本在 9 个方法上都错？是 domain-specific noise 还是 model bias？改进方向是采样错误样本, 用 t-SNE 可视化它们的跨域分布, 区分 '域偏移难' vs '类别歧义难'。

未来方向

作者隐含的未来方向 (来自 Conclusion 的呼吁) 包括: (1) 把 modality competition, corruption resilience, trustworthy uncertainty estimation 列为 first-class objectives; (2) 呼吁开发 deployment-ready 的多模态系统。基于此我认为 4 个有前景的延伸方向。**(a) 多模态基础模型适配**: 当前 MMDG 方法都假设固定 backbone, 未来工作可探索 CLIP / InternVideo / ImageBind 等预训练多模态基础模型在 DG 上的微调协议, 看 ERM vs 专门方法的差距是否在 foundation model 时代被拉大或抹平。**(b) 模态选择的元学习**: MMDG-Bench 显示 video 是 dominant modality, 但动态场景下 modality importance 会切换 (夜间视频失效), 未来可学一个 modality gating 网络, 在推理时根据输入质量自动选择融合权重。**(c) 可信度驱动的损失函数**: 当前 MisD 和 OOD 是 post-hoc 评估, 未来可直接把 AURC/AUROC 作为训练目标的一部分, 类似 SelectiveNet 的风险控制框架, 从根本上优化模型'知道自己不知道'的能力。**(d) 多模态预训练 + MMDG 联合**: 现在 MMDG 通常在 ImageNet/MMAction2 预训练权重上 fine-tune, 没有专门为多模态 DG 设计预训练任务 (如跨模态对齐、域不变对比学习), 未来可探索 'MMDG-aware pretraining', 让预训练阶段就内化域泛化能力。**(e) 真实部署 benchmark**: MMDG-Bench 是离线的, 未来可引入在线持续学习协议, 模拟模型在生产中遇到新域时如何持续更新, 评估 catastrophic forgetting 与新域适应之间的权衡。

复现评估

MMDG-Bench 的可复现性分四方面评估。**代码与数据**: 作者明确给出 GitHub 仓库链接 https://github.com/lihongzhao99/MMDG_Benchmark, 承诺发布 9 个方法的官方实现、6 个数据集的标准化 split 划分、训练/评估 pipeline; 数据集 EPIC-Kitchens, HAC, HUST motor, CMU-MOSI/MOSEI, CH-SIMS 全部公开可下载, 但部分需要申请 (CMU 系列需注册)。**超参与协议**: 论文 Appendix D 详细列出超参搜索空间 (学习率、权重衰减、batch size、温度系数等), 训练域验证协议、模型选择准则、random search 次数都明确写明, 复现门槛较低。**算力需求**: 7,402 个网络是显著投入, 即便每个网络平均 4 GPU 小时, 总计近 30k GPU 小时 (约 1375 A100 天), 中小团队难以独立复现全部实验, 但可以挑选代表性任务 (如 HAC V+A + HUST motor) 进行子集复现。**复现难度**: 9 个方法的实现质量直接影响结论, SimMMDG、MOOSA、CMRF 等近 1-2 年发表的方法可能存在原始代码不全、依赖项冲突等问题, 建议复用各方法的官方代码而非重新实现。**潜在偏差**: 不同方法的实现成熟度不一, ERM 和 RNA-Net 已是 DomainBed 生态的成熟模块, 而 CMRF/MBCD/GMP 是较新工作, 其实现可能在细微处 (loss 平衡、EMA 更新频率) 偏离官方, 引入'实现友好性'而非'算法本身'的偏差, 建议读者把本文当作'协议学发现'而非'方法排名'来读。

多模态领域泛化真的在进步吗？一项综合性基准研究 Are We Making Progress in Multimodal Domain Generalization? A Comprehensive Benchmark Study