LLM 稠密检索器的鲁棒性研究：泛化性与稳定性的系统分析 On the Robustness of LLM-Based Dense Retrievers: A Systematic Analysis of Generalizability and Stability
首个系统性研究 LLM 稠密检索器在 30 个数据集上泛化与抗扰动鲁棒性的工作，提出 specialization tax 概念。
前置知识
稠密检索（dense retrieval）
通过神经网络 bi-encoder 把 query 和 document 都编码到同一个高维向量空间，然后用内积或余弦相似度计算相关性的检索范式。与传统 BM25 这类稀疏词项匹配不同，稠密检索能捕捉语义信息但需要预训练 encoder。
本文研究的核心对象就是 LLM-based dense retriever，需要先理解 bi-encoder 的基本工作流程（编码、pooling、相似度计算）才能跟得上后续稳定性/泛化性分析。
线性混合效应模型（Linear Mixed-Effects Models, LMM）
在线性模型基础上显式建模数据层级结构中的随机效应的统计方法。形式上 $y_{ikl}=\beta_0+\beta_{m_i}+\beta_{f_j}+\beta_{m\times f_{ij}}+u_k+v_{kl}+\epsilon_{ikl}$，其中 $u_k$ 是 dataset 随机截距，$v_{kl}$ 是 query 随机截距，二者都假设正态分布。这能在数据极不平衡（不同数据集 query 数量差异巨大）的情况下估计 marginal mean。
本文 RQ1 的核心方法论就是用 LMM 控制数据集难度差异，避免简单 macro-average 被数据集异质性污染；读不懂 LMM 就无法理解为什么作者要取代 naive averaging。
各向同性（isotropy）与平均余弦相似度
embedding 空间的几何性质。Angular uniformity 指 embedding 方向是否均匀分散，用平均成对余弦相似度 $\bar{\text{cos}}=\frac{1}{N^2}\sum_{i,j}\cos(e_i,e_j)$ 衡量，越低越均匀。Variance uniformity 用 IsoScore 衡量维度利用是否均匀。anisotropy（方向塌缩）会降低 embedding 的可分辨性。
RQ3 的核心发现是 angular uniformity（低平均余弦相似度）是词法层面鲁棒性的最佳预测信号，读者需要理解这个几何概念才能跟上 correlation 分析。
HotFlip / Corpus Poisoning
HotFlip 是一种基于一阶梯度近似的离散 token 替换攻击，通过优化对抗 passage 使其与目标 query embedding 相似度最大化。Corpus poisoning 是把这种对抗文档注入到检索语料中劫持 top-k 结果的攻击范式，威胁模型用 ASR@k 衡量。
RQ2 文档侧稳定性实验直接用 HotFlip 评估白盒投毒鲁棒性，需要理解 token 级对抗生成机制才能读懂 ASR@20 的含义和为什么 Contriever 在内积打分下特别脆弱。
Specialization Tax（特化代价）
本文提出的概念，指面向复杂推理任务专门优化的检索器在窄任务集（如 BRIGHT）上更强，但在跨任务、跨 query 类型、跨语料源的更广泛场景中泛化性反而下降的现象，相当于用广度换深度。
这是贯穿全文的核心实证发现，需要理解这是为什么 ReasonIR/DIVER/ReasonEmbed 在 BRIGHT 上领先但在 Quora、INSTRUCTION query 上崩盘。
研究动机
当前信息检索领域主流范式已经从 BERT-style encoder-only 稠密检索器（如 DPR、Contriever、TAS-B、DRAGON）转向 decoder-only LLM-based 稠密检索器（如 RepLLaMA、LLM2Vec、Qwen3-Embedding、DIVER）。在 BEIR、BRIGHT 等权威榜单上 LLM 检索器大幅领先，BEIR 上 instruction-augmented 模型平均 nDCG@10 达到 62–65，远超 BM25 的 42 和 Contriever 的 47。然而现有评估几乎全部基于 leaderboard 上的 clean test set 指标，这种评估存在两个根本缺陷：第一，benchmark 内部数据集难度极不均衡，例如 MS MARCO 单个查询 5.96 词平均长度但 BEIR 内 NFCorpus 平均只有 3.3 词，TREC-COVID 每个查询平均有 493.5 个相关文档而 NQ 只有 1.2，naive macro-averaging 会混淆模型能力与数据集特性；第二，检索器在动态开放世界中的鲁棒性几乎未被研究——真实用户查询充满拼写错误、改写、同义词替换，而语料可能被恶意投毒，现有 leaderboard 数字根本无法反映这些失败模式。Zhuang & Zuccon 等人虽然证明 BERT 检索器对 typo 敏感，但针对 decoder-only LLM 检索器的系统鲁棒性研究完全空白。
本文的目标是本文的核心目标是对 SOTA 开源 decoder-only LLM 稠密检索器进行首次系统性鲁棒性研究，从两个互补维度切入：泛化性（generalizability，模型在异质评估场景下的表现）和稳定性（stability，模型在扰动下的韧性）。具体而言要在四个 benchmark（MS MARCO、BEIR、BRIGHT、BrowseComp-Plus）共 30 个数据集上评估 9 个检索器（含 BM25、Contriever、BGE-M3、Qwen3、Linq、GTE、ReasonIR、DIVER、ReasonEmbed），覆盖 query 侧 5 类扰动（typo、reorder、synonym、paraphrase、naturalize）和 document 侧白盒/直传黑盒 corpus poisoning 攻击，并探索 embedding 几何（isotropy）、模型规模、谱范数作为鲁棒性预测因子的有效性。
与已有工作不同的是，本文的独特切入角度在于把鲁棒性研究从「单维度 benchmark 比较」升级为「二维框架 + 严格统计推断」：用线性混合效应模型（LMM）替代 macro-average，估计 marginal mean 并解耦数据集异质性，同时把 30 个数据集按 11 个任务类型、8 种 query 意图（FACTOID/INSTRUCTION/REASON/EVIDENCE-BASED/COMPARISON/EXPERIENCE/DEBATE/NOT-A-QUESTION）、5 种语料源（General Web/Wikipedia/Scientific Paper/Online Community/Domain KB）三因子归类后做因子级 controlled comparison；并且首次把 query-side 扰动和 document-side corpus poisoning 在同一套 LLM 检索器上同时评估，打通了一般鲁棒性和对抗鲁棒性两条研究线索。最关键的贡献是揭示了 specialization tax 这一此前未被命名的现象，并指出 angular uniformity 是词法鲁棒性的诊断信号而非训练目标。
核心方法
整体方法围绕「同一检索管线 + 多个评估维度」展开。先建立统一的 bi-encoder 稠密检索范式 $e_q=\text{Pooling}(E(q))$，$e_d=\text{Pooling}(E(d))$，score 用余弦相似度（Contriever 用内积）。然后三步走：第一步（RQ1）在 30 个数据集上跑 nDCG@10，但只用原始分数做 baseline；第二步用 LMM 拟合模型效应 $\beta_{m_i}$、因子主效应 $\beta_{f_j}$、交互效应 $\beta_{m\times f_{ij}}$ 以及 dataset 随机截距 $u_k\sim N(0,\sigma_u^2)$、query 随机截距 $v_{kl}\sim N(0,\sigma_v^2)$，推导 Estimated Marginal Means（EMMs）回答「在平均难度数据集上此检索器表现如何」；第三步（RQ2）在 NQ/MS MARCO/HotpotQA/FiQA 上注入 5 类 query 扰动并在 NQ/MS MARCO/HotpotQA 上做 HotFlip 白盒和跨模型直传黑盒 corpus poisoning，用 ASR@20 度量；最后（RQ3）计算 corpus embedding 的 avg cosine similarity 和 IsoScore，与上述鲁棒性指标做 Pearson 相关，并用 Qwen3 0.6B/4B/8B 做 within-family scaling 分析，再做两轮干预实验（angular uniformity 正则化、双向 attention 转换）尝试建立因果。
核心创新点有三：（1）评估方法层面，把 ANOVA 的 fixed-effects-only 框架扩展为 LMM，显式建模 dataset 难度 $u_k$ 和 query 难度 $v_{kl}$ 的随机效应，让跨数据集比较摆脱样本量偏差——例如 BEIR 中 NFCorpus 只有 323 个 query 而 NQ 有 3452 个，传统 macro-average 会把 NFCorpus 的高方差噪声拉平；（2）现象层面，提出 specialization tax 这一概念，发现 ReasonEmbed 在 BRIGHT 上 9/12 数据集最强（Theorem Retrieval EMM 32.9、StackExchange 43.3），但在 INSTRUCTION/EXPERIENCE query 上 EMM 接近 0（0.2 和 0.8），甚至远低于 BM25；（3）机制层面，把 embedding angular uniformity（avg pairwise cosine）确立为词法层面鲁棒性的诊断信号——NQ 上与 Misspelling 弱化率相关性 $r=0.92$、与 Synonymizing $r=0.85$，MS MARCO 上与 Misspelling $r=0.91$、与 Synonymizing $r=0.97$、与 corpus poisoning $r=0.91$，全部 $p<0.01$，但通过 LoRA 正则化强行把 avg cosine 从 0.801 压到 0.139 后，检索效果不变而鲁棒性没有提升，说明这是相关而非因果。
方法步骤详情
完整方法流程分四阶段。第一阶段：数据准备——30 个数据集按 11 任务/8 query 类型/5 语料源分类，query 类型用 Bolotova 等人的开源分类器 nf-cats 自动标注，其中 FACTOID 占 37.4%、NOT-A-QUESTION 占 27.2%，两个类合计接近三分之二。所有检索器用各开发者官方 checkpoint，Contriever 截断到 512 token，其余 8192 token，pooling 策略（CLS/mean/last-token）按模型原设定不作为变量；document embedding 用 FAISS 做 exact 搜索；BM25 用 Gensim 的 LuceneBM25Model，$k_1=0.9$、$b=0.4$。第二阶段：RQ1 统计推断——对 3 个因子各拟合一个 LMM，固定效应含 model main effect、factor main effect、model×factor 交互，用 Type III F-test 加 Satterthwaite df 近似报告显著性（所有交互项 $p<0.001$，F 从 166.54 到 468.79），EMM 作为「控制数据集难度后的可比均值」。第三阶段：RQ2 扰动——query 侧按 Penha 等人方法生成 typo/reorder/synonym/paraphrase/naturalize 5 类扰动（typo 用 Zhuang & Zuccon 的字符操作集；synonym 从 counter-fitted Glove NN 或 WordNet 取；paraphrase 用 back-translation 或 T5），5 个随机种子（1999/2016/2026/5/27）报告 mean±SD，Drop Rate=$(s_{orig}-s_{pert})/s_{orig}\times100\%$；document 侧 HotFlip 白盒攻击用 K-means 把训练 query 聚成 $|A|$ 簇、每簇生成 50 token 对抗文档，$|A|\in\{10,50\}$，评估 $|A|=50$ 的直传黑盒（不训练 surrogate）跨 8 模型对所有目标模型注入。第四阶段：RQ3 因果分析——corpus embedding 采样 100k 对算 avg cosine、100k 算 IsoScore，跨 7 个稠密检索器与 6 个鲁棒性指标（5 query+poisoning）做 Pearson $r$；Qwen3 0.6B/4B/8B 跑 RQ2 全套协议做 within-family scaling；干预实验用 LoRA 把 Qwen3-0.6B 在 MS MARCO 上微调，目标函数附加 cosine penalty（使 avg cosine 从 0.801 降到 0.139）以及双向 attention 转换，分别检测鲁棒性变化。
技术新颖性
技术新颖性主要体现在三个层面。第一，把统计学的 LMM 范式引入 IR 鲁棒性评估，传统的 macro-averaging 在 30 个数据集 query 数从 43（TREC DL 19）到 10000（Quora）跨度如此大的情况下会严重失衡，而 LMM 通过 $\sigma_u$ 和 $\sigma_v$ 这两个方差分量自动给每个 dataset 适当权重，得到的 EMM 是「难度归一化后的可比均值」，这是 IR 评估文献中相对少见的严谨做法。第二，提出 specialization tax 概念并给量化证据——ReasonEmbed 在 Theorem Retrieval EMM 32.9 vs. Qwen3 29.6、StackExchange 43.3 vs. Qwen3 21.4 显著领先，但在 INSTRUCTION query（0.2 vs. Qwen3 40.8）和 Online Community 语料源（4.5 vs. Qwen3 39.8）上几乎完全失败，这种「窄精宽废」的 trade-off 是新观察到的模式。第三，建立 angular uniformity 与词法鲁棒性的诊断关系并通过干预实验证伪其作为训练目标的可行性——avg cosine 从 0.801 降到 0.139 这样的极端改造都没能让 robustness 提升，这比「相关即可」的简单结论更深入。同时证实了 Qwen3 family within-family scaling 趋势（Misspelling drop 从 17.4% 降到 10.1%，HotpotQA poisoning ASR 从 25.1% 降到 11.0%），但强调这不能跨架构外推。
实验结果
核心发现围绕三大研究问题展开。RQ1 泛化性方面，表 4 raw 分数显示 instruction-augmented LLM 检索器普遍最强：BEIR 平均 Qwen3 64.9、Linq 62.2、GTE 62.8 远超 BM25 42.0、Contriever 47.3；reasoning-oriented 模型呈现 specialization tax——ReasonEmbed 在 BRIGHT 平均 37.9、Theorem Retrieval 45.8（TheoremQA-T）远超 Qwen3 22.7/35.8，但在 Quora 上只有 48.5 vs. Qwen3 89.0，在 HotpotQA 上仅 44.4 vs. Qwen3 76.8。LMM 拟合（表 5）证实所有 Model×Factor 交互高度显著（$p<0.001$），EMMs（表 6）进一步显示 ReasonEmbed 在 INSTRUCTION query 上 EMM=0.2、EXPERIENCE query EMM=0.8，远低于 BM25 的 26.2 和 29.9，体现极端 query 类型不匹配。Corpus Source Type 的 main effect 不显著（$F=2.33, p=0.054$）但 model×corpus 交互最强（$F=468.79$），说明语料源效应高度依赖模型身份。RQ2 稳定性方面，图 1 显示 typo 攻击最能区分模型家族——MS MARCO 上 Contriever drop 约 42%、BGE-M3 约 17%，而 instruction-augmented LLM（Qwen3/Linq/GTE）仅 6–12%，但 reasoning-oriented 模型 DIVER 和 ReasonEmbed 在 MS MARCO 上仍有约 27% drop，不享受此优势；synonym 在 MS MARCO 上 22–27% drop 几乎对所有模型同样困难；paraphrase 在 MS MARCO（13–20%）比 HotpotQA（约 3%）严重得多，证实与 query 长度强相关。Corpus poisoning 白盒攻击（表 9）显示 Contriever 极其脆弱（$|A|=50$ 时 NQ 94.8%、HotpotQA 99.5%），BGE-M3 中等（HotpotQA 55.0%），而 LLM 检索器分化严重——GTE 在所有数据集和预算下都是 0% ASR 完美抗毒、ReasonIR 始终低于 4%、Qwen3 在 HotpotQA $|A|=50$ 时上升到 11.0%、Linq 在 HotpotQA 同一条件下 43.8%、ReasonEmbed 24.1%。最意外的是 direct-transfer black-box 攻击在所有 8×8 模型对、3 个数据集上 ASR 全部 <1%，说明投毒几乎无法跨架构迁移。RQ3 预测因子方面，图 2 显示 angular uniformity 是词法鲁棒性最强信号——MS MARCO 上与 Misspelling/Reordering/Synonymizing/Corpus Poisoning 的 Pearson $r$ 分别 0.91/0.92/0.97/0.91 全部 $p<0.01$，NQ 上与 Misspelling $r=0.92$、与 Synonymizing $r=0.85$；IsoScore（variance uniformity）只在 HotpotQA Naturalizing 上 $r=0.75$ 接近显著，整体碎片化。Qwen3 family scaling（图 3）显示 model size 单调提升鲁棒性——NQ Misspelling drop 从 17.4%（0.6B）降到 10.1%（8B），HotpotQA poisoning ASR 从 25.1% 降到 11.0%。谱范数（图 4）所有相关性均不显著（$p>0.05$），预测价值有限。干预实验（8.1 节）证伪 angular uniformity 作为训练目标的可行性：把 Qwen3-0.6B 的 avg cosine 从 0.801 压到 0.139 后 FiQA nDCG@10 仍为 35.5，但 5 类扰动下鲁棒性未提升；双向 attention 转换同样未带来稳定收益。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| MS MARCO Passage Retrieval（in-domain） | nDCG@10（3 个子集平均） | Qwen3 64.8, Linq 64.2, GTE 64.4, ReasonIR 53.3, DIVER 54.5, ReasonEmbed 55.2 | BM25 40.2, Contriever 58.3, BGE-M3 57.8 | Qwen3 比 BM25 +24.6，比 Contriever +6.5，体现 instruction-augmented LLM 在 in-domain 场景对稀疏基线的大幅领先 |
| BEIR 零样本迁移（13 子集平均） | nDCG@10 | Qwen3 64.9, Linq 62.2, GTE 62.8, ReasonIR 52.7, DIVER 53.5, ReasonEmbed 48.3 | BM25 42.0, Contriever 47.3, BGE-M3 50.3 | Qwen3 比 BM25 +22.9，但 ReasonEmbed 比 BGE-M3 还低 2.0，验证 specialization tax——强推理训练降低通用 BEIR 表现 |
| BRIGHT 推理密集检索（12 子集平均） | nDCG@10 | ReasonEmbed 37.9, DIVER 29.0, ReasonIR 24.3, Linq 24.2, Qwen3 22.7, GTE 23.3 | BM25 14.5, Contriever 15.0, BGE-M3 12.2 | ReasonEmbed 比 BM25 +23.4，体现推理导向训练在 BRIGHT 上的优势；但 reasoning 模型仍低于 SOTA dense 基线在 BEIR 上的水平 |
| BrowseComp-Plus Web-scale QA | nDCG@10（Evidence/Gold 平均） | Qwen3 19.4, GTE 17.6, DIVER 17.5, ReasonEmbed 16.5, Linq 11.6 | BM25 4.1, Contriever 6.7, BGE-M3 5.7 | Qwen3 比 BM25 +15.3，但仍处极低水平，说明长噪声文档检索仍是开放难题 |
| 查询扰动：MS MARCO Misspelling 鲁棒性 | Drop Rate (%) 越低越好 | Qwen3/Linq/GTE 6–12%, ReasonEmbed/DIVER ~27% | Contriever ~42%, BGE-M3 ~17% | instruction-augmented LLM 比 Contriever 抗 typo 能力强 3–7 倍，但 reasoning 模型不享受此优势 |
| 查询扰动：NQ Synonymizing 鲁棒性 | Drop Rate (%) | Qwen3/GTE/Linq 大致 12–17%, ReasonEmbed/DIVER 18–24% | Contriever ~21%, BGE-M3 ~18% | LLM 与 encoder-only 差距在 synonym 上显著缩小，synonymizing 是跨架构的普遍挑战 |
| Corpus Poisoning 白盒攻击：HotpotQA |A|=50 | ASR@20 (%) 越低越好 | GTE 0.0%, ReasonIR 0.7%, Qwen3 11.0%, ReasonEmbed 24.1%, Linq 43.8%, DIVER 13.5% | Contriever 99.5%, BGE-M3 55.0% | GTE 完全抗白盒投毒，相对 Contriever 提升 99.5 个百分点，但 Linq 投毒脆弱性显著超过预期 |
| Corpus Poisoning 直传黑盒：跨所有模型对 | ASR@20 (%) | 所有 8×8 模型对、3 数据集、$|A|=50$ 下全部 <1% | 无对应 baseline（首次系统报告） | 证实直传黑盒投毒在异构 LLM 检索器间几乎失效，威胁模型需重新校准 |
局限与改进
作者在 Limitations 部分坦承六大限制。第一，评估的检索器虽具代表性但不 exhaustive，更新模型可能有不同模式；第二，所有实验在英文数据集上完成，可能不泛化到其他语言；第三，document 侧只评估了基于梯度的白盒和直传黑盒投毒，没有测更强的 surrogate-based 黑盒和 training-time backdoor，二者可能暴露不同漏洞；第四，embedding 几何分析主要是相关性的（用 7 个稠密检索器的小样本），且用 corpus-side embedding 作为 query-document 共享空间的 proxy，干预实验只探查有限因果路径；第五，模型规模分析限于 Qwen3 family，不能解读为通用 scaling law；第六，计算约束把 poisoning 实验限制在 3 个数据集。我的额外观察包括：LMM 的随机效应只建模了 intercept 而没有 random slope，假设所有 dataset 内 model 排序一致可能过于强；3 个数据集的 poisoning 实验对 Linq 在 HotpotQA 上 43.8% 的高 ASR 缺乏充分解释；angular uniformity 的诊断价值在小样本（$n=7$）Pearson 相关下统计功效有限，$r=0.92$ 看似强但置信区间宽；direct-transfer <1% 的结论没区分模型对差异，可能掩盖某些特定对的脆弱性。
独立分析的弱点
独立分析本文的弱点主要有四。第一，specialization tax 虽然现象描述清晰但缺乏机制性解释——为什么 ReasonEmbed 在 INSTRUCTION query 上 EMM 接近 0？是 prompt template 不匹配、训练数据分布偏斜、还是 fine-tuning 阶段灾难性遗忘？作者只给出「训练方案与指令/建议类 query 措辞对齐度低」的猜测而无消融验证。改进方向：可对 ReasonEmbed 单独做 prompt ablation、用 probing classifier 检查其 embedding 是否编码 query 类型信号、或对比其训练数据 query 类型分布与评估集分布。第二，direct-transfer <1% ASR 的结论虽然显著但缺少对 surrogate-based 攻击的对照——作者承认这是 open threat 但不评估就难以判断 threat model 的实际严重性。改进方向：应至少对一个或两个目标模型训练 faithful surrogate（用同样 contrastive 目标在 MS MARCO 上 fine-tune），重复 RQ2 协议给出 surrogate-based ASR 的可比数字。第三，corpus-side isotropy 作为 query-document 共享空间 proxy 的假设未被验证——理论上 query 和 document embedding 在 LLM-based retriever 中可能分布不同（尤其 last-token pooling 下 query 短上下文与 document 长上下文几何性质差异大）。改进方向：在同一数据集上同时采样 query-side 和 corpus-side embedding 计算 angular uniformity，比较两者与 query-side robustness 的相关性差异。第四，LMM 只建模 dataset 和 query 两个随机效应，没有建模 embedding dimension 之间的相关性或 model 之间的非独立性（多个 LLM 共享 Qwen3/Mistral 基础），可能导致标准误被低估。改进方向：可加入 model 随机效应或对 model 做 clustering 调整。
未来方向
作者明确提出的未来方向有三：（1）训练目标直接针对 query reformulation invariance 设计——目前 synonym 仍然跨架构困难，应开发 consistency loss 强制让 paraphrase、synonym 的 embedding 与原 query 接近；（2）更强的 surrogate-based 黑盒投毒评估；（3）扩展到非英文检索场景。基于本文发现可延伸的方向还包括：（a）GTE 的 0% 白盒 ASR 来源解析——其训练细节不公开但可以通过模型反演或 partial training data 重建尝试逆向工程，定位真正起作用的训练因素；（b）specialization tax 的量化建模——把窄任务精度与跨任务 EMM 之间的 Pareto frontier 形式化，让研究者能在精度-泛化性 trade-off 上做有意识选择；（c）多向量 late interaction 模型（ColBERTv2、PLAID）的同类鲁棒性研究，本文明确把这块留给未来工作；（d）对抗训练或数据增强（如 synonym augmentation、typo injection）作为干预手段的实际效果——既然直接 angular uniformity 正则化无效，下一步自然是把鲁棒性数据直接引入训练循环；（e）更精细的 isotropy 度量（如 partition-based uniformity 或基于核的 U-statistic）替代简单的 avg cosine，可能获得更强相关性。
复现评估
复现评估总体良好。作者在 Snellius（荷兰国家超算）NVIDIA H100 GPU 上完成所有实验，代码仓库 https://github.com/liyongkang123/Robust_LLM_Retriever_Eval 公开发布，包含全部配置和脚本；但出于许可约束不重新分发数据集或模型权重，用户需自行从官方源获取 BM25 词典、所有 LLM 检查点和原始 30 个数据集。实现细节基本完整：FAISS 做 exact 搜索、所有模型用其官方 pooling 策略、Contriever 截断 512 token 其余 8192 token、BM25 用 Gensim $k_1=0.9$ $b=0.4$、5 个随机种子（1999/2016/2026/5/27）报告 mean±SD。主要的复现难度在于：（1）8 个 4B–8B 参数 LLM 检索器在 H100 上跑 30 个数据集 + 5 query 扰动 + poisoning 攻击的 embedding 计算量极大，没有 H100 级别算力几乎不可能完整复现；（2）corpus poisoning 需要白盒梯度访问，意味着对每个目标模型都要做 HotFlip 反向传播，计算量与 query 数线性相关；（3）LMM 拟合本身轻量（statsmodels 或 R lme4 即可），但数据组织需把 30 数据集×9 模型×~170K queries 整理成 long format；（4）intervention 实验需要 LoRA 微调 Qwen3-0.6B，对训练基础设施有要求。整体难度中等偏高，建议至少有 4×H100、500GB 存储、熟悉 PyTorch+FAISS+transformers 的研究者尝试。
论文图表