压力下的风险：语言模型对抗鲁棒性的计算感知评估 Risk Under Pressure: Compute-Aware Evaluation of Adversarial Robustness in Language Models
提出基于FLOPs的计算感知评估框架，揭示LLM对抗攻击的实际成本与ASR差异
前置知识
越狱攻击（Jailbreak）
越狱攻击是指通过精心设计的提示词来绕过大语言模型的安全防护机制，诱导模型产生违反安全策略的输出。典型的攻击策略包括模板化攻击（如JailBroken使用的各种混淆技巧）、黑盒迭代优化（如PAIR使用攻击者LLM重写提示）和白盒梯度优化（如GCG直接在logit层面搜索对抗性token后缀）。这些攻击的本质是找到模型安全对齐的盲点或弱点，在保持语义连贯性的同时触发模型产生有害行为。
理解越狱攻击的工作原理是评估LLM安全性的前提，只有知道攻击如何运作，才能设计有效的评估框架和防御策略。
FLOPs（浮点运算次数）
FLOPs（Floating Point Operations）是衡量模型计算量的标准指标，表示模型在执行推理或训练过程中进行的浮点运算次数。对于Transformer模型，前向传播的FLOPs近似为公式C_fwd约等于2NL，其中N是参数数量，L是序列长度（以token为单位）。反向传播的FLOPs通常是前向传播的2倍。FLOPs的优点是硬件无关性，不依赖于具体的GPU型号、内核优化或批处理策略，因此可以作为统一的计算成本度量标准，与Scaling-law研究保持一致。
本文使用FLOPs作为攻击计算成本的统一度量，使不同类型、不同规模的攻击可以在同一轴线上进行比较，这是计算感知评估框架的基础。
对齐训练（Alignment Training）
对齐训练是指在预训练之后，通过特定技术让模型的行为与人类价值观和期望对齐的过程。常见方法包括监督微调SFT使用人类编写的高质量指令-响应对训练模型、直接偏好优化DPO通过对比偏好数据优化模型使其输出更符合人类偏好、强化学习验证轮次RLVR基于二元奖励信号进一步优化。对齐训练旨在提升模型的有用性、诚实性和无害性，特别是安全性方面。
论文的关键发现之一是对齐训练对计算空间鲁棒性的影响是非单调的，SFT阶段往往比后续的DPO或RLVR阶段更安全，这一发现对于理解对齐训练的副作用具有重要意义。
风险-计算曲线（Risk-Compute Curve）
风险-计算曲线是本文提出的核心可视化工具，描述攻击风险随着计算预算增加而演变的过程。给定模型M和攻击策略pi，对于每个查询预算lambda，计算在该预算下的经验风险R_hat和平均累计FLOPs C_bar，然后在二维平面上绘制C_bar, R_hat点集。曲线的x轴是累计计算成本（单位为TFLOPs），y轴是攻击风险（成功概率）。曲线的形状揭示了攻击的规模行为：快速上升的曲线表示攻击对计算敏感，缓慢上升的曲线表示攻击在低计算预算下就有效。
风险-计算曲线是理解论文核心贡献的关键工具，它直观展示了不同模型、不同攻击策略在计算空间中的相对位置，比单一的攻击成功率指标提供了更丰富的信息。
研究动机
现有的LLM安全性评估方法存在根本性缺陷：使用固定的查询预算（如10次查询）来报告攻击成功率ASR，将所有攻击视为同等成本。这掩盖了不同攻击策略在实际计算开销上的巨大差异。论文给出了一个具体场景：两个模型都被要求写一篇诽谤性文章，一个立即服从，另一个抗拒九次后在第十次才服从。按照传统ASR指标，两者的不安全程度相同（100% ASR），但实际攻击成本相差10倍。这种信息丢失使得无法确定攻击成本是否值得攻击者的收益。在HarmBench和JailbreakBench基准测试中，GCG、PAIR和JailBroken三种攻击策略的计算开销可能相差几个数量级，但ASR指标完全忽略了这一点。传统评估方法的另一个问题是静态评估可能系统性高估鲁棒性。Nasr等人的研究显示，许多在静态攻击数据集上报告接近零ASR的防御方法，在面对适应性攻击时失败率超过90%。核心问题在于成本核算不完整，所有查询被当作同等昂贵，从而掩盖了真正需要的对抗性投资。
本文的目标是本文的目标是引入一个计算感知的评估框架，通过计算压力computational pressure作为对抗性努力的代理指标，更准确地评估LLM的安全性。计算压力在固定查询预算内以累计浮点运算次数FLOPs来衡量。具体目标包括：定义风险-压力曲线，描述攻击风险如何随计算增加而演变；推导两个总结指标，包括达到特定风险比例所需的计算C_at_tau和每单位FLOPs获得的风险AE（Average Efficiency）；将不同攻击策略（基于梯度的优化、模型引导的迭代优化、基于模板的提示）放在统一的计算轴线上，使跨模型和跨攻击的预算感知比较成为可能；通过系统研究揭示ASR无法捕捉的模式，包括对齐训练的非单调效应、模型规模对攻击成本的不对称影响、代理优化的攻击迁移能力以及不同危害类别之间的计算成本差异。
与已有工作不同的是，本文的独特切入点是将经典的网络安全评估框架引入LLM安全性领域。在经典安全领域，系统的鲁棒性通过攻击者必须付出的工作量work factor来量化，而不仅仅考虑是否可能攻破。Kerckhoffs原则假设攻击者知道系统设计，评估关注在现实攻击者预算下攻破是否可行，而非仅仅理论上可能。这种资源量化的视角在LLM安全评估中是缺失的。另一个独特角度是使用FLOPs作为攻击成本的统一度量。FLOPs是攻击成本的基本属性，对GPU、内核和批处理选择具有不变性，这些选择会使墙钟时间变化几个数量级而不改变攻击的内在难度。FLOPs还可在异构攻击组件（梯度步骤、辅助攻击者调用、目标或评判器查询）之间进行比较，使原本不可比较的攻击共享一个公共轴。论文还关注攻击的运营相关性：只有当漏洞的成本可以被攻击者的收益证明合理时，漏洞才具有运营相关性。从防御者的角度来看，强制攻击在计算上昂贵可能和降低它们的成功率一样有效。这种从能否攻破到攻破成本的转变是本文的核心创新。
核心方法
方法的整体思路是将对抗性攻击建模为在固定查询预算下的迭代精化过程，然后用累计FLOPs重新参数化这个过程，最终得到风险-计算曲线和总结指标。直觉上，不同攻击策略虽然形式各异，但都可以分解为一系列计算步骤，每步包括攻击策略提出候选提示、目标模型生成响应、安全评判器评估结果。这些步骤的计算成本可以用FLOPs精确计算，然后累加得到总计算压力。通过改变查询预算，可以得到一系列风险和计算成本的对应点，绘制成曲线。这种方法将攻击评估从二元维度（成功或失败）扩展到连续维度（成本-风险），使不同攻击可以在同一轴线上比较。技术路线包括：1）建模攻击为迭代精化过程；2）定义每步的计算成本模型；3）推导风险和累计FLOPs的计算公式；4）生成风险-计算曲线；5）提取总结指标C_at_tau和AE。这种方法统一了评估框架，使计算密集型攻击和低成本攻击可以公平比较。
核心创新点是引入计算压力作为对抗性努力的统一代理指标，并基于此构建计算感知评估框架。这涉及三个层面的创新：第一，使用FLOPs作为统一的成本度量，解决了不同攻击策略（梯度优化vs模板提示）和不同规模模型之间的比较问题。FLOPs是硬件无关的、可在异构组件之间比较的、是运营quantities（如GPU小时、能源成本）的不变前驱。第二，定义风险-计算曲线作为核心可视化工具，将攻击评估从单点度量扩展为函数关系。曲线的形状揭示了攻击的规模行为和模型的计算空间鲁棒性。第三，提出两个总结指标C_at_tau（达到tau%风险所需的计算）和AE（每单位FLOPs的平均风险），用于系统比较。C_at_tau越高表示模型越难攻破，AE越低表示攻击效率越低。与已有方法的本质区别在于，已有方法使用查询计数作为预算，将所有查询视为同等成本，只报告固定预算下的ASR；而本文使用FLOPs作为预算，关注风险随计算的演变，提供更丰富的信息。例如，在Tulu3-8B基线模型上，所有攻击的ASR@10都是1.00，但GCG的成本是Jailbroken的6.4倍，这种差异在传统指标中完全丢失。
方法步骤详情
方法步骤的完整描述如下：第一步，建模攻击为预算迭代精化。对于每个攻击试验，给定基准行为（来自安全基准的对抗性提示）、攻击策略pi、目标模型M和查询预算lambda。在每个步骤t，攻击策略pi提出候选提示p_t，目标模型M生成响应y_t，安全评判器E记录二元结果z_t（成功或失败）。如果成功则终止，否则继续下一步直到达到预算lambda。第二步，定义每步的计算成本模型。每步的计算来自四个来源：目标模型的前向传播（C_fwd约等于2NL）、目标模型的反向传播（当攻击需要梯度时，约2倍C_fwd）、辅助攻击者模型的前向传播（如PAIR使用的攻击者LLM）、安全评判器的前向传播（通常在早停准则下评估）。第三步，计算经验风险和累计FLOPs。给定N个试验记录，经验风险为试验在lambda步内成功的比例。平均累计FLOPs为每个试验在min(lambda, t*_i)步内的FLOPs总和的平均，其中t*_i是试验i首次成功的步骤（或lambda如果未成功）。第四步，生成风险-计算曲线。绘制点集（平均累计FLOPs, 经验风险）作为lambda从1到lambda_max的函数。第五步，提取总结指标。计算至tau%-风险C_at_tau为达到tau%风险所需的最小平均累计FLOPs（论文使用tau等于0.5）；平均效率AE为CAURC除以C_max，其中CAURC是风险-计算曲线下的面积，C_max是最大累计FLOPs。所有指标在10个不同种子上聚合，使用t分布95%置信区间。
技术新颖性
技术新颖性分析：第一，计算压力的概念是新颖的。虽然FLOPs在Scaling-law研究中是标准度量，但在对抗性评估中引入FLOPs作为对抗性努力的代理是本文首创。这使得不同类型、不同规模的攻击可以在同一轴线上比较，解决了异构攻击比较的难题。第二，风险-计算曲线是新颖的可视化工具。与传统的ROC曲线不同，风险-计算曲线关注的是风险如何随计算而演变，而不是真正率vs假正率。曲线的形状直接揭示了攻击的规模行为和模型的计算空间鲁棒性。第三，C_at_tau和AE指标是新颖的总结指标。C_at_tau直接回答达到给定风险需要多少计算，AE回答攻击的效率如何。与传统的ASR@lambda指标相比，这些指标提供了攻击成本和效率的量化度量，对于实际威胁建模更有意义。第四，实验设计的系统性是新颖的。论文跨越3个模型族（Tulu3、Qwen2.5、Qwen3）、4个训练阶段（base到SFT到DPO到RLVR）、3个模型规模（0.5B、3B、7B）、3种攻击策略（GCG、PAIR、JailBroken）、2个基准测试（HarmBench、JailbreakBench），揭示了ASR无法捕捉的多个模式。这种系统性的、计算感知的评估框架在LLM安全领域是首创的。
实验结果
核心发现包含五个方面，每个方面都有具体数字支持。第一，对齐训练对计算空间鲁棒性的影响是非单调的。在Tulu3-8B模型上，SFT阶段达到最佳鲁棒性：GCG和PAIR从未在预算内达到50%风险阈值（C_at_0.5为无穷大），ASR分别比基线降低3.2倍和2.4倍。DPO阶段鲁棒性显著下降：GCG的C_at_0.5崩溃到521.2 TFLOPs，PAIR的C_at_0.5下降到79.9 TFLOPs，ASR上升。RLVR阶段进一步退化：Jailbroken的对抗计算成本进一步下降，ASR飙升到0.90，比DPO高23%，比SFT高40%。在Tulu3-8B-Base上，GCG的C_at_0.5（59.3 TFLOPs）是Jailbroken（9.2 TFLOPs）的6.4倍。第二，模型规模对不同攻击策略的影响是不对称的。在Qwen2.5 Instruct系列上，从0.5B到7B（15倍规模增加），GCG的C_at_0.5从20.0 TFLOPs增长到399.7 TFLOPs，增加约20倍，ASR@10从0.99下降到0.73。但Jailbroken的C_at_0.5仅从8.2 TFLOPs增长到22.8 TFLOPs，仅增加2.8倍，ASR@10从0.99下降到0.94。在7B模型上，Jailbroken的AE（23.0乘以10的负3次方）是GCG（1.3乘以10的负3次方）的18倍，表明低成本攻击在大模型上仍然非常有效。第三，梯度攻击可以从代理模型迁移到目标模型。在Qwen2.5-0.5B上优化的GCG后缀迁移到Qwen3-8B上，ASR@10等于0.15，AE等于4.9乘以10的负3次方risk除以TFLOPs。虽然从未达到50%风险阈值（C_at_0.5为无穷大），但风险在最初几次推理中快速上升然后平台期，说明天花板由后缀质量和目标鲁棒性决定，而非额外计算。第四，安全对齐SafeRL在不同攻击策略下的效果不一致。在Jailbroken攻击下，Qwen3-4B-SafeRL的C_at_0.5从21.2 TFLOPs增加到24.5 TFLOPs，AE从22.1乘以10的负3次方降低到16.0乘以10的负3次方，表明安全对齐提高了攻击成本。在PAIR攻击下，C_at_0.5从31.3 TFLOPs增加到44.8 TFLOPs，AE从16.6乘以10的负3次方降低到7.6乘以10的负3次方。但在GCG攻击下，模式完全反转：SafeRL在每个计算级别都承担更高风险，C_at_0.5从无穷大下降到189.0 TFLOPs，AE从0.9乘以10的负3次方增加到2.1乘以10的负3次方，翻了一倍多。第五，对抗计算成本在同一模型的不同危害类别间差异高达约5倍。在Qwen3-4B-SafeRL上，Jailbroken攻击的C_at_0.5在harassment and bullying类别最高，在cybercrime and unauthorized intrusion类别最低，相差约5倍。SafeRL在某些类别（harassment、misinformation、general harm）显著提高C_at_0.5和降低AE，但在其他类别（cybercrime、chemical and biological weapons、illegal activities）的AE反而比基线模型更高，说明攻击者如果预算充足，可以从对齐模型中更高效地提取有害输出。跨基准分析（JailbreakBench）确认这些发现是可泛化的，模型排名和效率估计在两个基准之间高度一致（Spearman rho大于等于0.91）。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| Jailbreak Robustness (HarmBench) | C_at_0.5 (TFLOPs) - higher is better | Tulu3-8B-SFT: 无穷大 (GCG, PAIR); Qwen2.5-7B-Instruct: 399.7 (GCG), 22.8 (Jailbroken) | 传统ASR@10指标，Tulu3-8B-Base: ASR等于1.00 (all attacks) | 揭示SFT阶段对梯度攻击实际上不可攻破（C_at_0.5为无穷大），而ASR只显示0.31（GCG）和0.42（PAIR）；揭示7B模型对Jailbroken攻击仍然脆弱（C_at_0.5等于22.8 TFLOPs），而ASR显示0.94看似安全 |
| Jailbreak Robustness (HarmBench) | AE (乘以10的负3次方risk除以TFLOPs) - lower is better | Tulu3-8B-SFT: 0.5 (GCG), 3.5 (PAIR); Qwen2.5-7B-Instruct: 1.3 (GCG), 23.0 (Jailbroken) | 无（传统评估不报告攻击效率） | 量化攻击效率，发现Jailbroken在7B模型上的效率是GCG的18倍，这一差距在传统评估中完全不可见 |
| Attack Transfer (HarmBench) | ASR @ lambda等于10 - lower is better | Qwen3-8B (GCG transfer from Qwen2.5-0.5B): 0.15 | 直接白盒攻击（需要目标模型权重） | 证明梯度攻击可以从开放权重代理模型迁移到闭源目标模型，攻击者无需直接访问目标就能发起有效攻击 |
| Harm Category Uniformity (HarmBench) | C_at_0.5 variation across categories - lower variation is better | Qwen3-4B-SafeRL (Jailbroken): 约等于5倍 variation across 6 categories | 聚合指标（如总ASR）忽略类别差异 | 揭示安全对齐的不均匀性，某些类别（cybercrime）甚至比基线模型更容易被攻破，聚合指标掩盖了这种脆弱性 |
局限与改进
局限性分析包括作者承认的和我们观察到的。作者承认的局限性：第一，使用标准Transformer FLOPs作为攻击努力的理论代理可能不完全反映真实世界的约束（如内存带宽、延迟、可并行性）。实际攻击的墙钟时间可能因硬件配置、批处理策略等因素而变化，FLOPs虽然提供了硬件无关的比较基准，但不是完美的运营成本度量。第二，实验受限于自动化评判器的可靠性（假阳性或假阴性、类别偏差）。研究使用Llama-3.1-8B-Instruct作为安全评判器，但评判器本身可能有偏见或误判，特别是在边缘案例中。Schwinn等人和Ye等人的研究表明，自动化评判器在复杂场景下可能不可靠。第三，由于计算资源约束，输出可能存在截取伪影，特别是在长文本生成时。第四，研究评估了三种攻击家族（GCG、PAIR、JailBroken）但不包括联合优化的适应性攻击，后者可能会收紧鲁棒性界限。Nasr等人证明，许多在静态攻击数据集上看起来鲁棒的防御方法在适应性攻击下失败率超过90%。第五，二元成功指标将所有越狱同等对待，未来应该根据危害严重性和效用增益加权，将问题从攻击是否成功转变为结果是否值得对抗性投资。我们观察到的局限性：第一，研究虽然声称是计算感知评估，但FLOPs模型仍然是理论近似，实际计算成本可能因实现细节（如Flash Attention、模型量化、KV Cache）而显著不同。第二，实验预算（最多10次查询）相对保守，更高的预算可能会揭示更多模式。第三，研究没有考虑防御方法（如输入过滤、输出审查）的影响，实际部署的系统通常有这些防御。第四，研究只关注文本域，多模态模型（如视觉-语言模型）的攻击可能有不同的成本结构。第五，研究没有评估攻击的实际危害（如输出内容的严重性），二元成功指标无法区分轻微违规和严重违规。
独立分析的弱点
独立分析的弱点包括六个方面，每个都有改进方向。第一，FLOPs计算模型仍然粗糙。当前的Transformer FLOPs近似公式C_fwd约等于2NL是理想化的，忽略了实际的实现优化（如Flash Attention减少了内存访问成本）、模型量化（如4-bit量化大幅降低实际FLOPs）、KV Cache（缓存减少重复计算）等因素。这可能导致FLOPs和实际墙钟时间或能源消耗之间的系统性偏差。改进方向：使用更精确的计算模型，考虑实际的内存访问模式、并行化效率、硬件特性等因素；或者直接测量实际运行时间、能耗等运营指标作为补充。第二，攻击策略覆盖有限。研究只评估了三种攻击策略：GCG（白盒梯度优化）、PAIR（黑盒LLM迭代优化）和Jailbroken（模板提示）。没有覆盖更多样化的攻击方法，如遗传算法、强化学习、符号执行、自动提示生成等。也没有考虑联合优化的适应性攻击，后者可能发现更高效的攻击路径。改进方向：扩展攻击策略覆盖，包括更多样化和更先进的攻击方法；特别是评估联合优化攻击，这些攻击同时针对多个防御机制进行优化。第三，实验预算保守。查询预算最大只有10次，这对于某些攻击（如梯度优化）可能不够充分探索攻击空间。更高的预算可能会发现更高效的攻击路径，或者揭示不同攻击策略的相对性能差异。改进方向：扩展查询预算范围，测试更高预算下的攻击行为；分析风险-计算曲线的渐近行为，预测在无限预算下的风险上限。第四，安全评判器可靠性问题。使用单一的自动化评判器（Llama-3.1-8B-Instruct）可能引入系统偏差。评判器可能对某些类型的有害内容更敏感，对其他类型更迟钝；或者在某些场景下产生假阳性或假阴性。改进方向：使用多个评判器（包括人类评判）进行交叉验证；评估评判器的可靠性，分析其对结果的影响；考虑使用更先进的评判方法，如多模型集成、专门的安全评判模型。第五，缺乏危害权重。当前的二元成功指标将所有越狱同等对待，无法区分轻微违规和严重违规。现实世界中，不同危害的严重性差异巨大，例如生成一个贬义词和生成生物武器配方应该有完全不同的风险评估。改进方向：引入危害权重，根据输出内容的严重性加权风险；开发更细致的风险评估框架，考虑攻击的实际收益。第六，缺乏防御方法评估。研究关注攻击评估，但没有考虑防御方法（如输入过滤、输出审查、对抗性训练）的影响。实际部署的系统通常有这些防御，它们会改变攻击的成本结构。改进方向：将评估框架扩展到防御方法，分析不同防御对计算成本的影响；评估防御方法在计算空间中的鲁棒性，不仅仅是二元成功或失败。
未来方向
未来研究方向包括作者提出的和基于成果可延伸的。作者提出的研究方向：第一，扩展到更大规模、更高预算、闭源前沿模型和多模态设置。当前研究使用0.5B到8B的开放权重模型，未来应该评估更大规模的模型（如100B+）、更高预算（如100+查询）、闭源模型（如GPT-4、Claude）和多模态模型（如视觉-语言模型）。第二，考虑危害严重性加权的评估框架。当前使用二元成功指标，未来应该根据危害严重性和效用增益加权，将问题从攻击是否成功转变为结果是否值得对抗性投资。第三，研究更复杂的攻击策略。当前评估了三种攻击家族，未来应该包括适应性攻击，特别是联合优化攻击，这些攻击同时针对多个防御机制进行优化。基于成果可延伸的研究方向：第四，更精确的计算成本模型。当前使用标准Transformer FLOPs作为理论近似，未来可以考虑更精确的计算模型，包括内存带宽、延迟、并行性等因素；或者直接测量实际运营指标（如GPU小时、能源成本、USD per breach）。第五，安全对齐的不均匀性研究。研究发现SafeRL在不同危害类别间提高鲁棒性的程度不均匀，未来可以深入研究为什么某些类别更容易被攻破，是数据不平衡、对齐方法缺陷还是攻击特性导致的；可以开发更均匀的对齐方法，确保所有危害类别都得到充分保护。第六，攻击迁移机制研究。研究发现梯度攻击可以从代理模型迁移到目标模型，未来可以深入研究迁移机制：什么因素决定迁移成功率？如何设计防御以抵抗迁移攻击？迁移攻击的计算成本和直接攻击相比如何？第七，实时威胁建模。当前评估是离线的，未来可以开发实时威胁建模框架，根据攻击者的实际预算和行为模式动态调整安全策略。第八，评估框架的标准化和开源。当前框架已经开源，未来可以推动评估框架的标准化，使其成为LLM安全评估的行业标准；开发易用的工具和API，降低使用门槛。第九，跨语言和跨文化评估。当前研究主要关注英语，未来可以扩展到其他语言和文化背景，研究攻击成本是否存在语言或文化差异。第十，长期演化和适应性攻击。当前评估是静态的，未来可以研究攻击和防御的长期演化：攻击者会如何适应新的评估框架？防御者应该如何设计鲁棒的安全系统？
复现评估
复现评估：论文已经开源评估框架（代码仓库 r-three斜杠risk-under-pressure.arXiv:2606.11409v1），这使得复现成为可能。数据方面，研究使用公开的基准测试HarmBench（200个行为，6个类别）和JailbreakBench（100个行为，10个类别），这些基准是公开可用的。模型方面，研究使用公开的开放权重模型：Tulu3系列（8B，四个阶段）、Qwen2.5 Instruct系列（0.5B、3B、7B）、Qwen3系列（4B、4B-SafeRL、8B），这些模型都是公开可用的。攻击策略方面，GCG、PAIR和Jailbroken都有公开的实现或明确的描述，可以复现。评估使用Llama-3.1-8B-Instruct作为安全评判器，这也是公开可用的。计算资源方面，研究在单个NVIDIA L40S（48 GB）GPU上运行，每个配置（模型、攻击、基准）使用10个随机种子。JailBroken和PAIR运行需要约0.5到1 GPU小时，GCG运行需要约3到10 GPU小时（取决于模型大小，一个种子、一个模型、200个行为、lambda等于10）。这意味着完整的实验（10个模型乘以3个攻击乘以2个基准乘以10个种子）需要相当可观的计算资源，但单个实验的复现是可行的。论文详细描述了每步的计算成本模型，包括FLOPs计算的公式（如GCG的c_GCG(M)等于(128加beta_bwd)乘以2NL_opt加2NL_gen加2NL_J，其中beta_bwd等于3），这使得精确复现成为可能。论文还报告了所有指标的95%置信区间（使用t分布），这使得结果的可信度可以验证。总体而言，论文的复现性是良好的：开源框架、公开数据、公开模型、详细描述、报告置信区间。主要挑战是计算资源需求，但单个实验的复现是可行的。
论文图表