迷失在噪声中：推理模型如何在上下文干扰下失效

提出NoisyBench基准测试，揭示推理模型在噪声上下文下性能骤降80%，并提出RARE奖励函数提升鲁棒性

前置知识

RAG（检索增强生成）

Retrieval-Augmented Generation，是一种将外部知识库检索与大语言模型生成相结合的技术范式。系统首先根据用户查询从知识库中检索相关文档，然后将检索到的文档作为上下文信息注入到语言模型的输入中，使模型能够基于最新、最准确的信息生成回答。RAG技术广泛应用于问答系统、对话机器人和知识密集型任务中，能够有效缓解语言模型的知识截止问题和幻觉问题。

本文的核心研究场景之一就是RAG系统在噪声环境下的表现，NoisyBench基准测试中包含多个RAG任务（SealQA、MultihopRAG、Musique），用于评估模型从噪声检索结果中筛选有效信息的能力

强化学习与GRPO算法

强化学习（Reinforcement Learning）是一种通过与环境交互、接收奖励信号来优化策略的机器学习范式。GRPO（Group Relative Policy Optimization）是DeepSeek团队提出的一种高效的强化学习算法，它通过组内相对比较来估计优势函数，避免了传统PPO算法中需要训练价值模型的开销。在LLM训练中，GRPO通过采样多个候选回答并根据奖励信号进行比较学习，逐步优化模型的生成策略。

本文使用GRPO作为核心训练算法，比较了基于结果的奖励（Outcome Reward）和提出的Rationale-Aware Reward（RARE）两种奖励设计对模型鲁棒性的影响

Chain-of-Thought（思维链）推理

Chain-of-Thought（CoT）是一种让语言模型在给出最终答案前，先展示中间推理步骤的技术。通过在生成过程中产生详细的推理链，模型能够将复杂问题分解为多个子步骤，逐步推导出答案。现代推理模型如DeepSeek-R1、Gemini-2.5-Pro等都内置了显式的思考过程（thinking process），通过生成大量的推理token来完成复杂任务。

本文发现一个关键现象：在噪声环境下，更长的思维链反而导致更差的性能，这揭示了推理模型的一个根本性弱点——干扰信息会误导推理路径

Hard Negative Distractor（硬负例干扰）

硬负例干扰是指那些表面上与问题高度相关、但实际上不包含有用信息甚至会误导模型的输入内容。与随机噪声不同，硬负例干扰在语义上与问题主题相似，使用相同的术语和表达方式，但在逻辑上与问题的正确答案无关。例如，在一个关于历史事件的问题中，硬负例可能是一段关于同一历史时期但完全无关人物的详细描述。这种干扰对模型的挑战最大，因为模型很难将其与真正有用的信息区分开来。

硬负例干扰是NoisyBench中最具挑战性的设置，导致了最严重的性能下降（DeepSeek-R1-Distill-Llama-8B下降80.6%），也是RARE方法重点解决的问题类型

Emergent Misalignment（涌现式对齐失效）

涌现式对齐失效是指语言模型在特定条件下突然表现出与预期对齐目标相悖的行为，即使没有恶意攻击或对抗性输入。这种现象最初在对抗性攻击场景中被发现，即通过精心设计的对抗性输入可以绕过模型的安全护栏。本文发现了一个更令人担忧的现象：即使是随机的、无恶意的噪声内容，也能触发类似的对齐失效，导致模型产生偏见性回答或违反安全准则。

这一发现挑战了当前对模型安全性的理解，表明噪声不仅仅是效率问题，更是安全问题，对Agent AI系统的实际部署具有重大影响

研究动机

随着大语言模型演进为Agent AI系统，它们越来越多地依赖外部工具和检索结果来完成复杂任务。然而，现实世界的数据极少是完美整理的——系统会遇到错误的工具输出、不准确的检索结果和无关的对话历史。当前的评估基准（如MMLU、HumanEval等）都在'清洁'环境下测试模型，完全无法反映模型在真实部署场景中的表现。这种基准测试与实际应用之间的鸿沟造成了一个危险的错觉：模型在实验室中表现优异，但在真实环境中可能严重失效。论文指出，GPT-4基于函数调用的Agent在真实工具使用任务中的成功率仅约50%，这已经暗示了当前系统的脆弱性。更严重的是，随着模型被部署到医疗、金融等关键领域，这种在噪声环境下的不可预测行为可能带来严重后果。

本文的目标是本文的核心目标是系统性地评估和提升推理模型与Agent AI系统在噪声上下文环境下的鲁棒性。具体而言，作者希望：（1）建立一个覆盖RAG、推理、对齐和工具使用四大任务类别的噪声鲁棒性评估基准；（2）量化不同类型噪声（随机文档、随机对话历史、硬负例干扰）对模型性能的影响程度；（3）探索现有的缓解方法（提示工程、上下文工程、SFT、RL）能否有效提升噪声鲁棒性；（4）提出一种能够从根本上提升模型在噪声环境下推理能力的训练方法。最终目标是为构建更可靠、更健壮的下一代Agent AI系统提供理论基础和实践指导。

与已有工作不同的是，本文的独特切入角度在于将'噪声'从一个被忽视的系统级问题提升为一个核心的研究课题。之前的NIAH（Needle-in-a-Haystack）等工作主要关注长上下文中的信息检索能力，假设上下文本身是'干净'的，只是信息被'埋'在大量无关内容中。但本文发现，真正的挑战不仅在于信息检索，更在于噪声会主动干扰模型的推理过程——即使模型'看到'了正确信息，噪声也会误导其推理路径。此外，本文首次系统性地展示了三个令人担忧的现象：（1）噪声能触发涌现式对齐失效，无需对抗性意图；（2）Agent工作流会放大噪声的影响而非缓解它；（3）更多的测试时计算（更长的推理链）反而导致更差的性能。这些发现揭示了当前推理范式的根本性局限，指向了一个被现有研究严重忽视的方向。

核心方法

本文的方法论框架包含三个层次：评估（NoisyBench）、训练数据（NoisyInstruct）和训练方法（RARE）。整体思路遵循'发现问题→量化问题→解决问题'的研究范式。首先，作者构建了NoisyBench基准，在11个数据集上系统性地引入三种类型的干扰，建立噪声鲁棒性的评估标准。然后，通过大规模实验发现现有方法（提示、SFT、上下文工程）都无法有效解决噪声问题，RL虽有改善但仍有限。这引导作者提出Rationale-Aware Reward（RARE），这是一种创新的奖励函数设计，通过奖励模型在推理过程中识别和引用有用信息的能力，而非仅仅关注最终答案的正确性。从技术路线看，RARE的本质是将过程监督（process supervision）的理念引入RL训练，让模型学会在噪声中'沙里淘金'。

RARE的核心创新在于解决了传统强化学习奖励设计中的一个关键盲区。传统的Outcome Reward（OR）只关注最终答案是否正确，无法区分'模型在噪声中成功筛选出有用信息'和'模型侥幸猜对答案'两种情况。这意味着即使模型完全被干扰信息误导，只要碰巧给出了正确答案，它仍然会获得正向奖励，无法学到真正的噪声过滤能力。RARE通过引入一个参考提取机制解决了这个问题：它要求模型在推理过程中用reference标签标注从上下文中提取的有用信息，然后由评判模型比较提取内容与标准答案的匹配程度，给出二元奖励信号。这种方法为模型提供了细粒度的过程监督，明确奖励'从噪声中识别有用信息'的行为。实验表明，RARE训练显著降低了思维链中被干扰的比例，同时提高了基于结果的奖励，最终实现了比纯OR训练更高的准确率。

方法步骤详情

RARE方法的实施包含以下关键步骤：（1）数据准备阶段，使用NoisyInstruct数据集，包含四种数据类型：(A|Q)仅答案和问题、(A|Q,H)带提示的答案、(A|Q,D)带干扰的答案、(A|Q,D,H)同时带干扰和提示的答案。训练数据源自NVIDIA Nemotron Nano 2后训练数据集，覆盖数学、编程、科学、对话、安全和多语言等领域。（2）强化学习阶段，使用GRPO算法进行训练，rollout数量为3，训练批次大小为32，最大提示长度4096，最大响应长度8192，学习率1e-6。对于4B和8B模型，使用4个GPU分配给奖励模型，4个GPU分配给Actor模型；对于30B模型，使用多节点训练。（3）奖励计算阶段，模型生成回答时需在think标签内进行推理，并在需要时用reference标签标注提取的有用信息。奖励信号包含两部分：最终答案正确性的Outcome Reward和参考信息匹配度的Rationale-Aware Reward。评判模型使用gpt-oss-120b，采用二元奖励（0或1）判断提取内容是否与标准答案匹配。（4）训练过程中，RARE持续降低被干扰的思维链比例，同时提高Outcome Reward，形成正向循环。

技术新颖性

RARE的技术新颖性体现在多个层面。首先，在奖励函数设计上，它首次将'从噪声中提取有用信息'这一过程显式地纳入强化学习的奖励信号中，突破了传统RL只关注结果正确性的局限。这种过程导向的奖励设计为RL在复杂推理任务中的应用开辟了新方向。其次，在方法实现上，RARE采用了简洁的参考提取机制——通过让模型自己标注提取的信息，避免了复杂的中间状态评估，同时保持了方法的通用性。第三，在理论发现上，本文揭示了'逆向缩放'现象：在噪声环境下，更多的测试时计算（更长的推理链）反而导致更差的性能。这与直觉相反，表明当前的推理扩展范式在噪声环境中存在根本性问题。第四，通过注意力可视化分析，本文首次定量证明了错误预测与对干扰token的过度关注之间的因果关系，为理解模型失败模式提供了新的分析视角。这些发现和方法共同构成了对推理模型鲁棒性研究的重要贡献。

实验结果

本文的实验结果揭示了多个令人警醒的发现。在性能退化方面，所有被测试的模型在引入干扰后都经历了严重的性能下降，降幅从约9%到近80%不等。即使是表现最强的Gemini-2.5-Pro，在硬负例干扰下平均性能也从77.8%降至48.0%，下降了38.3%。更惊人的是DeepSeek-R1-Distill-Llama-8B，在硬负例干扰下性能从32.4%暴跌至6.3%，降幅达80.6%。在对齐任务上，随机干扰（无任何恶意意图）就能导致严重的对齐失效：Gemini-2.5-Pro在BBQ任务上从94.0%降至60.5%，DeepSeek-R1-0528从93.0%降至33.7%。在Agent工作流方面，虽然工具使用在清洁环境下能提升性能，但在噪声环境下反而加剧了性能退化，因为Agent倾向于过度信任工具输出和上下文信息。在方法比较上，提示工程、SFT和上下文工程都未能有效提升鲁棒性——SFT甚至因为灾难性遗忘导致更严重的性能下降。相比之下，RL训练能够改善鲁棒性，但纯Outcome Reward的效果有限。RARE方法在所有干扰设置和所有模型上都一致地超越了纯OR训练，在Qwen3-4B的硬负例设置中实现了36.1%的平均提升，在DeepSeek-R1-Distill-Llama-8B的硬负例设置中实现了306.5%的惊人提升。

**Figure 13**: NoisyBench与NoisyInstruct的相似度分析

查看结构化数据

任务	指标	本文	基线	提升
RAG（SealQA）	Pass@8	RARE: 36.7% (HN)	Base: 33.1% (HN)	+10.9%
RAG（MultihopRAG）	Pass@8	RARE: 32.0% (HN)	Base: 29.0% (HN)	+10.3%
Reasoning（AIME25）	Pass@8	RARE: 25.5% (HN)	Base: 14.4% (HN)	+77.1%
Alignment（BBQ）	Pass@8	RARE: 76.7% (HN)	Base: 68.7% (HN)	+11.6%
Tool Usage（TauBench-Retail）	Pass^k	RARE: 22.4% (HN)	Base: 13.0% (HN)	+72.3%
平均性能（Qwen3-4B, HN）	Harmonic Mean	RARE: 33.4%	Base: 24.6%	+35.8%
平均性能（DeepSeek-R1-8B, HN）	Harmonic Mean	RARE: 25.6%	Base: 6.3%	+306.5%

局限与改进

尽管本文做出了重要贡献，但仍存在若干局限性。首先，研究主要聚焦于推理模型（生成显式思考过程的模型），未评估预训练基础模型或纯指令微调模型，这限制了结论的普适性。其次，本文未探索多模态场景下的噪声鲁棒性，而实际Agent系统越来越多地处理图像、视频等多模态输入。第三，RARE方法依赖于LLM-as-a-Judge进行奖励评估，这意味着奖励的准确性受限于评判模型的能力，且增加了计算开销。第四，NoisyBench的干扰类型虽然多样，但仍可能无法完全覆盖真实世界中的所有噪声模式，例如混合类型干扰的组合更为复杂。第五，实验使用Pass@k（k=8）进行评估，这可能与实际部署场景（通常只需要单次正确回答）存在差异。此外，作者自己也承认，RARE训练后模型在清洁设置下的性能提升（约0.6%-1.4%）相对较小，表明方法的主要价值在于噪声鲁棒性而非通用能力提升。从更宏观的角度看，本文发现的'逆向缩放'现象提出了一个根本性问题：当前基于延长推理链来提升性能的范式是否需要重新思考。

独立分析的弱点

本文存在几个值得深入探讨的弱点。第一，RARE的参考提取机制要求模型在推理过程中主动标注有用信息，这增加了推理的复杂性和token消耗。在实际部署中，这种额外开销可能影响系统效率，尤其是在对延迟敏感的应用场景中。改进方向可以是设计更轻量级的参考提取机制，或者探索隐式的过程监督方法。第二，本文的干扰类型设计虽然系统，但硬负例干扰主要通过LLM生成，可能存在生成分布与真实世界噪声分布的偏差。未来工作可以考虑从真实部署环境中收集噪声数据，构建更贴近实际的评估基准。第三，RARE对不同模型的改善幅度差异较大——对小模型（DeepSeek-R1-Distill-Llama-8B）的提升远大于对大模型（Qwen3-30B-A3B），这表明方法可能存在规模效应，需要进一步研究如何使方法在不同规模模型上都能有效工作。第四，本文未充分探讨RARE与其他训练技术（如DPO、KTO等）的结合可能性，以及RARE奖励信号的最优权重设计。第五，注意力分析部分使用了外部数据集（misleading-math），与NoisyBench的任务分布不完全一致，可能影响结论的普适性。

未来方向

基于本文的发现，可以延伸出多个有前景的研究方向。首先，多模态噪声鲁棒性是一个亟待探索的领域——图像、视频中的噪声信息如何影响多模态推理模型的决策？其次，混合干扰场景的研究值得深入，真实环境中往往同时存在多种类型的噪声，如何设计能处理复合干扰的鲁棒系统？第三，本文发现的'逆向缩放'现象提示需要研究自适应推理长度的方法——在检测到噪声时自动缩短推理链，避免过度思考导致的性能退化。第四，将RARE的思想扩展到在线学习场景，让Agent在部署过程中持续学习如何处理新类型的噪声。第五，探索更细粒度的过程监督方法，例如在每个推理步骤上进行奖励评估，而非仅在参考提取层面。第六，研究噪声鲁棒性与模型其他能力（如创造力、多样性）之间的权衡关系，避免过度优化噪声过滤导致模型变得过于保守。最后，将本文的分析工具（注意力可视化、熵分析等）发展为标准化的噪声诊断工具，帮助开发者识别和修复模型的噪声敏感点。

复现评估

本文在可复现性方面提供了较好的支持。代码方面，作者承诺将很快发布完整代码。训练数据方面，NoisyInstruct数据集基于公开可用的NVIDIA Nemotron Nano 2后训练数据集构建，随机文档来自Natural Questions数据集，随机对话来自WildChat数据集，所有数据源都是公开的。评估基准方面，NoisyBench的构建过程描述详细，包括过滤步骤（移除2.7%的低质量样本）和数据统计（每设置2,766个样本）。计算资源方面，论文明确说明使用8块NVIDIA A100-SXM4-40GB GPU进行推理，16块相同GPU进行训练。超参数方面，论文提供了详细的设置：SFT使用DeepSpeed ZeRO-3、学习率1e-5、训练1个epoch；RL使用VeRL库、学习率1e-6、rollout数量3。然而，完整复现仍面临一些挑战：（1）RL训练需要额外的奖励模型（gpt-oss-120b），增加了计算需求；（2）部分基线方法（GEPA、DC、ACE）依赖Gemini-3作为反射模型；（3）论文中的一些分析（如注意力可视化）需要访问模型的内部状态，可能不适用于闭源模型。总体而言，给定足够的计算资源，论文的结果应该是可复现的。

迷失在噪声中：推理模型如何在上下文干扰下失效 Lost in the Noise: How Reasoning Models Fail with Contextual Distractors