DLLM-Searcher：将扩散大语言模型适配为搜索智能体 DLLM-Searcher: Adapting Diffusion Large Language Model for Search Agents
通过两阶段后训练和并行推理范式，让扩散大语言模型成为高效的搜索智能体
前置知识
扩散大语言模型（dLLM）
扩散大语言模型是基于离散扩散机制的语言模型，与传统自回归模型（ARM）的从左到右逐token生成不同。dLLM通过前向扩散过程将token逐步替换为掩码token [M]，然后在反向过程中并行预测所有被掩码位置的原始值。这种非因果的扩散机制带来两个核心优势：一是支持并行解码，多个token可以同时生成；二是生成范式灵活，可以在一个block内以任意顺序生成token。代表性工作包括LLaDA、Dream7B、以及工业界的Gemini Diffusion等。
本文的核心就是将dLLM适配为搜索智能体，理解dLLM的并行解码和灵活生成机制是理解P-ReAct范式创新的基础
块扩散语言模型（BDLM）
块扩散语言模型是一种混合架构，将输入序列划分为多个连续的block，每个block内使用双向注意力机制，block间使用因果注意力。这种设计既保留了block内的非自回归生成能力（可并行解码），又支持KV Cache和变长文本生成。本文使用的骨干模型SDAR就是一种BDLM，block大小为64，它在保持通用能力的同时支持高效推理。
本文采用SDAR作为骨干模型，BDLM的block注意力机制是理解Agentic Noising和P-ReAct技术细节的关键
ReAct智能体范式
ReAct（Reasoning and Acting）是当前主流的智能体框架，智能体在接收到用户查询后，按照"思考-行动-观察"的循环执行。在每个迭代中，模型先生成think区域来制定搜索计划，然后生成tool_call区域将计划转化为API请求，接着停止生成等待外部反馈返回，最后将观察结果加入上下文继续下一轮迭代。这种串行执行模式虽然有效，但累积的延迟是实际部署的主要瓶颈。
ReAct是本文要优化的基线范式，理解其串行执行的延迟瓶颈才能理解P-ReAct的并行化设计动机
证据下界（ELBO）
证据下界是扩散模型训练的核心优化目标，用于近似对数条件分布。对于dLLM，ELBO通过对扩散时间步t采样，计算模型在不同噪声水平下预测原始token的能力。对于BDLM，ELBO扩展为block级别的形式，只在当前block内计算损失，条件是之前的block。本文在此基础上提出了Agentic ELBO，专门为智能体场景设计，只关注think和tool_call区域的学习。
Agentic ELBO是本文后训练算法的理论基础，理解它才能理解为什么传统ELBO不适用于智能体训练
方差减少偏好优化（VRPO）
VRPO是一种用于后训练dLLM的对齐方法，类似于DPO但针对扩散模型设计。它通过比较正确轨迹和错误轨迹来训练模型，使用策略模型和参考模型的ELBO差异作为优化目标。损失函数包含策略相对于参考模型的ELBO优势项。本文提出了Agentic VRPO，将VRPO适配到智能体场景。
Agentic VRPO是本文两阶段后训练的第二阶段，理解VRPO的原理才能理解如何通过偏好优化提升智能体能力
研究动机
搜索智能体的实际部署面临两个核心挑战。首先是延迟挑战（Latency Challenge）：在标准的ReAct范式下，智能体需要串行执行思考、工具调用和等待工具响应三个阶段。模型在等待外部搜索引擎返回结果时处于闲置状态，累积的延迟严重制约了端到端响应时间。其次是智能体能力挑战（Agent Ability Challenge）：现有的dLLM骨干模型在智能体场景中表现出极弱的推理和工具调用能力。实验发现，原始的SDAR模型在HotpotQA数据集上的500个样本中，没有一个成功完成交互——所有测试用例都在第一轮ReAct过程中因格式错误而终止。具体错误类型包括：空输出（31.2%）、无tool_call（28.4%）、think格式错误（17.8%）和tool_call格式错误（7.0%）。这种灾难性失败归因于SDAR在继续预训练阶段缺乏针对工具使用和多步推理的指令数据。
本文的目标是本文的目标是构建DLLM-Searcher优化框架，同时解决上述两个挑战。具体而言，一是要提升dLLM骨干模型的信息检索和推理能力，使其能够在搜索场景中准确生成符合格式要求的工具调用指令；二是要利用dLLM的灵活生成机制，提出新的智能体范式来实现推理与等待的并行化，目标是实现约15%的推理加速，同时保持与主流LLM搜索智能体相当的性能水平。
与已有工作不同的是，本文的独特切入角度在于同时从训练和推理两个维度解决问题。在训练层面，现有工作大多直接将LLM的后训练方法迁移到dLLM，但忽略了智能体轨迹中工具响应内容的干扰问题——dLLM的双向注意力机制可能导致模型在训练时偷看到尚未生成的工具响应token，造成训练-推理不匹配。本文通过Agentic Noising过程巧妙解决了这一问题。在推理层面，现有智能体范式都是串行执行，而本文充分利用dLLM在解码前就知道答案的特性，通过置信度偏置策略强制模型优先解码tool_call区域，实现推理与等待的并行化。这种设计是ARM根本无法实现的，因为ARM依赖已解码的think区域来生成高质量的tool_call。
核心方法
DLLM-Searcher的整体思路可以类比为先教会模型正确使用工具，再让它同时思考和行动。技术路线分为两个部分：训练阶段采用两阶段后训练流水线，先通过Agentic SFT让模型学会基本的工具调用格式和信息检索能力，再通过Agentic VRPO通过偏好优化进一步提升推理和检索的鲁棒性；推理阶段提出P-ReAct范式，利用dLLM的灵活生成机制，通过token预填充和置信度偏置两个技术，强制模型在每个迭代中优先解码tool_call区域，使得模型在等待工具响应的同时可以继续进行推理思考。整个框架的核心洞察是：dLLM的双向注意力机制使其能够利用尚未显式解码的推理信息来生成高质量的工具调用，从而实现真正的边等待边思考。
本文最核心的创新在于认识到dLLM与ARM在智能体场景中的本质差异，并据此设计了针对性的解决方案。ARM的因果注意力机制决定了它必须先解码think区域，才能基于已生成的文本来产生高质量的tool_call。而dLLM的双向注意力机制使其能够在block内访问全局上下文，即使think区域尚未显式解码，模型也能在潜空间中进行推理，从而生成合理的工具调用指令。基于这一洞察，P-ReAct范式通过两个简单但有效的技术实现了这一能力：一是token预填充，在初始化时直接在指定位置注入tool_call和边界token，为噪声空间定义结构骨架；二是置信度偏置，在解码迭代过程中，对tool_call区域内的token施加正向偏置，提升其解码优先级。这两个技术结合后，模型能够以接近100%的概率优先解码tool_call内容，实现真正的并行执行。
方法步骤详情
DLLM-Searcher的完整流程包括训练和推理两个阶段。训练阶段的第一步是Agentic SFT：首先使用高性能模型（Doubao-Seed-1.8）对2048个来自HotpotQA、2WikiMultiHopQA和Musique的查询进行轨迹rollout，然后使用LLM judger筛选出答案正确、推理步骤完整且格式规范的轨迹，得到3977条训练数据。训练时，将噪声轨迹拼接在干净轨迹后面，形成[Q, H_teacher, H_noisy]的输入，通过Block Attention和Agentic Noising过程计算Agentic ELBO损失。Agentic Noising的关键是只对think和tool_call区域添加噪声，同时完全掩码tool_response token以防止信息泄露。第二步是Agentic VRPO：使用SFT模型对8k个训练样本进行两次rollout，筛选出一个正确一个错误的轨迹对，得到2237个查询和4474条轨迹。训练时使用Agentic ELBO计算策略模型和参考模型的优势差异。推理阶段采用P-ReAct范式：在完全掩码的序列初始化时，预先在tool_call区域的起止位置填入特殊token；在每个解码步骤，对tool_call区域内的token置信度增加0.5的偏置；使用低置信度重掩码策略，每次解码128个新token，共128步去噪。
技术新颖性
本文的技术新颖性体现在三个方面。第一，首次为dLLM设计了专门的智能体后训练流水线，不同于直接迁移LLM的训练方法，本文提出了Agentic ELBO和Agentic Noising来解决dLLM双向注意力在智能体场景中的信息泄露问题。第二，提出了P-ReAct范式，这是第一个利用dLLM生成特性实现推理与行动并行化的智能体范式，其核心的置信度偏置策略是一个训练-free的方法，无需额外训练即可控制生成顺序。第三，实验证明了dLLM在解码前就能利用潜空间推理生成高质量工具调用的能力，这是一个重要的发现——即使在timestep 32时think区域仍然完全被掩码，模型生成的tool_call已经是正确且高质量的。这种能力是ARM根本无法复制的，因为ARM强制依赖显式生成的文本来产生后续内容。
实验结果
实验结果表明DLLM-Searcher在多个维度上都取得了显著成效。在整体性能方面，DLLM-Searcher在四个多跳QA基准测试上均表现出色：HotpotQA上ACC_R达到60.4%、ACC_L达到62.4%；2WikiMultiHopQA上ACC_R为69.8%、ACC_L为64.6%；Bamboogle上ACC_R为68.8%、ACC_L为69.6%；Musique上ACC_R为29.0%、ACC_L为29.8%。平均ACC_R为57.0%，比最强的传统RAG方法ReARTeR（45.4%）提升了约19个百分点，与基于ARM的搜索智能体R1Searcher（53.1%）相比也有明显优势。在后训练效果分析中，Agentic SFT使原本完全失败的SDAR模型获得了基础的信息检索能力，而Agentic VRPO进一步带来了3-5个百分点的普遍提升。在推理效率方面，P-ReAct相比标准ReAct在四个数据集上分别实现了14.77%、21.00%、22.08%和12.67%的推理时间缩减，且几乎没有性能下降。在与ARM的对比实验中，当强制ARM先生成tool_call时，Qwen3系列模型都出现了显著的性能下降，而DLLM-Searcher甚至在HotpotQA和Musique上还略有提升，证明了先行动后思考是dLLM独有的能力优势。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| HotpotQA | ACC_R | 60.4% | ReARTeR 46.8% / R1Searcher 58.0% | +13.6% / +2.4% |
| HotpotQA | ACC_L | 62.4% | ReARTeR 50.6% / R1Searcher 62.2% | +11.8% / +0.2% |
| 2WikiMultiHopQA | ACC_R | 69.8% | ReARTeR 55.4% / R1Searcher 59.6% | +14.4% / +10.2% |
| 2WikiMultiHopQA | ACC_L | 64.6% | ReARTeR 53.4% / R1Searcher 63.4% | +11.2% / +1.2% |
| Bamboogle | ACC_R | 68.8% | ReARTeR 49.6% / R1Searcher 66.4% | +19.2% / +2.4% |
| Bamboogle | ACC_L | 69.6% | ReARTeR 54.4% / R1Searcher 68.8% | +15.2% / +0.8% |
| Musique | ACC_R | 29.0% | ReARTeR 29.6% / R1Searcher 28.2% | -0.6% / +0.8% |
| Musique | ACC_L | 29.8% | ReARTeR 30.2% / R1Searcher 31.4% | -0.4% / -1.6% |
局限与改进
本文的局限性主要体现在以下几个方面。首先，在Musique数据集上，DLLM-Searcher的表现略逊于R1Searcher（ACC_R: 29.0% vs 28.2%，ACC_L: 29.8% vs 31.4%），这表明在更复杂的多跳推理任务上，dLLM的推理能力仍有提升空间。其次，本文只在8B参数规模的SDAR模型上进行了实验，未验证方法在更大规模模型上的效果，也未探索与更强的商业模型（如GPT-4级别的）的差距。第三，P-ReAct的推理加速效果（12.67%-22.08%）虽然显著，但仍受限于block大小和去噪步数的设置，进一步的加速可能需要架构层面的改进。第四，本文只在多跳问答任务上进行了评估，未涉及代码生成、数学推理等其他智能体应用场景，方法的通用性有待验证。最后，训练数据依赖于强模型（Doubao-Seed-1.8）的轨迹生成和筛选，存在一定的数据质量和成本限制。
独立分析的弱点
从独立分析的角度，DLLM-Searcher存在几个值得关注的弱点。第一，Agentic Noising过程中需要完全掩码tool_response token以防止信息泄露，这意味着模型无法从外部检索内容中学习，限制了训练信号的丰富性。改进方向是设计更精细的噪声注入策略，比如只掩码关键信息片段而非整个响应。第二，P-ReAct的置信度偏置alpha=0.5是一个固定值，未根据不同任务的复杂度进行自适应调整。对于需要更多推理步骤的复杂查询，可能需要动态调整偏置强度。第三，本文使用的评估指标ACC_R和ACC_L依赖于字符串匹配和LLM判断，可能存在评估偏差，特别是对于包含大量补充信息的长回答。第四，方法依赖于预训练好的BDLM骨干模型（SDAR），如果更换为其他架构的dLLM，P-ReAct的效果可能需要重新验证。
未来方向
基于本文的成果，未来研究可以从多个方向展开。首先是模型规模扩展：将DLLM-Searcher扩展到更大规模的dLLM（如70B或更大），验证后训练方法的scaling law。其次是任务泛化：将P-ReAct范式应用到代码生成、数学推理、多模态理解等其他智能体场景，探索dLLM在更广泛任务中的潜力。第三是训练效率优化：当前的两阶段训练依赖大量轨迹rollout和筛选，可以探索更高效的数据利用方法，如在线学习或课程学习。第四是推理加速：结合模型蒸馏、量化等技术进一步降低P-ReAct的计算开销，使其更适合实时应用。第五是多工具协同：当前只使用了单一的搜索工具，未来可以扩展到支持多种工具（如计算器、代码执行器）的复杂智能体系统。
复现评估
本文的复现条件相对友好。代码已开源在GitHub上（https://anonymous.4open.science/r/DLLM-Searcher-553C），包含完整的训练和推理流程。数据集方面，四个多跳QA基准测试（HotpotQA、2WikiMultiHopQA、Musique、Bamboogle）都是公开可用的标准数据集，训练数据通过Doubao-Seed-1.8的API生成，该API有公开访问权限。算力需求方面，所有实验在8块NVIDIA H100 GPU上完成，SFT阶段使用batch size 32训练3个epoch，VRPO阶段使用batch size 16训练5个epoch，对于8B模型来说算力需求适中。复现难度中等，主要挑战在于Agentic Noising过程的实现细节和P-ReAct的置信度偏置设置，但论文和代码提供了足够的信息来指导复现。
论文图表
展示当强制ARM先生成tool_call时，Qwen3-8B、Qwen3-30B-A2B和Qwen3-235B-A22B都出现了显著的性能下降，而DLLM-Searcher甚至在部分数据集上还有提升。这证明了先行动后思考是dLLM独有的能力，ARM依赖显式解码的think来生成高质量tool_call。
这张图揭示了dLLM与ARM在生成机制上的本质差异，是理解P-ReAct创新性的关键证据