DR-Venus：仅用 10K 开放数据训练的前沿边缘级深度研究智能体 DR-Venus: Towards Frontier Edge-Scale Deep Research Agents with Only 10K Open Data

完整流程分两大阶段。**阶段一：SFT 数据构建与训练。** 输入是 10,001 条原始 REDSearcher 轨迹，经过四步清洗：(a) 环境对齐，把所有轨迹转换为推理时使用的同一消息格式、system prompt、tool-call 参数，10,001 条全部成功；(b) 禁用工具剪枝与去重，由于运行时只有 search 和 browse 两个工具，把 Python-Interpreter 等调用在 turn 级删掉（影响 1,064 条，去除 3,378 次不允许工具调用）并删除重复的 search/browse 对（影响 6,821 条，去除 15,728 次重复）；(c) 正确性过滤，用 Qwen3-235B-A22B-Instruct-2507 做 judge，保留 9,365 条；(d) Turn-aware resampling，按 0–50/51–100/>100 turn 分别赋 1×/2×/5× 权重，把数据集从 9,365 拉到 18,745 实例。训练时用 Qwen3-4B-Thinking-2507 底座，8 张 A100，verl FSDP，最大长度 200K token，全局 batch=32，单卡 micro-batch=1，学习率 1e-5，单 epoch，assistant token 计算 loss、observation token mask 掉。**阶段二：Agentic RL。** 输入是 1K 来自 REDSearcher 的 query-answer 对，从 SFT 模型继续训练。每条 query 采样 G=8 条轨迹，温度 1.0，每 turn 最多生成 8,192 token，总 context 上限 256K token，batch=16。奖励设计按公式 $\hat{r}_{i,t}=\begin{cases} r_{i,t} & \text{格式正确}\\ -\lambda_{\text{fmt}} & \text{格式错误}\end{cases}$ 做格式掩码，按公式 5 在 rollout 组内分别对 IG 和 outcome 奖励做 $(\hat{r}-\mu)/\sigma$ 归一化，再用 IG-Scale（公式 7，$\eta=0.3$、$s_{\max}=10$）把 IG 量纲对齐到 outcome 量纲，最后按公式 9 用 $\gamma=0.95$ 做 turn-level 折扣累积 $\tilde{R}_{i,t}=\sum_{k=t}^{T_i}\gamma^{k-t}\bar{r}_{i,k}$。优化目标直接套用 IGPO 公式 10，clip 阈值 $\epsilon$、KL 系数 $\beta$ 沿用 GRPO 默认设置。

技术新颖性体现在三个层次。第一，**数据利用层面**的 turn-aware resampling 是一个简单但被忽视的杠杆，仅靠把 13.29% 的超长程轨迹升到 33.21%，BrowseComp 上就能从 22.8 提到 26.8（+4.0），BrowseComp-ZH 从 33.9 提到 35.7（+1.8），证明长程监督密度比样本总量更重要。第二，**奖励设计层面**的 IGPO 改造把“轨迹级稀疏”问题改造成“turn-level 密集”问题，并通过 browse-aware 分配避免在低信息量的 search turn 上浪费监督信号；这与 Tongyi-DR 等使用结果奖励 + judge 模型的工作形成对比，IGPO 是直接在策略概率空间上做差分，不需要额外 reward model。第三，**训练稳定性层面**的 IG-Scale 和格式惩罚是工程上很关键的细节：在 200 turn 量级的任务里 outcome reward 经常全 0，没有 IG-Scale 就会变成纯 IG 主导的更新，容易陷入局部最优；$\lambda_{\text{fmt}}=1.0$ 把格式错误精确定位到具体 turn，避免传统的“一条轨迹格式错就整条惩罚”的粗糙信号。这三个层次叠加，使得 4B 模型能在 RL 中获得稳定且持续的增益（BrowseComp +2.3、BrowseComp-ZH +2.0），而同等条件下 GRPO 反而出现 -1.5 的退化。

从独立分析角度看，本文至少有四个值得改进的弱点。**弱点一：SFT 与 RL 数据均来自同一来源 REDSearcher**，存在严重的 source bias，模型在 BrowseComp 这类与 REDSearcher 数据分布接近的任务上提升明显（+5.7 xBench-DS-2505），但在分布外任务如 DeepSearchQA 上提升有限（+1.9），且被 Claude-4.5-Opus 等闭源模型大幅超越；改进方向是引入跨源 SFT 数据或自生成 query 做数据扩展。**弱点二：Browse-aware IG 分配仍属于粗粒度启发式**，把所有 search turn 平摊到下一个 browse turn 之间的 IG，没有考虑不同 search turn 本身的信息量差异，可能把真正的“关键 search”和噪声 search 等量齐观；改进方向是基于 query-context 相似度或 attention 权重做更细粒度的 IG 归因。**弱点三：缺少对模型本身 capability ceiling 的理论分析**，Pass@K 曲线只是经验观察，没有回答“为什么 4B 能在 Pass@16 接近 Tongyi-DR-30B”——这可能是底层 Qwen3-4B-Thinking 的预训练知识 + REDSearcher 分布匹配的共同作用，而非 DR-Venus 方法本身的功劳；改进方向是消融底座模型或在不同底座上重复实验来剥离方法贡献。**弱点四：评测依赖固定 Serper/Jina 工具栈**，没有报告工具调用失败率、网页访问成功率等系统级指标，工具故障可能掩盖或放大模型本身的性能差异；改进方向是引入工具故障模拟或使用更稳健的浏览器接口（CDP/WebArena）。

作者在结论部分给出的未来方向比较克制，主要强调“释放模型、代码、关键 recipes 支持复现研究”，但根据本文成果至少可以延伸出四条研究方向。**方向一：test-time scaling 范式落地**。Pass@K 显示 4B 在 K=16 时几乎接近 Tongyi-DR-30B（BrowseComp-ZH 78.5 vs 46.7），下一步可探索 Best-of-N、Self-Consistency、Process Reward Model 等与 IGPO 兼容的解码策略，把 capability ceiling 转化为可部署的 Pass@1 性能。**方向二：多语种 RL 数据扩展**。BrowseComp-ZH 在大 K 值上 RL 出现轻微退化，根因是 RL 数据全英文；引入中英混合或纯中文 RL 数据（可借鉴 Tongyi-DR 的中英混训策略）有望让 RL 在中文场景也保持单调提升。**方向三：模型规模-数据效率 trade-off 的系统研究**。本文只测了 4B，可延展到 1B/2B/7B/9B 同一 REDSearcher 数据集，看 turn-aware resampling 的增益曲线是否随模型变小而放大，并据此设计“数据利用率为先”的训练范式。**方向四：与 RAG / memory 模块的协同**。当前 4B 模型在长程任务中 context 长度已经逼近 256K 上限，未来可探索把 IGPO 的 turn-level 信用分配思想迁移到 memory-augmented agent，让模型主动决定何时写入/读取长期记忆，从而突破纯 in-context 推理的瓶颈。

复现评估整体良好。代码、模型和关键 recipe 均承诺开源：模型在 HuggingFace 集合 inclusionAI/dr-venus 下发布，代码仓库为 github.com/inclusionAI/DR-Venus；SFT 训练数据 REDSearcher_SFT_10K（10K 原始轨迹）和 RL 训练数据 REDSearcher_RL_1K 也都公开。算力需求方面，SFT 阶段 8×A100、单 epoch、最长 200K token 序列并行 size=8，verl FSDP 训练器；RL 阶段 16×A100、rollout 上限 256K context、batch=16、group size=8、verl vLLM 引擎，单次完整 RL 训练成本较高但仍属于中小团队可承受范围。底座 Qwen3-4B-Thinking-2507 与 judge 模型 Qwen3-235B-A22B-Instruct-2507 均开源权重。评测侧对外部基础设施的依赖（Serper 搜索 API、Jina 浏览 API、Qwen3-30B-A3B-Instruct-2507 摘要）是潜在变数，搜索结果和网页快照的稳定性可能影响 BrowseComp 等长程基准的可复现性，文中对每条 query 允许最多 200 interaction step、temperature 1.0、top-p 0.95、top-k 20、presence penalty 1.1、最大 token 256K 的解码设置也必须严格一致才能复现论文中的具体数字。总体而言方法论层面可复现性高，但完整复现仍需对外部工具栈投入工程精力。