← 返回 2026-05-13

迈向面向视觉原生多模态深度搜索智能体的在策略数据演化方法 Towards On-Policy Data Evolution for Visual-Native Multimodal Deep Search Agents

Shijue Huang, Hangyu Guo, Chenxin Li, Junting Lu, Xinyu Geng, Zhaochen Su, Zhenyu Li, Shuang Chen, Hongru Wang, Yi R. Fung 📅 2026-05-11 👍 22 2026-07-13 08:36
MLLM 多模态智能体 工具使用 强化学习 数据合成 深度搜索
arXiv HuggingFace PDF

图像库引用协议+ODE把Qwen3-VL平均提升14.1个百分点

前置知识

多模态大语言模型 (MLLM)

能够同时处理图像与文本输入并联合推理的大语言模型,典型代表如 Qwen3-VL、GPT-5、Gemini-2.5 Pro 等。本文采用 Qwen3-VL-8B-Instruct 和 Qwen3-VL-30B-A3B-Instruct 作为基座,其视觉编码器与语言解码器协同工作,使模型可以在同一上下文内同时观察图片与文本。

整篇论文的目标就是让 MLLM 学会调用外部工具做多步深度搜索,因此必须先理解 MLLM 是如何在工具调用框架中被当作策略模型来使用的。

图像库引用协议 (Image Bank Reference Protocol)

本文提出的核心脚手架机制:把任务初始图像以及工具返回的每一张图像都注册到统一的"图像库",并赋予可寻址的 句柄。后续任何工具调用都可以直接消费这些句柄,从而实现"中间视觉证据在轨迹中持续可用"。

这是论文第一个贡献的工程核心。理解它才能明白为什么视觉证据可以像文本上下文一样在多步搜索中累积重用,而在传统脚手架里这些图像只是被一次性看完就丢掉了。

在策略数据演化 (On-policy Data Evolution, ODE)

把数据生成过程视为一种模型优化:用当前正在训练的策略去 rollout 候选任务,根据 rollout 反馈(trace 评分)调整下一轮的数据生成配置。ODE 同时支持 SFT 教师轨迹生成和 RL 任务生成两种模式,各自由独立的 rubric 驱动。

论文第二个贡献就是把"数据合成"从一次性 pipeline 升级为带反馈的闭循环优化过程。读懂 SFT 模式追求"更好的示教"、RL 模式追求"靠近学习前沿"这两类目标,是理解 ODE 工作机制的前提。

组相对策略优化 (GRPO)

一种不需要单独 critic 的强化学习算法,对同一 prompt 采样一组候选答案,用组内相对优势替代价值函数估计。论文额外使用 leave-one-out trick 降低方差,采用 6 response/prompt、batch 96、actor lr 2e-6、clip ratio 0.28、不加 KL 惩罚。

RL 阶段使用 GRPO 训练智能体,所以读者需要知道 ODE-RL 训练出来的模型是经由 GRPO 进一步优化的,不是普通 SFT。

评分维度 (Rubric) 与学习前沿 (Learning Frontier)

ODE 用一个 7 维度 rubric(信息复杂度、视觉依赖、捷径泄露、可验证性,以及 SFT/RL 模式特异的 3 个维度)给每条 rollout 打分,并据此诊断失败归属于哪个前向阶段。"学习前沿"特指那些既不太简单也不太难、能让当前策略学到东西的任务难度区间。

理解评分维度的具体含义,才能看懂 ODE 为什么能区分 SFT 和 RL 的不同优化目标,以及为什么它可以把数据从"过易/过难/虚假难"推向"对当前策略最有价值"。

研究动机

现有面向多模态深度搜索的智能体训练范式存在两个明显瓶颈。第一,工具调用脚手架通常把搜索、浏览、变换返回的图像当作一次性输出,后续工具无法把"中间视觉证据"当作输入再次消费,导致多步证据链无法像文本上下文那样在轨迹里持续累积复用。例如 MMSearch-R1、WebWatcher、DeepMMSearch-R1、Vision-DeepResearch 等近期工作虽引入裁剪驱动的图像搜索与多轮视觉-文本探索,但视觉操作基本仍围绕"原始任务图"展开。第二,训练数据合成采用"固定配方"(fixed curation recipe):MMSearch-R1 用半自动 VQA 整理,WebWatcher 用合成多模态轨迹,DeepMMSearch-R1 用自动流水线混合真实搜索,这些 recipe 在规模化前就设计好,无法跟随目标策略的能力演化而调整,因此容易出现任务过易、过脆、视觉依赖不足或与当前策略能力错配的问题。

本文的目标是本文的目标是协同设计"智能体交互工作空间"和"训练数据生成方式"这两条互补的主轴,使得多模态深度搜索能力可以通过闭循环反馈被持续激发。具体而言:在工作空间侧,把 9 个核心工具(网页搜索、图片搜索、学术搜索、visit 页面浏览、视觉搜索/Google Lens、zoom_in、rotation、flip、Python 代码执行)统一到同一工作空间,并引入图像库引用协议让任何工具返回的图像都可被后续工具引用;在数据侧,提出在策略数据演化(ODE),用 rollout 反馈反复调整数据生成器配置,使每一轮生成的数据都精确对齐"当前策略还需要学什么"。该框架同时覆盖 SFT 示教数据筛选和 RL 任务生成,贯穿智能体训练的完整生命周期。

与已有工作不同的是，本文的独特切入角度在于把"视觉证据的持续可复用性"与"数据生成的闭循环演化"作为一对耦合问题同时解决。已有方法或只解决前者(改进工具协议)却仍用静态数据合成),或只解决后者(动态数据生成但仍以原始任务图为中心、忽略中间视觉证据的复用)。论文首次给出"图像库引用协议 + on-policy rubric 反馈"的协同设计,并用 8 个基准上的大幅提升与机制层面的消融,分别量化两条主轴的贡献。值得注意的是,论文还显式指出 ODE 的演化不是单调线性精炼:t→t+1 把 image_ratio 调低,t+1→t+2 又根据新失败模式回滚,这一行为本身就凸显了它与传统"一次设计好 recipe 再扩大规模"路线的本质区别。

核心方法

论文的总体方法是把多模态深度搜索智能体的训练拆成两条协同主线。第一条主线是"视觉原生智能体脚手架",它用图像库引用协议统一 9 个工具,使中间视觉证据在轨迹中持续可寻址;第二条主线是"在策略数据演化 (ODE)",它把数据生成器视为一个参数化对象 C_t,在每一轮做"前向合成候选任务 → 用 rollout 模型在脚手架中执行 → 用 rubric 评分诊断失败阶段 → 更新 C_t 进入下一轮"的闭循环。前向包括四个阶段:种子提议、网页探索、图组织、任务策划;反向包括任务验证、轨迹分析、rubric 引导的优化。同一套 ODE 框架在 SFT 模式和 RL 模式下采用不同的 rubric 维度与生成策略:SFT 模式更看重"高质量、多样化的教师轨迹",RL 模式更看重"靠近当前策略学习前沿的可验证任务"。

论文的核心创新有两点,本质区别于已有工作。第一点是"图像库引用协议":不再把工具返回的图像当作"看完即丢"的中间观察,而是注册为 句柄写入图像库,任何后续工具调用(尤其是 zoom_in、visual_search)都可以把这些句柄作为输入直接消费。这就把多模态深度搜索从"以原始任务图为中心的多步推理"提升为"以累积视觉证据为工作空间的链式视觉工作流"。第二点是"on-policy rubric-driven 数据演化":rubric 在 ODE 中扮演类似损失函数的作用,它不是去判分某条 trace 的最终答案对错,而是诊断任务对当前策略而言是否"过易、过难、虚假难、视觉不足、捷径泄露"等,并把这些诊断归属到 4 个前向阶段中的某一个,从而触发 C_t 的针对性更新。两条主线的耦合点在于,ODE 的前向合成阶段会直接调用脚手架里的 9 个工具来收集证据,而 backward 验证也会在同一个脚手架里 rollout,因此数据生成与策略执行的工具环境完全一致,避免了 off-policy 合成带来的工具用法漂移。

方法步骤详情

整体流程如下。输入:开放世界多模态查询 q、初始视觉上下文 I、参考答案 a。前向生成阶段(由 C_t 参数化):Stage 1 种子提议按 11 个主题域、4 种能力剖面(纯感知/感知+搜索/感知+推理/感知+搜索+推理)、4 个难度等级(easy/medium/hard/expert)的平衡采样表抽取"实体-图像对",经 LLM 法官过滤后保留那些图像携带标签/数字/日期等可读证据、且实体被至少两个独立网页来源支持的种子。Stage 2 网页探索对每个种子调用脚手架的 9 个工具收集 6 个左右的节点,每个节点记录事实束、来源 URL、图像库句柄以及与其他节点的关系。Stage 3 图组织把节点连成多模态证据图 G,再分别用 reasoning_ratio=0.33 的 python_code/visit 生成推理节点、用 perception_ratio=0.40 的 zoom_in/rotation/flip/visual_search 生成感知节点。Stage 4 任务策划从 G 中选连通证据簇,合成任务 (q, I_0, a),并通过增强改写增加推理深度、移除捷径线索。反向优化:Stage 5 在脚手架中用 rollout 模型 m_t(RL 模式为当前策略,SFT 模式为更强教师模型)执行候选任务,获得 trace τ_i 和二元成败标签;Stage 6 用 7 维度 rubric(共享 4 维 + 模式特异 3 维,权重范围 1.0~3.0)给 τ_i 打分,并诊断失败归属于 seed_proposer/explorer/graph_organizer/curator 哪一阶段;Stage 7 优化器把诊断聚合成 Δ_t,修改 C_t 中对应子配置(数值字段通过 update_param、提示字段通过 append_text/replace_text)得到 C_{t+1},开启下一轮。论文附录给出了一个完整 worked example:round t 处理"1948 年 9 月联合国地图上多少比例的原始托管领土已被标为托管区"(ground truth 91%),分析显示 explorer 严重、graph_organizer 中等、seed_proposer 中等、curator 中等,optimizer 据此把 image_ratio 从 0.50 降到 0.40、reasoning_max_steps 从 5 升到 6、perception_max_steps 从 4 升到 5、max_steps 从 8 升到 10;round t+1 出现新失败模式([too_hard] 主导),于是 optimizer 又把 image_ratio 回滚到 0.50、max_nodes_per_phase 从 2 降到 1、两项 max_steps 各加 1,展示 ODE 的演化不是单调的。

技术新颖性

技术新颖性主要体现在三层。第一,系统层面把"图像库引用协议"作为脚手架第一公民:用 句柄直接让后续工具消费前序工具返回的图像,这在 WebWatcher、MMSearch-R1、DeepMMSearch-R1 等系统中并未实现——它们要么图像仅供模型观看、要么需要把图像重写进 prompt 但失去了工具级可寻址性。第二,把数据生成建模为带 rubric 反馈的优化问题:rubric 不是用于评估最终答案,而是用于把诊断结果归属到 4 个生成阶段中的某一个,这种"细粒度阶段级 credit assignment"在 MMSearch-R1、WebWatcher、Vision-DeepResearch 等静态合成方法里都不存在。第三,SFT 与 RL 共享同一闭循环框架但用模式特异的 rubric:SFT 看重 Step_Appropriateness/Tool_Usage_Quality/Tool_Pattern_Diversity(权重 3.0),RL 看重 Capability_Requirement/Difficulty_Match(权重 2.0)/Learning_Utility(权重 1.6),这种"同一框架、两种目标"的设计在文献中较为罕见。论文进一步通过消融证明这两层缺一不可:移除图像库引用导致 MMBC 掉 4.9%、HLE-VL 掉 2.9%、MMSearch+ 掉 3.2%;把 ODE 换成静态合成则在 SFT 和 RL 两个设定下都显著掉点。

Overview of our framework. Left: The visual-native agent harness unifies 9 tools in a shared workspace and enables reusable visual state through the image bank reference protocol. Right: ODE constructs data with a closed loop over the harness: the forward pipeline synthesizes grounded tasks, and the backward pipeline uses rollout traces to refine the next generation configuration.
Figure 1: Overview of our framework. Left: The visual-native agent harness unifies 9 tools in a shared workspace and enables reusable visual state through the image bank reference protocol. Right: ODE constructs data with a closed loop over the harness: the forward pipeline synthesizes grounded tasks, and the backward pipeline uses rollout traces to refine the next generation configuration.
Seed image I0. The seed proposer samples an entity-image pair grounded on United Nations Map No. 4135 Rev. 3, 'The World in 1945' (May 2010), domain geography.
Figure 6: Seed image I0. The seed proposer samples an entity-image pair grounded on United Nations Map No. 4135 Rev. 3, 'The World in 1945' (May 2010), domain geography.
Tool-returned node images from the explorer. Each is appended to the image bank under a fresh <image: N> identifier and remains available to later stages and to the rollout policy.
Figure 7: Tool-returned node images from the explorer. Each is appended to the image bank under a fresh <image: N> identifier and remains available to later stages and to the rollout policy.
Curated task image for the worked example. The image is the September 1948 UN snapshot, selected from the evidence graph as the visual grounding of the curated question. It is registered into the image bank as I0 before rollout.
Figure 8: Curated task image for the worked example. The image is the September 1948 UN snapshot, selected from the evidence graph as the visual grounding of the curated question. It is registered into the image bank as I0 before rollout.
Round t+1 visual artifacts, produced under the updated C_{t+1}. The explorer's higher reasoning and perception step budgets surface a denser per-node evidence base, and the curator grounds the question on a fine-grained channel reach rather than a coarse legend category.
Figure 9: Round t+1 visual artifacts, produced under the updated C_{t+1}. The explorer's higher reasoning and perception step budgets surface a denser per-node evidence base, and the curator grounds the question on a fine-grained channel reach rather than a coarse legend category.

实验结果

论文在 8 个多模态深度搜索基准(MMBC、HLE-VL、BC-VL、VDR、MMSearch、MMSearch+、SimpleVQA、FVQA)上对 Qwen3-VL-8B 和 Qwen3-VL-30B-A3B 两个基座做了完整实验。核心结果有三组:第一,在同一视觉原生脚手架下,ODE 把 Qwen3-VL-8B 平均分从 24.9% 提升到 39.0%(Δ=+14.1),把 Qwen3-VL-30B 从 30.6% 提升到 41.5%(Δ=+10.9),其中 VDR +16.2/+15.4、MMSearch +18.7/+12.7、MMSearch+ +14.9/+18.1、FVQA +20.0/+15.0,这些提升最大的恰好是需要多步证据整合与跨模态 grounding 的任务,说明 ODE 提升的是智能体的多步搜索、检视与综合能力而非表面分。第二,在 Agent Workflow 设置下,ODE 训练的 8B 智能体平均 39.0% 已超过 Gemini-2.5 Pro 的 37.9%,且优于 WebWatcher-32B(在 MMSearch 上 69.7% vs 55.3%、HLE-VL 上 11.4% vs 13.6% 略低但接近),说明 ODE 同样优于同代际专有多模态深度搜索智能体。第三,图像库脚手架本身相对标准 agent workflow 已经把 Qwen3-VL-30B 从 24.8% 提升到 30.6%(+5.8),HLE-VL、VDR、MMSearch+ 上提升最大,说明复用中间视觉证据本身就贡献了显著增益。消融显示:在 ODE-8B-RL 模型上,把脚手架切换到无引用协议版本,MMBC 跌 4.9、HLE-VL 跌 2.9、MMSearch+ 跌 3.2、BC-VL 跌 2.0、SVQA 跌 0.3,而二次图像复用率越高的基准(如 MMBC 306 次,远高于 VDR 277 与 MMSearch+ 122)恰是损失最大的基准;被复用的图像主要被 zoom-in 和 visual_search 消费,验证了"复用驱动视觉精炼"的机制。ODE vs 静态合成的对比(同数据量 SFT 2K trace、RL 4K task)显示 ODE 在 HLE-VL、VDR、MMSearch+、FVQA 上 SFT 显著更强,且 evolved trace 含有更多工具返回图像、更多 ≥4 张工具图像的 trace、更多 ≥2 步工具调用、更多 visual+search 混合策略、更丰富的 tool-chain 与 strategy 多样性;RL 侧静态数据训练后性能反而下降,显示策略面对的数据对校准极为敏感。机制分析显示 SFT 模式主要改善视觉依赖、步骤恰当性、工具模式多样性;RL 模式主要改善信息复杂度、能力需求、难度匹配、学习效用,rollout 行为也从"调用更多工具"转向"更深的视觉证据链"。

Main results. Avg denotes the average score over all eight benchmarks. ∆ denotes the improvement over the corresponding base model.
Table 1: Main results. Avg denotes the average score over all eight benchmarks. ∆ denotes the improvement over the corresponding base model.
Visual-native harness ablation on ODE-8B-RL.
Figure 3: Visual-native harness ablation on ODE-8B-RL.
Static synthesis versus data evolution on the 8B agent.
Figure 4: Static synthesis versus data evolution on the 8B agent.
Mechanism analysis of ODE in SFT and 8B RL modes.
Figure 5: Mechanism analysis of ODE in SFT and 8B RL modes.
Additional statistics of ODE-curated data. Topical-domain donuts for the two RL task sets and the planned reasoning-step distribution across the SFT demonstration set and the two RL task sets.
Figure 10: Additional statistics of ODE-curated data. Topical-domain donuts for the two RL task sets and the planned reasoning-step distribution across the SFT demonstration set and the two RL task sets.
查看结构化数据
任务指标本文基线提升
MMBC (多模态 BrowseComp) 准确率 Qwen3-VL-8B+ODE-RL: 12.5%; 30B+ODE-RL: 11.2% Qwen3-VL-8B base: 7.6%; Gemini-2.5 Pro Agent: 13.8% 8B: +4.9 绝对提升(约 +64%); 30B: +4.1
HLE-VL (Humanity's Last Exam 视觉子集) 准确率 8B+ODE-RL: 11.4%; 30B+ODE-RL: 10.5% 8B base: 6.1%; GPT-5 Agent: 18.1%; Gemini-2.5 Pro Agent: 17.3% 8B: +5.3; 30B: +2.0
BC-VL (BrowseComp 视觉版) 准确率 8B+ODE-RL: 41.9%; 30B+ODE-RL: 46.1% 8B base: 26.1%; Gemini-2.5 Pro Agent: 42.3%; Claude-4-Sonnet: 48.6% 8B: +15.8; 30B: +13.3(显著缩小与最强闭源差距)
VDR (多模态深度研究基准) 准确率 8B+ODE-RL: 20.4%; 30B+ODE-RL: 26.4% 8B base: 4.2%; WebWatcher-7B: N/A; WebWatcher-32B: N/A 8B: +16.2; 30B: +15.4(整组实验中相对提升最大的基准)
MMSearch 准确率 8B+ODE-RL: 66.0%; 30B+ODE-RL: 69.7% 8B base: 47.3%; WebWatcher-32B: 55.3%; MMSearch-R1-7B: 53.8% 8B: +18.7; 30B: +12.7(全面超越同尺寸多模态搜索专有模型)
MMSearch+ (单图子集) 准确率 8B+ODE-RL: 24.9%; 30B+ODE-RL: 28.1% 8B base: 10.0%; Gemini-2.5 Pro Agent: 24.9% 8B: +14.9(超过 Gemini-2.5 Pro Agent); 30B: +18.1
SimpleVQA 准确率 8B+ODE-RL: 70.3%; 30B+ODE-RL: 71.0% 8B base: 53.0%; GPT-5 Direct: 66.0%; Gemini-2.5 Pro Agent: 74.3% 8B: +17.3; 30B: +7.3(逼近 GPT-5/Gemini-2.5 Pro 水平)
FVQA 准确率 8B+ODE-RL: 64.7%; 30B+ODE-RL: 69.3% 8B base: 44.7%; Claude-4-Sonnet Agent: 69.0%; Gemini-2.5 Pro Agent: 65.0% 8B: +20.0; 30B: +15.0(整组实验中绝对提升最大的基准)

局限与改进

局限性主要来自三方面。第一,基座能力天花板:即便 ODE 8B 平均 39.0% 超过 Gemini-2.5 Pro Agent 的 37.9%,但 HLE-VL、BC-VL 这类深度推理型基准仍明显落后于 GPT-5、Claude-4-Sonnet 等更强的闭源系统(BC-VL 上 Claude-4-Sonnet 48.6 vs 8B+ODE-RL 41.9;HLE-VL 上 GPT-5 Agent 18.1 vs 8B+ODE-RL 11.4),说明 ODE 本身没有突破基座模型的推理与知识储备上限。第二,RL 阶段在 RL 数据有限(仅 4K 任务)且最大 50 次 LLM 调用、8192 token/turn、16k token 总预算的硬限制下,长链视觉证据累积可能因截断而失败;附录里 round t+1 的 [too_hard] 案例就显示智能体在 terminal 名称提取上反复 zoom+visual_search 循环却没拿到合同记录。第三,作者承认在 Benchmark 评估上 SimpleVQA 与 FVQA 仅随机采样 300 例,虽然与前人工作一致,但样本量较小,统计波动仍需注意;另外评测完全依赖 LLM-as-judge(论文附录给出了详尽 judge prompt 与 calibration 示例,但仍存在少量误判的可能)。在图像库引用协议层面,作者没有显式讨论协议在大规模并发 rollout(论文使用异步 SGLang)下句柄管理与状态隔离的工程细节,也没有提供句柄最大数量、过期回收策略的描述;另外 ODE 对闭源强模型(GPT-5.2)的依赖度高,如果该模型 API 不可用则整套生成链路难以重建。

独立分析的弱点

独立观察到的弱点及改进方向。第一,训练成本不低且对工具环境强耦合:ODE 需要 GPT-5.2(论文公开承认)在前向生成、分析、优化三处反复调用,加上每轮 32 个任务 × 最多 5 轮的迭代,加 SFT(2 epoch,batch 64)+RL(GRPO,batch 96)的算力,以及 50 LLM call/task 的推理预算,综合算力门槛高;改进方向是用轻量本地模型(如 Qwen3-VL 自身或更小开源模型)做分析器与优化器,并通过更稀疏的 rubric 调用降低 cost。第二,rubric 的 7 维评分高度依赖 LLM 评估者的稳定性,附录虽然给出大量 calibration 但仍难保证跨域一致;改进方向是对 rubric 的 ordinal 打分训练一个小型奖励模型作为 surrogate,或者用对比一致性的成对偏好学习替代绝对分。第三,工作空间虽然统一了 9 个工具,但论文未深入讨论不同工具的延迟/成本异质性对 rollout 长度与策略学习的影响;改进方向是在 rubric 中加入"工具经济性"维度,让 ODE 倾向于奖励低成本但信息密度高的轨迹。第四,脚手架的图像库本质上是无版本、无来源标记的句柄池,可能出现"句柄指向过期/被覆盖的图像"或"多 seed 之间图像库污染";改进方向是给每个句柄加上 provenance 元数据(seed_id、tool、timestamp)并按 trajectory 隔离。第五,RL 模式奖励稀疏(只对最终答案打分),可能让智能体学到"死磕工具"而非"高效组合";改进方向是引入 dense shaping,对每个成功引用的 给予中间奖励。

未来方向

作者明确指出的方向是"更大规模的在策略演化",并把多模态深度搜索定位为 workspace + data generator + training policy 三方协同设计问题。基于论文成果,值得延伸的方向包括:第一,把 ODE 的 on-policy 演化思想从 Qwen3-VL 扩展到更强的闭源与开源 MLLM(例如 GPT-5、Gemini-3、InternVL3),验证 rubric 是否仍然有效;第二,把 9 个工具扩展到 video search、3D 检索、code execution with sandbox,使视觉证据的多模态更丰富;第三,把图像库协议泛化到文本-代码混合的"证据库"(text snippets、code snippets、tables 都注册为可寻址引用),把 ODE 应用到多模态代码生成或多模态科学推理;第四,把 ODE 与 verifier 自身一起演化(verifier-aware data evolution),让 rubric 的 ground truth 也由模型迭代精化;第五,在更长 horizon 的多回合对话场景下研究 ODE,因为目前评测是单回合深度搜索,而真实场景需要维持上下文与用户意图;第六,研究 ODE 演化过程中的稳定性与可复现性,例如多轮 ODE 不同随机种子之间的差异、optimizer reviewer_prompt 的过滤阈值等。

复现评估

复现评估总体处于中等偏上水平。论文在 github.com/JoeYing1019/ODE 公开了代码,并在 on-policy-data-evolution.github.io 提供项目页;附录 B.1~B.3 给出了 SFT(2 epoch,lr 2e-5,batch 64,seq 64k,8,855 examples)与 RL(GRPO+leave-one-out,actor lr 2e-6,batch 96,clip 0.28,无 KL,6 response/prompt,4K tasks)的完整超参,以及 temperature 0.6、top-p 0.95、50 LLM call/task、8192 token/turn、16k token 总预算的推理设置;附录 B.4 列出每个 benchmark 的具体切分(MMBC 评估集、HLE-VL 全集、BC-VL 全集、VDR test-mini、MMSearch 全 VQA、MMSearch+ 单图子集、SimpleVQA/FVQA 各随机 300 例);附录 A 给出了完整 worked example(two rounds,所有数值字段 diff 都列出)。算力方面使用 NVIDIA H20 GPU,但论文未给出总 GPU 小时或具体 GPU 数量。主要门槛有三:第一,前向生成、分析、优化高度依赖 GPT-5.2 这一闭源强模型,无开源替代路线;第二,rubric 评分与最终 judge 都使用 LLM-as-judge,评测对 judge 选择敏感;第三,RL 训练需异步 SGLang rollout,工程实现较重。综合来看,有完整代码与超参,但闭源模型依赖与工具环境搭建对一般研究者仍构成挑战。

论文图表

Figure 2: Statistics of ODE-curated data. (a) Topical-domain coverage of the SFT demonstration set. (b) Curator-annotated difficulty ratio across the three datasets.

(a) SFT 演示集的 11 个主题域(Math 13.2%、News 6.8%、Geo 7.6%、Sports 10.5%、History 7.8%、Life 9.8%、Arts 8.4%、Business 8.6%、Politics 9.2%、Ent. 9.0%、Sci. 9.2%)的占比甜甜圈。(b) SFT、ODE-8B、ODE-30B-A3B 三套数据在 easy/medium/hard/expert 四个难度的比例:SFT 的 easy 占 41.54%、hard+expert 仅 29.06%,而 ODE-8B 把 hard+expert 推到 61.85%、easy 压到 0.38%,ODE-30B-A3B 进一步把 hard+expert 推到 93.67%。

直观展示 ODE 关键性质:在不坍缩主题覆盖的前提下,数据难度分布随目标策略能力自动迁移——更强策略自动获得更难任务,这是 ODE 在策略含义上的直接证据。