通过自调节模拟规划实现高效智能体推理 Efficient Agentic Reasoning Through Self-Regulated Simulative Planning
自调节模拟规划让30B智能体以更少token匹敌1T模型
前置知识
链式思考 (Chain-of-Thought, CoT)
让大语言模型在给出答案前先生成一段中间推理文本的提示技术，通过把复杂问题拆成可读的推理步骤来提升准确率，是当前agentic LLM推理的主流范式，常作为隐式的审议变量 $z_t$ 存在。
本文把无差分的CoT视为'无调节审议'的根源，并用结构化的模拟规划 $c_t$ 和配置器决策 $u_t$ 取代它，理解CoT的局限是读懂本文动机的关键。
世界模型 (World Model)
一个预测环境动力学的模型 $f$，给定当前信念状态 $\hat{s}_t$ 和候选动作 $a'_t$ 输出下一信念状态 $\hat{s}_{t+1}$。本文让LLM自身在语言空间充当世界模型，用于模拟动作后果并支持规划。
系统II'模拟推理'完全依赖世界模型对未来状态的预测，世界模型质量直接决定规划增益，是方法核心。
GRPO (组相对策略优化)
一种强化学习算法，对每个prompt采样 $G$ 条轨迹、用组内归一化计算优势函数来更新策略，常用于RLHF后训练。本文采用带非对称裁剪的GRPO对模型进行任务成功率微调。
本文用GRPO做RL细化，并发现RL让模型拉长规划视野而非更频繁规划，理解GRPO才能理解RL如何塑造三系统协作。
信念状态 (Belief State)
在部分可观测环境中，智能体无法直接获得真实世界状态 $s_t$，只能基于观测 $o_t$ 推断的内部状态估计 $\hat{s}_t$，它作为规划与决策的输入条件，捕捉对当前局势的认知。
规划 $c_t$ 和配置器 $\kappa$ 都以信念状态为输入，理解 $\hat{s}_t$ 与真实状态 $s_t$ 的区别是掌握模拟推理公式的门槛。
智能体 LLM (Agentic LLM)
能通过工具调用(如搜索、代码沙箱、浏览器)与环境迭代交互来完成长程任务的大语言模型系统，通常交替进行推理与动作。本文的SR2AM面向数学、科学、表格、网页四类交互推理任务。
本文全部实验和对比基线都在agentic LLM设定下展开，理解工具交互循环才能看懂效率与准确率的权衡。
研究动机
现有主流做法把智能体构建为带自适应计算(如链式思考CoT)的反应式策略，靠端到端训练期望规划能力从充足数据和算力中隐式涌现。其根本缺陷是缺乏对规划是否存在、结构如何、视野多长的控制机制。论文给出具体证据：当前agentic LLM在训练中推理长度急剧膨胀，但更长的推理并不一定带来更高准确率(参考[28,92])，token消耗大幅增长却不能可靠转化为收益。另一极端是每步都强制调用模拟推理[20,100,119]，虽建模更显式，但在不需要重新规划时(紧急情况或简单延续)代价过高。现有范式下规划被期望在无差分的CoT中涌现，没有可独立分析、调节或改进的显式结构。
本文的目标是本文要验证：把审议分解为三个交互系统，能比无调节或部分调节的替代方案取得更好的准确率-效率权衡。具体地，作者希望构建一个统一架构，其中规划既是模拟性的(基于世界模型预测未来状态)又是自调节的(由可学习配置器决定何时、多深地规划)，同时保留自由形式执行推理。作者要证明：让模型学会'规划得更远而非更频繁'，即可在控制token消耗的同时保持甚至提升任务准确率，并使30B规模智能体在四类交互推理任务上匹敌685B–1T参数的系统，用更少推理token达到可比Pass@1。
与已有工作不同的是，本文独特切入是把人类'快思考与慢思考'思想形式化为三系统分解，并首次将三者统一进单一架构。已有工作各只解决一部分：努力自适应方法[52,99]学习决策 $u_t$ 但不在显式规划(系统II)上建模；模式路由方法[13]仅在任务开始做一次性决策、缺乏逐步再评估(系统III)；工作流蒸馏[48]内化基于规则路由却不支持模拟规划也不支持自由推理；基于世界模型的规划(经典MPC、学习式潜世界模型、视觉模拟器)虽把动作选择建立在未来状态预测上，却强制调用模拟、无选择性触发机制。本文填补了'既模拟又自调节'且保留自由推理这一统一架构的空白。
核心方法
直觉是：人类依紧急性、不确定性、难度调节审议深浅，智能体也应如此。技术路线把决策分解为三系统：反应式执行(系统I)处理细粒度推理与直接动作；模拟推理(系统II)通过世界模型预测候选动作后果来构建显式规划，提供跨任务统一规划机制；自调节(系统III)由可学习配置器 $\kappa$ 决定何时、多深地规划。在SR2AM中系统II与III实现为LLM的CoT中的不同阶段，LLM自身充当语言空间世界模型。每轮配置器评估当前状态决定如何推进(新建规划/延续/直接行动)；被调用时模拟规划器构建由候选动作和预测未来状态组成的显式规划 $c_t$。训练分两阶段：先用编码了自调节模拟推理的监督数据微调，再用RL细化三系统协作。
核心创新是把智能体动作分布分解为三个有序阶段，公式为 $p_\pi(a_t|\hat{s}_t)=\sum_{u_t,c_t}p_\alpha(a_t|\hat{s}_t,c_t)\,p_{\pi_f}(c_t|\hat{s}_t,u_t)\,p_\kappa(u_t|\hat{s}_t)$，执行器 $\alpha$(系统I)、模拟规划器 $\pi_f$(系统II)、配置器 $\kappa$(系统III)各司其职。这与无调节审议 $p_\pi(a_t|\hat{s}_t)=\sum_{z_t}p_\pi(a_t|\hat{s}_t,z_t)p_\pi(z_t|\hat{s}_t)$ 本质不同：审议变量 $z_t$ 被替换为含显式信念、预测未来状态、应急规划的结构化 $c_t$，并由独立决策 $u_t$ 决定是否触发。世界模型下最优策略 $\pi_f^*=\arg\max_{a'}\mathbb{E}[\sum\gamma^k r+\gamma^{T'}V]$，规划 $c_t=(\hat{s}_t,a'_t,\hat{s}_{t+1},\ldots)$ 同时编码信念、动作序列与预测状态。
方法步骤详情
分三部分。(1)环境与工具：模型配备web_search、visit_tool、python_repl_tool三种工具，最多执行 $T_{max}$ 步，终态计算奖励。(2)监督数据两种构建：v0.1多模块推理——把配置器和规划器实现为独立提示LLM(o4-mini)，辅以信念形成模块(意图解读、进度总结、规划反思、自由推理)，配置器自由调用后决定动作，迹经答案正确性与最小推理复杂度过滤得4,845样本；v1.0规划重建——用DeepSeek-V3.2收集交织的思考-动作迹，由标注LLM $\psi$ 重建配置器决策 $\hat{u}_t\in\{0,1\}$ 与结构化规划 $\hat{c}_t=(\hat{s}^c_t,a'_t,\hat{s}^c_{t+1},\ldots)$，规划可跨多实时步实现分层，网页任务截断至2步，得10,787样本。(3)RL细化：奖励由答案奖励 $r_{answer}$、结构奖励 $r_{struct}$、格式奖励 $r_{final}$ 组合，用带非对称裁剪的GRPO优化，30B以上模型过滤截断迹防格式崩溃。
技术新颖性
技术新颖性四点。其一，首次在单一LLM统一三系统：模拟规划(系统II)不再强制，而由学习到的配置器(系统III)按需触发，避开always-on规划高成本与无调节审议低效。其二，让LLM自身充当语言空间世界模型，配置器与规划器作为CoT不同阶段而非外部模块，保留端到端表达力。其三，v1.0规划重建巧妙地从预训练推理LLM迹中重建结构化规划，比v0.1多模块更可扩展且更好保留自由推理。其四，RL展现独特改进机制——拉长规划视野而非增加规划频率，与无调节审议'token越长越准(实则不然)'模式形成鲜明对比，证明结构化分解让RL沿'规划质量'而非'推理体量'改进。
实验结果
核心发现四块。(1)任务性能：11个基准(数学AIME-24/25/MATH-500、科学GPQA-Diamond/SuperGPQA/HLE、表格FinQA/MultiHier、网页BrowseComp/GAIA-103/XBench)上，v0.1-8B总体Pass@1达57.0匹敌120–355B系统；v1.0-30B达71.3，匹敌DeepSeek-V3.2(685B,73.2)与Kimi-K2.5(1T,70.9)，超过纯文本GPT-5.4-xhigh(68.4)。(2)效率：v0.1-8B每轨迹仅3,698 token；v1.0-30B比同规模agentic LLM少25.8–95.3%，对MiroThinker-v1.5-30B少51.2%(5,518 vs 11,295)。(3)消融(表1)：移除系统I使Pass@1从66.6暴跌至46.8；移除选择性规划(系统III)使token从4,925涨至5,451；完整分解优于SFT教师CoT(66.6 vs 65.3)，RL再升至72.8。(4)RL机制：规划视野增22.8%而频率仅增2.0%，把2步和3+步规划从5.3%提到14.9%，v0.1-8B在step400以34.1%更少token达56.2 vs 47.6。
查看结构化数据
| 任务 | 指标 | 本文 | 基线 | 提升 |
|---|---|---|---|---|
| 四类交互推理(数学/科学/表格/网页,共11基准)总体表现 | Overall Pass@1 | SR2AM-v1.0-30B=71.3; SR2AM-v0.1-8B=57.0 | DeepSeek-V3.2(685B)=73.2; Kimi-K2.5(1T)=70.9; MiroThinker-v1.5-30B=74.2; 纯文本GPT-5.4-xhigh=68.4 | v1.0-30B以约30B参数匹敌685B–1T系统；v0.1-8B匹敌120–355B系统，参数效率显著 |
| 推理token效率 | 平均推理token/轨迹 | v1.0-30B=5,518; v0.1-8B=3,698 | MiroThinker-v1.5-30B=11,295; 同规模7-8B系统601–11,206 | 比同规模agentic LLM少25.8–95.3%，对MiroThinker少51.2%，高准确率下大幅省token |
| 组件消融(系统I/II/III贡献) | Pass@1 / 推理token | 完整SFT=66.6(4,925); 完整SFT+RL=72.8(5,414) | 移除系统I=46.8; 移除系统II=65.2; 移除选择性规划(系统III)=65.2(5,451); 教师CoT SFT=65.3 | 三系统互补，完整分解优于教师CoT，RL额外+6.2且仅+490 token |
| RL训练收敛(同Qwen3-8B骨干) | Pass@1 vs 推理token | SR2AM-v0.1-8B step400=56.2 | 无调节Qwen3-8B=47.6, token更高且上下文溢出22.4% | 少34.1% token且准确率更高，证实自调节优势经RL放大 |
局限与改进
作者承认：仅在语言交互推理四类任务验证，未扩展到具身与多智能体场景(状态表示更丰富、协调约束更复杂)；以LLM为语言空间简化世界模型，在更广物理社会世界预测能力有限，需集成多模态世界模型做下一步状态预测；仅看整体准确率与效率，未独立评估配置器决策与事后见闻对齐、预测未来状态与观测结果匹配等诊断指标。工程层面：保留完整交互历史(可借上下文管理改进)；仅用公开数据集(可针对网页推理补合成数据)；用标准工具(可受益于终端访问或Agent Skills)。我观察：消融显示移除系统II影响较小(66.6→65.2)，模拟规划结构在v1.0边际贡献偏弱，世界模型预测质量或成瓶颈；web规划被迫截断2步暴露高不确定环境视野受限。
独立分析的弱点
弱点一：模拟规划(系统II)边际贡献在消融中偏弱——移除其结构仅使Pass@1从66.6降到65.2(表1)，远不如系统I(66.6→46.8)和系统III的效率作用，说明语言世界模型预测质量可能不足以支撑更强规划增益，改进可引入多模态或更准世界模型、显式监督未来状态预测。弱点二：网页等高不确定任务规划被截断到2步，视野增量最小仅20.9%，暴露动态环境下局限，改进可结合在线反馈重评估与不确定性感知自适应视野。弱点三：v0.1采集依赖o4-mini、仅4,845样本，可扩展性受限。弱点四：消融显示偶尔在简单任务过度规划，配置器何时停止仍需校准，可引入规划停止显式奖励或置信度阈值。弱点五：未独立评估世界模型预测准确率，难定位分解改进空间。
未来方向
作者提出：扩展到具身和多智能体场景，应对更丰富状态表示与协调约束；集成多模态世界模型在感知输入上做下一步状态预测，检验分解在更复杂动态下的表现；独立评估配置器与世界模型准确率(配置器决策与oracle事后见闻对齐、预测未来状态与观测匹配)以获诊断洞察；工程改进含上下文管理(仅留近期工具响应)、针对网页推理的合成数据、更丰富工具接口(终端访问、Agent Skills)；把自调节从推理时规划推广到智能体自我学习与适应，让配置器决定何时更新世界模型、何时通过心理模拟学习、何时修订长期目标分解。基于成果可延伸：把配置器做成多过程元控制器，协调规划/学习/记忆检索；在GRPO奖励中加入规划质量信号(如预测命中率)显式引导世界模型改进。
复现评估
复现评估：论文明确开源代码与模型权重(github.com/sailing-lab/sr2am)，基础模型为开源Qwen3-8B与Qwen3-30B-A3B-Thinking-2507，训练数据来自公开数据集(Guru、MegaScience、多跳QA等)，数据构建流程(v0.1多模块推理、v1.0规划重建)描述详细并附附录提示词与超参(附录C/D/E)，显著降低门槛。但仍有挑战：v0.1采集依赖o4-mini等闭源API，v1.0依赖DeepSeek-V3.2作教师，标注LLM $\psi$ 具体选择未完全明确；RL阶段对30B模型训练算力需求高需多卡，并采用非对称裁剪GRPO、截断迹过滤等工程技巧；11基准中BrowseComp、HLE评估成本较高且需测试集复制保稳定。总体方法学描述充分、关键产物开源，属较高可复现性，但端到端复现需中等偏高算力与API预算。
论文图表
